主流大模型仍在沿着自回归路线不断扩展,但另一种技术路径正在加速逼近产业化临界点。

一项联合测试为这种可能性提供了新证据。

9 月 1 日,扩散语言模型团队扩散智能 DiffuSpace 与 亚洲智能体计算平台公司 Acrab 的测试结果显示,在端侧场景中,dLLM 可将 Agent 的运行速度提升约 5 倍。基于此次测试,双方计划加速推进扩散语言模型在 AI PC、智能汽车、机器人及智能家居等场景的落地。

打开网易新闻 查看更多图片
视频链接:https://mp.weixin.qq.com/s/Xd-V3BbuqsopfIeeWPbwtw

扩散语言模型(Diffusion Language Model,dLLM),凭借「全局生成」的独特性,被视为下一代通用人工智能基础模型的重要方向之一,甚至被预测,“或将在两年内替代 GPT 类自回归模型”。Google、Inception、蚂蚁集团等都在积极抢占这一赛道。

与 GPT 类主流模型 “从左至右,逐个 Token 生成” 的模式不同,dLLM 模型借鉴了图像模型的扩散机制,生成时先形成全局内容框架,再结合上下文并行不断修正结果,既能形成更具全局一致性的内容,也能实现 5 倍乃至 10 倍的推理加速

这种差异,在端侧 AI 上会被进一步放大。

传统自回归模型的生成范式,每次 “只生成一个 token”,无法高效利用端侧芯片的并行算力;但扩散语言模型则可以将多个位置同时交给 GPU 处理,将芯片的并行计算能力转化为实际速度

Agent 场景又进一步放大了生成速度的重要性。一次完整的 Agent 任务,往往包括规划、检索、工具调用、执行和校验,模型可能被连续调用多次。每一次生成带来的延迟,都会在整条任务链路中累加。因此,5 倍提速,可显著缩短 Agent 完成任务的所需时间

以 AI PC 为例,一个本地 Agent 可能需要同时读取邮件、整理日程、检索文件并生成后续计划,扩散模型可以对多个相关步骤进行并行推演,并根据变化实时调整,协同完成多个相互关联的任务。

扩散智能 DiffuSpace 是全球最早投入 dLLM 范式研究的团队之一,由港大 NLP 实验室联合主管孔令鹏教授及其博士生龚珊三、叶佳成联合创立,核心团队长期深耕扩散语言模型研究,在该领域处于国际前沿,是在 “条件生成、离散信号建模、Scaling” 的三大 dLLM 核心问题上均有全球领先突破的团队。成员均来自清华、北大、港大、CMU 等顶尖高校及顶尖模型团队。

2022 年,团队推出 DiffuSeq,开创了扩散模型处理序列到序列文本生成的技术路径;2025 年,团队推出的 Dream 7B 模型首次全面超越同参数规模的自回归模型,并在规划能力上比肩 671B 的 DeepSeek V3。机器之心曾报道过该团队研发的 Dream 7B 模型(《7B扩散LLM,居然能跟671B的DeepSeek V3掰手腕,扩散vs自回归,谁才是未来?》)

围绕这条技术路线和产业应用,我们与扩散智能 DiffuSpace 进行了一次交流。

打开网易新闻 查看更多图片

机器之心:为什么端侧可能成为扩散语言模型率先建立优势的场景?

DiffuSpace:扩散模型相较自回归模型的推理加速优势,在模型只处理一个用户的任务时最为明显。端侧推理,比如手机、电脑和汽车里的 AI,通常都只服务本地的一个用户;同时,端侧用户对响应速度非常敏感,希望模型能够及时完成任务。因此,端侧是我们非常重视,也认为扩散语言模型很有优势的场景。这次和 Acrab 的测试,也充分验证了这个判断。

机器之心:扩散语言模型的速度优势具体来自哪里?

DiffuSpace:自回归模型通常每一步只能向前生成一个 Token。扩散模型则可以同时生成多个 Token,更贴近人在思考时的过程。人思考问题时,不一定会在心里把所有 token、所有单词都一个字一个字写下来。有时候,我们最开始只有一些模糊的想法或模糊的感受,然后这些想法慢慢成形、慢慢浮现,再一步步变得清晰。扩散模型呈现出来的正是类似的过程。

现在使用 GPT 一类模型时,用户可能需要等待一分钟;如果速度提升到十倍,就只需要等待十秒。一旦体验过这种快速响应的感觉,就很难再回到以前那种龟速思考的体验。在一些场景中,速度非常重要。以代码任务为例,两个函数可能是相对独立的模块,括号、定义等结构也具有较高的可预测性,扩散模型每一步通常可以生成 7 到 10 个 Token。这会直接提升生成速度,并进一步提高服务效率、降低单位成本。

机器之心:除了生成更快,dLLM 会怎样改变 Agent 的使用体验?带来怎样的改变?

DiffuSpace:以 Coding Agent 为例,如果用户修改了前几轮对话中的内容,自回归模型只能从修改位置重新向后生成,原来已经产生的后续内容很难继续利用。扩散模型则可以根据这次修改,自适应地调整后续内容,尽量保留仍然有效的部分,只改写真正受到影响的内容。用户会直观感受到模型更加可编辑、灵活,也更加聪明。

更长远的看,扩撒语言模型能实现更高的智能上限,突破人类的一些认知边界,走向 AGI、ASI。扩散语言模型比较擅长全局搜索,也比较擅长多样性探索。这两件事对 RSI 都是非常有利的。

面对未知问题,模型需要尽可能铺开不同的探索路径,再通过可靠的验证器筛选答案,更擅长同时生成多样化的候选方案,因此可能提高找到正确解法的概率。与此同时,它能够结合整体目标和后续步骤调整当前决策,而不是只依据已经生成的内容继续向前,从而减少陷入局部最优的情况。因此,我们仍然扩散语言模型在 RSI 的研究和探索中能够作出更高效的 contribution,并加速整个进程。

机器之心:更高的推理效率,是否意味着训练阶段需要付出更大成本?

DiffuSpace:扩散模型可以被理解为 “training for the worst,testing for the best”。训练时,它需要看到更多噪声和位置组合,可能需要在同一份数据上训练更多轮次;但到了推理阶段,就能获得更高的并行度。模型只需要训练一次,却要服务大量用户,因此,用更多训练投入换取长期的推理效率,整体上是划算的。

现阶段,我们也可以通过 adaptation 直接利用已有自回归模型的参数,降低扩散模型 Scaling 的成本。自回归模型已经学到的语言知识和能力,可以被更 general 的扩散模型继承,再加入双向、全局的信息。

机器之心:dLLM 距离大规模产业应用,还有哪些方面要突破?

DiffuSpace:要真正把一件事做大、做好,本身就不是一件容易的事。从模型、数据、算力,到工程和生态,各个环节都会遇到挑战,我们现在也是在逐一克服、稳步推进。比如自回归模型已经拥有 FlashAttention 等大量成熟算子和基础设施,而扩散语言模型的算子、推理系统和 infra 还没有那么完善。因为我们一直走在这个领域比较前面,所以很多基础工作也是亲自完成的。

不过,一个比较积极的变化是,进入这个领域的人在变多,我们不是孤军奋战,已经出现很多开源项目,大家都在为这个领域贡献。我相信,做这件事的人越多,整个社区就会越好,生态也会一步步完善。

机器之心:为什么判断扩散语言模型可能在未来两年内替代 GPT 类自回归模型?

DiffuSpace:扩散语言模型还没有完全起来,一个重要原因是它获得的资金投入和研究时间还不够长。任何技术路线从学术探索走向大规模应用,都需要积累过程。

但扩散语言模型已经获得了越来越多关注,也逐渐拥有了自己的位置。接下来半年,我们会继续扩大模型能力和影响力,把更多研究优势转化成真实模型和产品;半年到一年内,大家也会看到更加垂直的产品。今年四季度,我们将发布新一款扩散语言模型,明年计划把模型参数规模再扩大一个数量级。

未来一到两年内,扩散语言模型很有可能替代现在的自回归模型。当然,这是一个非常激进的目标,也还有很多事情需要完成。