视频生成技术好，短剧才能“不烧心”。
AI 视频生成正在加速商业化，短剧成为最热门的应用场景之一。国家广电总局 9 月中旬披露，今年前 8 个月全国上线微短剧 43 万部，是去年全年的 13 倍，其中 AI 剧占比超过九成。
字节跳动旗下的红果短剧，已经成为这一市场的头部平台。QuestMobile 数据显示，9 月红果日活跃用户达到 2.03 亿，超过爱奇艺、腾讯视频、优酷、芒果TV四家之和。主打 AI 漫剧的红果免费漫剧，5 月月活也已接近 4,000 万。用户规模扩大，使用时长也在增长。今年三季度，红果月人均单日使用时长约 151 分钟，超过了微信、抖音、快手、小红书等月活过亿的应用。
庞大的用户需求推动内容产量激增，也带来了持续增长的算力消耗。行业甚至有人调侃：“世界的 token 一半在中国，中国的 token 一半在短剧。”
今年，于力军入选《麻省理工科技评论》“35 岁以下科技创新 35 人”（TR35）亚太区榜单。他长期研究多模态模型与视频生成，作为第一作者提出 MAGVIT、MAGVIT-v2，用视觉词元表示图像和视频，并参与 VideoPoet，以语言模型生成视频，在视觉表征与视频生成领域作出杰出贡献。
近日，DeepTech 围绕视频生成的路线与未来，和于力军进行了对话。
从最初设法生成一段视频，到今天反复权衡画质、速度与训练规模，于力军和团队换过不止一条技术路线。他认为，视频生成已跨过“从零到一”的门槛，接下来要在画质、效率与规模化之间寻找更好的平衡。不同任务偏好的训练方式并不相同，统一多模态模型仍有很长的路要走。
另外，于力军最初研究视频生成时，还怀着一个更远的设想：世界上有那么多真实视频，如果模型能直接观察真实世界，能否实现更高级的智能？
以下是 DeepTech 与于力军的对话。
原本想做操作系统，却开始教 AI 理解视频
DeepTech：从高中到大学，你对计算机的兴趣是怎样形成的？后来又是什么契机让你开始做视频生成相关研究？
于力军：高中时我在哈尔滨三中读书，是理科生。那时就对计算机感兴趣，但没有参加过竞赛培训，更多是自己写些小程序，解决实际问题。
高考填志愿时，我想去北大，也喜欢那里的自由氛围。家里更希望我学经管，但我的分数够不上当时最热门的经管专业。那时计算机还没现在这么热门，我自己又感兴趣，就选了它。
在大一的时候，我们是按大类培养，要通过选课决定以后偏软件还是硬件。我那时有点贪心，数学和物理都想学好，既选了比较难的数学课，也去上物理学院的课。数学没什么问题，编程经常能拿满分，但物理课里有不少竞赛出身的同学，有点受挫。到大二，就决定学计算机。
另外，我原本对系统，尤其是操作系统很感兴趣。学校当时引进了一些卡内基梅隆大学的专业课程，有一次考试我考得很好，授课老师注意到我，邀请我进实验室。我以为终于能做操作系统了，结果老师说，他有位毕业生在微软亚洲研究院工作，建议我跟着他做人工智能，说这个方向前景更广阔，于是我就这样走上了人工智能研究的路。
DeepTech：你进入实验室后开始接触人工智能，那么后来又是怎样走向多模态和视频研究的？
于力军：大概是大二、大三的时候。那时研究还比较初步，算力和项目规模都不像现在这么大。
后来北大鼓励学生去国外做暑期科研，我联系到了后来成为我博士导师的老师。他研究多模态，我大三结束后去卡内基梅隆大学做暑期科研，开始做视频理解。本科毕业后，我又回到那里读博士。
视频理解要处理大量真实视频，比如网上的视频和日常生活中的摄像头画面。我们想知道画面里什么时候、什么地方发生了什么活动。做到 2021 年左右，沿着当时的方法，效果已经不错，但进一步提高很难。
在此期间，我参加过一个多所大学合作的项目，做实时分析视频中人、车活动的系统，有点像智慧城市的应用。既要识别准确，也要运行得快，我们做到了很好的成绩。但系统主要由分别训练的模块拼起来，在那种范式里继续优化，空间已经不大。后来研究者开始靠扩大模型、数据和算力来提升能力，思路很不一样。
正好那时视频生成还很难。我导师推荐我去谷歌，跟一位在那里工作的师兄实习，我便从视频理解转向了视频生成。
DeepTech：从早期的视频理解到后来的视频生成，你研究过哪些具体问题？有没有特别难忘的经历？
于力军：我写的第一篇论文是预测电子竞技比赛的结果：实时分析两队的对战数据，判断哪队会赢。其实这是因为带我的师兄喜欢游戏，觉得这个问题值得做。我对于游戏本身没有太大兴趣，但通过它自学了 Python、机器学习和深度学习，也学会了怎么训练模型。
做视频理解时，一件很有意思的事是自己搭计算集群。我们一开始买消费级 GPU，一台机器只能插几块卡，如果想训大一点的模型、跑得快一点，就得有更多算力。学校经费不够长期租大规模云集群，我们便买了很多卡，自己连线，搭成可以扩展的多卡集群。亲手把它搭起来的这个过程挺有意思，算力也更充足了，也为我们模型的训练打下了基础。
转向视频生成后，我们研究的问题几乎是反过来的：视频理解是从画面中识别发生了什么；视频生成则是给模型一段文字，让它生成相应的画面。我们在 2022 年初开始研究这件事，一方面出于兴趣，另一方面也看到了图像生成质量提高的早期信号，想试着把它扩展到视频。
具体到方法，我们最初尝试用离散的视觉词元表示视频，把连续画面转成模型可以处理的一串单位，以便借鉴语言模型的方法。同期扩散模型也进展很快，我们做过视频扩散 Transformer 方向的研究。
不过，从研究问题出发，我们仍想看看离散词元这条路线能走到哪一步。沿着这个思路，我们后来训练出 VideoPoet，用语言模型的方式生成视频，这项工作也获得了 ICML 2024 最佳论文奖。
DeepTech：VideoPoet 沿着离散词元和语言模型的路线推进，并获得了最佳论文奖。这是否意味着，这条路线在当时已经达到了较好的效果？
于力军：在这条路线内部，我们可能已经做到了一定程度，但这不等于它在当时能做出画质最好的产品。同期一些走扩散模型路线的视频模型，包括 Sora、Veo，视觉效果确实更好。
不过，我后来关心的还有另一个问题，即如果视频模型只负责把画面渲染出来，它未必能学出更强的智能。沿着语言模型的范式处理视频，也许更有机会让模型从中学习，但这还需要验证。至少目前，模型表现出的智能可能仍主要是从文本中学来的。
生成视频和生成文字有多大区别
DeepTech：如果向不熟悉这个领域的读者介绍，你会怎样划分视频生成的发展阶段？
于力军：从技术史看，视频生成算是一个比较新的领域。
较早的研究大约出现在 2016 年。到 2022 年、2023 年，模型才开始生成一些勉强能看的内容。公众真正广泛注意到它，大概是在 2024 年上半年：你对模型说一句话，它就能返回一段画面比较清晰的视频，只是时长还有限，可能只有十秒左右。
从 2024 年起，视频生成逐渐商业化，初创公司和大公司都开始做。到 2026 年，我认为它基本到了可用的阶段，在平台上也能看到很多 AI 生成的短剧。尽管画面还不完美，有时一眼就能看出是生成的，但已经不妨碍人们把它当内容来观看。
DeepTech：你刚刚提到离散词元和扩散模型。从你的研究经历看，视频生成的技术路线经历了怎样的变化？
于力军：我们自己就试过几种办法。最早的 MAGVIT，把视频压缩成离散的视觉词元，再用掩码生成模型来生成画面。我们希望把视频变成与语言相近的表示，因为当时对连续向量建模还比较难；而且模型规模不大时，掩码生成相对自回归生成有明显的效率优势。
这条路线从图像扩展到视频，效果不错，也能支持不同的生成任务。但后来发现，掩码模型不太容易从规模扩大中持续受益。近年 AI 的发展很大程度上靠增加模型、数据和算力。相应的，如果一个范式的规模效应不够好，就很难继续发展。
所以到了 VideoPoet，我们改用自回归模型。它的训练效率比较高，更适合规模化。但它的代价是推理时要一个词元一个词元地生成，延迟可能更长。另外，离散化过程本身会丢掉细节，影响画质，于是又花很多精力改进视觉分词器，做出了 MAGVIT-v2，让视频压缩得更高效。
后来我们发现，这套编码架构并不只适用于离散词元。去掉离散化那一层，放到连续的潜在空间里，用于扩散模型训练，效果也很好。所以这些路线未必完全隔绝，关键要看具体任务需要什么，以及效率、画质和规模化能力之间怎样取舍。
DeepTech：你多次提到视觉词元。它与文本模型中的词元有什么不同？
于力军：文字本身就是离散的，最简单可以把一个字节当成一个词元。但这样词表很小，序列会很长；如果把多个字节合起来，序列短了，词表又可能太大。
所以文本分词通常要在两者之间找一个合适的粒度。字节对编码，也就是 BPE，会根据语料中组合出现的频率，把常见的组合并成词元。
图像和视频和文字不一样，它们原本是像素。要把它们变成词元，通常得先用神经网络提取特征，再把特征向量离散化。比如用码本（codebook），把一个向量映射到码本中的某个编号。最后得到的那个离散编号，才可以当作视觉词元使用。
另外，文本与视觉分词器在训练方式和信息保留上也有很大不同。文本分词器更多依赖相对稳定的统计或压缩算法，一般还能无损还原原文。
视觉分词器则要通过深度学习训练，同时考虑重建质量、人眼感知等目标，有时还会用到生成对抗损失。它既要把大量视觉信息压缩得足够紧凑，也要尽量保证重建出来的画面好看。图像和视频分词大多是有损的，这是它与文本分词很大的区别。
DeepTech：你说视觉分词通常有损。怎样判断哪些信息可以舍去，而人又不容易察觉？
于力军：事实上，这主要取决于人眼对画面变化的敏感程度。
比如把一张图片所有像素的数值都只做很小的调整，人眼可能几乎看不出变化。视觉分词器不一定要在每个像素上做到完全无损，它追求的是压缩后再重建的画面，在人看来尽量接近原图。当然，哪些细节可以损失、损失多少才不会影响观感，正是训练分词器时要解决的问题。
DeepTech：回看视频生成领域的研究，业内是否还有难以解决的瓶颈或者关键的问题？是否能举一个例子？
于力军：如何构建统一的多模态大模型，就是一个目前还缺少成熟解法的例子。
理想中，同一个模型可以处理文本、图像、音频和视频，既理解也生成，还能在不同模态之间转换。我们当然希望它在每项任务上都做得很好，但这样的模型目前还不太现实，其中至少有两个问题没有解决：
第一，训练目标不容易统一。文本通常通过预测下一个词元来训练；如果看纯视觉质量，图像和视频生成目前往往更适合扩散模型。把这两种目标放在一起训，可能相互干扰，模型也不容易稳定地训练。
第二，理解和生成想要的视觉表征不太一样。理解任务希望不同概念容易被区分，好回答“这是什么”“发生了什么”；生成任务更希望在一个紧凑、连续的空间里，能方便地找到符合要求的画面。
所以，在研究中可以先不要求一个模型包办所有事。语言模型或智能体负责理解输入、规划任务，需要生成图像或视频时，再去调用相应的生成模型。在现阶段，把生成模型当作工具，是一条比较可行的路线。
当视频生成遇上短剧和机器人
DeepTech：从应用来看，据你的了解，视频生成现在最常被用来做什么？
于力军：我做视频生成算比较早的，但真没想到它会被用成今天这样。当时我们首先想解决的是从零到一的问题，那就是模型还不能很好地生成视频，怎样先让它生成出来？我也想象过一些更通用的用途，比如把现实中无法同时出现的元素放到一个场景里，或者补全缺损的视频。
然而，现在商业上很显眼的一类内容是 AI 短剧。我有时也会刷到，如果剧本写得好，确实能吸引人，但看完往往没多少收获。当然，也有一些用 AI 生成的不错的科普视频。
我在意的是，这类技术也可能被滥用，例如未经同意用别人的脸生成他本不愿意参与的画面。同时，视频修复也有边界。模型补出来的部分并不是准确的历史记录，它可以让影像展示得更完整、更有观赏性，但不能因此把生成内容当成史实。
另外，在我的理解中，短剧的应用还说明了一件技术上的事：视频画质未必需要完美，剧本能不能吸引人才是关键。剧本由语言写成，情节和表达上的智能更多体现在语言模型里，而视频模型主要把它渲染成合理的画面。
DeepTech：有些科普视频用代码搭建线框、文字和场景转场，而不是直接生成每一帧。你怎么看这种方式？它会与直接生成视频结合吗？
于力军：具体视频我没有看过，但从技术上说，用代码组织画面是一个合理的方向。现在写代码就可以调用三维和设计工具，做出图像或会动的内容。这样更容易控制结构，也更容易遵守物理规律或其他约束。不过，纹理和细节未必能像直接生成像素那样丰富。
两者的确可以结合，例如先用程序把场景的骨架和运动关系搭好，再让生成模型填充细节。我觉得这可能是以后比较常见的做法。
DeepTech：世界模型，以及具身智能中的世界动作模型，近来都很受关注。它们与视频生成是否有什么技术上的关联？
于力军：首先得看怎么定义“世界模型”。如果把它理解为根据当前状态预测未来状态，语言模型也可以算一种。比如，用文字告诉它今天的天气，让它预测明天的天气，只要预测得准，就符合这个定义。不过，大家现在更常讨论的是在视觉空间预测世界的下一个状态。
这就和视频生成联系起来了。根据前一帧生成下一帧，是一种有条件的视频生成。我们几年前就做过。那时我觉得它甚至比文生视频更难，因为模型得弄清楚动作如何发生、下一个状态会怎样。文生视频更多是把文字描述转成画面。只是当年做未来帧预测，也不清楚能直接用在哪里。
另一条路线不去完整预测下一帧的像素，而是在潜在空间里预测未来状态。由于视觉画面里有很多细节对决策并不重要，如果每一处都要准确渲染，可能耗费大量算力。在潜在空间里预测可以跳过一部分细节，但它的结果怎么直接使用，也还要探索。至于具身智能究竟需不需要显式生成下一帧，我个人也是存疑的。
DeepTech：从商业应用和市场预期看，你如何比较当下的视频生成与具身智能？两者分别发展到了哪一步？
于力军：在我的观察中，视频生成现在已经进入了相对成熟的阶段，商业应用已经比较广，行业也经历过一轮筛选。
两三年前，国内外有不少视频生成初创公司，现在有些公司的声音已经听不到了。另一边，大公司可能会重新判断纯视频生成与更高级智能的关系，小公司也要面对很高的竞争成本。
具身智能则不太一样，它长期有价值，但很多能力还没到大家想象的程度。若想要让机器人真正大规模进入具体场景，硬件、数据和系统能力都需要持续投入，也许还要几年，最后的路线还可能与今天的设想不同。
DeepTech：未来三到五年，视频生成值得关注的技术方向是什么？你的研究兴趣会往哪里走？
于力军：如果谈我的兴趣，我希望朝更高级的智能推进。
我最开始研究视频生成时，就有一个想法。世界上有那么多视频，如果模型能直接观察真实世界，也许可以从中学出很高级的智能。语言模型更多是从人类长期整理、写下来的知识中学习。相比之下，直接从世界里学，理论上可能有更高的上限。
但目前看，这条路的学习效率很低。视频包含大量不重要的细节，信噪比低。如果想靠它学出我们期待的能力，可能需要比现在多得多的算力。而训练一代大型语言模型已经很昂贵，很难再轻易把算力投入扩大十倍、一百倍。所以，这个想法能否成立，我们还没有证明。
反过来，过去有人担心文本数据很快耗尽，语言模型最终只能达到普通人的平均水平。如今看来，情况没有当年想得那么悲观。模型仍在进步，在不少领域已经超过一般人的水平。于是我们得重新问，视频究竟能为智能带来什么独特的东西。
还可能出现别的方式，比如通过代码渲染图像，再让它动起来，不一定每一帧都直接生成像素。文本、代码、图像、视频和声音都是不同的信息形式。我更关心的是，模型能不能从中学到抽象知识。
DeepTech：在你的蓝图中，“更高级的智能”未来可能是什么样的？
于力军：我想象它可能完成今天相当大一部分工作，甚至九成。当然，这不等于九成的人都会失业。人也可能借助它做更大、更远的事情，出现今天还没见过的应用。
比如 AI 很擅长收集和分析信息。将来如果能力足够强，市场交易的信息也许会更透明，定价更准确，买卖双方因信息不对称产生的溢价可能减少。另外，一些过去难以有效实施的经济规划方式，也许会被重新讨论。
不过，AI 的发展最终也会受到现实世界制约。过去进展快，是因为许多迭代发生在数字空间：语言、图像、视频，尤其是代码，都可以很快生成和检验。若走进物理世界做实验、执行任务，就会碰到真实的时间尺度。小鼠生长、化学反应都需要时间；实验可以并行，但单个过程未必能无限加速。
在未来，我认为谁能把数字空间和现实世界之间“最后一公里”的交互做得更高效，谁就会有很大的机会。
运营/排版：何晨龙
注：封面/首图由 AI 辅助生成