在今年3月份GTC 2026期间,黄仁勋首次展示了NVIDIA DLSS 5技术并将其称为图形领域的DLSS 5时刻,随着9月3日最新版的Game Ready驱动上线,以及《NBA 2K27》首发内置DLSS Neural Rendering选项,在比赛或者回放中,只需要通过快捷键F9就能随时开启和关闭,意味着DLSS 5时代悄然开启序幕。
而这仅仅是一个开始,目前包括Bethesda、CAPCOM、幻塔工作室、网易、NCSOFT、灵游坊、腾讯、育碧、华纳兄弟游戏等游戏发行商已经宣布支持DLSS 5,并且《刺客信条:影》《生化危机:安魂曲》《星空》《上古卷轴IV:湮灭重制版》《霍格沃茨遗产》《影之刃零》《永劫无间》《燕云十六声》等16款游戏加入DLSS 5阵营。所有信息都指向DLSS 4.5到DLSS 5的转换和升级是非常迅速的。
当然这也得益于DLSS 5沿用与现有DLSS、Reflex相同的NVIDIA Streamline框架,便于开发者迁移。同时首发覆盖GeForce RTX 50系列桌面及笔记本GPU,并登陆GeForce NOW云游戏。
那么究竟是什么样的魅力让NVIDIA做出如此快速的DLSS版本切换,DLSS 5未来会对游戏以及图形领域产生什么样的影响,借着近期NVIDIA向外披露更多技术细节,现在让我们花点时间了解一下DLSS 5究竟是什么。
把生成式模型嵌入管线核心
历代DLSS版本中,超分辨率采样、帧生成和光线重建中的神经网络都属于重建模型Reconstruction Model,即从已有的信息中还原像素。而DLSS 5是实时渲染史上第一次把生成式模型作为核心组件嵌入渲染管线,而非作为后处理工具挂在外面。不仅如此,DLSS 5模型理解画面、生成细节、受控于开发者,且运行在16毫秒的帧预算内。
NVIDIA把这一套实时渲染管线核心中融入生成式模型的方式称为3D引导式神经网络渲染,即3D-Guided Neural Rendering。不过这里的3D引导不意味着AI模型重新渲染整个3D场景,因为几何、相机、动画与基础材质仍由传统引擎管线生成,DLSS 5在此基础上做语义层面的视觉精修,可以理解成介于传统渲染与生成式图像合成之间的实现方式。
这里NVIDIA给出了两条通往照片级写实之路的对比。传统路径中,是通过场景-PBR-材质-路径追踪-相机的方式,提供物理准确的光在与几何、3D引导的实时运行方式。而在生成式路径中,则是通过数据集-训练-模型-生成的路径,提供更为真实的光照与材质,但结果是具有概率性,且无法实时运行的。
这里DLSS 5要做的,是在试图不放弃传统路径的前提下,借助生成式路径的方式,实现合理、可控的展示效果。比如实时光线追踪的逆光头发数百次弹射、皮肤次表面散射、逆光下耳垂透红这样的效果,如果仅依靠物理方式实时计算,需要大约现在千倍级的算力。显然我们不可能等到GeForce RTX 9090 Founders Edition才实现这样的效果,如果希望GeForce RTX 5090就能实现,一套见多识广的AI兴许就可以。
换而言之,只要AI相关领域见识得足够多,知道最终效果长什么样,那么通过生成式路径实现数代GPU之后才能实现的效果,或者是一帧画面需要渲染数周的好莱坞VFX级画质,都是有可能的。
修正是关键
虽然NVIDIA官方演示中出现了复杂的工作路径,比如渲染帧、表面反射率Surface Albedo、表面法线Surface Normal、光照语义Lighting Semantics、运动矢量Motion Vector等buffer。但实际上,全部只在模型训练阶段使用。运行时模型拿到的只有两样东西,渲染完成的输出帧,同时再运动矢量,就已经足够了。
这与DLSS家族其他成员形成鲜明反差,几周前我们还在测试的光线重建Ray Reconstruction需要引擎提供20多个内部buffer才能实现,比如Albedo、法线、粗糙度、光线命中距离、透明层等,同时超分需要色彩、深度、运动矢量配合。在DLSS 5中,这个路径被大幅缩减,以为AI只需要而关掉DLSS 5时屏幕上看到的那帧画面,加运动矢量即可。
这样的做法意味着,训练时用完整的G-Buffer教模型什么样的画面是对的,推理时模型只从2D帧里自己读出这些信息。但为了避免DLSS 5将理解的范围限定在2D屏幕中,有必要在训练期进行更为深度的设定,从而保留最终呈现画面的可靠性。这四项强制保留目标包括:
角色身份Character Identity:面部轮廓、五官比例、微表情、服饰特征,杜绝AI重绘导致变脸;
场景语义Scene Semantics:区分金属、皮革、玻璃、水体、植被等材质属性及物体间空间关系;
光照语义Lighting Semantics:顺光、逆光、漫射光、阴天氛围与人工光源的方向、强度与情绪;
镜头构图Camera + Composition:视角透视、景深与画幅取景完全锁定,确保操控视角绝对一致。
同时在模型架构上,DLSS 5使用的一套像素空间扩散Transformer模型(Pixel Space Diffusion Transformer Model),这套模型从更大的生成模型蒸馏而来,是专为增强已渲染帧这一个任务训练的紧凑型单步扩散模型,而非通用图像生成器。
因为几乎所有扩散模型都在潜在空间Latent Space工作,即先压缩图像、在压缩表征上去噪、再解码,这个往返过程正是丢失细节和产生随机性的根源。
DLSS 5做法是直接在像素空间运行扩散,计算量昂贵得多,但这是唯一能保证不该动的区域逐像素原样返回的方案,这也解释了NVIDIA使用pixel-accurate(像素级精确)宣传语的意思。有意思的是,这个套方式也不再需要在游戏中降低游戏分辨率运行,通过DLSS 5就可以直接输出原生的游戏分辨率,感动。
但我们仍然需要注意的是,AI完成离线视频和实时游戏还是不一样的。离线视频生成模型靠一次生成30–60帧的帧块来保证连贯,模型需要知道起点和终点才能生成中间运动。但是实时游戏做不到这一点,因为下一帧取决于玩家尚未发生的输入。这里NVIDIA应用深度学习研究总监Edward Liu也坦言,一帧进、一帧出还要保持时间稳定,这件事学术界的离线视频模型也还没攻克。
做不到就可以绕开。DLSS 5的方式不依赖未来游戏帧,逐帧进行因果处理,牛奶个进行运动矢量对齐,从而实现确定性与毫秒级实时响应。这一点现在的硬件就可以做到。需要注意的是,确定性在NVIDIA官方语境是指同一场景不会每帧随机变样,但NVIDIA没有承诺不同GPU、不同驱动版本输出是完全一致的。
另外还有一个有意思的点,DLSS 5可以不做任何画质清洁工作,如果TAA或超分在头发上留下像素瑕疵、在运动物体后留下鬼影,DLSS 5会逐像素原样复制这些瑕疵。这样做的原因是NVIDIA如果允许模型模型修锯齿,就得接受它在别的帧改掉一个Logo或一张脸的风险,对于游戏玩家和创作团队而言,也是不能接受的。
因此DLSS 5的原则也非常明确,可以归纳为Garbage in, Garbage out,中文翻译是输入越好,输出越好。低分辨率几何和低清贴图会被完美保留,看起来没那么写实,确保应有的游戏感,而不是不同的游戏被统一成一种风格。NVIDIA也强调光栅化与光线追踪不是被AI替代,而是变成神经网络的高质量原材料。如果具备带路径追踪的数据,那么其输入帧能让Transformer模型把光影真实感放大到更高水平。信息越多,画质越好。
因此DLSS 5被放超分之后、帧生成之前,这样很好的禁止DLSS 5利用它们的信息修正任何东西,因为鬼影、去遮挡涂抹、植被与栅栏的闪烁恰恰是生成模型最擅长修复的渲染顽疾。
读懂画面
DLSS 5模型读渲染帧的方式,被NVIDIA形容成像人读一张照片那般,叶子下方的阴影告诉它光源在哪里,它知道那是树叶、那是金属并据此推断反射。它也能隐式推断这是一天中的什么时刻,例如在一个晴天场景里主动给画面加上蓝色调,因为AI算出了头顶的天空必然是蓝的。
这时候Transformer架构在其中表现出了应有的战斗力,因为它可以做到建模大范围图像上下文的能力,因此可以判断出一个亮斑可能是反射、皮肤高光、光源或涂装表面,这是仅靠像素邻域无法区分的。
同时,DLSS 5在没有光线追踪特效的前提下,依靠普通光栅帧也能进行画面增强,只是光追输入的光照与接触阴影更好、产出也更好。另外DLSS 5也可以不依赖其他DLSS组件,神经纹理压缩NTC位于渲染器内部,NVIDIA Reflex位于之后。至于Moder们热爱的RTX Remix兼容性,现在还不太清楚。
这套方案也能很好的回答DLSS 5三月时首发被玩家吐槽画风大变的尴尬,以为内DLSS 5的整套控制工具将决策权保留在游戏开发者手里,这里做了几点归纳:
Model A/B/C三档预训练权重模型:对应不同结构强度、全局光照与纹理细节级别,按游戏风格选基调,可按场景或角色混搭;
结构强度Structure Intensity:专注高频细节,包括环境光遮蔽、接触阴影、反射强度、次表面散射;
调性强度Tone Intensity:专注低频细节——包括大范围光影与色彩响应;
语义驱动自动遮罩Semantic-Driven Automasking:模型自动识别画面中的角色,开发者可以只调角色身上的DLSS 5强度而环境完全不变,从而避免游戏角色被强行美颜的尴尬;
自定义分组遮罩:把场景中特定物体,例如演示中的水壶、葡萄、瓶子,分组独立调参,不想让AI碰的区域直接排除,比如角色脸上的疤痕不会被AI自动美颜。
性能如何?
关于性能,NVIDIA提供了较为详细的帧率分享。不过目前的消息均来自NVIDIA官方,且混合了多项DLSS技术,无法单独评估DLSS 5的成本。即便如此,我们已经能够大致了解DLSS 5的性能表现。
这里可以看到,在4K Ultra、开启光线追踪、DLSS 5、6x多帧生成、超分性能模式的前提下,GeForce RTX 5090可以让《NBA 2K27》在370FPS上运行,GeForce RTX 5080可以做232FPS。如果是2K最高画质,GeForce RTX 5070可以做到260FPS以上。如果是1080p最高画质,GeForce RTX 5060可以做到258FPS的平均值,这样的帧率表现可以很好的吃满试下的主流游戏显示器刷新率了。
最后我们通过一套简单的示意图了解DLSS 5在全栈渲染管线中的位置:
综合来看,DLSS 5将帧率提升转向了画质提升,生成式模型首次从后处理升格为渲染管线的一级组件。NVIDIA实际上把AI领域的Scaling Law叙事搬进了图形领域,模型规模、训练数据、损失函数的每一点离线进步,都会直接转化为运行时画质,且这个杠杆与传统渲染杠杆可以并行使用。
为了确保DLSS 5的可靠性,在实际应用中围绕画质稳定性、提供游戏团队设计主权进行了大量设置,包括原本画面中的瑕疵,都会保留,将画质的叙述权利留给团队。虽然DLSS 5真实表现仍然需要时间和游戏的检验,但以它为代表的AI渲染确实已经成为未来的方向,并沿着创作者的真实意图,化简想象力变成画面的过程。

