本周，NVIDIA正式发布了DLSS 5，首发游戏是《NBA 2K27》。和3月时的犹抱琵琶半遮面不同，这次我们终于能真正上手去体验一下这项堪称突破性的新技术，这无疑是令人兴奋的。当然，因为某种机缘巧合，我知道大伙已经通过一些妙妙工具给各种各样的游戏都套上了DLSS 5，而且有的游戏效果还不错，但是，正式版的游戏仍然是观察DLSS 5效果的最好手段。
DLSS 5的简单介绍
DLSS 5的核心是3D引导神经网络渲染技术（3D-guided neural rendering，下面会简称为DLSS 5 NR），该技术的目的是在有限的性能下面去达成尽可能逼真的画面。也许你会说DLSS超分辨率不就是拿来干这事的吗？对也不对，因为DLSS超分辨率仅仅是重建——接近原本应有的效果，但不会超过游戏引擎的上限。超分辨率并不是无中生有，而是有中生有。
DLSS 5实际上是借助AI模型，在原有画面上进行创造。AI生图我们都很熟，毕竟Stable Diffusion都是几年前的事情了。然而这里所说的这些模型又有些地方不太适合游戏——就算提示词一模一样，出来的图也许有所不同（通过调整seed等参数，我们可以做到输出十张一模一样的图，但这跟本文没啥关系，这里就不展开了），而游戏的场景是稳定，有着一致艺术风格的；然后就是性能问题，帧率对于游戏来说很重要，不可否认RTX 50系列现在有帧生成，但基础的帧率总得确保。
下面来看看DLSS 5是怎么做的。DLSS 5仅接受游戏引擎渲染的RGB图像作为输入。但是在训练时，NVIDIA引入了albedo、表面法线等信息作为监督，这样模型就会学习到场景中哪些东西是不能乱改的。其实从这里你可以知道一点，DLSS 5本质上算是一种后处理。
然后，DLSS 5还用了Pixel Space Diffusion（像素空间扩散）。一般的AI生图模型会经历一个编码-潜空间生成-解码的过程，生成中间可能会出现一些偏差。而Pixel Space Diffusion则是直接在RGB图像上施工，这同样确保了生成图像和原图像的相似，NVIDIA甚至表示，即便是锯齿也能保留下来。
不过Pixel Space Diffusion有一个比较影响性能的问题：因为它直接在RGB图像上操作，高分辨率会造成性能上的挑战。说起来NVIDIA和罗切斯特大学在去年提出了一款叫PixelDiT的图像生成模型，也是Pixel Space Diffusion模型，现在看来应该算是DLSS 5的铺垫吧？
而对于能改（增强）的东西，DLSS 5则用了一个专用的网络，这个网络只需要增强光照和材质这些内容，体积会比Stable Diffusion这些一般的AI生图模型更小，速度也更快——因为渲染器已经绘制好了图像，DLSS 5只需要在此基础上操作，而AI生图模型要从零，或者说一张噪声图开始。
好了，很显然，我们已经聊到了速度问题。
DLSS 5还采用了单步扩散推理，这比一般的AI生图模型要少得多（举个例子，Z-Image-Turbo要8步）。不过NVIDIA也提到，虽然在一般模型身上，步数更多质量会更好，但是DLSS 5是个特化模型，步数的增加未必能带来明显的提升。
DLSS 5的架构是Transformer，和DLSS 4超分辨率一脉相承，在RTX系列显卡上有着成熟的软件优化。在设计时，NVIDIA结合了神经架构搜索和定向消融，找出了在Tensor Core上兼顾质量和效率的网络架构。此外，Tensor Memory Accelerator（张量内存加速器，TMA）解决了传输问题，提高了Tensor Core的计算密度。
不过目前DLSS 5并没有采用NVFP4这种新格式，大多数的GEMM和注意力操作使用的是FP8。少部分GEMM使用FP16。NVIDIA表示，对于功能一样的模块，FP8的推理速度是FP16的两倍。
NVIDIA还披露了DLSS 5的参数：1.54亿的Transformer模型，听上去很大？让我们用AI模型的常用计数单位再说一遍好了：0.154B，这样听起来是不是迷你多了？所以也不用太担心显存。
另外，DLSS 5和视频生成模型有一点不同的是，它采用了逐帧流式推理。也就是说接收到一帧，就会处理输出一帧，不去考虑更后面的帧。这有两个好处，一是很适合游戏场景，AI是无法预测玩家接下来的行动的；二则是和生成速度有关，一帧出入延迟更低，而且处理单帧比多帧要耗费更少的显存。
虽然我还想说一下开发者对于DLSS 5的AI模型自定义能力，还有A、B、C三个模型的问题，但是时间实在不太足够，还好，GeForce网站上面有关于这方面的详细介绍。而上面的内容则大多来自NVIDIA Research的论文《DLSS 5: Real-Time Generative Rendering》，这篇论文比GeForce网站来得更加详细，而我选取了一些大家可能感兴趣同时GeForce网站可能没有详细提及的内容作为介绍。
DLSS 5对画面的增强，和保留
《NBA 2K27》是一个关于打篮球的游戏，自然，我们需要把焦点集中在人物上，包括球员和场边的替补、教练、观众和摄影等。不过我个人对NBA这块是真不熟，所以球员这些有哪里说错了请见谅。
另外我需要说明一点，DLSS 5的强度是由开发者进行控制的，游戏设置里只有开和关两档。我也不知道2K到底用了哪个模型，又设置了多少强度，因此下面的评论只针对《NBA 2K27》这款游戏，不应该视为DLSS 5的全部。
先来看看第一组截图，传奇黑曼巴，科比·布莱恩特。老实说，即使不放大，你也能看到DLSS 5带来的提升有多么巨大。光照像是被重做了一样，令科比的脸部、手臂都更为立体。在DLSS 5的加持下，游戏截图看起来栩栩如生，如果开了景深、截取部分区域画面、再加点滤镜的话，不说还以为是哪场比赛录像呢。Man，What can I say？
DLSS 5 ON
DLSS 5 OFF
当然，DLSS 5的效果是套用在整个画面上的，这里我们放大看这个篮球。篮球的明暗对比更加明显，立体感增强不少。还有，注意科比的手和篮球接触的位置，DLSS 5增加了更真实的遮蔽阴影，拥有柔和平滑的过渡，非常棒。
DLSS 5 ON
DLSS 5 OFF
最后我想说一下DLSS 5的保留，这点对于理解DLSS 5挺重要的。在这里我们进一步放大，看看科比的裤子部分。你会注意到裤子的精细度，或者说分辨率本身其实没有变动，DLSS 5只是增强了打光，让裤子显得立体。而右下角那种奇怪的折叠是因为布料模拟计算造成的，DLSS 5的AI没有去改动，而是把这种结构保留了下来。
DLSS 5 ON
DLSS 5 OFF
接下来是詹皇，勒布朗·詹姆斯。除了我们刚才已经说到的脸部、手臂和篮球部分的增强外，这里我想请大家仔细看看衣服上的细节。正如上面所说，衣服本身的精细度和结构是没有改动的，但DLSS 5显著增强了光照，这令上面因运动造成的皱褶更加明显、立体。
DLSS 5 ON
DLSS 5 OFF
球鞋部分能进一步地看到DLSS 5的变和不变。这里我们放得很大，先看球鞋的鞋带、鞋口，还有鞋底的外沿部分，你会看到一些比较生硬的线条，在这些地方省多边形很正常（这毕竟不是二游），而DLSS 5忠实保留了这些结构，没有更改。然而DLSS 5又能给鞋带、鞋口加上遮蔽阴影，非常好玩。
DLSS 5 ON
DLSS 5 OFF
下面我们再看看场边的情况，和球员相比，这些NPC不会投入太多资源——从他们的乏善可陈的衣服上可以看出这点，但只要摄像机对准，DLSS 5仍然为他们增色不少。特别是第二组细节图里相机，DLSS 5连相机模式拨盘的遮蔽阴影都给加上了，不得不服AI的注意力。
DLSS 5 ON
DLSS 5 OFF
DLSS 5 ON
DLSS 5 OFF
看了那么多截图，我知道肯定会有人在想，既然DLSS 5那么强，那么我直接把画质拉低，让DLSS 5顶上不就行了？嗯，这个想法是不错，但其实实现起来会有画质和性能两方面的问题，先说画质。
这是全低画质下的詹姆斯投篮，你能看到他的一切都是有棱有角的，材质分辨率也不高，整个画面有种梦回PS4早期的感觉。开了DLSS 5后，多边形结构、球衣上的NBA标志其实保持一致，就还是那么低。只是光照被加强了——看脸部，特别是额头、眼窝和嘴部；手掌，特别是食指和中指处，都很明显。
总的来说，低画质下的DLSS 5有种很奇妙的感觉，打个比方就是用现代技术做的复古画面游戏：多边形照旧，光源猛猛加。话说，要是真在老游戏上用DLSS 5，那感觉应该会很奇特，就看这项技术什么时候加进RTX Remix了。
DLSS 5 ON
DLSS 5 OFF
最后再通过街球模式说一些我在意的事情：DLSS 5也并非万能的画面许愿机，如果游戏确实没做一些很基础的东西，那它也不会斗胆加上。下面这张截图能很明显地看到，开发者直接忽略了观众们的投影（但是静态的场景投影还在，bruh），只有球员是有影子的，那么DLSS 5也不会硬加上投影，不过观众的鞋子还是有遮蔽阴影的，这样看起来他们就不像是浮在空中了。
DLSS 5 ON
DLSS 5 OFF
DLSS 5 ON
DLSS 5 OFF
DLSS 5的性能
因为本次体验着重于画质考察，所以测试部分就比较简略了，仅用了四张卡，针对不同的分辨率。当然，不同设置的叠加效果如何，我们也会测一遍。不过你看图表也能推测出，这种情况下没有哪张卡能说得上是轻松扛住的。
虽说DLSS 5和DLSS超分辨率、光线重建这些是同源的，都用了Transformer架构，但是DLSS 5的焦点在于画面质量的提升，而非性能。这点直接把上面的截图和下面的图表结合在一起看就知道了。而且你会发现另一件事，DLSS超分辨率对于DLSS 5的影响非常小，这是个先后顺序问题：因为DLSS 5是在渲染的最后一环对画面进行增强，而不是在DLSS超分辨率拉伸之前操作，所以全分辨率的画面会作为参数灌到模型里面。
具体建议嘛...开个帧生成，就这么简单。反正DLSS 5目前也是RTX 50系列独占，实在决定不了开多少倍帧生成就用动态吧。
4K分辨率 | RTX 5080 | 极佳 + RT极佳 | SR模型：M
2K分辨率 | RTX 5070 | 极佳 + RT极佳 | SR模型：K
1080P分辨率 | RTX 5060 | 极佳 + RT极佳 | SR模型：K
追加测试 - 1080P分辨率 | RTX 5060 Ti 8GB | 极佳 + RT极佳 | SR模型：K
我们还特意测试了游戏画质降低对帧率的提升程度，其实影响不大，原因上面说了，而且你还要忍受有棱有角的球员建模，还不如直接开帧生成来得舒适。
追加测试 - 4K分辨率 | RTX 5080 | 低 + RT低 | SR模型：M
总结：又一次画质飞跃
DLSS 5无疑是继路径光追之后，实时渲染画质的又一次飞跃。得益于DLSS 5 AI模型的强度和RTX 50系列Tensor Core的高性能，在《NBA 2K27》中，比赛画面相当逼真，球员的精彩回放更是直逼实拍。不开玩笑，若是想怀念某位球星的黄金时代，直接开DLSS 5打场比赛就完事了，游戏录像做到比视频模型生成的短片还要真实是有可能的。而从球员的球鞋、街球模式的观众中可以看到，DLSS 5也是有着自己的一套规则，是增强并非爆改。不过，这也会让人思考一个问题：如果DLSS 5在年货游戏上就已经有如此的效果，那用在开发多年，精心打磨的3A上会有多强大的画面提升？这真的令人期待。
然后是离不开的话题，性能。不得不承认，DLSS 5非常耗费资源，和路径光追一样，帧生成是个必选项而不是可选项，而且想要帧率高还要开3倍、4倍。哦对了，说到光线追踪，我们还要注意到一点，这次体验的《NBA 2K27》仅有光线追踪反射，如果是一些更吃GPU的游戏碰上DLSS 5，那帧率也是很值得思考的一件事。不过，从NVIDIA的官方博客中可以知道，3月时DLSS 5需要两张RTX 5090才能运行，这次只要是RTX 50系列都能运行了，证明DLSS 5的进化还是很迅速的。另外，他们还说了秋季还会推出一版性能更好的模型，这同样是值得期待的一点。