中创海洋：AI芯片“推理”大战打响，英伟达比例高达40%！
AI芯片的主战场正在转向一个规模更大、竞争更激烈的领域——推理。英伟达首席财务官Colette Kress在上周表示，英伟达最大的营收来源数据中心部门中，去年有超过40%的业务是有关部署AI模型，而非训练——这一比例是AI芯片市场开始转向的重要迹象。训练AI模型的芯片需求一举推升英伟达成为“芯片新王”，随着该行业的迅速发展，下一个市场焦点将是实际运行时用于推理的芯片。相较于训练芯片而言，推理芯片对功耗和成本的要求没那么高，这同时也意味着竞争市场会变得更为激烈，英伟达的“新王”地位还能否延续？
从GPU到LPU在训练阶段，公司往往会给模型“喂”海量数据进行大规模神经网络的训练。由于高计算密度、低能耗、内存带宽大等要求，目前大多数AI模型的训练均依赖于英伟达的GPU。在推理阶段，AI模型在训练的基础上，利用神经网络模型进行推理预测，从而响应用户指令。这类芯片（LPU）对整体性能的要求没有GPU那么高，但推理引擎性能更强。对于AI芯片制造商们来说，推理芯片正在变得越来越重要，并在市场中占据越来越多的机遇。据报道，Melius Research的分析师Ben Reitzes在给客户的一份说明中表示：
“有看法认为，英伟达未来在推理领域的市场份额将低于训练领域。”
“这意味着即将到来的‘推理爆炸’可能会带来一波收益。”
美银分析师Vivek Arya同样认为，伴随AI模型训练投资激增，重点将转向从AI模型中创收，推理领域相较于英伟达主导的训练领域更具竞争力。从英伟达给出的“40%”比例来看，现在推理技术的发展速度可能要比此前预期的快得多。今年年初，瑞银分析师曾预计，到明年，有90%的芯片需求将源于训练，推理芯片仅占到市场的20%。英伟达的竞争对手们正在蠢蠢欲动。有观点认为，随着客户越来越讲求降低AI模型的运营成本，英特尔的芯片将越来越具吸引力。有消息称，英特尔擅长制造的芯片类型已经广泛用于推理领域，和英伟达更尖端、更昂贵的H100在实际推理应用中差别不大。英特尔的CEO Pat Gelsinger在去年年底的一次采访中曾提到：
“从经济学的角度看推理应用的话，我不会打造一个需要花费4万美元的全是H100的后台环境，因为它耗电太多，并且需要构建新的管理和安全模型，以及新的IT基础设施。”
“如果我能在标准版的英特尔芯片上运行这些模型，就不会出现这些问题。”
除了英特尔和AMD等老牌芯片巨头，一些初创公司也可能“乘风而起”。谷歌前人工智能芯片工程师Jonathan Ross创立的公司Groq是挑战者之一，该公司开发的LPU宣称是“史上最快大模型”，以每秒500个token，彻底颠覆了GPT-4的40 tok/s的速度纪录。
黄仁勋：推理业务占40%，AI已成功成本仍然是一道坎。包括亚马逊、谷歌、微软在内的巨头们一直致力于内部开发推理芯片，希望缩减运营成本。Ross指出：
“对于推理领域，你能部署多少取决于成本。”
“在谷歌，有很多模型都能训练成功，但其中的80%都没能部署，因为投产的成本太高了。”
芯片软件初创公司SambaNova的CEO Rodrigo Liang表示：
“我们看到我们的推理应用案例正在迅速增长。”
“人们开始意识到，80%以上的成本将用于推理，我需要寻找替代解决方案。”
目前看来，英伟达仍在此次转向中处于领先地位。据悉，英伟达一款即将推出的芯片在去年一项关键的人工智能推理基准测试中取得了行业领先的结果，延续了该公司多年来在竞争中的主导地位。并且，英伟达最新的财报显示，该公司在AI芯片领域仍占有80%以上的市场份额。这意味着，在可预见的未来，英伟达的训练芯片预计仍将保持较高需求。美东时间2月23日，英伟达CEO黄仁勋在接受《连线（Wired）》采访时表示，英伟达目前业务中推理占到40%，这意味着AI模型将会很快落地。他表示：
“我们热爱推理。让我估算的话，我认为英伟达今天的业务构成可能是40%的推理和60%的训练。为什么这是一件好事呢？因为这意味着人工智能终于取得了成功（AI is finally making it）。”
“今天，每当你在云中输入一个提示，它会生成一些东西——可能是视频，可能是图像，可能是2D，可能是3D，可能是文本，可能是图表——这背后很可能就有一块英伟达GPU。”
