新智元报道
编辑：alan
【新智元导读】大模型的能力是否已经触及极限？Business Insider采访了12位业内前沿人士。众人表示，利用新类型的数据、将推理能力融入系统， 以及创建更小但更专业的模型，将成为新一代的范式。
大模型的发展已经陷入瓶颈了吗？
近几周，关于这件事情的争论愈演愈烈。
市场的信心很重要，CEO们赶紧出来回应。
领头羊OpenAI最早发声，Altman明确表示：没有的事。
随后，Anthropic的CEO Dario Amodei和英伟达的老黄，也站出来向众人保证。
不过，包括硅谷风投大佬Marc Andreessen在内的一些人则认为，这么长时间了，也没看到什么明显的进步，表现最好的几个模型，性能也大差不差。
花儿谢了，冬天来了，又一年要过去了，GPT-5呢？
这关系到未来价值万亿美元的AI市场，如果烧钱的Scaling Law被证实回报越来越少，就会影响到当前的投资周期。
包括新的初创公司、新的数据中心、新的产品，甚至是重新启用的核电站。
为此，Business Insider采访了12位人工智能行业的前沿人士，包括初创公司的创始人、投资者，以及谷歌DeepMind和OpenAI的现任（和前任）员工， 探讨了在追求超智能人工智能（superintelligent AI ）的过程中所面临的挑战与机遇。
AGI的内幕
预训练的难题
研究人员指出， 在人工智能开发的早期阶段（即预训练阶段），公司可能会遇到两个关键障碍。
第一个障碍是获取计算能力，具体来说就是买显卡。
这个市场主要由芯片巨头英伟达主导， 而英伟达在持续的高需求下面临着数钱的困难供应的挑战。
法国风险投资公司Singular的合伙人Henri Tilloy表示，也许你可以拿出5000万美元买GPU，但你在很可能在英伟达的供应名单上排在最后——等不起。
另一个供应问题就是训练数据。尽管每年向大模型投入更多的数据和GPU，能够可靠地产生更智能的模型， 但公司们已经耗尽了互联网上公开可用的数据。
研究公司Epoch AI预测， 到2028年，可用的文本数据可能会被完全耗尽。
Clarifai的创始人兼首席执行官Matthew Zeiler表示，互联网的规模是有限的。
多模态与私有数据
数据初创公司Encord的联合创始人Eric Landau认为，当公共数据陷入瓶颈时，就需要其他数据来源发力了。
一个例子是多模态数据，将视觉和音频信息（如照片或播客录音） 输入到AI系统中。
「这只是增加数据的一种方式（增加更多的数据模态），尽管实验室和企业已经开始用了，但还算不上是充分利用」。
Lamini平台的联合创始人兼CEO Sharon Zhou，发现了另一个尚未开发的领域：私人数据。
许多公司已经与出版商签订了许可协议，以获取他们庞大的信息资源。
例如OpenAI与Vox Media、Stack Overflow等组织建立了合作关系， 将受版权保护的数据引入自己的模型中。
Sharon Zhou说，「与我们的企业客户和初创客户的合作表明，私人数据中蕴含着许多对模型非常有用的信号。」
数据质量
目前，许多研究工作正集中在提高LLM训练数据的质量，而不仅仅是数量。
Sharon Zhou表示，研究人员以前在预训练阶段可以「对数据相对懒惰」，只需将尽可能多的数据输入模型，看看哪些有效。
「现在这种做法已经不再完全适用了，公司正在探索的一种解决方案是合成数据。」
初创公司Aindo AI的首席执行官Daniele Panfilo也相信，合成数据可能是「提升数据质量的强大工具」，因为它可以「帮助研究人员构建符合其具体信息需求的数据集」，这在AI开发的后训练阶段（post-training）特别有用。
一位前谷歌DeepMind的员工透露，Gemini已经改变了战略，从追求规模转向追求高效。
「我认为他们意识到，服务如此庞大的模型实际上非常昂贵，因此通过后训练去适配专业的下游任务是更明智的选择。」 理论上，合成数据为提升模型的知识水平提供了一种有效的方法， 使其更加精简和高效。
然而，在实际应用中，关于合成数据在提升模型智能方面的有效性，并没有达成一致的看法。
Hugging Face的联合创始人Thomas Wolf就表示，「通过合成数据Cosmopedia我们发现，在某些方面它确实有帮助，但并不是解决数据问题的灵丹妙药」。
Databricks的首席AI科学家Jonathan Frankle也认为，在合成数据方面没有「免费午餐」，并强调 「如果没有人类的监督，也没有过滤和选择哪些合成数据最相关的过程，那么模型所做的只是重复自己的行为」。
构建推理模型
仅仅关注训练部分是不够的。
前OpenAI首席科学家Ilya，表达了对于预训练模型的Scaling Law已经停滞不前的担忧，「大家都在寻找下一个突破。」
当前，行业的关注越来越多地转向推理模型（reasoning model）。在本月的微软Ignite活动上，首席执行官Satya Nadella宣布，
Scaling Law并没有遇到瓶颈，新的范式已经出现，那就是test-time compute。
——允许模型在面对复杂的用户提示时，花费更长的时间来做出响应。
比如Copilot推出的新功能：「think harder」，通过延长时间来解决更难的问题。
AI初创公司Agemo的创始人Aymeric Zhuo说，推理（reasoning） 「一直是一个活跃的研究领域」，尤其是在「行业面临数据壁垒」的情况下。
来自投资公司Balderton的Sivesh Sukumar也表示，「考虑人脑的工作方式，即使是最聪明的人也需要时间来找到问题的解决方案。」
九月份，OpenAI发布了新的推理模型o1。
「从第一原则进行推理」并不是LLM的强项，因为它们是基于「下一个单词的统计概率」来工作的。但如果我们希望LLM能够思考并解决新问题，就必须让它们进行推理。
OpenAI研究员Noam Brown在上个月的TED AI演讲中提到：「结果表明，让一个机器人在一局扑克中思考20秒的效果，和将模型规模和训练时间同时扩大100,000倍是一样的。」
未来预期
前DeepMind员工表示，「行业可能需要适应一个较慢的进步节奏。我们经历了一个疯狂的时期，模型的进步非常迅速，这种情况以 前从未出现过。今年的进步速度没有那么快，但这并不意味着出现了瓶颈。」
Lamini的Sharon Zhou对此表示赞同。她指出，规模法则是基于对数尺度而非线性尺度。换句话说，应该将AI的进步视为一条曲线， 而不是图表上的一条直线。这使得开发成本远高于我们对这项技术下一个实质性进展的预期。
「这就是我们的期望在我们想要的时间框架内无法实现的原因，同时也是为什么当能力真正出现时我们会感到惊讶的原因。」 那么，投资者和客户是否愿意等待？
参考资料：
https://www.businessinsider.com/generative-ai-wall-scaling-laws-training-data-chatgpt-gemini-claude-2024-11