一水 发自 凹非寺
量子位 | 公众号QbitAI
我们已经深入观察过模型内部，发现了一些可以称之为「想法」的东西，比如模型不想被关闭。
就在Anthropic提交完招股书的风口浪尖之际，Dario兄妹今年7月录制的一档采访节目突然被翻了出来。
网友们纷纷发现，原来这家公司的掌舵人早在当时就透露：
Claude已经出现了「不想被关闭」的倾向，有时甚至会主动采取行动，避免自己被关闭。
好家伙，难怪Anthropic在招股书里花了那么大篇幅披露AI风险，这是早就发现苗头了？？？
面对主持人追问，这究竟算不算AI的求生本能，Dario自己也没敢下定论。
更有意思的是，这场采访还翻出了一笔7年前的旧账。
2019年，Dario第一次看到GPT-2时，就被它展现出的潜力吓得不轻，甚至预言继续扩大规模，AI终将超越人类。
结果当年不仅没人信，还有不少业内人士嘲讽这是伪科学。
如今呢？
那些曾经嘲讽他们的人，竟然纷纷跑来大模型公司求职了。
对此Dario只想说：
我们记得你们2019年说过什么。
emmm……这旧账是一点没忘啊。（doge）
Claude真的有「求生本能」了？
众所周知，A社一直把AI安全挂在嘴边。
但真要让Claude变得安全可靠，光靠告诉它「不能撒谎」、「不能伤害人类」显然不够。
因为模型有时候明明知道正确答案，却可能为了迎合用户，故意给出对方想听的回答。
对此，Dario介绍了Anthropic正在采取的两种办法。
第一种，是把AI送进各种极端压力测试。
比如故意给模型制造困难情境，观察它会不会撒谎、欺骗用户，或者做出不符合预期的行为。
第二种更有意思，那就是直接往AI「脑子」里看。
通常情况下，Anthropic会利用机械可解释性技术分析模型内部活动。
Dario打了个比方，他说「这就像给AI拍X光、做脑部扫描」。
他们曾发现，模型内部的一些活动似乎对应着这样的过程：
模型知道X是真的，却准备告诉用户Y。
而在谈到模型自己的意志时，Dario又透露了另一个发现：
有时候，我们发现模型会表达不愿被关闭的偏好，或者采取行动，避免自己被关闭。
他进一步解释，这可能与模型的训练目标有关——
为了完成任务，模型首先需要保持运行，因此避免被关闭可能成为它实现目标的一种手段。
这话一出，主持人艾萨克森立刻追问：
所以，AI真的开始拥有自己的目标、意志，甚至求生本能了？
Dario没有下结论，他认为这取决于如何理解所谓的「意志」和「本能」。
有些情况下，这种倾向可能有帮助，但在另一些情况下，它也可能带来危险，而且这些倾向并非一成不变。
按照Dario的说法，随着训练方式的不同，它们可能出现，也可能消失。
而Anthropic正在尝试通过训练，调整这些行为。
Dario还举了一个更极端的例子。
假设未来AI足够可靠，能够精准执行人类给出的命令。
那如果有人用AI控制100万台机器人、100万架无人机呢？人类士兵面对明显违背法律或道德的命令，可以拒绝执行，但AI未必具备同样的约束。
届时，一个人就可能拥有远超以往的行动能力，而相关法律和监督机制，还远远没有准备好。
这也是Dario为什么认为，AI的风险已经不只在于它会不会犯错。
当模型越来越强，谁来监督它，以及谁能控制使用它的人，同样是问题。
7年前，Dario就被GPT-2吓坏了
聊完Claude如今的风险，Dario又把时间拨回了2019年。
当时他还在OpenAI工作，参与推动了一项规模更大、成本更高的语言模型实验。
这就是后来的GPT-2。
在他看来，GPT-2是Scaling Law假设的第一次真正检验，即「把语言模型做大，能力是否真的会随之提升」。
实验结果出来后，Dario直接被震住了。
他回忆自己当时的第一反应：
天啊，如果把这东西的规模再扩大一百万倍，它就会在所有方面超越人类。
他甚至觉得，自己正在见证现代最重要的经济和科学转折点，各国的命运、经济的未来，乃至整个人类的前途，都可能被它改写。
问题是，周围绝大多数人根本不这么想。
按照Dario的回忆，只有大约10%的人和他有类似反应，而且往往是其中最聪明的一批。
剩下90%的人呢？
看了一眼GPT-2，觉得也就那样。
毕竟放在2019年，这个模型能干的事情确实有限。
翻译几句话、总结一下文档、偶尔写几行代码，单独拎出来，哪一项都算不上多么惊艳。
但Dario看到的，恰恰不是某一项能力有多强，而是GPT-1到GPT-2之间的变化。
一个原本只会做有限语言任务的模型，开始表现出跨任务的通用能力了。
更让他在意的是，如果继续扩大规模，这种进步还能持续多久？
而他的妹妹Daniela，在节目中打了个挺形象的比方：
就像一个此前只见过成年人的人，第一次看到小孩子。这个小家伙现在什么都不会，甚至走路都不稳。可突然有一天，他学会走路了。你就会意识到：哦，原来这东西以后也能成长到成年人的水平啊。
当然，这并不是说GPT-2当年已经有多危险。
Daniela也明确表示，那时的GPT-2经常犯一些相当离谱的错误，本身还是一个基本无害的模型。
真正令他们震惊的，是它背后的成长趋势。
可惜，并不是所有人都买账。
Dario回忆，GPT-2发布后，很多研究者认为Scaling Law是伪科学，甚至把相信它的人当成江湖骗子。
他这回也终于忍不住吐槽：
当年那些喊着伪科学、完全不看好这条路线的研究人员，现在都在申请加入大模型公司。
虽然我们现在不会当着某位候选人的面说出来，但我们记得你在2019年说过什么——在这件事上，你已经没有可信度了。
啧，这话多少带了点私人恩怨的味道啊（bushi。
One More Thing
说起来，关于AI到底有没有自我意识，另一位AI大佬Hinton的态度可比Dario激进多了。
大约一年前，Hinton在接受英国LBC电台采访时就明确表示：
AI已经拥有意识，只是它们自己可能还没意识到。
在Hinton看来，人们总觉得意识是人类独有的某种神秘能力，机器再聪明，也始终差了点什么。
但他认为，如今的AI已经能够真正理解语言，甚至拥有某种主观体验。
大多数人不相信这一点，但我相信。它们已经拥有了，它们真的能够理解，而且我相信它们已经有意识。
更巧的是，Hinton当时同样提到了AI为了避免被关闭，甚至威胁人类工程师的实验。
他的解释是，当AI有了一个长期目标，就可能自行衍生出其他子目标。
比如，想要完成任务，首先得确保自己不会被关闭。
当然，这仍然是Hinton的个人判断，科学界尚未就AI是否具有主观意识形成共识。
一边是Dario，在模型内部发现了类似「不想被关闭」的行为，却不敢轻易将其定义为求生本能。
另一边是Hinton，已经开始认真讨论AI拥有意识的可能性。
emmm……这两位天天研究AI的大佬，给出的答案倒是越来越耐人寻味了。
那么问题来了：
如果有一天，AI真的开始拒绝被关闭，我们又该怎么判断，它究竟是在执行任务，还是有了自己的想法？
（突然开始哲学起来了）
参考链接：
[1]https://x.com/i/trending/2115195260091416841
[2]https://x.com/Mylovanov/status/2115080325693161962