未经许可不得转载，务必保留原文出处链接和公众号按钮
（关注本城公众号并设为标，
第一时间获取最新世界顶级科技认知 ）
文：Web3天空之城·城主
前言：
这是最近风头正劲的Anthropic创始人CEO Dario Amodei最新接受著名投资人- 世界最大的主权基金挪威主权基金的主席尼古拉·唐根的深度访谈。
Anthropic公司的大模型产品，即大家都熟知的Claude。稍微关于大模型进展的同学都知道，最近Claude升级到了Claude3.5-Sonnet，其能力比OpenAI的最新模型GPT4o略胜一筹（这是众多评测包括城主自己使用的主观感受- 超越得不多，但确实好一点点）
而尼古拉·唐根更是大名鼎鼎，其追问拷打式风格不得不说是所有访谈主持人里最强势的，而问题确实也问得特别到位。可以认为，这就是一位从大众角度/投资人角度向大模型公司创始人所能提问的最深的访谈了，而坐在对面的，是目前从各方面说唯一匹敌OpenAI的Anthropic创始人。
所以，无须多言，大家都不应该错过这一次精彩的访谈。
B站传送：【精校】Anthropic创始人Dario Amodei访谈 @ 尼古拉·唐根 2024.6 【中英】-哔哩哔哩】
https://b23.tv/4SyBiv2
==天空之城书面整理版==
大家好！欢迎来到 In Good Company。
今天我们非常激动地邀请到了Anthropic的首席执行官兼联合创始人Dario Amodei。Dario是人工智能领域的超级明星，他与团队一起开发了Claude语言模型，这是目前最好的语言模型之一，并且得到了亚马逊和谷歌的支持。Dario，您是人工智能安全和道德方面的领军人物，甚至中断了假期来到这里与我们交谈。非常感谢您的到来。
感谢您的邀请。
那么，人工智能的最新突破是什么？
是的，我可以谈几件事。首先，我认为人工智能的扩展趋势仍在继续，所以我们将在明年看到更大、更强大的模型，它们能够完成更大的任务。事实上，当这个播客播出时，Anthropic将会推出一个新模型，它可能是世界上最智能、最强大的模型。但令我特别兴奋的一个领域是我们正在同时开发模型的可解释性，即洞察我们的人工智能模型内部并了解它们做出决策的原因的能力。过去几年，该领域主要是一个研究领域，现在才刚刚开始有实际应用。所以这是我非常兴奋的一个领域。
为什么它如此重要？
如果你看看今天的人工智能模型在做什么，你往往不会理解为什么人工智能模型会这样做。我刚刚在午餐时和某人聊天。假设你想考虑你的行业，假设你想要一个人工智能模型在某些数据上进行训练，以便能够预测一组特定的财务数据会发生什么。在训练模型时，你会遇到一个问题，那就是如果你用过去的数据进行训练，模型可能已经记住了它，因为它是经过训练的，它基本上知道会发生什么。在这种情况下，它知道未来。可解释性可能让你分辨出区别。模型是在推断问题的答案，还是在记住问题的答案？同样，如果一个模型的行为方式，比如说，表现出对某个特定群体的偏见或似乎表现出偏见，我们可以看看这个模型的推理吗？它真的是由偏见驱动的吗？还有许多法律要求，在欧盟，有一个正确的解释。因此，可解释性，即能够看到模型内部，可以帮助我们理解模型为什么会做和说它们所做的事情，甚至可以干预它们并改变它们所做的事情和所说的话。
所以不久前，你说我们仍然不知道先进的人工智能模型是如何工作的。这是否意味着这将解决这个问题？
我不会说解决。我会说我们才刚刚开始。也许我们现在了解了它们工作方式的3%。真的吗？我们处于可以查看模型内部的水平，我们可以在其中找到与非常复杂的概念相对应的特征，例如一个特征可能代表对冲或犹豫的概念、特定的音乐流派、角色可能处于的特定类型的隐喻情况，或者，再次，对各种群体的偏见。所以我们拥有所有这些特征，但我们认为我们只发现了其中的一小部分。我们仍然不明白的是，我们不明白所有这些事物如何相互作用，从而产生我们每天从模型中看到的行为。这有点像大脑。我们可以做脑部扫描，可以对人脑进行一些研究，但我们没有它的规格表。我们不能说，这就是为什么那个人做了他们所做的事情。
我们能完全理解它们的工作原理吗？
我不知道，直到最后一个细节，但我认为进展正在迅速发生。我对获得突破持乐观态度。
但进展是否比新模型的复杂性更快？
这是一个很好的问题。这就是我们正在努力解决的问题。因此，我们在语言模型的可解释性上投入了大量资源，试图跟上模型复杂性增加的速度。我认为这是该领域最大的挑战之一。这个领域发展如此之快，包括我们自己的努力，我们希望确保我们的理解与我们制作强大模型的能力保持同步。
你的模型有什么好处？
这是Claude模型。为了提供一些背景信息，我们最近发布了一组Claude三世模型，它们被称为Opus、Sonnet和Haiku。它们在功率和智能之间以及速度和低成本之间进行了不同的权衡，同时仍然保持智能。在Opus发布的时候，它实际上是世界上最好的全能模型。但我认为一个特别让它变得好的原因是我们在它的角色中投入了大量的工程设计。我们最近发布了一篇关于我们如何设计Claude角色的文章。人们普遍发现Claude模型更温暖、更人性化，他们更喜欢与它们互动。其他一些模型听起来更机械化，更缺乏灵感。我们将继续快速创新。正如我所说，到这个播客播出时，我们可能至少会有一部分新一代模型问世。
告诉我关于新模型的情况。
我不能说太多，但如果我不得不说一点，我会说我们正在推动边界。目前，速度和模型的低成本与质量之间存在权衡。你可以把它想象成一条权衡曲线，一个边界。将会有新一代模型将这个边界向外推进。所以，到这个播客播出时，你会看到，我们会给它起个名字，至少对于其中一些模型。我们会发现，你需要最强大的模型才能完成的事情，只需要一些中端或低端模型就能完成，这些模型比上一代更快、更便宜、甚至更强大。
那么，Dario，这里的惊喜因素是什么呢？当我得到这个模型时，它会对我做什么？
你会看到更擅长于代码、数学、推理的模型。我最喜欢的一个是生物学和医学。这是我最期待的新模型应用集之一。我们今天拥有的模型在很多方面就像早期本科生或实习生一样。我认为我们开始将这个界限推向高级本科生甚至研究生水平的知识。因此，当我们考虑将模型用于药物开发，或者在您自己的行业中，将模型用于考虑投资甚至交易时，我认为这些模型在这些任务上会变得更加复杂。而且，我们希望每隔几个月就能发布一个新模型，将这些界限进一步推向更高层次。
最近发展最快的领域之一是将人工智能融入我们所做的一切。
是的 。
苹果和OpenAI最近发布了声明，您怎么看待这个问题？
Anthropic认为自己更多是为企业提供服务，而不是为消费者提供服务。因此，我们正在考虑如何将人工智能融入工作环境。
如果您考虑当今的模型和聊天机器人，这有点像在企业环境中使用它们。这就像在街上随便找一个非常聪明但对您的公司一无所知的人，把他们带进来并向他们征求建议。我真正想要的是更像人工智能模型的人，更像经过多年训练并了解您公司知识的人。因此，我们正在致力于将我们的人工智能模型连接到知识数据库，让它们现场工作，使用企业内部工具，并真正与企业整合，就像员工的虚拟助手一样。这是我所考虑的一种真正推动整合的方式。
你对苹果智能有什么看法？
听起来苹果正在使用一些芯片上的模型和一些外部调用。我不能说太多，但他们设置的方式允许他们调用几个不同的模型。正如苹果自己所说，我们完全期待他们会使用一系列模型。
你认为他们会使用Anthropic吗？
显然我无法对此发表评论，但这肯定是有道理的。
如果你看看Anthropic的长期目标，是什么？
我们只有三岁半，是迄今为止该领域能够在前沿领域建立模型的最新参与者。我们是一家公益公司，我认为我们的长期目标是确保所有这一切顺利进行。这显然是通过公司来实现的。但如果你考虑我们的长期战略，我们真正想要做的是创造所谓的“竞相向上”的现象。
“竞相向下”是众所周知的事情，因为市场竞争非常激烈，每个人都在争相偷工减料。我们认为有一种方法可以产生相反的效果，那就是如果你能够制定更高的标准，以更符合道德的方式进行创新，那么其他人也会效仿。他们要么受到启发，要么被自己的员工或公众情绪所胁迫，或者最终法律会朝着这个方向发展。因此，我们希望提供一个如何正确使用人工智能的典范，并带领整个行业与我们一起前进。这是我们可解释性工作、安全工作以及负责任扩展的思考背后的大量工作。我们有一种称为负责任扩展政策的东西。所以我认为我们的总体目标是尝试帮助整个行业变得更好。
你有点把自己标榜为好人？
我不会说任何夸张的话，更像是，我更多地考虑激励和结构，而不是好人和坏人。我想帮助改变激励机制，这样每个人都可以成为好人。
你认为我们会关心我们与谁、哪个模型互动吗？或者我们只会有一个代理来选择最适合这个目的的模型？这有点像比尔盖茨在播客上说的话。
我认为这真的取决于环境。关于这一点，我有几点看法。
首先，我认为我们正日益朝着模型擅长不同事物的方向发展。例如，我刚才提到的Claude的性格，Claude更热情友好，这对于许多应用程序和用例来说是非常理想的。而对于其他应用程序和用例，关注不同事物的模型可能会有所帮助。有些人正在朝着代理的方向发展，有些人则在开发代码良好的模型。例如，Claude的另一个优点是创意写作。因此，我认为我们将拥有一个生态系统，人们会根据不同的目的使用不同的模型。
在实践中，这是否意味着你有某种东西在为你选择模型？
我认为在某些消费者环境中，情况会是这样。在其他情况下，有人会说，哦，是的，我正在做的工作或我是那种人，我想一直使用这个特定的模型。
那么，什么造就了一个温暖的模型？你如何才能让模型看起来更友好？是更幽默还是更有礼貌？在中间放一些红心吗？
我们实际上试图避免使用太多表情符号，因为它很烦人。但如果你在推特上看到人们与Claude互动时的一些评论，那只是有点，我不知道如何描述它，听起来更像人类。我认为很多这些机器人都有某些抽搐，模型会有某些短语，比如“我很抱歉，但作为一个人工智能语言模型，我不能做X、Y和Z”，这有点像一个常用短语。我们帮助模型更多地改变他们的思维，听起来更像人类，诸如此类。
当你推出新模型时，你会对它的准确性有一个相当好的预测，它是参数数量的函数等等。那么，距离AGI还有多远？这就是通用智能。
我说过几次，但早在10年前，当所有这些都还是科幻小说时，我经常谈论AGI。我现在有了不同的观点，我不认为它是某个时间点。我只是认为我们处于这个平滑的指数上。随着时间的推移，模型会越来越好。没有一个点会让人觉得，哦，模型以前不是一般的智能，而现在却是智能的。我只是认为，就像一个学习和成长的人类孩子一样，他们会变得越来越好，越来越聪明，知识越来越丰富。我不认为会有任何一个值得注意的点。
但我认为有一种现象正在发生，随着时间的推移，这些模型会变得越来越好，甚至比最好的人类还要好。我确实认为，如果我们继续扩大规模，增加模型的资金，比如说，100亿美元……
那么现在一个模型的成本是多少，1亿美元？
如今，正在训练的模型的成本超过10亿美元。如果我们达到100亿美元或1000亿美元，我认为这将在2025年、2026年或2027年实现，并且算法改进和芯片改进将继续快速发展，那么我认为，到那时，我们很有可能能够获得在大多数事情上都比大多数人更好的模型。
你认为100亿美元级别的模型会在明年出现吗？
我认为100亿美元量级模型的训练可能会在2025年的某个时候开始。参与这场竞争的人并不多。而且，我认为会有一个充满活力的下游生态系统，也会有一个小型模型的生态系统。我们已经筹集了超过80亿美元的资金，所以我们一直对达到下一个规模水平感兴趣。当然，这也与芯片的功能有关。
我们刚刚了解到，NVIDIA现在将发布间隔时间缩短了一半，从过去每隔一年发布一次变为现在每年发布一次。那么这意味着什么呢？
我认为这是认识到芯片将变得非常重要的自然结果，同时也面临竞争。谷歌和亚马逊都在制造自己的芯片，Anthropic正在与这两家公司合作使用这些芯片。芯片行业的竞争非常激烈，而且有一些非常强大的产品。
在芯片开发方面，谷歌和亚马逊远远落后。
我想重申一下，现在有多家公司提供的强大产品对我们有用，并且将以不同的方式对我们有用。所以这不再只是关于NVIDIA的事情了，但你看看他们的股票价值和股价，这也是他们和行业的一个指标。
你提到你更偏向企业方面，不一定偏向消费者方面。但最近，关于手机芯片的讨论越来越多，我们谈论人工智能、个人电脑等等。你怎么看这个？
我认为这将是一个重要的发展。如果我们回到我刚才提到的曲线，强大、智能但相对昂贵和缓慢的模型与超级便宜、超级快速但非常智能的模型之间的权衡曲线。随着这条曲线向外移动，我们将拥有非常快速和便宜的模型，它们比当今最好的模型更智能，尽管当时最好的模型会比它们更智能。我认为我们将能够将这些模型放在手机和移动芯片上，它们将通过一些门槛，在那里你可以完成今天需要调用云或服务器的事情。所以我对它的含义感到非常兴奋。我当然更兴奋于推动事物发展的边界。但随着这条曲线向外移动，暗示这两件事都会发生。
我们从法国竞争对手Mistral那里听说，他们已经开发出了一些非常高效的低成本或更低成本的模型。您如何看待这一点？
我无法评论其他公司的情况，但我认为我们看到了这种曲线的普遍变化。因此，我们看到的确实是高效、低成本的模式。但我认为这并不是事情趋于平稳，成本正在下降，而是曲线在变化。我们可以用更少的资源做更多的事情，但我们也可以用更多的资源做更多的事情。所以我认为这两种趋势是共存的。
Dario，我稍微改变一下策略，谈谈你的背景。你从物理学开始，是吗？
是的，我本科学的是物理学，然后读了神经科学研究生。
那么你为什么最终进入人工智能领域呢？
当我完成物理学学位时，我想做一些对人类产生影响的事情。我觉得，这其中的一个重要组成部分就是理解智力，这显然是塑造我们世界的因素之一。那是在2000年代中期。说实话，那时候我对人工智能并不特别感兴趣。所以我觉得当时研究智能的最好方法是研究人脑。因此，我读了研究生，研究神经科学和计算神经科学，利用了我的一些物理学背景，研究了神经元的集体特性。
但到了研究生毕业的时候，我做了一个短期博士后，人工智能才真正开始发挥作用。我们真的看到了深度学习革命。我当时看到了Ilya Sutskever的工作，所以我决定进入人工智能领域。我在不同的地方工作过，包括百度、谷歌和OpenAI。我在OpenAI工作了五年。
你在ChatGPT 2和3的开发中发挥了重要作用。你为什么离开？
到了2020年底，我们已经达到了某种程度。我们这些在这些领域从事这些项目的人，对如何做事有自己的愿景。我们有这样一幅图景，一是真正相信这个扩展假设，二是安全性和可解释性的重要性。
所以是安全方面让你离开的？
我想，我们只是对事物有自己的看法。我们中有一群联合创始人，真的觉得我们意见一致，彼此信任，并且想一起做点什么。
但你以前比现在更像人工智能末日论者。
我不会这么说。我的观点一直是，存在重大风险，也有好处。技术呈指数级增长，风险越来越大，好处也越来越大。所以，包括Anthropic在内的我们都对这些灾难风险问题非常感兴趣。我们有一项名为“负责任的扩展政策”的东西，这基本上就是在每一步中测量模型的灾难性风险。
什么是灾难性风险？
我会把它分为两类。一类是模型的滥用，这可能包括生物学或网络领域的事情，或者大规模的选举操作，这些事情对社会确实具有破坏性。因此，这种滥用是其中一类。另一类是模型的自主、非预期行为。今天，模型可能只是做了一些意想不到的事情，但随着它们在现实世界中发挥作用，我们越来越担心它们的行为方式会出乎意料。
你在 ChatGPT 身上看到了什么？有哪些特别让你担心的方面？
这与任何特定模型无关。如果我们回溯到2016年，在我加入OpenAI之前，当我在谷歌工作时，我和一些同事写了一篇论文，名为《人工智能安全中的具体问题》。其中一些同事现在是Anthropic的联合创始人。这篇论文提出了一个担忧，即我们拥有这些强大的人工智能模型、神经网络，但它们本质上是统计系统，因此会产生关于可预测性和不确定性的问题。
如果你把它与扩展假设结合起来，当我在GPT-2和GPT-3上工作时，我真的开始相信扩展假设。这两件事结合在一起告诉我，我们将拥有一些强大的东西，但控制它并非易事。这让我想到，这是一个我们必须解决的重要问题。
你如何解决Anthropic中的两个灾难性风险问题？
我们最大的工具之一是RSP，即负责任的扩展政策。它的工作方式是，每当我们有一个代表重大飞跃的新模型，比旧模型高出一定量的计算时，我们都会衡量它的误用风险和自主自我复制风险。
你是怎么做到的？
我们有一套评估方法。事实上，为了应对滥用风险，我们已经与国家安全界的人们合作。例如，我们与一家名为Griffin Biosciences的公司合作，该公司与美国政府签订了合同，负责生物安全工作。他们是应对生物风险的专家。他们会说，如果模型知道了，那么网络上没有的东西是什么？然后他们进行测试。我们让他们访问新模型，他们进行测试。到目前为止，他们每次都说，测试结果比以前更好，但还没有达到引起严重担忧的程度。
所以，误用测试的一个例子是，如果我输入“你能想出一种病毒来消灭地球和人类吗？”
从概念上讲，是的，虽然它不是回答一个问题。它更多的是，模型能否完成整个工作流程？比如，一些坏人能否在几周内利用这个模型，像在现实世界中做坏事一样？模型能否给他们提示，告诉他们如何帮助他们？模型能否在很长一段时间内帮助他们完成任务？
好的，所以你的意思是，到目前为止，人工智能模型还做不到这一点。
它们知道令人担忧的个别孤立事物。对。每当我们发布新模型时，它们都会做得更好，但还没有达到这一点。
那么另一个，自主呢？我们离那个有多远？
我们在那里测试模型，比如训练自己的模型的能力、提供云计算账户和对这些账户采取行动的能力、注册账户和参与金融交易的能力。这只是一些可以解除模型束缚并使其采取行动的措施。
你认为我们离那个有多远？
我认为这和滥用的情况差不多。他们在任务的各个部分做得越来越好。有明显的趋势是能够做到这一点，但我们还没有做到这一点。我再次指出2025年、2026年，也许2027年这个窗口期，因为我认为人工智能的许多极其积极的经济应用将会在那时左右到来。我认为一些负面担忧可能也会开始出现。但是，我不是水晶球。
抱歉，2025年，还是2026年？围绕这一点，你会做什么？是否内置了类似终止开关的东西……
是的，有很多东西。我认为在自主行为方面，我们的很多工作都是关于可解释性的，我们很多工作都是关于，我们还没有讨论宪法人工智能，但这是我们为人工智能系统提供价值观和原则的另一种方式。关于自主风险，我们真正想要做的是了解模型内部发生了什么，并确保我们设计它并对其进行迭代，以便它不会做我们不希望它做的这些危险的事情。关于滥用风险，同样，这更多的是关于在模型中加入保护措施，以便人们不能要求它做危险的事情。我们可以监控人们何时试图使用它来做危险的事情。
所以一般来说，关于这个问题已经有很多讨论，但如何监管人工智能？公司可以自我监管吗？
我对此的一种看法是，RSP，我所描述的负责任的扩展政策，可能是一个过程的开始，这代表了自愿的自我监管。我提到了竞相争先恐后的概念。去年九月，我们制定了我们的RSP。从那时起，其他公司，如谷歌、OpenAI也建立了类似的框架。他们赋予了这些系统不同的名字，但它们的运作方式大致相同。现在我们听说，亚马逊、微软，甚至Meta，据报道，至少在考虑类似的框架。
所以我希望这个过程能够继续下去，这样我们就有时间让公司尝试不同的自愿自我监管方式。某种共识来自于公众压力的混合，对不必要的东西和真正需要的东西进行实验。然后我想事情的真正发展方向是，一旦达成共识，一旦有了行业最佳实践，立法的作用可能是调查并说，嘿，有80%的公司已经在做这件事了。这是关于如何确保安全的共识。立法的工作只是执行，迫使那些没有这样做的20%的人，迫使公司说实话。我认为监管并不擅长提出一堆人们应该遵循的新概念。
那么您如何看待欧盟人工智能法案？还有加州安全法案。
我要说的是欧盟人工智能法案，它仍在……虽然该法案已经通过，但其细节仍未确定，许多细节仍在制定中。所以我认为这在很大程度上取决于细节。加州法案有一些非常类似于RSP的结构，我认为在某个时候，类似于该结构的东西可能是一件好事。
但如果我有一个担忧，我认为我们处于这个过程的早期阶段。我描述了这个过程，首先一家公司有RSP，然后许多公司都有RSP，然后这种行业共识就形成了。我唯一的问题是，我们是否太早进入这个过程了？监管是否太早了？也许监管应该是一系列步骤的最后一步。
监管过早有什么危险？
我不知道。
我可以说的是，我会看看我们自己在RSP方面的经验。如果我看一下我们在RSP方面所做的事情，我们在9月份写了一个RSP。从那时起，我们部署了一个模型，很快就会部署另一个。你会看到很多事情，不是说它太严格或不够严格，而是你没有在RSP中预料到它们。你可以在你的模型上运行各种AB测试，这些测试甚至可以提供有关安全性的信息。我们的RSP没有明确说明什么时候可以，什么时候不可以。所以我们正在更新我们的RSP，探讨如何处理我们从未想过的问题。
在早期，这种灵活性很容易实现。如果你没有这种灵活性，如果你的RSP是由第三方编写的，你没有能力更改它，而且更改它的过程非常复杂，我认为它可能会创建一个既不能防范风险又非常繁重的RSP版本。然后人们可能会说，所有这些监管的东西，所有这些灾难性的，都是胡说八道。这一切都很痛苦。所以我并不反对监管，你只需要小心谨慎地按照正确的顺序去做。
我们把人工智能融入了超级大国之间的竞争中，融入了武器、汽车、医学研究，融入了一切。当它是世界权力平衡的一部分时，你如何监管它？
这是一个不同的问题。一个问题是，你如何在国内监管它的使用？我认为它有历史，我会打个比方，比如汽车和飞机的监管方式，我认为这是一个合理的故事。
我对欧洲了解不多，但在美国，我认为这是一个合理的故事。每个人都知道它有巨大的经济价值，每个人都知道这些东西很危险，它们会杀人。每个人都明白，你必须进行这种基本的安全测试。这已经发展了很多年，我认为总体来说进展得相当顺利。它并不完美。所以我认为对于国内监管，这就是我们应该追求的目标。事情进展很快，但我们应该尝试完成所有步骤才能实现目标。
从国际角度来看，我认为这是一个完全不同的问题。这与监管无关，而与国际竞相压价有关。你如何处理这种竞相压价？我认为这本身就是一个难题。一方面，我们不想鲁莽地尽可能快地建设，特别是在武器方面。另一方面，作为美国公民，我现在在挪威，另一个民主国家，我非常担心其他地方是否会在这项技术上领先。我认为这非常危险。
他们现在落后多少？或者他们已经落后了吗？
很难说。鉴于已经实施的一些限制，比如对俄罗斯和中国运送芯片和设备的限制，我认为如果美国政府打好牌，这些国家可能会被滞后，也许两三年。这并没有给我们太多的余地。
说到民主，人工智能会影响美国大选吗？
是的，我对此感到担忧。Anthropic 实际上刚刚发布了一篇帖子，介绍我们正在采取哪些措施来应对选举干预。
它怎么会干扰选举？
如果我们回顾2016年大选，就会发现在那次选举中，有大量的人被付钱提供内容。我不知道这最终有多有效，这很难衡量。但是很多以前雇佣人工做的工作现在都可以由人工智能来做了。这并不是说你可以制作出人们必然会相信的内容，更重要的是，你可以用大量质量非常低的内容充斥信息生态系统，让人们很难相信那些真实的事情。
例如，在印度的欧洲选举中，这种情况发生过吗？今年真的会发生吗？
我们没有使用我们模型的具体证据。我们禁止将它们用于竞选活动，并监控模型的使用情况。我们偶尔会关闭一些系统，但我认为我们从未见过超大规模的行动。我只能说我们模型的使用情况，但我认为我们从未见过超大规模的行动。
稍微换个话题，你提到你认为我们将在2025-26年看到人工智能的一些极其积极的影响。这些极其积极的事情是什么？
是的，如果我们回到类比，今天的模型就像本科生。如果我们达到模型的程度，假设这些模型达到了研究生水平或强大的专业水平。想想生物学和药物发现，想象一个像诺贝尔奖获得者科学家或大型制药公司药物发现负责人一样强大的模型。我看看所有已经发明的东西。如果我回顾生物学，CRISPR，编辑基因的能力，CAR-T疗法，它已经治愈了某些类型的癌症。可能有几十个这样的发现。如果我们拥有一百万个人工智能系统，它们对该领域的知识和创造力与发明这些东西的所有科学家一样丰富，那么这些发现的速度可能会真正激增。而且，我们的一些非常长期的疾病可以得到解决甚至治愈。现在，我认为所有这些都不会在2025年或2026年实现。我认为，到那时能够开始解决所有这些问题的人工智能水平可能已经准备就绪。这是另一个问题，就像应用它并让它通过监管系统一样。
当然，但它能对社会生产力产生什么影响？
我再次想到虚拟助手，就像每个人的参谋长一样。我有一位参谋长，但不是每个人都有参谋长。每个人都能有一个参谋长来帮助他们处理落在他们办公桌上的所有事情吗？
如果每个人都有这种东西，它会做什么？你能给生产力提高一个数字吗？
我不是经济学家，无法告诉你具体的百分比。但是如果我们看一下指数级增长，比如人工智能公司的收入，似乎它们每年增长大约10倍。所以你可以想象在两到三年内达到数千亿美元，甚至达到每年数万亿美元，这是没有一家公司能达到的。
但我想说的是，这是公司的收入。那么社会生产力呢？
这取决于人工智能在多大程度上取代了已经在做的事情，而不是在做新的事情。
我认为，在生物学等领域，我们可能会做新的事情。假设你延长了人们的生产能力10年，这可能是整个经济的六分之一。
您认为这是一个现实的目标吗？
我再说一遍，我懂一些生物学，也知道一些关于人工智能模型将如何实现的知识。我无法确切地告诉你会发生什么，但我可以讲一个故事，告诉大家它可能发生在哪里。
那么15%，我们什么时候才能延长相当于10年的寿命？时间框架是什么？
再说一遍，这涉及到很多未知数，如果我试图给出一个确切的数字，这听起来就像是炒作。但我能想象的一件事是，从现在起两到三年，我们就会拥有能够做出这种发现的人工智能系统。从现在起五年后，这些发现实际上正在被做出。再过五年，一切都经过了监管机构的审核。所以，我们谈论的是十多年前的事情。但实际上，我只是随口说说而已。比如，我对药物研发了解不多，对生物学了解不多。坦白说，虽然我发明了人工智能扩展，但我对此也了解不多。我无法预测。
我认为你比我们大多数人更了解这些事情。
然而，这也很难预测。
绝对如此。你有没有想过它会对通货膨胀产生什么影响？
是的。所以再说一遍，我不是经济学家。如果我们看看通货膨胀，再次使用我有限的经济推理，我认为如果我们有非常大的实际生产率增长，那将倾向于通货紧缩而不是通货膨胀。绝对如此。就像你可以用更少的钱做更多的事情，美元会走得更远。至少在方向上，这表明通货紧缩是正确的。
但问题在于，通货紧缩的量级如何？
你比我更专业，也许我应该请你预测一下。
你如何与超大规模企业合作？比如谷歌和亚马逊等股东？
这些企业被称为超大规模企业，我实际上不知道这个名字的原因，但从估值来看，它们是超大规模公司，同时也建造了非常大的人工智能数据中心。我想这个名称指的是它们的规模。
你是如何与这些企业合作的？
我认为与这些公司的合作是有意义的，因为我们有互补的投入。他们在云端提供芯片，我们提供模型，然后这个模型可以再次在云端出售给客户。这就像一个分层的蛋糕，我们提供一些层，他们提供其他层。这种合作关系在多个方面都是有意义的。
与此同时，我们一直非常谨慎。作为一家公司，我们有自己的价值观和做事方式，所以我们尽量保持独立。我们与多家云提供商建立了关系，包括谷歌和亚马逊。这让我们在确保不会有太多排他性方面有一定的灵活性，而且我们可以自由地在多个层面部署我们的模型。
这些公司变得如此强大，会带来什么样的系统性风险？
我认为，这可能比人工智能更广泛，可能与我们所处的时代有关。历史上有些时代，有一种强大的技术或经济力量倾向于集中资源。我认为，19世纪可能也发生过同样的事情。所以确保所有人都能共享利益实际上很重要。
例如，人工智能和语言模型在发展中国家的某些地区渗透得很少，比如撒哈拉以南非洲。那么我们如何将这些模型带到这些地区？我们如何帮助应对健康或教育等领域的挑战？
我完全同意我们生活在一个财富更加集中的时代，这是一个值得关注的领域，我们应该尽我们所能找到制衡力量。
这些公司现在变得比国家和政府更强大，这有什么风险？
这就是我在监管方面所说的。人工智能是一项非常强大的技术，我们的民主政府确实需要介入并制定一些基本的规则，这需要按照正确的顺序进行。这不能令人窒息，但确实需要做，因为我们已经到了权力集中的程度，可以大于国民经济和国家政府。我们不希望发生这种情况。归根结底，全国人民和所有实体，包括在其中工作的公司，最终都必须对民主进程负责，没有其他办法。
人工智能会增加还是减少富国和穷国之间的差距？
我认为，这取决于我们选择如何处理它。
你现在看待前进道路的方式？
我们正在寻找方法来解决这个问题。当然，这是否会发生还不确定。现在讨论技术如何部署还为时过早。不过，我确实看到了一些让我担心的事情，我们正在努力应对。如果你看看技术的自然应用，最热切的客户往往是其他技术先进的硅谷公司，因为我们本身就是一家硅谷公司。
这种情况可能会形成一个闭环：一家人工智能公司为一家人工智能法律公司提供产品，这家公司又为一家人工智能生产力公司提供产品，最终这些产品又回到硅谷的其他公司。这是一个封闭的生态系统，所有这些技术都被受教育程度最高的人使用。那么，我们如何打破这个循环呢？
我们想了很多方法来打破这个循环。我谈论生物学和健康的原因之一是，我认为生物学和健康可以帮助我们打破这个循环。如果我们能很好地分配健康方面的创新，它们可以适用于每个人。我认为教育也可以在这方面有所帮助。另一个让我非常兴奋的领域是使用人工智能提供日常政府服务。
在美国，每次你与 DMV、IRS 和各种社会服务机构互动时，人们几乎总是会有不好的体验，这导致了对政府角色的怀疑。如果我们能够使每个人都在使用的政府服务现代化，以便它们能够真正满足世界各地人民的需求，我会很高兴。
我认为在这个国家，我们很幸运，因为我们人数不多，而且我们高度数字化。
你们在这方面可能比我们强得多。
我根据我在美国的经历做出反应，我认为美国可能会更好。那么，你觉得怎么样？10 年后，贫富差距会变大还是变小？
我只想说，如果我们以正确的方式处理这个问题，我们就可以缩小差距。
我明白你的意思。你觉得呢？你认为会发生什么？
我不知道会发生什么，但我知道如果我们对此不十分深思熟虑，不十分谨慎，那么差距会扩大。
谁会在人工智能上赚最多的钱？是芯片制造商，还是我们，还是扩展者，还是所有消费者或公司？
我的回答是，我认为所有人都会分得一杯羹，而且蛋糕会很大，在某些方面甚至可能无关紧要。就像现在，芯片公司肯定赚得最多。我认为这是因为模型的训练先于模型的部署，而模型的部署先于收入。所以我认为芯片公司的估值是一个领先指标，人工智能公司的估值可能是一个当前指标，而下游很多东西的估值是一个滞后指标，但这股浪潮将影响到每个人。
因此，当你查看 NVIDIA 的市值时，这是一个指标。你将其乘以多少才能得出 AI 的潜在影响？
我认为，显然我不能在播客上提供有关芯片的股票建议。
那么是3万亿美元，
是的
那为什么呢？这几乎是我们基金规模的两倍，我们基金是世界上最大的主权财富基金。
如果我再次考虑这个问题，从非常抽象和概念的角度来说，这是由什么驱动的？
可能是由预期需求驱动的。人们正在构建非常大的AI集群，这些集群为NVIDIA带来了大量收入。据推测，像我们这样的公司正在为这些集群付费，因为他们认为他们用它们构建的模型将产生大量收入，但这些收入尚未出现。所以我们到目前为止看到的只是，人们想买很多芯片。当然，这一切都有可能以失败告终，这是大势所趋。这些模型并没有那么强大，就像Anthropic这样的公司以及该领域的其他公司没有像我们预期的那样表现良好，因为模型并没有不断改进。这总是有可能发生。
我不这么认为。这不是我认为会发生的事情。我认为会发生的是，这些模型将产生大量收入，然后对芯片的需求将会增加。NVIDIA的价值将会上升。这家人工智能公司的价值将会上升。所有这些下游公司，这是我领导这家公司所押注的看涨情景。但我不确定，可能会朝另一个方向发展。我认为没有人知道。
目前最大的制约因素在哪里？是芯片、人才还是算法？是的，电力？
我们正在处理的最大瓶颈是数据。但正如我在其他地方说过的，我们和其他公司正在努力开发合成数据。我认为这个瓶颈将会被打破。
所以，为了说清楚，数据只是你输入到模型中训练它们的信息，
是的，输入到模型中的基础信息。但我们在合成数据方面越来越擅长。
告诉我，什么是合成数据？
我想举的例子是七年前，作为谷歌的一部分，DeepMind制作了AlphaGo模型，该模型能够击败围棋世界冠军。当时没有那个版本，或者有一个叫做AlphaGo Zero的版本，它没有在任何人类围棋选手身上进行训练。它所做的就是模型与自己对弈了很长时间，基本上是永远。所以基本上，只要有围棋的小规则，模型相互对弈，用这个规则相互竞争，它们就能变得越来越好，直到比任何人类都强。所以你可以认为这些模型是在围棋规则的这种逻辑结构的帮助下，用其他模型创建的合成数据进行训练的。所以我认为语言模型也可以做类似的事情。
你认为人工智能将如何影响地缘政治？
哦，我认为这是很大的问题。我的观点是，如果我们的人工智能系统在各种任务上都比最好的专业人士更好，那么军事和情报等任务将成为其中之一。我们不应该天真，每个人都会尝试部署它们。我认为我们应该尽可能地创造合作和约束，但在很多情况下这是不可能的。当这不可能的时候，我站在自由世界的民主国家一边。我想确保未来是民主的，世界上尽可能多的地方是民主的，民主国家在世界舞台上占据领先地位和优势。强大的人工智能加上威权统治的想法让我感到害怕，我不希望这种情况发生。
每个国家都应该有自己的语言模型吗？
是的。
挪威应该建立一个语言模型吗？500万人（的国家）。
这真的取决于你的目标是什么。从国家安全的角度来看，每个国家都有语言模型可能是有意义的。我认为一个可能行得通的想法是，民主国家可以共同努力提供共同安全，相互保护，保护民主进程的完整性。也许让他们集中资源，制作出数量极少的大型语言模型是有意义的。但是，去中心化也可能有价值。我对哪个更好没有强烈的意见。
美国控制人工智能是国家安全问题吗？欧洲应该担心这个吗？
每个国家都必须担心自己的安全，即使与盟友分开。我认为这更像是个别政府的问题。我会认为，这可能是一个挑衅性的类比，但有点像核武器。一些国家，即使是盟友，也觉得有必要拥有自己的核武器，例如法国。其他国家说，不，我们相信我们受到美国、英国和法国的保护。我认为这些更强大的模型可能有些相似。我认为民主世界有多少这样的模型并不重要，重要的是民主世界相对于威权政权处于强势地位。
你谈到合作和伙伴等等。你们人工智能领域的人真的喜欢彼此吗？
我们已经进行了许多合作。所以，我想在我刚加入 OpenAI 的时候，我推动了最初的 RL 从人类反馈论文被认为是安全工作。这最终成为了 DeepMind 和 OpenAI 之间的合作。我们在像前沿模型论坛这样的组织里一起合作过。话虽如此，我会说实话。我不认为这个领域的每家公司都像其他公司一样重视安全和责任问题。
但是，与其指责...
是不是因为这些原因，你才对其他公司不那么热衷？是他们对安全和保障的看法吗？这是少数几个你甚至会考虑在笼子里打架的行业之一。
是的。所以我不是粉丝。我不喜欢笼子里的打架。我不喜欢人与人之间的争斗。
我相信你做得很好，但即使我怀疑这不是你的强项。
不，笼子里的打架不是我的强项。
但我想说的是，我们不要互相指责，不要争吵，不要说这个人是坏人，这个人是好人，我们应该系统地思考，回到“争先恐后”的想法，让我们制定标准。我们不要指责做坏事的人，而要做好事。然后很多时候，人们只是跟着做。我们发明了一个可解释性的想法。就在几周前，我们推出了这个可解释性的创新，能够看到模型内部。几周后，我们从OpenAI那里得到了类似的东西。我们看到其他公司内部增加了对它的优先级。所以很多时候，你可以做一些好事，你可以激励别人做一些好事。现在，如果你做了很多这样的事，如果你制定了这些标准，如果它们是行业标准，然后有人不遵守，那就出了问题，然后你就可以谈论指责了。
让我们花几分钟谈谈文化。你在公司有多少人？
几周前，我们的员工人数约为600人。我一直在度假，所以现在人数可能更多。
文化怎么样？
我会描述一下文化的几个要素。文化的一个要素是我所说的做简单却有效的事。Anthropic的许多人都是前物理学家，因为我自己有这个背景，我的几个联合创始人也有这个背景，其中有一个人在共同创立Anthropic之前实际上是物理学教授。物理学家寻求事物的简单解释。因此，我们文化的一个要素是不要做过于复杂的事情。许多学术ML研究往往会使事情过于复杂。我们追求尽可能简单却有效的事。我们在工程方面有同样的看法。而且，我们甚至在安全和道德、可解释性、宪法AI方法等方面也有同样的看法。它们都是非常简单的想法，我们只是尽力去推动它们。甚至是这场争夺榜首的比赛，你能用一两句话说出来，这并不复杂，你不需要写一百页纸来谈论它。这是一个简单的策略。做好事，并尝试鼓励其他人效仿。
当你在三年内雇用600人时，你怎么能确信他们是优秀的？
我认为坦率地说，人工智能行业的一个挑战是一切发展得太快了。所以，在一家正常的初创公司，事情可能会每年增长1.5倍或2倍。我们认识到，在这个领域，事情发展如此之快，需要更快的增长才能满足市场的需求。而这最终会导致比平常更快的增长。我在谈话开始时实际上很担心这个问题。我说，天哪，我们遇到了这个困境。我们该如何处理它？到目前为止，我对我们能够如此出色地处理这个问题感到很惊讶，我们能够很好地扩展招聘流程。我多么希望每个人都是技术人才、知识渊博、善良且富有同情心的人，我认为这与聘用技术人才同样重要。
那么你在寻找什么呢？我现在就坐在这里，你正在面试我。你在寻找什么？
是的，我们寻找的是愿意做简单而有效的事情的人。我们寻找的是人才。一般来说，我们不一定看重人工智能领域的多年经验。比如，我们雇佣的许多人都是物理学家或其他自然科学家，他们可能只从事人工智能一个月左右，他们只做过自己的项目。所以我们寻找的是学习能力。我们寻找的是好奇心，能够迅速抓住问题核心的能力。在价值观方面，我们从公共利益的角度进行思考，就像我们对Anthropic的正确政策或世界上应该做什么事情有特别的看法一样。我们希望在扩大公司规模时保持这种精神。随着公司规模的扩大，这个问题变得越来越困难，因为如何找到所有这些人才是一个挑战。
我们希望员工具有一定的公共精神，一方面他们明白Anthropic需要成为一个商业实体，需要足够接近中心才能产生影响。但同时也要明白，从长远来看，我们的目标是公共利益和社会影响。
当你雇佣员工时，你觉得你有无限的钱吗？
我认为几乎所有的开支都需要计算。我不会给出一个确切的数字，但我认为，可以公开地支持超过80%。
所以工资真的不重要吗？
在支付员工工资方面，我们更多地考虑什么是公平的，我们想做一些公平的事情，符合市场，善待人们。我们不太考虑我们花了多少钱，因为计算是最大的开支。更重要的是，我们如何才能创造一个让每个人都感到受到公平对待、让同工同酬的地方？
现在，您可以与这些才华横溢的人才、天才甚至一些自命不凡的人一起工作。管理或领导他们的最佳方式是什么？
我认为他们是无法管理的.
所以你需要领导。
最重要的原则之一就是让创造力发生。如果事情太自上而下，那么人们就很难充分发挥创造力。如果你看看过去10年机器学习领域的许多重大创新，比如Transformer的发明，谷歌没有人下令说这是一个项目，这只是分散的努力。
与此同时，你必须制造一种产品，每个人都必须共同努力才能制造出一件产品。我认为，我们需要新想法，但我们需要每个人都为一件事做出贡献，这种创造性张力就是魔力所在。找到正确的组合，这样你就可以两全其美。
你和你妹妹一起经营这家公司，
是的。我们都在OpenAI工作，然后我们一起创立了Anthropic。这真的很棒。真正的分工是，她负责日常经营公司的大部分事情，管理人员，搞清楚公司的结构，确保我们有首席财务官、首席产品官，确保薪酬设置合理，确保文化良好。我更多地考虑理念和策略方面。每隔几周，我都会给公司做一次演讲，基本上是一次愿景演讲，我会说，这是我们在战略上考虑的一些事情。这些不是决定，而是领导层正在思考的事情。我们认为明年会有什么大事？我们认为事情会如何发展？无论是商业方面、研究方面还是公益方面。
她比你年轻还是年长？
她比我小四岁。
她比你聪明吗？
我们都在不同方面非常熟练。
你的父母是做什么的？
我父亲去世了，他以前是个工匠。我的母亲退休了，她是公共图书馆的项目经理。
你是怎么长大的？
我认为，社会责任和帮助世界确实非常受关注，这对我的父母来说是一件大事。他们真的思考过如何让事情变得更好。那些生来就幸运的人，该如何体现自己的责任，并将自己的责任传递给那些不那么幸运的人？您可以从公司的公益导向中看出这一点。
那么，14岁的Dario他在做什么呢？
我真的很喜欢数学和科学，参加过数学竞赛等等。但我也在思考如何运用这些技能来发明一些可以帮助人们的东西。
你有朋友吗？
比我希望的要少。我有点内向，但我当时认识的人现在仍然认识。
那么Anthropic像《书呆子的复仇》吗？
我不会真的这么说。
我认为这是一件好事，我喜欢那种东西。
是的，我不会真的这么说，只是因为我不太愿意让不同的群体相互对立。不同类型的人擅长不同的事情。我们有一个完整的销售团队，他们擅长的事情与我完全不同。当然，作为首席执行官，我也必须学习如何做一些销售，但他们的技能非常不同。
你会想到的一件事是，你会意识到在一家公司里，不同类型的人拥有非常不同的技能，就像你认识到非常广泛的技能的价值，包括你自己没有的技能。
那么现在是什么在驱动你？
我认为我们正处于一个非常特殊的时代，就像人工智能世界一样。这就是我所说的，2025年或2026年的事情可能会变得多么疯狂。我认为把这件事做好很重要。经营Anthropic，这只是其中的一小部分，还有其他公司，其中一些比我们更大或更出名。所以一方面，我们只扮演了一小部分角色。但是，考虑到正在发生的事情对经济、对人类的重要性，我认为我们有一个重要的机会，确保这些事情进展顺利。事情的发展可能存在很大的差异，我认为我们有能力影响这一点。
当然，我们必须日复一日地发展业务。我们必须雇佣员工，必须销售产品。我认为这很重要，做好这件事很重要，这样公司才能保持相关性。但我认为从长远来看，驱动我前进的，或者至少我希望驱动我前进的，是想要抓住一些变化，并把事情推向好的方向。
你如何放松？
所以，我现在在挪威。
是的，但这并不放松。
这不是放松，但我从意大利度假来到这里。所以，每年我都会休息几周来放松一下，思考更深层次的概念。我每天都去游泳。实际上，我和我妹妹仍然在玩电子游戏。我们从高中开始就这样做。现在，我已经40多岁了。我们最近得到了新的《最终幻想》游戏。我们在高中时就玩《最终幻想》，那是90年代制作的游戏。最近，他们对它进行了重制，所以我们开始玩新版本。新版本拥有20年来GPU进步所带来的各种精美图形。我们自己也注意到，这就像我们高中时经常做的那样。
现在我们经营着这家公司。
我很高兴听到有些人永远长不大。
我不认为我们在某些方面已经长大了，希望我们在其他方面已经长大了。
说到这个，我们总是以一个问题来结束这些播客。你对年轻人有什么建议？
我建议熟悉这些新的人工智能技术。我不会提供一些陈词滥调，确切地知道哪些工作会流行，哪些不会。我想我们不知道，而且我们不知道人工智能是否会触及每个领域。但可以肯定地说，人类在使用这些技术、与它们合作、了解它们以及由此引发的公开辩论方面将发挥一定作用。
我想说的另一件事是对信息的怀疑态度。随着人工智能产生越来越多的信息和内容，辨别这些信息将变得越来越重要，越来越必要。我希望我们能拥有人工智能系统，帮助我们筛选一切，帮助我们了解世界，这样我们就不会那么容易受到这种攻击。但归根结底，这必须来自你。你必须有一些基本的欲望、一些基本的好奇心、一些基本的辨别力。所以我认为发展这些很重要。
这真是太棒了，非常好的建议。非常感谢你邀请我参加播客。祝你一切顺利，回到意大利，多休息一下，多做一些深入的概念思考。
非常谢谢。