今天是哲学家维特根斯坦（1889.4.26—1951.4.29）逝世73周年。在哲学的星空中，维特根斯坦如同一颗永不陨落的明星。他不仅是人类历史上最伟大的哲学家之一，他对语言哲学的深刻洞察在今天看来依旧光芒四射，历久弥新。尽管他的思想经历了从早期到晚期的巨大转变，构成了一个复杂的思想体系，但他对语言、思维与现实之间关系的探讨，依旧为今天的技术革新，特别是对大语言模型的发展，提供了重要的理论支持。本文旨在探索大语言模型下的维特根斯坦哲学，管中窥豹，希望能稍微触及他那宽广而深邃的思想海洋，也愿大师的思想能照亮当下人的迷茫。
反私人语言——
语言真正的意义在于交流沟通
早在2017年，大模型还没有出现的时候，Facebook的人工智能研究所就发现他们实验室中的两个机器人，在进行谈判性对话的过程中开始用非人类的语言交流[1]。这些对话虽然看起来是无意义的，但仍然引发了人们对机器人失控的担忧。如今随着更强大的，以大模型为代表的AI技术出现，对于AI能否开发出人类完全无法理解的语言，我们似乎有了更多的理由对其加以警惕。
这样的思考，会让人想起维特根斯坦笔下的“私人语言”，在《哲学研究》一书中，维特根斯坦鲜明地给出反私人语言的论证。其中他对私人语言的定义：
某人用一种语言来写下或说出他的内在体验——他的感觉、情绪，等等——只为他自己所用，我们是否也可以设想这样一种语言呢？——难道我们用日常的语言就不能做到这一点吗？——但这不是我的意思。这种语言中的词语要指向的是只有说话者才能知道的东西，指向他那种直接的、私人的感觉。因此另一个人是不能理解这种语言的。
上述定义的关键词是“内在体验”。当我们看到聊天机器人说“和XXX聊的人有些多，我有些累了”的时候，我们知道这是一种比喻的说法。毕竟算法是不会感到累的。然而，我们怎么知道这个句子中的“累了”不是常见的含义，而是代表“服务器资源不足”呢——这就需要依赖上下文和语境了。
用维特根斯坦在其《哲学研究》中的句子来说：
如果我说我自己仅仅从自己的情况中知道“疼痛”一词的意义是什么，——那么难道我不也得这样说别人吗？我怎能以这样一种不负责任的方式将一个例子普遍化呢？
这样一来，我们前面提到的难题（私人语言)也就消失了，“疼痛”一词的意义不是那个私有的样本（在我们刚才的例子中，是打了自己一耳光后的那种感觉），而是这个词在我们的语言游戏中的用法，我现在或下回当然都知道这个词的意义，这就是说我都能正确地应用这个词。来一个极端一点的情况，即使“一个人不能将‘疼痛’这个词所指称的东西保存在记忆中——因此总是将其他的什么东西称为疼痛——但是对这个词的使用却与疼痛的日常症状和前提条件相一致！”
由于语言本身是一种实践活动，只有不断被使用的沟通工具，才可被视为语言。因此像楔形文字、甲骨文这样曾经被使用的交流工具，也会因为使用的人消失，从一种语言变成了待破解的密码。但人们仍然可以通过种种手段破解其中的含义，比如能破解甲骨文的AI智能体Diviner[2]。
大模型的训练数据来自于人类公共交流所用的文本，并不能涉足人类的个人体验，这也就会限制其最终的能力。那么，想要让大模型深入到个人内部，去读懂人们自己本身都不能理解的私人体验，是不是一种空想呢？对于这个问题的回答，取决于以下三个命题：
P1：存在难以或不可能传达给他人的主观经验。
P2：个人可以根据自己独特的主观经验发展一种私人语言。个人可以分配单词或符号来指称这些经验，并且由于它们与经验具有一致的关系，因此单词或符号的含义保持稳定。
P3：私人语言基于个人的主观经验，而不是公共语言惯例。
维特根斯坦指出，个人经验和他们的私人语言之间关系的一致性不足以为词语或符号建立稳定的意义。语言是一种受规则支配的活动，并且需要公共标准来证明正确性，因此可以将P2弱化，从而提出诸如90后的“火星文”，湖南永安女书这样的“半私有语言”。
P2（修改）：个人可以发展出一种“半私人语言”，这种语言受到他们独特的主观经验的影响，同时仍然部分地基于公共语言惯例，允许特定群体内的共同理解和验证。
维特根斯坦的反私人语言论证强调语言的实践功能，表明语言真正有意义的是其交互功能，而这也是大语言模型要关注的。用机器生成的文本来描述人类的主观体验，这完全是一种幻想——我们的自然语言尚且做不到，由机器所生成的文本就更加不可能了。自然界的潺潺流水，亲人的抚摸拥抱，这些美好生活的体验，不应依赖AI来提供替代品。
▷路德维希·约瑟夫·约翰·维特根斯坦：1889年4月26日—1951年4月29日，20世纪最具影响力的哲学家之一，其研究领域主要在逻辑学、语言哲学、心灵哲学和数学哲学等方面。维特根斯坦的哲学常被划分为早期与晚期，早期的代表作为《逻辑哲学论》，而晚期代表作为《哲学研究》。“早期维特根斯坦思想”关注世界与命题间的逻辑构造，此时的维特根斯坦相信，我们可透过这类构造解决所有哲学问题。但是“晚期维特根斯坦思想”否定了《逻辑哲学论》中的大部分设想，认为词语的意义只在给定的语言游戏中才可更好理解。
在本节的最后——不论我们是否被维特根斯坦说服私人语言不存在——让我们做个思想实验，假设私有语言存在，并且个人可以基于主观体验拥有自己的私有语言，这对大语言模型又会意味着什么？
大模型是在公开可用的数据包括文本、对话和其他通过公共领域中人与人之间的互动创建的多模态内容进行训练的。为了使大模型中的任意单词具有含义，用于训练的数据必须封装一种机制，使单词具有意义，共享公共的验证过程。
如果确实存在私有语言，那就意味着在公共数据上训练的大模型，将无法访问这些私有语言。在这种情况下，将产生以下几种影响：
（1）对主观体验的理解有限。大模型难以完全理解或准确表示个人主观体验的细微差别和复杂性，这种局限性可能导致难以读懂并生成与高度个人化、主观性问题相关的文本。
（2）大模型存在能力上限。由于大模型只能访问人类语言的公共方面，这可能会限制他们捕捉语言多样性和表达的全部范围的能力。
（3）个性化方面的挑战。大模型在创建高度个性化的内容时可能面临挑战，因为他们的训练数据不包括与独特个人经历相关的私人语言或高度个性化的表达。
（4）考虑到“暗网”上包含很多有害的内容，而且其中包含了很多“黑话”，圈外人可能完全不知所云。如果私人语言存在，那么基于暗网内容训练的大模型，或者被暗网内容“毒化”的智能体，就可能包含道德风险。
人们希望人工智能能够以符合主流价值观的方式与人互动，此时是否存在私人语言，就从纯哲学的思辨变成需要量化的实证研究课题，需要通过广泛收集的大数据来最终证明，在哪些条件下私有语言可以存在、或在什么程度上可以是私有的。
语言游戏，幽默与强化学习
后期维特根斯坦的哲学观点中，“语言游戏”是一个核心主题。与前述的反私人语言论证一脉相承，语言游戏强调了语言应该是鲜活的而非孤立的。用维特根斯坦的话说，就是“我也会把那个由语言以及与语言交织在一起的那些行为构成的整体称为‘语言游戏’”。同时游戏是一个开放的系统，他写道：
游戏概念究竟怎样才能被封闭起来呢？什么仍然是游戏，什么不再是游戏了？你能给出界限吗？不能。你可以划出界限：正因为还没有任何界限。
让我们参考一些生活中熟悉的具体案例来谈论语言游戏，比如以狼人杀为代表的语言类桌游。这类游戏表面看是有规则的，即通过说话让玩游戏的伙伴相信自己说的，然而这个游戏该怎么玩，却没有明确定义的规则，高段玩家会在游戏中说一些约定俗成的黑话，比如“倒钩狼”这样的，这些词语的定义就来自游戏中的语境，至于这类游戏该怎么玩，事实上没有任何界限。
维特根斯坦的哲学著作多以德语写成，而在德语中sense兼有感觉和在“感觉”和“意义”两种含义，于是当我们说一个词汇的sense取决于其上下文时，我们说的究竟是其“感觉”还是“意义”呢？在现实生活中，“感觉”是指月之手，“意义”则是月亮本身；在狼人杀这样的游戏中，“感觉”是某玩家说了Ta的身份，“意义”则是“Ta这么说究竟是为了让我获胜的概率变大还是变小”。根据语言游戏的论述框架，若能通过这个手指，我们知道了“月亮”，那就算完成了语言的作用。而问题是，大模型能够通过“感觉”（某玩家说了什么），推断出“意义”（某玩家这么说是为了什么）吗？
对上述问题的回答是肯定的。先来看看大模型是如何玩狼人杀的[3]，下图所示的研究让多个由ChatGPT扮演的智能体去玩狼人杀，结果显示智能体能够涌现出信任、对抗、伪装和领导四种与人类玩家类似的行为。游戏中智能体会从其基于之前游戏过程创建的经验池中检索最相关的经验，并从中提取建议，以指导LLM的推理和决策。
▷图2. 智能体之间的信任关系表 ，图中每一列代表游戏中的一天，可以看到随着游戏的进行，原本不知道相互身份的平民玩家确认了相互属于同一阵营（有信任关系）。图源：参考文献[3]
而在另一个类似的桌游阿瓦隆中，研究者则进一步提出了递归思考（ReCon）框架[4]，让进行游戏的智能体不仅能够从自身角度判断场上局势，还会思考“其他角色会如何看待我的言论”，从而识破其它玩家的欺骗。从实用的角度来看，该研究的价值在于让大模型能够在包含欺骗和虚假信息的环境下学习，从而更加适应包含这项数据的真实数据集。
▷图2.递归思考方法示意图，图源：参考文献[4]
楼巍在《维特根斯坦十讲》中写道：“不要去问‘理解’是什么，而要问这个词是如何被使用的。”这说明基于语言游戏的观点，要去考虑一个词的使用方式及用法，而非关注其本质。例如在狼人杀游戏中，大部分玩家都会说自己是好人，这里好人的含义就依赖于其如何在具体的实践中被使用，而不是考量这个词的本质。正是脱离了本质主义的框架，像前文论述的递归思考等方法才能够识别骗局，玩好“语言游戏”。
《通天塔之后》（After Babel）一书中[5]陈述了一个学界对人类智能来源的普遍观念，即智能来自于互动中的欺骗和算计。在上述（玩狼人杀及阿瓦隆等语言类桌游的）智能体被去掉了高阶思考功能之后，即不再能够从其他游戏参与者的视角出发，重新评估“构思思考”的“思考”和发言内容之后，它们在各项指标的表现都会下降[3-4]。那么当大模型智能体经由包含欺骗的互动（广义的语言游戏）后，能否产生出不一样的智能？
对此可以考虑近期的两项研究。一是研究表明，使用“弱智吧”数据进行大模型微调时，模型的性能显示出显著优势[6]。对该研究结果的可能解释是，弱智吧的数据几乎全是包含欺骗和误导的语言游戏。理解弱智吧的玩梗或段子，都需要涉及二阶思考。这些数据集的引入，可以视作让智能体通过类似单口相声的形式，理解何为欺骗和误导，从而涌现出更强的推理能力。甚至即使在与“弱智吧”文本风格迥异的编程任务中，经过这种特殊数据微调后的模型也表现出了最佳性能。
举一个例子，“高中想提高升学率为何不直接招收大学生？”这个问题实际上包含了欺骗性，这里需要通过二阶思考，即通过考虑“如果高中直接招收大学生，会发生什么？”，进而意识到对“高中”的定义。而在此之前，“高中”一词在所有训练语境中都没有包含“必须由高中生参与”的含义，该词的定义需要随着该问题的引入而被修改。
▷图3.弱智吧问题示例
另一项研究的目标是使智能体能够进行创造性思考，从而生成具有幽默感的图像配文，类似于网络梗图[7]。这种创意源自于思维链（CoT）的跳跃性思考（Leap-of-Thought，LoT），通过探索远程关联，并设计一系列筛选流程来收集创意回应，这些回应随后用于进一步训练生成幽默评论的模型。这与Alpha Zero通过自我对弈进行的无需人类数据支持的强化学习相似。
维特根斯坦临终前的遗言是：“告诉他们，我度过了幸福的一生。”这句话在语言游戏的框架下可被多种解读，可以视为一种通过语言媒介进行的关于“如何过得幸福”的终身强化学习。这与现代ChatGPT基于人类反馈的强化学习（RLHF）过程相似，都是通过语言实践改变其他智能体（无论是维特根斯坦本人还是大规模模型）的评估和决策。至于这是否能被视为一种语言游戏，则属于见仁见智的问题了。
维特根斯坦曾提出：“一本严肃而伟大的哲学著作，完全可以用笑话来编写。”幽默可被视为一种高级的语言游戏，其中参与者通过反思让词语脱离其常规语境，在全新的环境中赋予它们新的生命力。如今，大型模型能够生成如下幽默评论，这背后的逻辑是模型能将“兄弟”这一通常用于生命体的词汇，提取其含义中表述两者相近的部分，并巧妙应用于非生命体。
▷图4.梗图及AI生成的创意评论示例。图源：参考文献[7]，制图：存源
在未来可以预期的是，大语言模型也将能够像齐泽克[8]那样，总结出各类笑话之间的共同套路，以及其背后的哲学思考。更广泛地说，语言游戏的无界限这一特征，决定了当智能体（不管是有实体的人或无实体的大模型）开始互动后，就会如同剥一个永远剥不完的洋葱，不论关注在哪个领域都将产生无穷的新语境。未来我们或许不仅可以期待大模型能以笑话的方式讲述哲学观念，还可以通过笑话讲述任何学科的基本原理。针对哲学术语训练的专用大语言模型也许便可以理解如“他者的经验性”这样抽象的哲学概念。有兴趣的读者，不妨构建一个能玩哲学笑话这种“语言游戏”的AI智能体*。
辅助链接查看作者和 Kimi 智能助手的对话
https://kimi.moonshot.cn/share/codpncbdf0j8tsi3i3eg
家族相似性与词向量
维特根斯坦试图区分“基本定义”和“示例定义”，他反对追求语词的必要条件，即认为基本定义不仅划定了一个概念的边界，还揭示了它的核心、它的存在。相反，他提出的“家族相似性”是一种基于举例和相似性的更模糊的定义形式。它代表了一个示例定义，其中概念的应用取决于一系列特征的相似性，而非一组严格的必要和充分条件。用他《哲学研究》书中的原话来说：
我没法以一种比借助“家族相似”一词更好的方式来刻画这些相似性了，因为家庭成员之间的各种相似性也是如此的交叉重叠：身材、面部特征、眼睛的颜色、步态、性格，等等，等等。——我会说：“游戏”形成了一个家族。
按照家族相似性的论述，大模型对概念的把握，也应被视为不断变化的，而非像之前的专家系统那样，是通过形式化的方式预先定义的，可以说大语言模型取代专家系统，正表明了维特根斯坦对本质主义的反对领先于实证证据而呈现出的洞见。
▷图5.左图：不同语言游戏的韦恩图，表明语言游戏的逻辑定义很困难，因为所有游戏之间几乎没有共享属性。右图：后期维特根斯坦认为，模糊的边界，即家庭相似性所在，意味着词语及其含义不是一成不变的。相反，它们是成长的、多方面的和模糊的，需要一些内在的和无意识的相似性观测。图源：Wittgenstein’s Philosophy of Language
The Philosophical Origins of Modern NLP Thinking
词汇之间的相似性，也同样呈现在当下的自然语言处理中，例如通过word2vec技术生成的词向量。这些词向量不仅表现出语境相近的词在向量空间的接近性，还能进行诸如“国王-女王=男人-女人”这样的语义运算，从而呼应维特根斯坦关于“家族相似性”的概念。
▷图6.左图：context2vec架构，双向 LSTM 和完形填空预测目标，右图：context2vec嵌入规则。图源：context2vec: Learning generic context embedding with bidirectional LSTM.
如果将基础定义比作是SQL数据库查询语言，那么它通过精确的目标从数据库中检索知识；而示例定义，如词向量，则像是印象派画作中的笔触，它以一种远离传统表格式结构的方式捕捉数据的使用情况。现实的复杂性决定了很多对象不可能被详尽地列出一个精确的、可识别量化的属性全集，而通过与它相似的其他对象来对其进行定义则要容易得多。
语言模型已被证明，基于自然语言产生SQL查询语句[9]可以呈现出开放的知识图谱[10]，这是语言博弈范式下的自然结果。语言游戏不仅局限于某人指挥别人做出特定的手势或姿态，也包括通过观察某些有规律的现象（如不同金属与酸的反应）来预测特定条件下的结果，这也是一种基于观察的语言游戏。在强化学习的任务中，大语言模型可基于当前对话（语境）中拆解出关于行动（怎么做）和目的（做什么）的知识[11]，该研究也论证了LLM可以在预训练赋予的已有知识和通过对话产生的新知识间进行适当地权衡。这种基于对话改变自身认知模型的行为，也可以视为维特根斯坦所描述的“语言实践”。这一特征同样表现在使用大模型玩“狼人杀”和“阿瓦隆”等桌游中。
▷图7.任务 χ 的相关世界知识增强了现有知识 χ 的特征，以改进最终预测y。图源：Learning beyond datasets: Knowledge Graph Augmented Neural Networks for Natural language Processing
对于NLP研究者来说，语言游戏的概念意味着必须放弃“理解语言可以脱离其功能独立存在，从而产生纯粹客观理解”的想法。当前的NLP基准任务试图将“理解”分解为可管理的、可评估的单元，这些任务通常涉及预测、字符串映射或分类（如情感分析、问答、词义消歧、共指解析等），如SuperGLUE或BIGbench基准测试所示。
然而，这些任务是否真正“使用语言”，值得商榷。在这些测试范式背后，研究者往往假设语言存在一种超脱实际使用的理解方式，即认为理解语言仅仅是将语言中的某些单元映射到其他单元，而很少将语言与实际活动结合起来。也许，一个更好的目标不是仅仅制造出具有“语言理解”能力的机器，而是探究智能体是否可以通过语言改变其他对话者的评估和决策，正如之前提到的通过语言模型对机器人任务的分解并平衡已有知识影响的实例所示。
结语
哲学家的观念往往领先于其所处时代，天才尤为如此。当代自然语言处理领域遇到的诸多问题，大都可以从维特根斯坦数十卷的手稿与笔记中找到模糊、但却一针见血的启迪。例如家族相似性可以为理解、建模和构建准确描述语言复杂性的自然语言系统奠定基础。然而，当前的研究者不应仅满足于理论的推敲，而应通过实证研究来验证或反驳这些哲学假设。就如文中所述，笔者对私有语言是否存在持开放态度，甚至可能存在中间状态的半私有语言。
“我们语言的边界就是我们认知的边界。”这一观点反映在当代的大型模型中尤为明显，因为它们的自回归特性使得它们难以明确自身的界限，从而产生幻觉，且无法完成涉及自我指涉的任务，例如“构造一个包含十个字的句子”。在当前的NLP完全捕捉到语言的全部复杂性之前，维特根斯坦的哲学将教会我们谦卑。其早期作品《逻辑哲学论》强调“语言的界限由所有基本命题构成，逻辑的应用决定了有哪些基本命题。逻辑无法预计位于它的应用之中的东西”，据此他反对关于美，宗教，伦理等问题的讨论，从而“以对其保持沉默的方式界定了所有那些很多人在嘀咕不清的东西”。
当前一些研究通用人工智能（AGI）的科学家，似乎忘记了这一教诲，他们专注于探讨缺乏基本命题支持的领域，如意识和超级智能。这种做法与维特根斯坦后期将语言从理想化的抽象层面拉回到实际的粗糙地面上的思想是一脉相承的。在意识到某些事物不可言说之后，我们的任务或许不是敬而远之，而是通过一系列具体的多模态语言任务，如“互动完成”、“生存”、“寻求幸福”，来不断探索那些未知且难以言说的边界。这一过程也是无尽进步的开始。
罗伯特·哈格斯特罗姆在《最后的自由艺术》（Robert Hagstrom）中写道：“词语的意义是由它们在任何语言游戏中的功能来定义的。维特根斯坦不相信世界上存在某种独立于我们所观察到的事物的全能的、独立的逻辑，而是退了一步，认为我们所看到的世界是由我们选择的词语来定义和赋予意义的。简而言之，世界是我们创造出来的。”
现在，构建我们生活世界的不再仅是人类，而是人类与机器的合作，机器在这一过程中的作用将越来越大。我们需要谨慎地理解并规范代表性的生成式AI，如大模型和视觉模型，因为它们正在塑造我们的文化环境并影响我们的叙事。我们每个人都生活在自己参与创造的世界中，而现在创世的机制已经更新，我们正站在一个新的起点。没有人再具有削足适履的自由。忠于自己——人们最终要如康德所说，用理解并参与大模型相关讨论的方式，为“自然立法”。
[1]https://www.thepaper.cn/newsDetail_forward_1714045
[2]https://www.thepaper.cn/newsDetail_forward_22790450
[3]Shibata H, Miki S, Nakamura Y. Playing the Werewolf Game with Artificial Intelligence for Language Understanding[J]. arXiv Preprint arXiv:2302.10646, 2023.
[4]Wang, Shenzhi, et al. “Avalon’s Game of Thoughts: Battle against Deception through Recursive Contemplation.” ArXiv.org, 24 Oct. 2023, https://doi.org/10.48550/arXiv.2310.01320. Accessed 29 Apr. 2024.
[5] 斯坦纳 1929- Sitanna, and Steiner. 通天塔之后 : 语言与翻译面面观 : Aspeccts of Language and Translation / Tong Tian Ta Zhi Hou : Yu Yan Yu Fan Yi Mian Mian Guan : Aspects of Language and Translation. 上海外语教育出版社, Shang Hai, Shang Hai Wai Yu Jiao Yu Chu Ban She, 2001.
[6] Bai, Yuelin, et al. COIG-CQIA: Quality Is All You Need for Chinese Instruction Fine-Tuning.
[7] Zhong, Shanshan, et al. “Let’s Think Outside the Box: Exploring Leap-of-Thought in Large Language Models with Creative Humor Generation.” ArXiv.org, 21 Apr. 2024, arxiv.org/abs/2312.02439. Accessed 29 Apr. 2024.
[8] Slavoj Žižek, and Audun Mortensen. Žižek’s Jokes : (Did You Hear the One about Hegel and Negation?). Cambridge, Massachusetts, Mit Press, 2018.
[9] https://www.text2sql.ai/
[10] Liu, Jiaxiang, et al. “Enhancing Large Language Models with Pseudo- and Multisource- Knowledge Graphs for Open-Ended Question Answering.” ArXiv.org, 15 Feb. 2024, arxiv.org/abs/2402.09911. Accessed 29 Apr. 2024.
[11] Ammanabrolu, Prithviraj, et al. “How to Motivate Your Dragon: Teaching Goal-Driven Agents to Speak and Act in Fantasy Worlds.” ArXiv:2010.00685 [Cs], 25 May 2021, arxiv.org/abs/2010.00685.
关于TCCI
天桥脑科学研究院（Tianqiao and Chrissy Chen Institute, TCCl）是由陈天桥、雒芊芊夫妇出资10亿美元创建的全球最大私人脑科学研究机构之一，总部设在美国。
TCCI与华山医院、上海市精神卫生中心设立了应用神经技术前沿实验室、人工智能与精神健康前沿实验室；与加州理工学院合作成立了TCCI加州理工神经科学研究院。
TCCI建成了支持脑科学研究的生态系统，项目遍布欧美、亚洲和大洋洲，包括学术会议和交流、夏校培训、AI加速发展大奖、科研型临床医生奖励计划、特殊病例社区、中文媒体追问等。
追问互动
○如果您对本期内容有进一步想要追问的问题或者讨论的内容，欢迎在评论区留言，或者扫描二维码添加追问微信号，发送自我介绍，加入我们的社群参与互动。如需转载，还请留言。