整理 |屠敏
出品 | CSDN（ID：CSDNnews）
今天，AI 领域传来一则令人悲痛的消息：Google DeepMind 研究科学家 Felix Hill 于 2024 年 12 月 5 日离世，年仅 41 岁。
Felix Hill 的葬礼将于 1 月 11 日在伦敦北部举行，并将进行现场直播。据悉，自 2023 年以来，Felix Hill 一直饱受严重精神疾病的折磨。他曾深陷重度抑郁也有过严重的自杀倾向，也于离世前两个月对外发文称现在在 AI 行业工作的压力比以往任何时候都大。
彼时斯坦福大学应用物理学、计算机科学系、电子工程系和神经生物学系副教授 Surya Ganguli 抛出橄榄枝：“很遗憾听到这个消息，Felix！希望你能继续痊愈。我有一个想法：来学术界加入我们吧！这里仍然是与世界公开分享基础科学的绝佳场所。”
Felix Hill 还回复道，「我希望有一天能从事学术工作，等到我目前的研究项目自然结束时。」
遗憾的是，Felix 最终未能走出困境。他的离去让人无比惋惜。
Felix Hill 生平
Felix Hill 是一位在自然语言处理和人工智能领域备受尊敬的研究科学家，学术研究成果颇丰。仅从学术搜索引擎 Google Scholar 来看，他的文献总引用量高达 19680 次，自 2020 年以来的引用量达到 16608 次，参与创作以及贡献的论文多达有 85 篇。
其实，Felix Hill 最初并非从事 AI 研究，他本科就读于牛津大学，主修的是数学。随后，他在剑桥大学获得了语言学硕士学位和计算语言学博士学位。
在完成学业后，Felix 并没有直接加入产业界，而是在高中担任了 8 个月的数学老师。
之后，他于 2016 年以研究科学家的身份加入了 DeepMind，这一干就是多年的时间。Felix 的研究主要集中在语言理解与感知和行动的关联上，致力于构建具有人类语言理解能力的计算模型。
在其个人博客上（https://fh295.github.io/），Felix Hill 分享了他在 DeepMind 8 年工作以及学生生涯中的一些研究成果：
创建了 SimLex-999，用于衡量词的分布式表示是否能反映人类的语义直觉，并参与了 GLUE 基准的开发，后者用于评估语言理解模型。
与 Anna Korhonen 合作，研究如何从文本和其他语言数据中提取并表示语义信息；
与 DeepMind 团队一起，在 AI 行业中率先研究了情境化智能体，这些智能体能够在 3D 世界中学习单词和短语的含义，并将其与感知刺激和复杂的动作序列联系起来；
开发了 FastSent 和 Sequential Denoising Auto-Encoders，用于从未标注文本中学习句子表示；
在与 Yoshua Bengio 和 Kyunghyun Cho 的合作中，发现通过训练网络处理词典定义可以解决一般知识类的填字游戏提示
此外，2018 年，Felix Hill 也与 Steve Clark 一起在剑桥大学计算机实验室教授了“深度学习与自然语言处理”（Deep Learning for NLP）研究生课程。
在工作之余，Felix 对足球、跑步、瑜伽和旅行充满兴趣。根据他在个人 Medium 上的分享，他在大学期间便开始了旅行，足迹遍及中国、波兰，以及秘鲁、哥伦比亚和委内瑞拉等地。
《2000亿权重的责任》
回顾 Felix Hill 多姿多彩的人生，直到最近，外界才逐渐了解到他背后所经历的艰难。通过查看他的社交媒体更新记录，除了转发他人内容外，他最后一次更新是在分享观看一场音乐会的经历，并写道：“这是艰难时期的希望的象征。”
然而，在此之前，Felix Hill 长期饱受精神疾病困扰，这段痛苦的经历也深深影响了他的学术生涯和个人生活。在他于2024 年 10 月发表的一篇主题为《2000 亿权重的责任》（https://docs.google.com/document/d/1aEdTE-B6CSPPeUWYD-IgNVQVZM25f7MF-u9qn5KJJvo/edit）文章中，他讲述了自己在现代 AI 工作中所承受的巨大压力以及身体状况，还在 X 上发出三连问：
你从事人工智能工作吗？
您是否发现现在的压力比以往任何时候都大？
您曾经患过精神疾病吗？
Felix Hill 在文章中阐述道：
「人工智能领域在过去两年发生了不可逆转的变化。
ChatGPT 的月活跃用户数接近 2 亿。2024 年 5 月，Gemini 的访问量接近 3.2 亿次。AI 爱好者现在可以使用 AI 微波炉、AI 牙刷，甚至 AI 足球。
然而，对于我们这些从事 AI 工作的人来说，这股公众兴趣的浪潮既是福也是祸。毫无疑问，薪资、股价和市场估值都有所上升，但这种变化也带来了独特的压力。
本篇文章讨论的是现代 AI 工作中的压力。它面向所有从事 AI 工作的人（根据保守估计，全球大约 87% 的人口都与AI相关），但特别是那些从事 AI 研究的人。
最终，我希望通过讨论是什么让 AI 研究如此紧张，能够让我们这些有幸从事这一行业的人生活得更加愉快。因为尽管当前充满混乱，AI 仍然是一个美好而充实的职业，它有潜力解决许多伟大的科学、哲学问题，进而影响整个人类的发展。
无法逃避的 AI 话题
几个月前，我参加了一个朋友的 40 岁生日派对。我们是亲密朋友，所以我认识了不少宾客，其中一些人非常熟悉，但我并不认识所有人。
在我认识的最不熟悉的人当中，我注意到了一个有趣的现象。
尽管我身体状况不太好（稍后会提到），显然也不太想参与交谈，但还是有小小的一队人围了上来。仅仅因为大家知道我在 DeepMind 工作，人们就想和我聊聊。
而且讨论的内容并不是像足球或 80 年代音乐这类轻松的话题。这些人想谈论的正是我最不想思考的事情：AI。虽然这么多人对我的工作感兴趣让我感到受宠若惊，但这也让我意识到过去两年发生了多大的变化。银行家、律师、医生和管理顾问都想听听我对 ChatGPT 的看法；尽管很少有人声称在工作中直接使用这类大语言模型，但他们都确信 AI 领域正在发生某些事情，他们需要了解。
作为研究人员，我敢肯定你能理解这种在社交场合无法开启休息模式的感觉。
但情况更糟。我甚至在家里也无法逃避。
我在家不看新闻，生怕引发焦虑。但没想到的是，即使观看足球、VH1、电视频道《Montalbano 警探》或那部精彩的《那不勒斯四部曲》改编剧时，广告中也充斥着 AI 的身影。
在那个时候，我常常想打包行李，跨越大陆，加入一个与世隔绝的教派。
隐性竞争
几家大型公司似乎在争相开发最大的、最好的大语言模型，这本身就是一种固有的压力，无论你为谁工作。
现在做 AI 研究感觉像是在参与一场战争。当然，这并不是说把 AI 研究与“字面意义上的战争”挂钩。但根据我的亲身经历，我知道这种相似性是真实的，尽管有些牵强。
为利润而工作
通常，行业中的研究人员并不习惯自己的工作对雇主的底线产生直接且立竿见影的影响。
当然，很多研究人员都梦想着能有机会产生这样的影响。只不过以前这种机会几乎是十年一遇。
在大多数情况下，今天关于大语言模型的基础研究结果只是模型性能上的一些小波动，且可能是短期的。然而，由于公众估值与大语言模型的表现如此紧密地联系起来，这些小波动反过来可能导致股价数十亿美元的波动。
这种动态显然非常具有压力，而且 AI 研究人员在研究生阶段、博士后阶段，甚至在 2022 年之前的工作中都没有为此做好准备。
钱、钱、钱
大多数 AI 研究人员，尤其是我们这些年纪稍大的研究人员，并不是为了赚钱而进入研究领域的。做自己热爱的工作并获得丰厚的报酬听起来很不错，但这也可能引发巨大的焦虑。尤其是当推动你收入增长的外部因素不在你控制之内，或这些因素使你不再像以前那样热爱你的工作时。
无论 AI 是否与此相关，都有大量证据表明，财富的迅速积累会导致各种问题；看看那些在多年努力后终于一夜成名的演员或歌手。成瘾、破裂的关系、破裂的友谊甚至自杀，都是一些更常见的症状。这些症状我无疑能感同身受。
科学家没有角色
LLMs 的规模、简单性和高效性使得要做出真正有意义的“科学”变得困难，因为这些模型的改进不会立即让 LLMs 变得更好。
领先的 LLM 研究人员已经常常会提及 Rich Sutton（AI 先驱、强化学习教父）曾说过的 AI 苦涩的教训；也就是，几乎不需要创新，除了规模之外。
（http://www.incompleteideas.net/IncIdeas/BitterLesson.html）
即使理论上可以实现实质性创新（它当然是可能的），实现这些创新通常需要在不同条件下反复训练最大的 LLM。现实是，即使是最大公司也无法负担。对于一个“仅仅”是研究人员来说，这种局面往往会让人感到心力交瘁。
这些条件对于那些习惯于在小团队（5-10人）中工作的工业科学家来说已经很难。但对于学术界的人员来说，这种情况无疑更加严重：博士生、博士后和 AI/CS/ML 领域的教职人员。
发表
虽然学术界的人可以（并且应该）继续发表从实验中获得的 LLM 见解，但对于工业界的科学家来说，发表的问题就变得不那么明确了。
发表一直是科学过程的内在组成部分，也是 AI 研究的核心原则之一。我与大多数我所交流的 AI 研究人员，特别是研究科学家们达成一致：发表文章感觉是我们职业生涯中的一个关键方面。
然而，至少在工业界，关于是否可以将发表作为研究成果的可行结果，过去两年变得越来越不清晰。能够改进 LLM 的微小技巧，可能就是 LLM 竞争中的关键武器。是否将这些秘密公开有利于资助研究的组织，始终是一个微妙的问题。
这意味着研究人员经常无法明确自己创意的命运，至少在我的情况下，这会造成巨大的压力。
初创公司
当然，从这些烦恼中逃脱的一种可能途径是，形成一个科学愿景，筹集一些资金，成立一个初创公司。实际上，目前 AI 初创公司（大大小小）蓬勃发展的现象，显示了许多科学家选择了这条路。但成为创始人并不能成为避开压力问题的万无一失的办法。实际上，这条路是著名的压力山大；即使在当前投资者热情高涨的情况下，许多资金雄厚的 AI 初创公司也会失败。我从自己的经验中知道，作为创始人是一段特别孤独的旅程。对于雄心勃勃的科学家来说，这无疑是一个可行的选择，但它不太可能让做科学变得轻松，也不会减少压力。
为什么我选择写这篇关于压力的文章？
过去两年，AI 领域发生了混乱和疯狂的变化，但对我个人而言，这也是一个特别动荡的时期。
2023 年 4 月，我的母亲在与阿尔茨海默症的长期斗争后去世。当时，我正在一家精神病医院接受治疗，因为我患上了急性精神病，压力可能是一个重要因素。在接下来的 12 个月里，我名义上在康复，但实际上，我处于极度焦虑和自杀性抑郁的状态。幸运的是，在这一时期，我的雇主理解我的处境（以及我对公司的价值），并提供了持续的治疗和道德支持。
在经历了另外六个月的致命抑郁之后，我开始感觉有所好转，最近我感到有能力写下我的经历。我意识到，压力和焦虑是密不可分的；事实上，它们最终可能是同一种东西。当然，像任何适应性特征一样，焦虑可能是有益的（例如在生产力方面），但当焦虑变得恶性时，后果可能会非常严重。
正是在反思过去两年的 AI 历程时，我尝试重新学习如何成为一名 AI 研究人员，这才让我获得了这篇博客中的见解。当然，分享这些见解并不能解决所有问题，但在我最黑暗的时刻，给我带来希望的其中一件事就是知道我并不孤单。如果你现在正在遭受困扰，相信我——你并不孤单。
社交焦虑
我已经涵盖了很多可能困扰当前 AI 研究人员的压力或焦虑的催化因素，但有一种压力我还没有提及，因为我很幸运从未亲身经历过它。不过，我通过与朋友和同事的对话了解了它。
这种压力就是社交焦虑。
根据朋友们的描述，那些有社交焦虑的人觉得群体之间互动有一定困难。这在现代 AI 的世界里尤其困难，因为大型项目团队和大规模（通常是跨大陆）的合作至关重要。当前行业中高水平的人员流动使问题变得更为严重，因为建立的团队（通常充当社交“安全网”）可能会在一夜之间被摧毁。人员流动还可能导致信任问题，因为以前可靠的盟友可能会离开，投向“敌方”研究小组。
好消息是，社交焦虑，就像我迄今为止讨论的所有焦虑或压力表现一样，是可以克服的。这个过程从培养像家人和“非 AI”朋友这样的自然支持网络开始。但第二步至关重要，那就是我们所有从事 AI 工作的人需要开始并持续进行关于压力的坦诚对话。」
当时，Felix Hill这篇文章的发布，引发了不少读者的共鸣，也收获了很多祝福，希望Felix Hill 的身体是真的有所好转。
AI 圈大佬纷纷发文悼念
令 AI界悲痛不已，噩耗而至。Felix Hill 的英年早逝是人工智能研究领域的重大损失。
最初，这一消息由斯坦福大学兼职教授、Contextual AI CEO Douwe Kiela 在 X 平台确认并代家人转达。
Douwe Kiela 表示，「我亲爱的朋友 @FelixHill84 去世了，我真的很难过。他在世界各地有很多朋友和同事——为了确保我们能联系到他们，他的家人要求分享这个网页，以纪念他的一生：https://pp.events/felix。」
听闻此消息，曾与 Felix Hill 进行过学术辩论的AI 学者 Gary Marcus 留言道：“尽管我们有时在思想上有分歧，但听到这个消息我感到非常遗憾。RIP.”
网友纷纷留言悼念：
与此同时，知名的人工智能研究员 kyunghyun cho 发长文送别 Felix。kyunghyun cho 难过地透露，自己在 2024 年的最后一天发布的这篇文章，实则是在 2024 年 12 月 9 日写下的，但当时不敢发布，因为既不想也无法接受发生的一切。“即使现在想到这件事，我的心依然痛得难以承受。”
时间回到 2014 年初夏。我当时是蒙特利尔的一名博士后，在 Yoshua Bengio 的指导下工作，而 Felix 是刚到蒙特利尔的一名访问生。
那时，我正在努力构建一个可以处理长源/目标句子的神经机器翻译系统。为此，我尝试了我能想到的所有可能的想法（注意力机制并不在这些想法之中——我得等到那个夏天稍晚些时候，Dima Bahdanau 作为实习生来到蒙特利尔时，才接触到注意力机制）。
在那些（徒劳的）尝试中，我尝试构建一个基于门控卷积的编码器，而不是使用循环网络编码器。在对门控机制施加了适当约束后，我成功地训练了这个模型，并让它变得具有一定的可解释性。当 Felix 走到我的工位前，向我自我介绍说他是一个语言学家/计算机科学家时，我迫不及待地向他展示了这款新模型所揭示的可解释结构。我向他展示了以下图示：
源自 [https://www.mt-archive.net/10/SSST-2014-Cho.pdf] 的图6(a)
Felix Hill 用一种极为自信的语气对我说：“Kyunghyun，语法不是问题。”（顺便提一句，他可能是我听过非韩国人对我名字发音最准确的人。）我立即觉得 Felix 会成为我最好的朋友之一（事实证明他确实是），而这句话在接下来的几年里也成为我演讲 Slides 中常出现的一页。
除了有趣的聚会和轻松而深刻的哲学对话， Felix 和我还抽时间做了一些研究。我们可能最大的“贡献”是带来了一个相对奇怪的趋势：自 2016 年开始，持续了约 3 ~5 年的一股风潮——每个人似乎都迫切地想在论文中放入一张充满无数数字的大表格。当我们撰写《Learning Distributed Representations of Sentences from Unlabelled Data》这篇论文时，我们并没有多想，但最后却还是放进了两张巨大的表格：
两张不必要的大表格和大量冗余的数字
2018 年初，Felix 注意到在 ICLR 论文集中出现了几篇文章，其中包含了“The Really Enormous Table”。对此，我们只能责怪自己。即使是在严肃的研究中，我们也忍不住一起寻找乐趣。
和 Felix关于“巨大表格”这一“原罪”的对话
时间快进近十年。作为 2023 年 Khipu（南美洲的人工智能暑期学校）的组织者之一，Felix 邀请我作为演讲嘉宾。他满怀激动地向我介绍了我们计划做的事情和参观的地方，比如去看一场足球比赛以及拜访布宜诺斯艾利斯。2023 年 3 月，当我抵达 Khipu 的举办地蒙得维的亚时，我注意到 Felix 还没有到场。其他组织者告诉我，由于健康问题，他无法出席。那时我并不知道，这将是我们再也无法面对面见面的开始：
费利克斯未领取的名牌，2023年第二届 Khipu 活动期间
今年六月（2024年），在许多年之后，我终于有机会到访伦敦。我发消息问 Felix 是否愿意一起吃午饭。虽然我知道他可能很难答应，但我真的非常、非常希望能再次见到他，和他聊天、一起消磨时光。我们上一次见面还是在疫情之前，自那以后，我们只有零星的 Zoom 通话。我也暗暗希望能惊喜地看到他的健康状况有所好转。几个月后（2024 年 8 月），Felix 回复了，他为回复晚了道歉，这完全是没有必要的。他还发来了一张我们俩的合影（是的，这张照片并非由 AI 生成，而是由费利克斯拍摄的），提醒我们双方上一次在伦敦相聚的情景。
（左） Felix 拍摄的我们俩的合影。（右）既非 AI生成，也非 Felix生成的另一张我们俩的合影。
上周五，我收到 Douwe 的一条 Whatsapp 信息。多亏 Felix 在 2014 年的引荐，我才得以认识 Douwe，并和他成为了无法替代的挚友。我立刻尝试联系 Felix。我通过 Whatsapp 打给他，也拨打了他的手机号码，但都无法接通。
Felix（1984-2024），我希望你现在一切安好，并与你的母亲在一起。
Felix 一路走好，R.I.P.
https://kyunghyuncho.me/bye-felix/
https://x.com/FelixHill84/status/1843440885222281599
https://x.com/felixhill84
https://kyunghyuncho.me/bye-felix/
https://docs.google.com/document/d/1aEdTE-B6CSPPeUWYD-IgNVQVZM25f7MF-u9qn5KJJvo/edit?tab=t.0