编辑｜杨文
AI 圈不缺八卦。
这次的主角叫 Giambattista Parascandolo，是 OpenAI 推理模型方向的重要研究者。
2020 年，他去 MIT 面试教授岗位，做了一场关于用 GPT 做推理的报告。结果，面试委员会大部分教授把这个方向斥为「无稽之谈」（nonsense）。
https://x.com/turingbook/status/2084003612687249836?s=20
这哥们直接贴脸开大，将这段经历写进了个人主页，并附上了当年的报告介绍和幻灯片链接。
https://sites.google.com/view/giambattista-parascandolo/home
那份被批「无稽之谈」的报告，讲了啥？
MIT 官网显示，这场报告的主题，是如何让人工神经网络突破训练分布，获得更接近人类的泛化和规划能力。
Parascandolo 认为，人类能够重新组合已有知识，识别关键不变量，建立抽象模型，并完成长时程规划。人工神经网络在这些方面仍有很大提升空间。
报告最后，他提出了三个未来研究方向：神经网络中的开放式推理、人工神经网络中尚未探索的自由度，以及在强化学习中将语言作为推理载体，以提高样本效率。
其中最关键的概念，是「开放式推理」
Parascandolo 将其定义为：模型可以投入更多时间和计算，持续修正答案。问题越难，模型就应该多想几步，并让额外计算转化为更好的结果。
这听起来已经很像今天的推理时计算扩展
当时的标准 Transformer 拥有固定的网络深度，每个 token 经历的前向计算量基本确定，问题难度却与输入长度没有稳定关系。一个问题可以很长，答案却很简单。另一个问题只有一句话，可能需要多轮拆解和验证。
RNN 看起来更加适合这种任务。它可以反复运行，理论上能够获得任意长度的思考时间。Parascandolo 在 PPT 中展示的曲线却表明，RNN 通常只在训练时见过的推理步数附近表现最好，继续增加循环次数，准确率反而可能下降。
这意味着，增加计算量只是第一步，模型还要学会如何利用这些计算。
当时效果最强的多步规划，大量依赖模型预测控制和蒙特卡洛树搜索。神经网络负责预测环境或评估价值，外部搜索算法负责展开未来路径。Parascandolo 希望进一步将长程推理能力融入神经网络。
他的第二个设想，是让语言成为推理载体
Parascandolo 用经典游戏《蒙特祖玛的复仇》举例。一个从零开始训练的强化学习 Agent，需要尝试大量状态和动作组合，很多正确操作本身并不复杂，Agent 真正缺少的，是对「什么行为更合理」的判断。
GPT 已经从文本中吸收了大量世界知识，语言可以帮助模型描述环境、理解目标、拆解任务和生成高层计划，也能大幅缩小搜索范围。
放到今天，这套思路很容易让人联想到思维链、语言规划和 Agent 工作流
Parascandolo 提出的第三个方向是，人工智能系统可以重置任务，回到记忆中的任意状态，构造反事实场景，还可以调整模拟器中的时间、重力和观察结果。系统甚至可以直接读取、复制和修改自身的激活值与神经网络权重。
这相当于把学习过程本身也纳入 Agent 的操作空间。它可以开展刻意练习，生成特殊训练场景，迁移已有知识，并针对失败轨迹重新学习。
五年前的 PPT 里，几乎写出了今天的推理模型路线
我们还扒出了他 2021 年 6 月写过的一篇博客，题目就是《反向传播、进化与「两只狗」的误区》。
这篇博客主要反驳「神经网络需要海量数据，因此不像人脑」的观点。
Parascandolo 认为，人类只看几只狗就能学会识别，并不代表此前没有积累经验。漫长的进化已经把祖先接触世界的经验，沉淀为人类大脑的结构和归纳偏置。
按照这一视角，神经网络的大规模预训练可以类比生物进化，模型微调和上下文学习才更接近个体一生中的学习。GPT-3读过的文本远超任何个人，但其预训练承担了压缩海量经验、塑造高效学习能力的作用。因此，不能直接拿模型的全部预训练数据，与一个人出生后的少量学习样本进行比较。
这种理解也意味着，继续扩大数据和算力仍可能带来明显提升。他类比的是两者发挥的作用，并没有认为梯度下降与生物进化的具体机制相同。
这小哥啥来历？
这哥们相当低调，X 上最新一条帖子还得追溯到 2024 年 11 月，当时他正在为 o1 招聘两位研究工程师（RE）和软件工程师（SWE）。
据他个人主页显示，Parascandolo 的研究经历，一直围绕泛化、规划和推理展开。
2017 年，他进入马克斯・普朗克智能系统研究所和苏黎世联邦理工学院攻读博士，师从 Bernhard Schölkopf 和 Thomas Hofmann，博士课题聚焦深度学习中的 OOD 泛化。
博士期间，他在山景城的 Google X 和伦敦的 DeepMind 各做过一段实习，前者参与超大规模模拟器上的自动化设计研究，后者参与分治蒙特卡洛树搜索研究。
2021 年 9 月博士毕业，他直接加入 OpenAI，最初进入 John Schulman 领导的强化学习团队，随后转向 Mark Chen 所在的算法团队，又加入 Jerry Tworek 带领的（草莓）团队。草莓团队，正是 o1 项目的内部代号。
2023 年，他参与 GPT-4 研发，并组建了一支继续研究推理的新团队。后来又参与了 OpenAI o1 和 o3 的基础研究，推动奖励建模、环境构建和通用推理算法的扩展。其中一部分算法描述，至今仍被他用黑块遮住。
2020 年那场面试，Parascandolo 没能拿到 MIT 的教职，他去了 OpenAI。
四年后，他帮助构建了 o1。
人生总是妙不可言。
参考链接：
https://x.com/giambattista92
https://sites.google.com/view/giambattista-parascandolo/home
https://gibipara92.github.io/2021/06/09/backprop-evolution-two-dogs.html
https://docs.google.com/presentation/d/1edd2GkAP31wNygaev3DO8gE1t2lgsx1z8TeVpBKqlYA/edit?slide=id.gc772610149_0_179#slide=id.gc772610149_0_179