机器之心报道
编辑：蛋酱、小舟
半年来，9 位「毕业生」完成了从转行、入门到精通的研究旅程。
近日，OpenAI 正式公布了 2021 年度学者计划（OpenAI Scholars 2021）情况：9 位研究者经历了为期六个月的指导计划，已经在 OpenAI 的资金及其他支持下完成了自己的开源研究项目。
OpenAI Scholars 计划始于 2018 年，面向本年度加入的研究者，OpenAI 提供如下帮助：
- 一位专门的 OpenAI 导师，可以与其学习和合作，每周提供建议和反馈；
- 在整个计划期间，每月提供 $10000 的津贴；
- 由 Microsoft Azure/AWS 等提供的云计算服务；
- 与其他学者、研究员和指导者组成 Slack 社区。
当然，加入该计划有一些前提条件，比如拥有美国工作许可且计划期间始终位于美国境内，在软件工程方面拥有 2 年以上的经验（不需要机器学习经验），在 Python 方面拥有扎实的编程经验（将用 Python 编写程序），有很强的数学背景（比如曾在数据科学、物理、化学或其他相关领域研究或工作过），有执行独立项目的经验，熟悉 Pytorch 等等。
OpenA ICEO Sam Altman 表示：「这项计划对于我们来说很重要，因为它将增加人工智能的多样性，对领域产生积极影响。」
在「毕业」之际，9 名学者分享了他们的研究工作以及 OpenAI 学者计划对他们的职业影响，内容如下：
Christina Kim
研究项目：Scaling Laws for Language Transfer Learning
Christina Kim 此前是 AI 招聘平台 Sourceress 的创始工程师，为该平台搭建了 ML pipeline 和人为回环标签系统的基础架构，主要领域为软件工程和机器学习生产化。
在 OpenAI 近期有关定标律的研究基础上，Christina Kim 的项目探索了当变换模型大小和数据集大小时，面向英语进行预训练对于跨语言学习的影响。
经过项目研究，她发现：a）经过预训练的英语模型在学习德语、西班牙语和汉语时最有帮助；b）从参数、数据和计算方面，从英语迁移至为汉语、德语和西班牙语是可预测的。
我对刚开始进行深度学习研究的人员的建议是，要花些时间来了解基础性论文中的见解，并记住，这仍是个新的领域，你会拥有很大的发挥空间。
更多项目细节：https://youtu.be/lpe5Gwuqa-k
Danielle Ensign
研究项目：Feedback Loops in Opinion Modeling
Danielle Ensign 有软件开发、AI 公平性和 VR 游戏开发方面的背景，他的项目从深度学习的角度审视了此前 Opinion Modeling 的研究工作。这些模型正生成越来越多的文本，因此很有必要去理解 Opinion 生态系统以及未来模型产生的影响。此外，Danielle Ensign 研究了在对先前模型的输出进行模型迭代训练时所发生的情况。
如果可以的话，请花几个月的时间深入学习 2019 年 fast.ai 课程（第 1 部分和第 2 部分）、Andrew Andrew Ng 的 Coursera 深度学习课程、David Silver 的 RL 课程以及 Spinning Up in Deep RL 等课程。此外就是要有统计学的背景，以及用 PyTorch 动手实现几篇论文等等。你可以用一些较新的 idea 去改进先前的论文，这个过程会让你更好地理解深度学习研究方法。
更多项目细节：https://youtu.be/wZ6PqNp-W_w
Ellie Kitanidis
研究项目：Contrastive Language Encoding
Ellie Kitanidis 是一位有物理学背景的研究科学家，她专注于暗能量、暗物质和宇宙大尺度结构。他使用了对比目标对一个语言表征模型进行预训练。与预训练包含更多传统语言建模目标的模型相比，她对此类模型的适用性和可扩展性感兴趣，也对影响对比语言编码器性能的因素感兴趣。
在新冠疫情期间完成职业转变是很困难的，但这一计划为我提供了学习、获得实践经验和适应该领域的理想环境。与 OpenAI 导师和其他人的讨论让我获得了教科书中无法获得的专家见解和直觉。但是，我发现的最重要的事情是：我是如此热爱 AI 研究，今后也计划继续朝这个方向发展自己的职业了。
更多项目细节：https://youtu.be/mVZE7wm1skw
Jonathan Ward
研究项目：Large Scale Reward Modeling
Jonathan Ward 在这一计划中的目标是：希望构建更加了解人们真正意图的计算机系统。OpenAI 最近的一些工作表明经过人类反馈训练的奖励模型可以支持强化学习。Jonathan Ward 的项目也显示，可以根据从网站提取的大规模结构化反馈来训练奖励模型。
我对希望加入的人们有一个建议：做一些开源项目！找到你能想到的最简单有趣的想法，然后动手构建！
更多项目细节：https://youtu.be/EUZxw2VZUBA
Kudzo Ahegbebu
研究项目：Characterizing Test Time Compute on Graph Structured Problems
Kudzo Ahegbebu 是一名具有物理和航空应用背景的软件工程师，他探索了测试时间计算在众多领域（包括自回归 transformers、深度均衡模型、图神经网络）的可扩展性。其中，Kudzo Ahegbebu 遇到了一个问题：在有限的训练计算预算的约束下，小型自适应模型可以代替利用测试时间计算来克服学习参数数量较少的障碍吗？最后，他们提出了在减少计算成本和改善图神经网络性能方面卓有成效的机制。
该计划使我有信心去追求新的深度学习研究兴趣和研究方法，更加清晰、高效地展开工作，并重新激发了潜在的研究兴趣。
更多项目细节：https://youtu.be/8iz5v3Q0g9I
Legg Yeung
研究项目：Breaking Contrastive Models with the SET Card Game
Legg Yeung 是一位有数据科学与架构背景的 AI 研究者。Legg Yeung 的研究项目扩展了著名的「SET 神奇形色牌」，以研究矢量表征维度与任务组成之间的关系。
我的导师给了我很多建议，研究过程很紧张，但付出的努力是值得的。
更多项目细节：https://www.youtube.com/watch?v=AKg0tzunYP0
Sam Gbafa
研究项目：Words to Bytes: Exploring Language Tokenizations
Sam Gbafa 曾在电气工程专业学习，后来对编程产生了兴趣，研究兴趣包括深度学习、加密货币、无人机等。Sam Gbafa 想探究 OpenAI 的模型及构建和迭代这些强大模型所需的资源。他的研究项目探究了使用一些分词（tokenization）方案时的权衡问题，以及这些分词方案的扩展。此外，该研究还使用一种学习序列的分割的方法代替预定义方法。
我原本想了解当前的技术水平，但是过去几个月的研究让我明白自己可以为推进深度学习和 AI 的发展做出有意义的贡献。此外，这项研究还让我对模型的含义以及最大程度减少模型中潜在危害的方式进行了思考。
更多项目细节：https://www.youtube.com/watch?v=TsFLqbiim4M
Shola Oyedele
研究项目：Studying Scaling Laws for Transformer Architecture Variants
Shola Oyedele 最初学习的专业是法语，后来他对自然语言处理（NLP）产生了研究兴趣。Shola Oyedele 的研究探究了模型性能与训练成本之间的权衡问题，并研究了多种 Transformer 架构上的扩展规律，以了解 Transformer 架构对模型性能的影响。
在业界发现 GPT-3 潜力之时加入此计划，改变了我对技术的未来以及自己在其中的地位的看法。我对未来感到好奇，并希望参与其中。
更多项目细节：https://www.youtube.com/watch?v=HYijvkoXgPE
Tyna Eloundou
研究项目：Learning Multiple Modes of Behavior in a Continuous Control Environment
Tyna Eloundou 致力于解决 AI 系统日益复杂的构成中存在的问题。作为在美国长大的喀麦隆人，Tyna Eloundou 从学业、文化和语言的角度吸收了多种观点，获得了 AI 从人类的相同点和不同点中学习的方式。现实世界中的任务包含多个目标，当前强化学习中的方法并不能提供选择帕累托等效（Pareto-equivalent）策略的直接途径。Tyna Eloundou 的研究项目使用「多专家、多目标（MEMO）」的方式来探索智能体从具有不同目标的多个专家那里汲取成功样例的能力，并学习可以由导师（supervisor）决定的单一条件策略。
对于刚接触该领域的新人，我建议在阅读理论基础的同时逐步完成一些算法的代码实现，并经常尝试设计。此外，Fast.ai 和吴恩达的课程是很棒的资源。
更多项目细节：https://youtu.be/ewLoQrVCKew