整理 | 屠敏
出品 | CSDN（ID：CSDNnews）
大模型时代，人人都是开发者，人人也都想成为创业者，欲从大模型卷起的浪潮中分得一杯羹。然而，创业之路有多难？
前谷歌大脑高级研究科学家 Yi Tay 在离开 Google 勇闯 AI 创业圈 20 个月后发文表示——「为了同时兼顾很多事情，我的身心健康受到了很大的损害，由于高强度的工作和不健康的生活方式，我胖了 30 斤。」
11 月 26 日，Yi Tay 在社交平台 X 及个人博客上分享自己的最新决定——重回 Google DeepMind，从事 AI 和 LLM 研究。
摆脱了创业者的身份，Yi Tay 如释重负，异常开心：
在创业世界探索了一年半之后，我决定回归我的研究初心。
我将重返 Google DeepMind 从事 AI 研究。我很高兴能够探索与 LLM 相关的激动人心的研究方向，并期待发现新的研究突破点。
我将以高级研究员的身份重新向我之前的主管（Quoc Le）汇报工作。
这是我回来的第一周，我非常兴奋。
在 Google 任职的 3.3 年
对于 Yi Tay 而言，这一次看似以“失败”告终的创业也并非当时的一时冲动。和许多心怀大志的年轻人一样，彼时 33 岁的 Yi Tay 想试试自己在未来 3.3 年里究竟能有多少成长。
至于为什么是以 3.3 年为周期，Yi Tay 曾透露，他花了约 3.3 年的时间攻读博士学位。一毕业之后就以研究员身份加入 Google 美国山景城园区的研究团队，随后回到新加坡，作为“新加坡办公室的唯一研究员”继续工作。
而后他成为 Google Research 美国研究团队的技术主管，致力于 Transformer 扩展和架构。在此期间，他还为大约 20 款产品的发布做出了贡献。随后，Yi Tay 加入 Google Brain 团队，成为一名高级研究科学家，致力于大模型和 AI 的研究，这一干又是一个 3.3 年。
这段时间里，Yi Tay 参与并推动了 Google 不少前沿研究工作，如 PaLM、UL2、Flan-{PaLM/UL2/T5}、LaMDA/Bard 和 MUM 等。此外，他在 ViT-22B 和 PaLI-X 等大型多模态模型的开发中也发挥了重要作用，并担任新 PaLM-2 和 PaLM API 的建模联合负责人。
同时，他在 Google 任职的 3.3 年时间里共撰写了约 45 篇论文，其中约 16 篇为第一作者或共同第一作者。
有了丰富的经验积累，Yi Tay 想要开启自己下一个冒险之旅。于是在去年 3 月，Yi Tay 和 Meta 研究科学家 Mikel Artetxe 等人一拍即合，创立了 Reka 公司，而他担任 Reka AI 的联合创始人/首席科学家。
融资 1 亿元，15 个人共同创业的一年半
在百模大战期间，Reka 也不负团队的共同努力，发布了在文本、代码、图像、视频和音频数据上从头开始进行训练的多模态语言模型 Reka Core (67B)、Flash (21B)、Edge (7B) 和 Spark (2B) ，效果都不错，同时 Reka 也和英伟达、Oracle 和阿里云等公司有着不同程度的合作。
回看过去一年半的经历，Yi Tay 在最新发布的《重返 Google DeepMind》博文中透露出，创业的确能学到很多，但也真的是累！
在创立 Reka 过程中，Yi Tay 写道：
从技术层面来看，我学到了很多关于 Google 之外的基础设施的知识，掌握了使用 PyTorch、GPU 以及其他外部资源的技能。我和 Reka 创始团队的其他成员一起，以成本最优的方式构建了高质量的模型。我还学会了如何应对不可靠的 GPU、供应商和计算资源。
此外，我还基于自己的经验在 WebConf 的 LLM Day 发表主旨演讲以及在越南 GenAI 峰会上进行了技术性、内省性和面对面的分享。特别感谢 swyx 邀请我参加 Latent Space 播客分享我的冒险经历，也感谢 TechInAsia 邀请我参加有趣的炉边谈话。
作为初创公司创始人，我还经历了许多在 Google 无法接触到的有趣事件，这让我大开眼界。我学到了很多关于创业、商业以及从零开始建立公司的知识。尽管如此，我仍然认为自己更像是一名科学家/研究员，因此决定回归本心，重新专注于研究。
我为我们在 Reka 创立初期取得的成就感到自豪。今年 5 月，我们凭借 Reka Core 成为 LMSys 排行榜的前五机构之一。虽然模型实际排名第七，但我们达成了超越 GPT-4 早期版本的目标。考虑到我们比其他实验室少得多的资源（资金、计算能力和人力），这是一个了不起的成就。虽然我们总共分批融资超过 1 亿美元，但与其他团队相比，这仍是相对较少的资金。
此外，这些成就是由不到 15 人的技术团队完成的。
个人层面，这对我来说是一个极为紧张的时期，尤其是在创业初期发现我的妻子怀上了我们的第一个孩子，而且正好是在我刚离开 Google 时。为了同时处理这么多事情，我的身体和心理健康受到了巨大影响，由于高强度和不健康的生活方式，我的体重增加了 15 公斤。好的一面是，我现在正在积极努力恢复健康，或许未来会写一篇文章分享这段“恢复之旅”。
仅从 Yi Tay 分享过去一年半的照片记录中，肉眼可见的是，创业真的使 Yi Tay 变胖了。
Yi Tay 回忆道，「对我来说，这是一段疯狂但意义非凡的旅程...我已经有了一段不错的旅程，我相信 Reka 在那些才华横溢且有能力的人手中会发展得很好！这是一次不错的“学术休假”和学习机会。现在，是时候回归 Google，继续我的研究之路了」。
临近文末，Yi Tay 还感叹一声——放弃舒适区并创业对我个人来说真的很可怕！可见这次 AI 创业其实也给他带来了不小的冲击。
人才流回大厂，AI 发展的下一步
不得不说，AI 领域的“卷”不止让 Yi Tay 感到心力憔悴，更多的从业者想必也感同身受。尤其是近年来，多种宏观因素的共同作用推动了 AI 的迅猛发展。计算能力和存储成本的大幅下降、互联网的普及以及数十年的算法研究，为 AI 的实际应用创造了理想条件。
虽然学术界早已预见到 AI 在大数据集上的潜力，但由于基础设施成本过高，一直因素阻碍着这些理论的实现。然而，如今随着支持 AI 模型的成本变得更低、更普及，这种局面迎来了根本性转变。
随之而来的就是无论是硬件产品、AI 大模型还是 AI 基础设施，都涌现出大量新玩家和新尝试。
然而，一头涌入这波浪潮中的人不乏有盲目的，早些时候我们也亲眼见证了很多 AI 初创公司为了抓住最新的 AI 热潮，选择简单地将业务建立在现有平台如 GPT、Gemini 大模型之上，试图通过“蹭热度”快速进入市场。然而，这种缺乏核心竞争力的做法往往导致“OpenAI 一次更新，毁掉无数创业公司”的「悲惨结局」。
此外，当初也有不少 AI 人才选择离开大厂创业，似乎低估了 AI 的研发本质上是一场高成本、高风险的“烧钱”游戏。从昂贵的算力、人才成本到持续的模型研发优化，都对企业的财力和执行力提出了严苛要求。面对资源有限的同时还要应对来自行业巨头的竞争压力，许多初创企业最终未能持久，不得不寻找其他出路。
也正如 Yi Tay 在其创立 Reka 经历中提到的，尽管他们成功筹集了超过 1 亿美元的资金，但相对于竞争对手来说这笔资金仍显不足；同时，仅有 15 人的团队规模也显得捉襟见肘。最终 Reka 在成立一年后，也被外媒爆出，美国云计算数据服务公司 Snowflake 有意以超 10 亿美元的价格收购。然而，疑似 Reka 方面认为 Snowflake 开价太低，这笔收购此后又被曝终止。
这并非 Reka 一家公司正处于艰难生存的窘境中，其他不少 AI 创业公司同样如此，这也导致越来越多的 AI 人才选择回归大厂，就在过去一年里：
微软斥资 6.5 亿美元聘请 AI 初创公司 Inflection 的联合创始人 Mustafa，负责 Bing、Copilot；
人工智能初创公司 Adept CEO David 带着联创和几乎全体员工加入亚马逊。
初创公司 Character.AI 联合创始人兼原 CEO Noam Shazeer 回归 Google，担任 Google AI 项目 Gemini 的联合技术负责人。另一位联合创始人丹尼尔・德・弗雷塔斯加入 DeepMind 研究团队。
国内也呈现同样的情况，有消息称，原零一万物核心成员黄文灏、原面壁智能核心成员秦禹嘉已加入字节大模型团队...不久前，同为 AI 初创公司的月之暗面 Kimi 创始人兼 CEO 杨植麟在媒体采访中也谈到了 AI 人才回流大厂的现象，其表示，“倒也正常，因为行业发展进入了一个新的阶段，最初很多公司在做，变成现在少一点公司在做。”
现实来看，这一现象的背后亦是资源争夺与行业洗牌的加剧。可以说，AI 领域的高速发展既是一场技术竞赛，也是一场资本的对抗，或许新一轮的 AI 浪潮才刚刚开始。
参考：
https://www.yitay.net/blog/leaving-google-brain
https://www.yitay.net/blog/returning-to-google-deepmind