从社区数据看大模型开发生态的全景与趋势

作者 | 王旭、夏小雅

编辑 | Kitty

写在前面

10 月 19 日，我和小雅在 QCon 全球软件开发大会 2024（上海站）「开源重塑 AI 开发生态」专题作了题为「从社区数据看大模型开发生态的全景与趋势」的演讲，作为该专题的出品人，两届“ QCon 优秀出品人”得主的 “老人”，为什么在出品的同时要兼做这个演讲？是因为在这个主题之下，我自己也产生了困惑——开源生态到底发生了什么变化，我们又该从中学到点什么。这个演讲只是一个开始，后续还有继续的研究正在进行中。

破题：为什么要看社区

毫无疑问，我们每个人都或多或少地感知到大模型带给我们的冲击，然而，当我们看着充斥在眼前的信息，对训练和推理的需求疲于奔命的时候，什么是趋势，全景如何，破局点在哪里，应该放弃什么或是追逐什么，对每一个疲惫但仍心存未来的开发者来说，都是想弄清的问题之一，对我也不例外。

但是，当我作为架构师，尝试从现有系统、现有组织里来提取系统发生了什么变化的时候，看到的却是在被巩固的边界，和原有系统的延伸。不管它是不是有问题，边界和架构却都有发生什么变化，在面临破坏性（disruptive）变革的时候，这不是生态该有的演进方式，但是，已有的组织，从自己的出发点来看，又是那么地必然。

于是，我想起来，我还是一个开源世界的小分子。当我作为开源参与者，我看到了涌现的新项目，尤其是 llama2 发布之后大批涌现的项目，以及已有项目的转向，乃至很多项目的沉寂，开源世界是一个或很多自治的生态系统，这个系统的自底向下的演变，正是可以给我们一些输入，让我们审视——昨日明星今何在，生态全景又如何，关键锁钥入谁手，我欲入局做哪家。

刚好啊，我说刚好啊，我们开源办的同学们在很早就开始了数据上的研究和合作，我们还有小雅这样的研究了几年社区的博士同学，于是，我请来小雅一起做这个分析，一拍即合。当然啊，因为我们这个分析还在进行中，QCon 只是给大家一点点预览，后面还需要有更多工作。