出品|网易科技《态度AGI》栏目
作者|丁广胜
一个小时之前,月之暗面创始人杨植麟在北京与网易科技等媒体见面,内容无他,只和最新模型有关,针对“登月计划”的关键一步kimi数学模型k0-math。
这是月之暗面对于大模型下一步发展的思考,即让大模型思考。
杨植麟说月之暗面接下来探索的关键有两个,一个是强化学习,一个是数学场景。
大约400年前,伽利略著名的论断说,宇宙是一本用数学语言写成的“宏伟之作”。
杨植麟引用伽利略的这句话,阐述了月之暗面对于数学场景布局的判断。
基准测试显示,Kimi k0-math 的数学能力可对标全球领先的 OpenAI o1系列可公开使用的两个模型:o1-mini和o1-preview。
在中考、高考、考研以及包含入门竞赛题的MATH等4个数学基准测试中,k0-math 初代模型成绩超过o1-mini和o1-preview模型。在两个难度更大的竞赛级别的数学题库 OMNI-MATH 和 AIME 基准测试中,k0-math 初代模型的表现分别达到了 o1-mini 最高成绩的90% 和83%。
杨植麟表示,Kimi 探索版也通过运用强化学习技术创新了搜索体验,在意图增强、信源分析和链式思考三大推理能力上实现突破。
“k0-math 模型和更强大的 Kimi 探索版,未来几周将会分批陆续上线 Kimi 网页版和Kimi智能助手APP,帮助大家解决更有挑战的数学和搜索调研类任务。”
以下为杨植麟对话媒体现场实况记录(AI转录,经人类精选、删减):
问:为什么时候决定聚焦kimi的?
杨植麟:今年三四月份。我们主动选择做业务上的减法,聚焦把最重要的事情做好,始终保持大模型公司里人最少的,卡和人的比例最高的。
把一个产品做好,做到极致,是最重要的,我们不希望人数涨的特别猛,我们不能活生生把自己变成大厂。
问:现在都在谈应用,但超级应用迟迟没有出现,为什么?
杨植麟:已经出现了,ChatGPT有5亿月活,这就是超级应用。我们会根据美国市场的情况,来调整自己,选择一条河AGI愿景更贴合的路。
问:你如何看待大模型预训练?
杨植麟:预训练还有半代到一代模型的空间,这个空间明年就会释放出来,也就是说,明年基本上领先的模型会把预训练做到比较一致的阶段。
但我们判断,强化学习是一个重点。只是用不同的方式去做。我对Scaling Law还是乐观的。
问:你们为什么不做多模态?
杨植麟:已经在内测了 。AI思考和交互,我们看重这两个能力,思考是决定上限,交互是必要条件。
问:你们和豆包竞争比较激烈,同一赛道,接下来如何应对?
杨植麟:竞争本身并不产生价值,我们做好模型思考推理能力,给用户带来价值,做正确的事情,而不是专门做不一样的事情。
问:kimi最核心的任务是什么?
杨植麟:提升留存。这是当前最重要的事情,还有非常大提升的空间。我们离AGI的距离还处于初级阶段
问:如何解决模型过渡思考的问题?
杨植麟:因为我们现在没有对他的长度做任何的限制,所以他想想多少就想多少,我就让他自由的思考。问题出现在奖励上。
问:如果解决数据问题,让数据实现更大价值?
杨植麟:对强化学习来讲是核心的问题,数据是自己生成,奖励模型的效果会有更大的挑战,核心是训练更好的模型。
问:行业发展到今天,还有不少难题待解决,比如算法算力数据的平衡问题?
杨植麟:AI的发展是一个荡秋千的过程,两种状态之间来回切换,算力不够需要好算法,那没有高质量的数据也会成为问题,那就是让算法改变让这个事情不成为瓶颈。有时候加再多的卡业不可能提升效果。
问:你如何看待大模型的成本问题,有好的解决办法了吗?
杨植麟:接下来的版本会让大家去做选择。早期会用之前的方案来给用户好的体验,接下来会动态分配算力,模型足够聪明的话知道自己需要想多久、思考时间更短。另外算力成本的下降也是一个关键因素。
问:如何看待AI人才回流大厂?
杨植麟:月之暗面没有遇到这样的问题。这是正常的,行业发展进入新的阶段,之前做这个事的公司很多,现在做的公司少了,这是行业发展的规律。
问:这次发布数学模型,是不是数学和普通人比较远?
杨植麟:教育产品价值很大。在我们现有流量里面也可以看到这一点。
问:什么时候出海?
杨植麟:先聚焦再全球化,我们有耐心。
关于《态度AGI》
网易科技重磅推出系列对话栏目《态度AGI》。过去三年,AI变革风起云涌,全球科技秩序正在重构,通往AGI的道路或许正在悄然临近。本栏目以AGI为题,将对话100位AI专家、企业家、投资人,试图拨开云雾,与大家一道见证AGI时代的到来。第二十一期对话月之暗面Kimi创始人杨植麟。
往期回顾:
《态度AGI》第一期:对话李开复:大模型创业狂奔一年 中美差距缩小 我十年不套现
《态度AGI》第二期:对话王小川:我们不跟进大模型价格战
《态度AGI》第三期:对话戴文渊:大模型价格战不解决核心问题
《态度AGI》第四期:智源研究院院长王仲远:GPT4不是国内大模型的尽头
《态度AGI》第五期:对话朱啸虎:5年后将没有独立的大模型公司存在,因为没有商业模式
《态度AGI》第六期:对话梅花创投吴世春:“中国大模型五虎”想要跑出来非常难
《态度AGI》第七期:对话跃然创新CEO李勇:做大模型应用 如何和巨头错位竞争
《态度AGI》第八期:对话智谱AI CEO张鹏:视频生成是AGI必经之路,超级App将在“不知不觉”中到来
《态度AGI》第九期:对话科大讯飞副总裁、研究院院长刘聪:中国大模型已从追赶对标走向自主原创
《态度AGI》第十期:对话360周鸿祎:魔法对付魔法,大模型安全问题得靠大模型
《态度AGI》第十一期:对话彩云科技CEO袁行远:超越ChatGPT,需要打开“黑盒”
《态度AGI》第十二期:对话傅盛:不看好双足机器人商业化,三五年都没戏
《态度AGI》第十三期:对话宇树创始人兼CEO王兴兴:通用机器人的iPhone时刻还需要3-4年
《态度AGI》第十四期:对话MiniMax创始人闫俊杰:打不赢,就应该被淘汰对话
《态度AGI》第十五期:对话荣耀赵明:AI时代 开放肯定会击败封闭
《态度AGI》第十六期:对话昆仑万维首席科学家颜水成:大模型的三个共识与三个分歧
《态度AGI》第十七期:对话聂再清:生物医药即将迎来“ChatGPT时刻”,2-3年内实现重大技术飞跃
《态度AGI》第十八期:对话刘作虎:手机是AI应用体验最好的载体
《态度AGI》第十九期:对话realme徐起:AI已成为消费者购机的主要考量因素
《态度AGI》第二十期:对话喻友平:大模型已从“暴风骤雨”到“润物细无声”