推理成本提升10倍！升级后的文心大模型4.0将带给我们什么样的惊喜？
一个月前，我问了文心一言一个问题，世界上跑得最快的蚂蚁是谁？
它的答案是，“最快蚂蚁是撒哈拉银蚁，它速度可以达到855 毫米每秒，一秒多点就能爬一米，这个速度与人类步行速度相近。撒哈拉银蚁飞速跑动时，6只脚会同时离地，步频比博尔特还快10倍以上。”
今天，同一个问题，文心一言给出更详细答案。
“撒哈拉银蚁每秒移动速度可达到自身体长的108倍，相当于每秒移动近1米。它的步频比牙买加短跑名将博尔特还快10倍以上。在全速前进的情况下，每秒跑85.5厘米，踏出47步。它们在沙漠中快速奔跑时，6只脚会同时离地，像在空中飞翔一样。”
一道简单的自然科学问题，前后2个回答，文心一言回答得都很好，跟之前的回答相比，最新回答里的内容更加丰富，列举数字详实，逻辑性更顺，语言表述也更强。
1个月的时间，文心一言更新了答案，进步之快出人意料。那持续进步的文心一言，现在进展到哪一步了？
据消息人士透露，百度正在潜心训练文心大模型4.0，也就是对标GPT-4的版本，这个版本将很有可能在10月17日百度世界大会期间发布。
据说，跟文心3.5相比，文心4.0的数据量、推理成本等都比前者提高了一个数量级，参数数量直接从200亿提升到了亿万参数规模，训练成本更是提高了10倍，真可谓“烧钱”。
而为了满足如此大规模的参数，文心4.0是在万卡AI集群上训练出来的，这应该是国内首次使用万卡规模集群，进行大语言模型训练。
其实，很多业内人士都知道万亿规模的参数，万卡集群的运算，并不是一件容易的事情。特别搭建万卡集群本来就很难，发挥万卡集群的最大化作用更难。而百度因为有飞桨深度学习平台，深度联合优化，才能基于万卡集群训练如此规模的大模型，才能让大模型实现质的飞跃。
当然，大家还喜欢拿文心一言跟GPT-4对标。其实，训练中文大语言模型比英文更烧钱。中文文本的复杂性和多样性，需要更多的数据来获得高质量的模型。对使用者来说，文心更适用于中文语境。举个例子，文章开头的问题我也问过GPT-4，它给出的回答带着一股“翻译腔”。但看文心回答，中文表述自然通畅，跟我们日常说话并无不同。
最后，期待文心4.0早日发布，能再次享受文心一言带来的惊喜。
