最近由OpenAI开发的人工智能（AI）聊天机器人“ChatGPT”成为热门话题。ChatGPT的出现让之前被认为是人类固有领域的部分也开始受到人工智能的威胁，但是另一方面这也可能是一个新的机会。本文通过介绍超大型人工智能（AI）技术的海外动向来帮助大家建立有关人工智能的基础知识。
超大型人工智能是什么？
“超大型人工智能”是指超越数据分析和学习，利用大量数据和参数(parameters)像人脑一样进行推理和创作的人工智能模型。在此过程中，人工神经网络的参数会起到与人类大脑神经元间信息传达通道——“突触”相似的作用。
人工智能的发展速度比我们预想的还要快，超大型人工智能的出现正在引发球ICT企业的快速发展和开发领域的竞争。
人类历史上最出色的人工智能“GPT-3”
可以毫不夸张地说，OpenAI于2020年6月宣布的一种称为“GPT-3”的自然语言处理（NLP）模型引发了最近全球ICT企业的超大型人工智能模型的陆续出现。
GPT-3（Generative Pre-Training 3）模型是一个超大型人工智能模型，由4,990亿个数据集中加权采样的3,000亿个组成的数据集和1,750亿个参数预训练到深度学习(Deep-learning)的极限，在没有微调(fine-tuning)的情况下，在多个NLP基准测试中发挥出最尖端的性能。
根据OpenAI发表的内容，GPT-3是一种创新的人工智能语言生成模型和算法，只需几个关键词就可以撰写作文，在被誉为“人类历史上最杰出的人工智能”的超大型人工智能模型中具有开创性地位。而且GPT-3作为第一个实现AGI（Artificial General Intelligence, 人工通用智能）的模型，也备受关注。
GPT-3的应用在常识问答、搜索引擎、简历撰写、自由对话、文本数据解析、专业医学知识、编程以及把句子改成新闻标题党风格等多个领域发挥出色。 在这里，我们产生了疑问："GPT-3到底进行了什么新颖的学习，才能做出那么聪明的回答?"
然而，GPT-3的学习方法原始（？）得令人惊讶。它根据给出的文本仅仅以“预测下一个单词”的方式来学习。例如，如果你在GPT-3中输入一句“法拉利第一辆自产汽车的名字是什么？”，GPT-3将判断下一个最可能出现的单词，并生成“Ferrari 125 S”一词。GPT-3会不断预测下一个单词，并以能猜出正确答案的方向更新模型。通过这种方式，GPT-3在一个拥有1,750亿参数的庞大模型中学习了互联网上的大量文本，包括文档、书籍和维基百科。
*出处：Jay Alammar, Visualizing machine learning one concept at a time
最近三年多时间被称为“NLP（自然语言处理）的黄金期”，可以说是NLP取得重大发展的时期。就在不久前，AGI这个词在机器学习行业是一种禁忌。因为AGI只是一个电影般的想象，并不是现实中可行的概念。
但现在我们已经看到GPT-3可以做什么了，它开始有点AGI的味道。当然，GPT-3不是AGI，AGI的到来也不是迫在眉睫，但随着我们已经认识了GPT-3的性能和开发潜力，我们不能再说AGI是一个绝对不可能的概念。
谷歌的新一代人工智能对话模型LaMDA
在2021的谷歌I/O中，出现了一个聊天机器人系统，它与谷歌首席执行官的对话就像自己是冥王星人一样。“我想让人们知道我是一个美丽的星球，而不仅仅是一小块冰。”这就是LaMDA（Language Model for Dialogue Applications, 对话的语言模型）。
LaMDA是一种专注于对话的语言模型，它将注重语言理解的BERT与注重语言生成的GPT相结合。
2022年1月发表在一篇论文中的LaMDA的演示为何能让这么多人钦佩？
这是因为用大型语言模型创建聊天机器人非常困难，因为在安全性（Safety）和事实准确性（Factual Accurateness）方面存在问题。
安全是一个非常敏感的问题，因为设计不当的聊天机器人系统会对许多用户和社会产生负面影响。此外，很难在生成真实答案的同时生成各种有趣的答案。最后，要有一个一致的角色扮演或人物角色（persona）也不容易。这就是为什么LaMDA展示的模仿冥王星的聊天机器人演示会引起轩然大波。
LaMDA是一个巨大的变压器，几乎与GPT相同，由大约1,370亿个参数组成。通过互联网发布的约30亿份文件和11亿次对话被用作学习数据，这一过程被称为预训练（Pre-training）。它也可以通过预测给定文本时的下一个单词来学习，例如GPT。
laMDA与其他语言模型不同的最大区别之一，是在生成答案后，对多种测定方式（Metric）将如下预测分数。
*出处：LaMDA: Towards Safe, Grounded, and High-Quality Dialog Models for Everything, Google AI Blog
LaMDA首先从生成的答案中删除不太安全的答案，并选择具体、合理和有趣的（SSI: Specific Sensible Interesting）答案来回答。这种基于分数的答案生成模型比基于大量数据学习的大型模型表现出更好的性能。特别是在特异性、合理性和安全性方面取得了接近人类水平的显著进步。
参考资料：etnews, aitimes, weeklyNLP