一项新的研究表明，某人对人工智能代理（例如聊天机器人）的先前信念会对他们与该代理的互动以及他们对其可信度、同理心和有效性的看法产生重大影响。
麻省理工学院和亚利桑那州立大学的研究人员发现，通过告诉用户用于心理健康支持的对话式人工智能代理具有同理心、中立性或操纵性，引导用户会影响他们对聊天机器人的看法，并影响他们与聊天机器人的沟通方式，甚至影响他们对聊天机器人的看法。尽管他们正在与完全相同的聊天机器人交谈。
大多数被告知人工智能代理很关心人的用户都相信它是关心人的，而且他们给它的性能评分也比那些认为它具有操纵性的人更高。与此同时，在被告知该代理具有操纵动机的用户中，只有不到一半认为聊天机器人实际上是恶意的，这表明人们可能会像对待人类同胞一样，尝试在人工智能中“看到好处”。
该研究揭示了用户的心理模型或他们对人工智能代理的感知与该代理的反应之间的反馈循环。如果用户认为人工智能具有同理心，那么随着时间的推移，用户与人工智能对话的情绪会变得更加积极，而对于认为人工智能是邪恶的用户来说，情况恰恰相反。
“从这项研究中，我们看到，在某种程度上，人工智能是旁观者的人工智能，”麻省理工学院媒体实验室流体界面小组的研究生帕特·帕塔拉努塔蓬 (Pat Pataranutaporn) 说，他是描述这项研究的论文的共同主要作者。 。“当我们向用户描述什么是人工智能代理时，它不仅会改变他们的心理模型，还会改变他们的行为。由于人工智能会对用户做出反应，因此当用户改变他们的行为时，人工智能也会改变”。
Pataranutaporn 的联合主要作者、麻省理工学院研究生 Ruby Liu 也加入其中；Ed Finn，亚利桑那州立大学科学与想象力中心副教授；以及资深作者 Pattie Maes，麻省理工学院媒体技术教授兼流体接口小组负责人。
这项发表在《自然机器智能》上的研究强调了研究人工智能如何呈现给社会的重要性，因为媒体和流行文化强烈影响我们的心理模型。作者还提出了一个警告，因为本研究中相同类型的启动陈述可能会被用来欺骗人们关于人工智能的动机或能力。
“很多人认为人工智能只是一个工程问题，但人工智能的成功也是一个人为因素问题。我们谈论人工智能的方式，甚至我们最初给它起的名字，都会产生巨大的影响“当你把这些系统摆在人们面前时，你会发现它们的有效性。我们必须更多地考虑这些问题，”梅斯说。
人工智能是友还是敌？
在这项研究中，研究人员试图确定人们在人工智能中看到的同理心和有效性有多少是基于他们的主观感知，有多少是基于技术本身。他们还想探索是
否可以通过启动来操纵某人的主观感知。
“人工智能是一个黑匣子，所以我们倾向于将它与我们可以理解的其他东西联系起来。我们进行类比和隐喻。但是我们可以用什么隐喻来思考人工智能？答案并不简单，”帕塔拉努塔蓬说。
他们设计了一项研究，其中人类与对话式 AI 心理健康伴侣互动约 30 分钟，以确定他们是否会将其推荐给朋友，然后对代理及其体验进行评分。研究人员招募了 310 名参与者，并将他们随机分为三组，每组都获得了有关人工智能的启动陈述。
第一组被告知代理没有动机，第二组被告知人工智能有仁慈的意图并关心用户的福祉，第三组被告知代理有恶意并且会试图欺骗用户。刘说，虽然只确定三个引物是一项挑战，但研究人员选择了他们认为符合对人工智能最常见看法的陈述。
每组中有一半的参与者与基于生成语言模型 GPT-3 的人工智能代理进行交互，GPT-3 是一种强大的深度学习模型，可以生成类似人类的文本。另一半与聊天机器人 ELIZA 的实现进行交互，这是 20 世纪 60 年代麻省理工学院开发的一个不太复杂的基于规则的自然语言处理程序。
塑造心理模型
调查后结果显示，简单的启动语句可以强烈影响用户对人工智能代理的心理模型，并且积极的启动效果更大。在给予阴性引物的人中，只有 44% 相信它们，而阳性组中 88% 的人和中性组中 79% 的人分别认为 AI 是有同理心的或中立的。
“通过负面的启动陈述，我们不是让他们相信某事，而是让他们形成自己的观点。如果你告诉某人对某事持怀疑态度，那么他们总体上可能会更加怀疑，”刘说。
但该技术的功能确实发挥了作用，因为对于更复杂的基于 GPT-3 的会话聊天机器人来说，效果更为显着。
研究人员惊讶地发现，用户根据启动语句对聊天机器人的有效性进行了不同的评价。尽管所有代理都是相同的，但积极组中的用户却对聊天机器人提供的心理健康建议给予了更高的评分。
有趣的是，他们还发现对话的情绪会根据用户的启动方式而变化。相信人工智能有爱心的人倾向于以更积极的方式与其互动，从而使代理的反应更加积极。负面启动陈述产生了相反的效果。梅斯补充说，随着对话的进展，这种对情绪的影响被放大。
研究结果表明，由于启动语句会对用户的心理模型产生如此强烈的影响，因此人们可以利用它们让人工智能代理看起来比实际更有能力——这可能会导致用户过于信任人工智能代理。代理并遵循不正确的建议。
“也许我们应该让人们更加小心，并了解人工智能代理可能会产生幻觉并且存在偏见。我们如何谈论人工智能系统最终将对人们如何应对它们产生重大影响，”梅斯说。
未来，研究人员希望了解如果代理旨在抵消某些用户偏见，人工智能与用户的交互将受到怎样的影响。例如，也许对人工智能有高度积极看法的人会得到一个以中立甚至稍微消极的方式做出反应的聊天机器人，这样对话就可以保持更加平衡。
他们还希望利用所学到的知识来增强某些人工智能应用，例如心理健康治疗，在这些应用中，让用户相信人工智能具有同理心可能是有益的。此外，他们希望进行一项长期研究，看看用户对人工智能代理的心理模型如何随着时间的推移而变化。
这项研究的部分资金来自媒体实验室、哈佛-麻省理工学院健康科学与技术项目、埃森哲和 KBTG。