一个黑色笑话是，为了抵消人工智能带来的负面影响，在人类训练出ChatGPT这样的模型来模拟对话以后，又马不停蹄地训练出另一个模型来识别ChatGPT生成的对话。
像ChatGPT这样的大规模语言模型几乎会触及我们生活的每个角落，这些新工具引发了全社会对人工智能在强化社会偏见、实施欺诈和身份盗窃、制造假新闻、传播错误信息等方面的担忧。
宾夕法尼亚大学工程与应用科学学院的一组研究人员正在寻求增强技术用户的能力，以减轻这些风险。在2023年2月举行的人工智能促进协会会议上发表的一篇论文中，作者们证明，人们可以学会识别机器生成的文本和人类书写的文本之间的差异。
在你选择食谱、分享文章或提供信用卡详细信息之前，重要的是要知道你可以采取哪些步骤来辨别来源的可靠性。
这项由计算机与信息科学系（CIS）副教授克里斯·卡利森·伯奇（Chris Callison Burch）以及CIS博士生利亚姆·杜根（Liam Dugan）和达芙妮·伊波利托（Daphne Ippolito）领导的研究提供了证据，证明人工智能生成的文本是可检测的。
Callison Burch说：“我们已经证明，人们可以训练自己识别机器生成的文本。人们从一组关于机器会犯什么样的错误的假设开始，但这些假设并不一定正确。随着时间的推移，只要给出足够的例子和明确的指令，我们就能学会识别机器当前犯的错误类型。”
杜根补充道：“今天的人工智能在生成非常流畅、非常语法的文本方面表现得惊人。但它确实会出错。我们证明，机器会产生不同类型的错误，例如常识错误、相关性错误、推理错误和逻辑错误，我们可以学习如何识别这些错误。”
这个训练游戏以将检测研究的标准实验方法转变为人们如何使用人工智能生成文本的更准确再现而闻名。
在标准方法中，参与者被要求以“是”或“否”的方式指示机器是否产生了给定的文本。这项任务包括简单地将文本分为真实或虚假，并将答案分为正确或错误。
Penn模型通过展示所有从人类书写开始的示例，将标准检测研究显著细化为有效的训练任务。然后，每个示例转换为生成的文本，要求参与者标记他们认为转换开始的位置。学员识别并描述文本中指出错误的特征，并获得分数。
研究结果表明，参与者的得分明显高于随机机会，这提供了证据，表明人工智能创建的文本在某种程度上是可检测的。
杜根说：“我们的方法不仅使任务游戏化，使其更具吸引力，还为培训提供了更现实的环境。生成的文本，像ChatGPT生成的文本一样，以人工提供的提示开始。”
这项研究不仅谈到了当今的人工智能，还为我们与这项技术的关系勾勒出了一个令人安心、甚至令人兴奋的未来。
杜根说：“五年前，模型不能停留在主题上，也不能产生流畅的句子。现在，他们很少犯语法错误。我们的研究确定了AI聊天机器人的特点，但重要的是要记住，这些错误已经演变，并将继续演变。需要关注的转变不是人工智能书写的文本无法检测，而是人们需要继续训练自己。”
Callison Burch说：“人们对人工智能感到焦虑是有正当理由的。我们的研究为缓解这些焦虑提供了证据。一旦我们能够利用对人工智能文本生成器的乐观情绪，我们将能够关注这些工具帮助我们编写更具想象力、更有趣的文本的能力。”
宾夕法尼亚大学这项研究的共同负责人、现任谷歌研究科学家Ippolito补充了Dugan对检测的关注，她的工作重点是探索这些工具的最有效用例。例如，她为Wordcraft做出了贡献，这是一种与出版作家合作开发的人工智能创意写作工具。没有一位作家或研究人员发现人工智能是小说作家的有力替代品，但他们确实发现人工智能支持创作过程的能力具有重要价值。
Callison Burch说：“我目前的感觉是，这些技术最适合创意写作。新闻报道、学期论文或法律建议都是糟糕的用例，因为无法保证真实性。”
杜根说：“有令人兴奋的积极方向可以推动这项技术。人们总是盯着令人担忧的例子，比如抄袭和假新闻，但我们现在知道，我们可以训练自己成为更好的读者和作家。”