大型语言模型在证明其可信度和可靠性之前，还有很长一段陡峭的路要走。 就目前而言，这些模型有助于开展研究，但只有傻瓜才会相信它们足以撰写法律文件，专业教授应该更清楚这一点。然而，斯坦福大学的一位教授向法庭提交了一份宣誓书，支持明尼苏达州一项有争议的法律，该法律旨在遏制使用深度伪造和人工智能影响选举结果。
对现行法律的拟议修正案规定，在竞选活动中使用深度伪造技术而被定罪的候选人必须放弃竞选，并根据前科数量面临最高五年和一万美元的罚款和监禁。
明尼苏达州众议员玛丽-弗兰森（Mary Franson）和YouTuber克里斯托弗-科尔斯（Christopher Kohls）对该法律提出质疑，称其违反了宪法第一修正案。 在预审过程中，明尼苏达州总检察长 Keith Ellison 要求斯坦福大学社交媒体实验室的创始主任 Jeff Hancock教授提供一份宣誓书，声明他支持该法律。
杰夫-汉考克教授通过 CourtListener发表的专家声明全文：
https://storage.courtlistener.com/recap/gov.uscourts.mnd.220348/gov.uscourts.mnd.220348.23.0.pdf
《明尼苏达改革者报》指出，汉考克起草了一份看似措辞严谨的论证，说明了立法的必要性。 他引用了多个资料来源来证明自己的观点，其中包括《信息技术与政治期刊》（Journal of Information Technology & Politics）上一篇名为《深度伪造视频对政治态度和行为的影响》（The Influence of Deepfake Videos on Political Attitudes and Behavior）的研究。 他还引用了另一篇名为《深度伪造和幻觉： 错误信息接受背后的认知过程》。 问题是，这些研究都不存在于上述期刊或任何其他学术资源中。
原告提交了一份备忘录，暗示这些引文可能是人工智能生成的。 即使这些引文并非出自法学硕士之手，但这些可疑的引文也对声明的有效性提出了质疑，因此法官应该将其驳回。
备忘录中写道："该引文具有人工智能'幻觉'的特征，表明至少该引文是由 ChatGPT 这样的大型语言模型生成的。原告不知道这个幻觉是如何出现在汉考克的声明中的，但它使整个文件受到质疑。"
如果引文是人工智能生成的，那么宣誓书的部分内容甚至全部内容也极有可能是人工智能生成的。 在对 ChatGPT 的实验中，TechSpot 发现，LLM 会编造一些并不存在的引文，显然是为了给故事增添可信度。 当被问及此事时，聊天机器人会承认自己编造了这些材料，并会用更可疑的内容对其进行修改（上图）。
可以想象，汉考克无疑是个大忙人，他写了一份宣言草案，交给助手编辑，助手通过法律硕士对其进行了清理，而模型则在未经提示的情况下添加了参考资料。 然而，这并不能成为该文件不受应有的审查和批评的借口，而这正是当今法律硕士的主要问题所在。
一位自称专家的人向一个法律机构提交了一份包含人工智能生成的错误信息的文件，以支持一项禁止此类信息的法律，这对任何相关人员来说都不失为一种讽刺。 埃里森和汉考克都没有对此发表评论，他们很可能希望这个尴尬的失误就此消失。
更诱人的问题是，法庭是否会认为这是伪证行为，因为汉考克在签名时说："我声明，在伪证罪的惩罚下，我在本文件中所陈述的一切都是真实和正确的"。 如果不追究滥用人工智能的责任，人工智能又怎么会好起来呢？