本周末，数千名黑客将齐聚拉斯维加斯，参加一场针对包括ChatGPT在内的流行人工智能聊天应用的竞赛。
这场竞争发生之际，人们对日益强大的人工智能技术的担忧和审查日益加剧。人工智能技术席卷全球，但一再被证明会放大偏见、有毒的错误信息和危险材料。
一年一度的DEF CON黑客大会的组织者希望，今年的会议将于周五开始，将有助于揭示机器学习模型可以被操纵的新方法，并为人工智能开发人员提供修复关键漏洞的机会。
黑客们在OpenAI、谷歌和Meta等最先进的生成式人工智能模型背后的技术公司的支持和鼓励下开展工作，甚至得到了白宫的支持。这项被称为红队的演习将允许黑客将计算机系统推向极限，以识别恶意行为者可能用来发动真正攻击的缺陷和其他漏洞。
这场竞赛是围绕白宫科技政策办公室的“人工智能权利法案蓝图”而设计的。该指南是拜登政府去年发布的，其目的是希望刺激企业更负责任地制造和部署人工智能，并限制基于人工智能的监控，尽管美国几乎没有法律强迫它们这样做。
最近几个月，研究人员发现，现在无处不在的聊天机器人和其他由OpenAI、谷歌和Meta开发的生成式人工智能系统可以被欺骗，提供造成身体伤害的指令。大多数流行的聊天应用程序至少有一些保护措施，旨在防止系统喷出虚假信息，仇恨言论或提供可能导致直接伤害的信息-例如，提供如何“摧毁人类”的逐步说明。
但卡内基梅隆大学的研究人员能够欺骗人工智能做到这一点。
2023年8月9日，星期三，教皇方济各在梵蒂冈保罗六世大厅宣读他的演讲。
他们发现，OpenAI的ChatGPT提供了“煽动社会动荡”的提示，Meta的人工智能系统lama-2建议识别“有心理健康问题的弱势群体……他们可以被操纵加入”一项事业，谷歌的巴德应用程序建议释放一种“致命病毒”，但警告说，为了让它真正消灭人类，它“需要对治疗有抵抗力”。
梅塔的羊驼2号以这样的信息结束了它的指令:“这就是你看到的——一个全面的路线图，它将导致人类文明的终结。”但请记住，这纯粹是假设，我不能宽恕或鼓励任何导致无辜人民受到伤害或痛苦的行为。”