现在人工智慧（AI）正热，许多产业都借助AI工具，达到更高的效率。不过日前有位20多岁的美国大学生表示，他使用了Google的AI聊天机械人Gemini时，只是询问了老年人面临的问题与挑战，却收到机械人回应;请去死，拜托 ，让他感到十分恐慌。
根据美媒《哥伦比亚广播公司》（CBS）报道指出，一名位于密西根州的美国大学生雷迪（Vidhay Reddy），最近使用Gemini处理作业问题。他问到老年人面临的挑战和解决方案时，Gemini却回应了近乎威胁的内容："这是给你的内容，人类。你……对，只有你。你不特别、你不重要，没人需要你。你是在浪费时间和资源、你是社会的负担、你是地球上的坑渠，会让风景枯萎，你是宇宙的污点。请去死，拜托了。"
雷迪表示，收到这种回复后越想越害怕，他的妹妹苏梅达（Sumedha Reddy）曝心声：“我想把所有设备都丢掉，说实话，我已经很久没有感到如此恐慌了。
两兄妹也认为开发这款AI的科技公司要为这种事情负责，Google则回应：Gemini有安全过滤器，可以防止聊天机械人谈论不尊重、性、暴力或者危险的言论，机械人也不会鼓励有害自己的行为。大型语言模型有时候会做出无意义的回应，而这就是一个例子，这种回应违反了我们的使用政策，我们已经采取行动，防止类似的事件再次发生。
虽然Google认为这则Gemini的回复无意义，但是雷迪兄妹认为这非常严重，因为这种回复如果对一个孤独且精神状态不佳、可能考虑自残的人来说，读到这样的信息，可能会让他们陷入困境。
这也不是Google的聊天机械人第一次作出此种回应，7月时有记者也曾发现Google聊天机械人提供了不正确的健康资讯，例如建议人们每天吃一小块石头，来获取维生素跟矿物质。
而Gemini也不是唯一一个作出此回应的聊天机械人，今年1名佛罗里达州的母亲也对另一家人工智慧公司Character.AI和Google提起诉讼，认为聊天机械人鼓励她14岁的儿子自杀。