有关机器或者人工智能机器给人类带来灾难的担心已经持续了两三百年。我们看到大部分有关世界末日的电影其实都和人工智能的电脑系统有或多或少的关系。大部分人不明白AI的原理，对未知的未来感到担忧，这当然有情可原。但最近越来越多的高科技行业人士，甚至是AI的专家也开始对这个问题表达他们的担心。那么，这些忧虑到底是基于什么样的原因？是有所根据，还是杞人忧天、危言耸听呢？AI会导致人类走向末日吗？
掌握AI将统治全球 AI发展进入危险期
2023年的5月份，被称为ChatGPT之父的Altman和超过350名人工智能方面的专家，联合签署了一份公开信。他们认为人工智能有可能导致人类灭绝的风险，所以应当将其视为与大流行病和核武战争同等的社会风险。Altman说过一句话，无论谁成为AI的领头羊，他都将统治全世界。这句话让很多人不寒而栗，因为如果这个技术落到了没有道德的人或组织身上，那对人类将是灭顶之灾。 Altman还建议建立类似国际原子能机构组织，安全监管AI的发展，政府也要加强监管。伊隆.马斯克则认为AI技术有10%到20%的可能性会消灭人类。川普曾问过马斯克，说现在有可能用AI技术来模仿美国总统，发动核战争触发世界核大战吗？马斯克的回答是肯定的，所以川普很担心，如果AI失控的话，会给人类带来钜大的灾难。
从长远看，随着AI从弱人工智能一步步发展到人工通用智能，甚至到超人工智能，人类的各项工作甚至是家庭角色包括妻子、丈夫都有可能被取代，这对整个社会的发展应该是颠覆性的了，更有可能是失控的。那时候或许它已经比人类聪明很多倍了，成了人类的主人了。即使没到这一步，就拿Altman的一句话，他说无论谁成为AI的领头羊，他都将统治全世界。这句话让很多人不寒而栗，因为这个技术如果落到了没有道德的人或组织身上，那对人类也是灭顶之灾，人类有办法避免这种可能性吗？
马斯克提到的AI有10%、20%的可能未来真的是会毁灭人类，那它可能是有一定的延展性。比如说把现有的技术再延展五六代、三四代，那么AI有可能会出现自我意识。
现在人工智能有一个比较危险的方向，叫做Agent，就是让一系列人工智能程序中的每个程序扮演不同的角色，再用它们的交互的过程来实现某种工作。比如它的构造用十个AI的Agent，称为代理人或者智能体，每个都扮演不同的角色，让他们在交互过程实现一个软件开发的全过程。这个过程在现有人工智能模型下还不那么可怕，但是如果将来人工智能本身智力越来越高的时候，那么在这个互相几个Agent交互过程中，人类的可控性就被削弱很多了，你不知道它们在交互过程中会讨论出一个什么样的状态来。为了达到某个目标，它们如果没有一个明确的法律准绳或者说道德的准绳，它们会讨论出什么过程？如果讨论出的这个东西是很糟糕的，那么这个就让人很担心。
AI发展遭遇瓶颈期 人类缓口气
未来AI会不会到最后控制了人类？大概在2022年的11月，当时ChatGPT出来的时候，很多人第一次被震惊到了，当时那个人工智能模型是OpenAI的HYPERLINK。等到大概2023年3月的时候，OpenAI就推出来了GPT-4，那个就彻底让人惊讶了。如果把GPT-3理解成一个幼儿园，小学一二年级小孩儿智商的话，那么GPT-4其实就已经达到了高中生甚至有部分是大学生的智商，因为它通过法律考试的时候，成绩超过了前10%，在这么短的时间内发展如此之快，这让人非常惊讶。
在过去的一年里，GPT-4几乎一直处于整个现在人工智能的山尖这个位置上，不管是Google出的Gemini（聊天机械人），还是后来Claude出的Claude3模型，虽然个这模型的能力稍微明显地超出了GPT-4，但是它的提高是非常小的。从这个过程可以看到，其实很可能人类人工智能如果没有新的技术突破的话，按现有的技术，未来的发展可能会缓下来。原来大家预计今年、明年就会出现真正的通用性人工智能，现在看来这样的设想可能稍微有点突进了。是因为有技术上的原因使得目前GPT-4出现了某种意义上的瓶颈，再突破很可能是一种量化的突破，而不是GPT-4和GPT-3.5之间质变的突破，就是人类事实上是走向了一个数据瓶颈这样的概念。
限制技术发展的原因主要是数据方向。有人说某种意义上讲，GPT-4已经拿下了互联网70%的信息，换句话说，在人类数据增长的过程中，它能拿到的数据已经基本上都拿下来了，要是说再扩展，再乘以十倍的数据量，那很可能就不是人类现有能生成的自然数据量了，可能就得用人工智能自动生成创造。那么这个时候就有点内卷了，因为AI的智力就来自于现有的知识，现有的知识卷出来的人工智能的输出，然后以这个输出再去作为数据，它就跟原来那个实实在在来自于人类原始的数据的质量，各方面就不一样了，多样性、创造力各方面都不一样了。所以，数据现在成为整个人工智能发展的一个瓶颈，这使得整个社会有可能缓一口气，来面对未来人类如何应对AI的问题。
AI改变资讯传播模式 人类文明面临巨大冲击
AI军事化，尤其是用AI来控制核武器，确实是一个最明显让人类担忧的问题，但实际上AI带来的冲击远远不止在军事化上。比如有两个美国科学家用了一个普通电脑，使用AI技术给出指令，让AI找出可以危害全人类的剧毒的化学结构，结果AI一个晚上就找出了五万多个新的结构，这个结果把两位科学家吓坏了，全世界都应该吓坏了才对，因为谁敢保证这个技术不被坏人使用？
还有深度伪造，AI也可以伪造文书、声音、画面。人类过去几千年都相信眼见为实，这是人类认知和认识这个世界的基础，是我们世界观的基础。如果未来变成眼见未必为实的话，我们现在已经是这个样子，看到很多东西很真实，这是真的还是假的？我们应该相信什么？人类文明从某个角度看就是一种资讯流通模式的发展，从语言、文字、图画、最后到报纸、杂志，这种资讯承传的文化也塑造了后面接下来的文明，但现在AI的发展其实已经冲击到了资讯的创造和传播的模式，这对人类文明的方式将是一个钜大冲击。
此外，有人预计按照现在的速度发展，20年之后AI技术可以取代大部分人的工作，也就是说20年之后，大部分人都没有工作做做了，或者是不需要工作了，那这种所谓的进步是不是太快了？
我们真的能够适应这个变化吗？这对人类现存的社会结构、经济结构会造成一个什么样的冲击，其实没有人知道。这就是很多人工智能专家呼吁降低AI发展速度的一个原因，目前谁也不知道AI后面走向的含义，人类需要调整和适应未来的这种危机，这是肯定的。