人工智能技术发展到今天，它已经可以准确地识别图片中的对象和人类的语音，但是，它们目前使用的算法与人类大脑的工作方式并不一样——这意味着人类有可能借助某些伎俩来欺骗人工智能系统。
据《新科学家》报道，来自以色列巴伊兰大学的研究人员和 Facebook 的人工智能团队已经表明，可以对音频剪辑进行细微地调整，使语音识别系统理解出与音频完全不同的内容，但是这些细微的调整并不会影响人类对音频的正确理解。
实际上，这样的情况并不仅限于语音识别，在图像识别等领域同样存在。在训练人工智能系统的过程中，在正常的输入样本中故意添加细微的干扰以误导机器学习算法，使人工智能系统产生错误的结果，这种添加了细微的干扰以误导机器学习模型的样本，就是“对抗样本”。
如果有人恶意使用对抗样本，它可以用来欺骗自动驾驶汽车，使其不能识别道路上的停车标志，进而引发事故；可以欺骗语言识别系统，让系统听到虚假的命令；可以将一只猫识别成一条狗；可以将恶意软件误分类为良性软件，也可以阻止闭路电视监控系统在人群中找出嫌犯。而由对抗样本引发的欺骗策略也就是常说的“对抗性攻击”。
虽然没有证据表明对抗性攻击已经被用于现实世界中，但是牛津大学的 Marta Kwiatkowska 说，这只是时间问题；机器学习可能会被用于攻击系统。需要做出更多的研究去发明新的机器学习技术抵御对抗性攻击。
图丨牛津大学 Marta Kwiatkowska教授
Cissé 发现，自动驾驶汽车中的图片分类算法可能会忽略行人和停放的车辆。他说：“我认为我们应该担心我们如何确保汽车中使用的神经网络是安全的”。 Cissé 的团队将少量的数字噪音引入到一个人的录音片段，并将该录音播放给谷歌语音（Google Voice）这款语音识别应用程序。在这个对抗性的示例中，该应用程序听到了一个与事实完全不同的句子。
但是，并不是所有人都认为对抗性攻击将会在现实世界中发挥作用。伊利诺伊大学香槟分校的大卫·福塞斯（David Forsyth）建立了一个经数字化改变的虚假的停车标志试图欺骗这种算法。
他发现，通过移动相机，使其从不同的角度观察停车标志这并没有欺骗算法。对抗样本可能会在很完美的假设条件下工作，但是现实世界中的光照和观察视角可能会使对抗样本并不那么成功。对抗攻击可能比我们想象的更困难。
或许最有趣的是，找到一种避免人工智能系统被对抗样本欺骗的方法是相当困难的。正如我们过去解释的那样，我们并不理解深度神经网络的内在工作方式，这也意味着，我们并不知道为什么神经网络能够接受声音片段和图像中的细微特征，而人类却不能觉察到。