神经网络中对抗样本的误导作用引起了广泛关注，为解决这一问题，研究者相继提出了许多方法，其中进行对抗训练被认为是增强模型防御性的有效方法之一。
不幸的是，经过对抗训练后神经网络对于正常样本的性能往往会下降， 模型准确度与鲁棒性之间互相制衡的情况耐人深思。
全球疫情的特殊情况下，在仓库等开放的工作环境中使用自主移动机器人的需求与日俱增。由于深度学习和传感器技术的进步，工业机器人正变得更多功能，成本更低。
安全性仍然是机器人技术的主要问题，奥地利科学技术研究所、麻省理工学院和奥地利维也纳工业大学的研究人员发现，目前用来解决这个问题的方法会产生相互矛盾的结果。
一方面，机器学习工程师必须在自然例子上训练他们的深度学习模型，另一方面，他们需要用对抗性例子来训练同样的模型，以确保模型不会对篡改过的图像照单全收。
基于此奥地利理工学院、麻省理工学院和杜维恩的研究人员在一篇题为《对抗性训练尚不适合机器人学习》的论文中讨论到，对抗性训练会对机器人的安全产生显著的负面影响。该论文在国际机器人和自动化会议(ICRA 2021)上获得通过，表明该领域需要新的方法来提高用于机器人的深度神经网络的对抗鲁棒性，同时不降低其准确性和安全性。
论文入口：
https://arxiv.org/abs/2103.08187
对抗性训练
深度神经网络利用数据中的统计规律来进行预测或任务分类，相应的这使得它们擅长处理如检测物体等计算机视觉任务。但是，对统计模式的依赖也使得神经网络对对抗性例子高度敏感。
以下的熊猫图是一个著名的对抗性例子，图像被巧妙地修改后——在普通图像上添加一层噪声，会导致深度学习模型对其进行错误分类。每一个噪声像素都会轻微地改变图像的数值，人眼无法察觉，但当这些噪声值加在一起时，会破坏图像的统计模式，从而导致神经网络误以为它是其他东西。
对抗性例子和攻击已经成为人工智能安全会议上的热门讨论话题。还有人担心，随着深度学习在机器人和自动驾驶汽车等物理任务中变得更加突出，对抗性攻击可能会成为严重的安全问题。目前处理对抗性漏洞仍然是一个挑战。
最著名的防御方法之一是“对抗性训练”，这是一个根据对先前训练过对抗性例子的深度学习模型进行微调的过程。在对抗性训练中，程序生成一组被目标神经网络错误分类的对抗性例子，随后神经网络根据这些例子和它们的正确标签进行再训练。
对抗性训练会导致深度学习模型预测的准确性轻微下降，但是因为它提供了抵御对抗性攻击的措施，准确度下降被认为是一种可接受的权衡。
然而在机器人技术的应用中，对抗性训练可能会造成不必要的副作用。
“在很多深度学习、机器学习和人工智能论文中，我们经常看到机器人的神经网络是不安全的论调。”论文的主要作者莱希写道，“直觉上看，这些说法听起来是对的，但‘稳健方法’并不免费，模型容量、清洁性和准确性方面或多或少都有损失。”
理奇纳和其他合著者发现，虽然这种训练提高了基于视觉的分类任务中深度学习模型的对抗稳健性，但它会在机器人学习中引入新的错误轮廓。
假设你想用卷积神经网络对文件夹中的一堆图像进行分类，如果神经网络训练良好，它会正确地分类其中的大部分，也可能会得到一些错误的信息。现在想象一下，有人在images文件夹中插入了24个对抗性的例子。一个恶意的参与者故意操纵这些图像，使神经网络对它们进行错误分类。正常的神经网络会落入陷阱给出错误的输出。但是，经过对抗性训练的神经网络可以正确地对其中的大部分进行分类，代价是它的性能会略有下降，并对其他一些图像进行错误分类。
在静态分类任务中每个输入图像都是独立的，只要错误不频发这种性能下降不是什么大问题。但在机器人应用中，深度学习模型与动态环境相互作用。输入神经网络的图像是相互依赖的连续序列，反过来机器人也在切实影响环境。
仓库型自主机器人
“在机器人技术中重要的是错误发生在哪里，而计算机视觉主要关注的是错误的数量，”理奇纳谈到。
例如，两个神经网络A和B每个 都有5%的错误率。 从 纯粹的学习角度来看，这两种网络都很好。 但是在机器人任务中，网络每秒做出几次预测，两个网络的比较性就出来了。 例如，网络A的错误可能偶尔发生，这不会有很大的问题； 网络B可能会连续出现多个错误导致机器人崩溃。 虽然这两种神经网络的错误率相等，但一种是安全的，另一种则不是。
通用评估指标的另一个问题是它们只记录由对抗性训练引入的错误分类的数量，而不考虑误差。
“在机器人领域，错误偏差的程度至关重要，”理奇纳说，“例如假设网络将卡车分类为汽车或行人。从纯学习的角度来看这两种情况都被视为错误分类，但从机器人的角度来看误分类为行人可能会产生比误分类为汽车严重得多的后果。”
由对抗性训练引起的错误
“领域安全训练”，即一种更普遍的对抗训练形式，在机器人使用的神经网络中引入了三种类型的错误:系统错误、瞬态错误和条件错误。
瞬态误差会使神经网络的精度发生突变；
条件误差则 会导致深度学习模型在特定区域偏离地面实况；
而系统性的错误会造成整个领域范围内模型准确性的变化。
所有这三种类型的错误都可能导致安全风险。
上图:对抗性训练神经网络的三种错误
为了测试他们的发现所产生的效果，研究人员创造了一个实验机器人。它可以监测周围环境，读取手势指令，并在不撞到障碍物的情况下四处移动。这个机器人使用了两个神经网络。一个卷积神经网络通过连接在机器人前方的摄像头的视频输入来检测手势指令。第二个神经网络处理来自安装在机器人上的激光雷达传感器的数据，并向电机和转向系统发送命令。
研究人员用三种不同水平的对抗性训练测试了视频处理神经网络。他们的研究结果表明，随着对抗性训练水平的提高，神经网络的净精度显著下降。研究人员写道:“结果表明，目前的训练方法无法在机器人学习环境下提高图像分类器的对抗鲁棒性。”
上图:对机器人的视觉神经网络进行了对抗性例子的训练，以增强其对于对抗性攻击的鲁棒性
莱希纳说:“我们观察到对抗性训练视觉网络的行为与我们通常理解的‘稳健性’完全相反。例如，它偶尔会在没有操作员明确指令的情况下打开或关闭机器人，在最坏的情况下，它会使机器人崩溃。”
基于激光雷达的神经网络没有接受对抗性训练，但它非常安全。如果有物体挡住了它的路径，它就会阻止机器人向前移动。这也导致了神经网络过于具有防御性，诸如狭窄走廊之类的安全场所也会被阻止前往。
“对于标准的训练网络同样狭窄的走廊不是问题，”莱希纳说。“此外，我们从未观察到标准训练过的网络会让机器人崩溃，这再次质疑了进行对抗训练的意义所在。”
上图：对抗性训练导致机器人中使用的神经网络的准确性显著下降
对抗鲁棒性的未来
“对抗训练本质上是去权重数据领域不同部分的重要性,”要克服对抗训练的副作用，研究人员必须首先承认对抗鲁棒性是一个次要目标，主要目标是应用程序的准确性。
对抗性机器学习是一个活跃的研究领域，人工智能科学家已经开发了各种方法来保护机器学习模型免受对抗性攻击，包括神经科学启发的架构、模态泛化方法，以及不同神经网络之间的随机切换。时间将证明这些方法是否会成为对抗鲁棒性的黄金标准。
莱希纳和他的合著者也证实了一个更根本的问题，那 就是机器学习系统缺乏因果关系。只要神经网络专注于学习数据中的表面统计模式，它们就容易受到不同形式的 对抗攻击。学习因果表达可能是保护神经网络免受对抗性攻击的关键。但是因果表达学习本身也是一个重大挑战，科学家们仍在试图找出解决办法。
莱希纳说:“缺乏因果表达关系是对抗性漏洞最先出现的原因。所以，学习因果结构肯定有助于增强模型的防御性。但我们可能会遇到这样一种情况，即必须在因果模型和标准网络之间做出选择。”
From: venturebeat; 编译：Shelly
Illustrastion by Ginger Cat from Icons8
- The End -
本周上新！扫码观看~
关于我“门”
将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构，旗下涵盖将门创新服务、将门技术社群以及将门创投基金。
将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。
如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:
bp@thejiangmen.com
点击右上角，把文章分享到朋友圈