2020 年 5月，澳大利亚战略政策研究所发布了《深度造假技术武器化》报告，详细介绍了7种常见的深度造假工具。深度造假通过人工智能/机器学习算法制造信息迷雾，通过伪造公众人物言论、战况战果、官方消息等方式，影响军队战斗力。本文介绍了迷雾信息的传播媒介，梳理了美军的反迷雾项目，并指出了迷雾技术的主要影响及主要认识。
信息迷雾技术的发展
深度造假通过人工智能/机器学习算法制造信息迷雾。深度造假通过伪造公众人物言论、战况战果、官方消息等方式，影响军队战斗力。2020 年 5月，澳大利亚战略政策研究所发布了《深度造假技术武器化》报告，详细介绍了7种常见的深度造假工具：
（1）换脸。用户将图像/视频中目标人物脸部嵌到别人的身体，使用专用应用程序能够在线获取此技术的简单版本。
（2）重新投射。映射目标人物的面部到用户上，造假者能够操纵目标人物的面部运动和表情。
（3）口型同步。用户复制口部动作，结合音频生成，可使视频中目标述说虚假内容。
（4）动作传递。源视频中人的身体运动可以传递给真实视频中的目标人物。
（5）图像生成。用户可以创建全新的图像，例如面孔、物体、风景或房间。
（6）音频生成。从真实语音的少量音频样本中，用户可以创建合成语音。该技术可以与口型同步工具结合使用。
（7）文字生成。用户可以生成人工文本，包括社交媒体、网络论坛上的简短评论、长篇新闻和文章。
欺骗人工智能算法的迷雾信息传播媒介。主要有4种：
（1）Trolls。Trolls是指创建网络账户发表挑拨和煽动言论，使信息迷雾在争执中不断升级和发酵，具有持续热度。
（2）僵尸网络/水军(Botnets)，由人工或机器散播重复言论，在高频重复中达到传播信息迷雾的目的。
（3）社交媒体。以脸书和推特为代表的社交媒体是滋生信息迷雾的温床。
（4）传统媒体。
美军加速发展基于自主学习与决策的反迷雾技术
为防御大规模自动欺骗攻击，提高美军在信息战中的防御能力，美国防高级研究计划局（DARPA）和情报高级研究计划署（IARPA）正在加速发展基于自主学习与决策的反迷雾技术，当前正在推进8项适用于欺骗环境的反迷雾项目：
“媒体取证”(MediFor)项目。2015 财年，DARPA启动了“媒体取证”项目，研发自动评估照片和视频完整性的算法，探索、识别深度造假中存在视听不一致的技术，包括像素不一致（数字完整性）、与物理定律不一致（物理完整性），以及与其他信息源不一致（语义完整性）等问题，并向分析师提供有关伪造内容是如何产生的。“媒体取证”项目2019财年获得1750万美元的资助，2020财年获得530万美元。该项目在2021财年完成后，将过渡到作战指挥和情报部门。
“语义取证”（SemaFor）项目。2019 财年，DARPA启动了“语义取证”项目，开发算法，检测、归因各种深度造假内容。这些算法包括：（1）语义检测算法，确定该媒体内容是真实的还是由深度造假技术操控。（2）归因算法，推断媒体内容是否来自所声明的来源。（3）特征算法，试图发现内容造假背后的意图。“语义取证”项目2020财年获得970万美元的资助， 2021财年获得1760万美元。
“主动解释不同的替代方案”（AIDA）项目。2017 财年，DARPA启动了“主动解释不同的替代方案”项目，开发多假设语义引擎，将来自不同媒体的信息（其中包括迷雾信息）自动映射为一种通用的语义表示，能够生成事件、情况和趋势的多种解释，用接近真实的解释替代迷雾信息。2021财年，“主动解释不同的替代方案”项目从两个方面推进：一是根据相关性和可信度，开发对假设进行排序的方法，以及验证、探索用户注入假设的能力；二是增强系统推断能力，推断输入中的不明确成分。
“通过主动情景规划、收集和监控”（COMPASS）项目。2018 财年，DARPA启动了“通过主动情景规划、收集和监控”项目，采用主动感知技术替代现有的感官数据被动收集技术，揭示敌对行为者散布错误信息、恐吓、破坏稳定的真实意图，并推荐可以采取的行动，帮助美军适应形势的不断变化和对手的反制，为军事行动创造有利条件。
“基于模式的知识导向人工智能推理系统”（KAIROS）项目。2018 财年，DARPA启动了“基于模式的知识导向人工智能推理系统”项目，开发一种基于模式的半自动化机器学习系统，能够筛选事件和媒体数据，识别事件和媒体数据之间的相关性，并绘制出相关性，协助用户理解信息。2021财年，“基于模式的知识导向人工智能推理系统”项目从四个方面推进：一是从大型多媒体数据集中，开发、评估学习复杂模式的能力；二是从无约束的大型数据集中，开发、评估将筛选的简单事件匹配到初始模式库的能力；三是开发和评估机器学习分类器，对复杂事件序列中两个简单事件之间的时间和因果关系进行分类；四是与过渡伙伴合作，为任务效用设定阈值，预测未来事件。
“确保人工智能对欺骗的鲁棒性”（GARD）项目。2019 财年，DARPA启动了“确保人工智能对欺骗的鲁棒性”项目，开发新一代人工智能/机器学习对抗欺骗攻击的防御技术，解决当前技术的局限性，使人工智能/机器学习对欺骗攻击具有鲁棒性，生成反欺骗的人工智能/机器学习系统。2021财年，“确保人工智能对欺骗的鲁棒性”项目从三个方面推进：一是开发一个通用框架，用于对机器学习进行欺骗相关攻击，量化机器学习算法自适应欺骗的脆弱性；二是开发采用多传感器数据源的防御系统，降低对欺骗攻击的脆弱性；三是扩展评估框架，用于测试并实现基于多传感器的机器学习反欺骗技术。
“欺骗逆向工程”(RED）项目。在欺骗攻击中，敌方篡改、控制机器学习系统使用的信息，误导智能计算结果。2020财年，DARPA启动了“欺骗逆向工程”项目，开发自动化逆向欺骗攻击工具链的技术，并创建可扩展的攻击工具链数据库，以实现三个目标：一是分析欺骗工具链不依赖先验知识；二是自动聚类攻击示例，以发现欺骗工具链族群；三是概括总结多种信息欺骗场景。该项目未来的研究计划分两个阶段，第一阶段将开发可信算法，识别欺骗攻击背后的工具链；第二阶段将开发可扩展的攻击工具链数据库技术，以支持欺骗攻击的归因和防御。
“人工智能木马”（TrojAI）项目。为防止用于机器学习的训练数据被恶意篡改，2019 财年，IARPA启动了“人工智能木马”项目，检测人工智能是否有特洛伊木马，保护训练数据和训练后数据模型的完整性，确保人工智能可以安全部署。
主要影响
基于迷雾技术的网络信息战攻击成本很低，造成的影响及后果很严重，参与方十分宽泛，国家、组织乃至个人都可能成为发动者和打击对象。深度造假信息具有图文并茂、声像逼真、传输快捷、范围广大、悄无声息等特点，一条信息可以借助覆盖全球的互联网掀起轩然大波，其影响力在瞬间能被成千万倍放大，并可让虚假信息以高度可信的方式呈现，操纵情绪反应，引发广泛的不信任，这是传统心理战手段无法比拟的。美情报界发布的《2019年全球威胁评估》研究报告指出，“深度造假”技术已经对美国国家安全构成威胁，敌对势力和战略竞争对手有可能创造出假图片、音频和视频资料，影响美国及其盟友、合作伙伴。
迷雾技术与反迷雾技术在不断竞争对抗中快速发展。深度造假技术不断升级换代，达到“真实的可怕”的水平，提高了计算能力，提升了智能“换脸”的逼真程度，已经让大众越来越难辨真假。此前，深度造假视频尚可通过“目标对象是否眨眼”“微表情是否自然”以及“面部边缘是否有锯齿”等作为参照辨别真假，但随着伪造技术的不断升级换代，现有鉴别手段已部分失效，反迷雾技术须不断进步才能跟上深度造假的更新换代。未来，迷雾技术和非迷雾技术将持续进行“道高一尺、魔高一丈”的反复博弈。
主要认识
保护军事数据的真实性、可用性至关重要。为保护军事数据的真实性、可用性，美国正在从三个方面入手：一是发展传感器等数据获取技术。使用传感器获取真实数据，保证军事数据的真实性、可用性。二是发展反迷雾技术。采用人工智能/机器学习算法判断数据的真实性，可用性。三是制定深度造假技术的风险评估规则，明确适用范围。2019年6月，美国众议院举办深度造假等迷雾技术的听证会，讨论深度造假技术对国家、社会和个人的风险及防范和应对措施。6月，两党议员分别在众、参两院同时提出《2019年深度造假报告法案》，要求评估深度造假技术的安全风险。同时，美陆续出台《2018年恶意伪造禁令法案》和《深度造假责任法案》，对深度造假技术进行严格限制。
建立数据管理的国际规约，创建数据优势。美国智库“战略与国际问题研究中心”2021年4月21日发布《亚太地区的数据治理》，报告指出，美国应建立全球数据收集、存储、安全和流量管理体系，建议拜登政府在2021年11月亚太地区领导人峰会之前达成亚太地区数据管理共识。美国防部副部长5月5日签署的《创建数据优势》备忘录，提出在联合全域作战、高级领导决策支持等国防部数据战略重点领域，最大化国防数据的共享。
免责声明：本文转自国防科技要闻，作者杨俊岭 谭田天。文章内容系作者个人观点，本公众号转载仅为分享、传达不同观点，如有任何异议，欢迎联系我们！
转自丨国防科技要闻
作者丨杨俊岭 谭田天
编辑丨刘瑾
研究所简介
国际技术经济研究所（IITE）成立于1985年11月，是隶属于国务院发展研究中心的非营利性研究机构，主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题，跟踪和分析世界科技、经济发展态势，为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号，致力于向公众传递前沿技术资讯和科技创新洞见。
地址：北京市海淀区小南庄20号楼A座
电话：010-82635522
微信：iite_er