本文介绍来自北京大学计算机学院操作系统实验室的最新研究成果 —No Privacy Left Outside：On the （In-）Security of TEE-Shielded DNN Partition for On-Device ML。该工作深入研究了面向TEE的模型划分技术（TEE-Shielded DNN Partition，TSDP），在评估并总结现有模型划分方案局限性的基础上，提出了一种新型模型划分方法——TEESLICE。
随着深度学习模型被大规模部署，模型安全和隐私方面也迎来了新的挑战。该论文针对的是在用户侧部署深度学习模型时的安全性和隐私问题。当把模型部署到用户端后，攻击者可以从系统中获取模型的白盒信息（如模型参数），并使用白盒的模型信息进行模型窃取攻击（Model Stealing）以及成员推理攻击（Membership Inference），从而威胁模型拥有者的安全及隐私。为了解决该问题，研究人员提出使用TEE保护设备上的DNN模型，并提出了多种面向TEE的模型划分（TEE-Shielded DNN Partition，TSDP）方法。这些方法把DNN模型分成两部分，把模型中较轻量的部分部署在TEE中，而把模型的大部分部署在GPU上。
在本篇工作中，研究者对现有TSDP方法进行了系统的归纳总结及安全评估，通过指出现有方法在性能和安全性问题权衡中的缺陷，提出了新型模型划分方法—TEESLICE，该方法改变现有方案框架，可以实现隐私参数和非隐私参数的隔离，并自动找到最优配置。实验结果表明，相比于把全部模型都保护在可信执行环境内部的方法，TEESLICE可以在不损失安全性的前提下把延迟开销降低10倍以上。
论文题目： No Privacy Left Outside: On the (In-)Security of TEE-Shielded DNN Partition for On-Device ML 论文链接： https://arxiv.org/pdf/2310.07152.pdf 代码链接： https://github.com/ziqi-zhang/TEESlice-artifact（S&P文章的artifact） https://github.com/ziqi-zhang/TAOISM（面向模型划分的异构可信部署框架TAOISM）
一、动机
为了解决用户侧部署深度学习模型时的安全性和隐私问题，研究人员提出使用TEE保护设备上的DNN模型，从而把准确、高效的白盒攻击降低为不准确、低效的黑盒攻击（即攻击者只能通过模型输入输出获取信息）。但是，由于因为现有TEE设备计算资源有限，且难以使用外部GPU进行计算加速，因此简单地把全部DNN模型放到TEE中会导致计算速度过低的问题。
针对该问题，研究人员提出了多种面向TEE的模型划分（TEE-Shielded DNN Partition，TSDP）方法。这些方法把DNN模型分成两部分，一部分包含模型的少量参数，这些参数与模型隐私以及模型功能关联性较强；另一部分包含模型的大量参数，这些参数与模型功能关联性较弱。当使用TEE保护模型时，就可以把模型中较轻量的部分部署在TEE中，而把模型的大部分部署在GPU上。这种方法既使用TEE保护了关键模型参数，又使得模型中的很大一部分可以使用GPU进行加速运算。
然而，已有的模型划分方法的安全性都是建立在经验性的观察总结基础上，并且暴露在GPU上的模型参数仍然有可能泄露部分隐私信息，因此有必要对这些方案进行系统的安全性评估和新的保护框架设计。
通过全面的评估，作者指出现有方法的局限性主要来自先训练再划分的模式，设计了基于先划分后训练模式的新的保护框架-TEESLICE。该框架在训练前划分隐私模块与非隐私模块，在训练过程中仅使用隐私数据更新隐私模块，从而在训练后实现隐私划分，从根本上解决隐私泄露的问题。该框架表现出了高准确性、高安全性保护和低计算开销的优秀特性。
二、方法
2.1 现有框架的系统安全性评估
作者调研了近五年发表在计算机领域顶级会议的文章，以及被这些顶会文章引用的文章。除去一些针对不同场景的方案，作者把现有保护模型推理阶段的TSDP方法归为五类：保护网络深层，保护网络浅层，保护大幅权重，保护中间层和保护非线性层。
针对上述模型划分方法，作者使用模型窃取攻击和成员推理攻击衡量模型功能和隐私的泄露程度，并使用了一个较强的攻击者攻击这些模型划分方法。这个攻击者可以使用互联网上的公开模型和数据尝试分析并破解这些保护机制，从而提高模型窃取和成员推理的攻击效果。实验设置包括三个模型结构（AlexNet、ResNet18和VGG16_BN）和四个不同的数据集（CIFAR10, CIFAR100, STL10和UTKFace）。
文章首先从每类模型划分方法中选择一个具体的方案进行评估。实验结果表明，现有的TSDP方案在受到更强的攻击者攻击时难以提供黑盒级别的安全保障，在某些场景下，攻击者可以达到与白盒攻击类似的效果。这是因为现有模型划分方案的配置都倾向于使用TEE保护非常少量的模型参数，而把大量“看似”与模型功能无关的参数暴露在GPU上。当攻击者使用更多信息进行攻击时，暴露在GPU上的看似与隐私无关的参数仍然会泄露大量的模型信息。
在此基础上，作者进一步探究这个安全泄露问题的根本原因是什么。因为每种模型划分方法都可以有不同的配置（即在TEE中保护的参数量），那么是否是因为所选择方案的配置问题而导致了信息泄露呢？为了探究这个问题，作者遍历了每种划分方法的不同配置方案，并衡量了这些方案的防御效果，结果如图所示：
图中每个子图代表在一个数据集和模型上的攻击效果，子图中的每一条曲线代表一种划分方法在不同配置下的保护效果和计算量的对应关系，横轴代表计算量，纵轴代表攻击准确率。可以看到在不同场景下，不同划分方法都存在性能和安全性的权衡问题。同时，这些方法在不同场景下的最优配置是不同的，即难以找到一个系统的方法自动确定一个安全性和计算量权衡之下的最优配置。由此说明，现有划分方法仍有一定缺陷，防御者仍然面临如何快速找到最优配置来划分模型的问题。
2.2 TEESLICE保护框架设计
为了应对以上缺陷，作者提出了TEESLICE保护框架。作者认为导致现有划分方法缺陷的原因是它们均使用先训练再划分的模式，即先对DNN模型进行端到端的训练，再对训练好的模型划分。但是因为在训练过程中，全部模型参数都被隐私数据更新过，所以难以在训练后的模型上实现隐私隔离。针对这个问题，作者提出了使用先划分后训练的模式，即在训练前划分隐私模块与非隐私模块，然后在训练过程中仅使用隐私数据更新隐私模块，不更新非隐私模块，从而在训练后实现隐私划分。现有划分方法与TEESLICE的对比如下图：
TEESLICE旨在在推断阶段将不涉及隐私信息的DNN层分配到GPU上。它采用分区前训练的模式，将私有数据从预训练模型中分离，然后独立训练与隐私相关的层。该方法使用公开预训练模型作为骨干（Backbone），将与隐私相关的层称为模型切片（Model Slice），这些切片包含了隐私信息。骨干和模型切片组合形成混合模型（Hybrid Model），模拟原始模型的行为。TEESLICE的工作流程主要包括两个阶段：模型切片提取（训练阶段）和混合模型部署（推断阶段）。
2.2.1 切片提取阶段
在切片提取阶段，为了生成能在TEE中运行的小切片同时确保几乎没有准确性损失，TEESLICE采用了两阶段的方法。在第一步，它构建了一个密集切片模型，具有大量私有切片以实现高准确性。但由于尺寸较大，该密集模型无法直接适应TEE。在第二步，TEEESLICE使用自适应迭代剪枝策略对密集模型进行剪枝，生成较少的切片但保持性能。这被称为稀疏切片模型。剪枝过程与训练同时进行，以在几乎没有准确性下降的情况下剪枝切片。这样的设计使得TEESLICE可以在维持准确性和安全性的同时最小化成本代价，自动找到特定场景下达到最佳保护效果的最优配置（sweet spot）。
2.2.2 混合模型部署阶段
在混合模型部署阶段，前一阶段得到的稀疏切片模型被部署在TEE和GPU之间。其中，模型切片和骨干的非线性层被部署在TEE中，而骨干的其他部分则被部署到GPU上。同时，TEESLICE进一步使用One-Time Pad (OTP）和Freivalds算法来保护TEE-GPU之间的数据传输，以确保模型隐私的安全性。
三、实验结果
文章使用前文2.1所述的评估方法对TEESlice的安全性和性能进行了评估，实验结果表明，TEESlice可以在达到黑盒保护的前提下，大幅降低TEE内部需要执行的计算量至10倍以上。文章还探究了TEESlice是否可能在其他方面造成性能损失，包括模型推断准确率是否会降低以及暴露在GPU上的主干网络是否会增加攻击成功率，结果表明在这两方面TEESlice都没有额外损耗。
同时，作者还使用Intel SGX SDK和PyTorch实现了一个面向TEE的深度学习模型可信异构部署框架 TAOISM（A TEE-BASED Confidential Heterogeneous Framework for DNN Models），以评估在真实设备上的性能。实验结果表明，在真实设备上TEESlice也可以大幅提高推理性能。
四、总结与展望
本文基于先划分后训练的模式，提出了一种新的面向TEE的模型划分方法——TEESlice，实现了更彻底的隐私隔离，从而更好地保护了模型隐私。实验证明了在端侧机器学习场景中TEESliCE能够在保证性能的基础上实现更强的安全性。
基于模型划分的可信计算是近几年新起的一个方向，该方法通过分离DNN模型的关键模块，并使用可信计算方法（如TEE及密码学方法）保护关键模块，从而降低性能损耗。最近，工业界和学术界都提出了许多方案提高TEE的计算能力，如NVDIA H100具有可信计算的功能，Intel TDX支持虚拟机级别的隔离并可以支持多达1TB的加密内存，以及一些把GPU集成到ARM CCA的工作。作者认为这些硬件的解决方案并不能替代基于模型划分的方法，因为这些方案还没有达到商用的规模，高性能的H100更是一卡难求。基于模型划分的方案作为一种软件解决方案，可以大幅降低所依赖的硬件门槛（低端GPU也可以部署），并且可以支持没有TEE功能的异构硬件，具有更广泛的应用领域，因此在未来仍然是一个重要的研究方向。
llustration From IconScout By Twiri
-The End-
扫码观看！
本周上新！
“AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区（
www.techbeat.net） 。 社区上线500+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章，并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励
投稿方式
发送邮件到
chenhongyuan@thejiangmen.com
或添加工作人员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。
关于我“门”
将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。
将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。
如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:
bp@thejiangmen.com
点击右上角，把文章分享到朋友圈