不可学习样本（Unlearnable Examples）是一类用于数据�；；；；；さ氖忠�，， ，，，， ，其焦点头脑是在原始数据中注入人类难以察觉的细小扰动，， ，，，， ，使得未经授权的第三方在使用这些数据训练模子时，， ，，，， ，模子的泛化性能显著下降，， ，，，， ，甚至靠近随机推测，， ，，，， ，从而抵达阻止数据被滥用的目的。。。 。。。。
例如，， ，，，， ，关于摄影师果真宣布的作品或用户分享的小我私家照片，， ，，，， ，在添加扰动后，， ，，，， ，图像在视觉上险些不爆发转变；；；；；但若这些数据被用于训练图像分类模子，， ，，，， ，其测试准确率可能会从 90% 降至 10% 左右。。。 。。。。
随着深度模子对大规模数据依赖水平的一直提升，， ，，，， ，不可学习样本逐渐成为数据隐私与模子清静领域的主要研究偏向。。。 。。。。然而，， ，，，， ，现有要领在现实应用中仍面临显著的效率瓶颈。。。 。。。。
论文链接： https://arxiv.org/abs/2601.19967代码已开源： https://github.com/jinlinll/pil
现有要领的效率瓶颈
目今主流的不可学习样本天生要领大多依赖深度神经网络（DNN）作为署理模子。。。 。。。。其典范流程包括：
1. 训练一个重大的深度模子（如 ResNet、VGG）作为署理；；；；；
2. 在署理模子上通过对抗攻击要领（如 PGD）迭代优化扰动；；；；；
3. 使用扰动在其他模子上的迁徙性实现防护效果。。。 。。。。
这种对深度模子的依赖带来了若干问题：
盘算开销高：天生一次扰动往往需要大宗 GPU 资源。。。 。。。。例如，， ，，，， ，REM 要领在 CIFAR-10 数据集上的扰动天生时间凌驾 15 GPU 小时；；；；；扩展性受限：当应用于高区分率图像或大规模数据集（如 ImageNet）时，， ，，，， ，时间本钱迅速上升；；；；；模子重漂后冗余：深模子的强非线性表达能力并非不可学习样本天生的须要条件，， ，，，， ，反而增添了优化难度。。。 。。。。
焦点视察：不可学习样本与模子线性化
我们关注到一个要害征象：不可学习样本的作用机制，， ，，，， ，实质上是诱导深模子退化为近似线性的行为模式。。。 。。。。
我们评估了多种现有不可学习样本要领（包括 EM、REM、TAP、SP、AR 等），， ，，，， ，发明一个一致征象：无论要领设计何等重大，， ，，，， ，最终均会诱导深度模子泛起更强的线性特征（通过 FGSM 的乐成率怀抱）
表 1：差别 FGSM 攻击步长下不可学习样本导致的特殊准确率下降百分比（扰动比例 50%）
从这一角度出发，， ，，，， ，若是最终目的是使深模子体现出线性特征，， ，，，， ，那么使用重大的深度模子作为署理并非须要。。。 。。。。相反，， ，，，， ，直接使用线性模子天生扰动，， ，，，， ，可能更直接地作用于这一焦点机制。。。 。。。。
基于此，， ，，，， ，我们提出PIL（Perturbation-Induced Linearization）： 通过线性模子作为署理，， ，，，， ，直接天生能够诱导深模子线性化的不可学习扰动。。。 。。。。
PIL 要领概述
与基于对抗攻击的计划差别，， ，，，， ，PIL 通过一个双目的优化历程，， ，，，， ，指导模子学习线性映射。。。 。。。。
1. 语义混淆（Semantic Obfuscation）
通过最小化 KL 散度，， ，，，， ，使线性署理模子在扰动后的样本上输出靠近匀称漫衍，， ，，，， ，从而削弱原始图像中可用于分类的语义信息。。。 。。。。
2. 捷径诱导（Shortcut Learning）
通过最小化交织熵损失，， ，，，， ，使署理模子能够仅依据扰动准确展望标签，， ，，，， ，从而将判别信息嵌入进扰动中。。。 。。。。
两个目的通过平衡参数 λ 举行团结优化，， ，，，， ，最终天生的扰动同时抑制语义学习并强化线性捷径，， ，，，， ，从而在深模子训练阶段诱导其爆发显著的泛化退化。。。 。。。。
图 1：PIL 要领示意图
PIL 的算法流程（简要）
1. 训练一个无偏置的线性分类器作为署理模子；；；；；
2. 在不可察觉约束（L∞≤8/255）下，， ，，，， ，接纳类似 PGD 的要领优化扰动；；；；；
3. 将扰动注入原始图像，， ，，，， ，结构不可学习样本；；；；；
Algorithm 1：PIL 算法流程
实验效果
我们在 SVHN、CIFAR-10/100 和 ImageNet-100 数据集上，， ，，，， ，团结 ResNet、VGG、MobileNet 等多种模子举行了系统评估。。。 。。。。
1. 有用性
在差别数据集和模子架构下，， ，，，， ，PIL 天生的不可学习样本均能显著降低模子的测试准确率，， ，，，， ，在部分设置中准确率靠近随机水平。。。 。。。。
表 2：在清洁数据集（Dc）与 PIL 构建的不可学习数据集（Du）上训练的模子在清洁数据上的测试准确率（%）比照
2. 盘算效率
在 CIFAR-10 上，， ，，，， ，PIL 天生扰动仅需 40.53 秒，， ，，，， ，而 REM 要领需要凌驾 54k 秒，， ，，，， ，效率提升凌驾三个数目级。。。 。。。。同时，， ，，，， ，PIL 在效率与防护效果之间取得了较好的平衡。。。 。。。。
表 3：差别要领为 CIFAR-10 训练集构建所有扰动所需的时间比照
3. 鲁棒性
在多种数据增强战略（旋转、裁剪、MixUp）和差别 JPEG 压缩质量下，， ，，，， ，PIL 依然坚持稳固的防护性能。。。 。。。。
表 4：差别数据增强战略下，， ，，，， ，州不可学习样本在 CIFAR-10 上的清洁测试准确率（%）。。。 。。。。效果越靠近 10% 越好。。。 。。。�；；；；；疑渚氨晔� Top-2 的两种要领。。。 。。。。
表 5：在差别 JPEG 压缩质量下，， ，，，， ，州不可学习样本在 CIFAR-10 上的清洁测试准确率（%）。。。 。。。。效果越靠近 10% 越好。。。 。。。�；；；；；疑渚氨晔� Top-2 的两种要领。。。 。。。。
4. 线性化验证
我们使用 FGSM 攻击下的准确率下降幅度作为线性化指标。。。 。。。。实验批注，， ，，，， ，随着 PIL 扰动比例增添，， ，，，， ，模子对 FGSM 的敏感性显著增强，， ，，，， ，验证了 PIL 确实诱导了模子的线性行为。。。 。。。。
表 6：使用差别清洁 / PIL 扰动数据混淆比例训练的 ResNet-18 模子，， ，，，， ，在各 FGSM 攻击步长下的测试准确率及下降幅度（%）
进一步剖析：
部分扰动设置下的性能退化受限
在实验中我们视察到一个一致征象：当仅有部分训练数据被扰动时，， ，，，， ，模子的测试准确率往往不会泛起显著下降。。。 。。。。这一征象并非 PIL 要领特有，， ，，，， ，而是现有不可学习样本要领普遍保存的特征。。。 。。。。
为诠释该征象，， ，，，， ，我们通过实验发明模子对被扰动样本爆发的梯度与对清洁样本的梯度泛起很强的正交性，， ，，，， ，于是我们提出在梯度正交假设，， ，，，， ，并在该假设下举行了理论剖析，， ，，，， ，获得如下结论：
清洁样本与扰动样本在训练历程中所爆发的梯度偏向近似正交，， ，，，， ，因此扰动样本对应的梯度更新难以显著滋扰模子对清洁样本的学习；；；；；在混淆训练设置下，， ，，，， ，模子的泛化性能主要由清洁数据主导，， ，，，， ，只要清洁样本数目足够，， ，，，， ，模子仍能学习到稳固且可泛化的特征体现。。。 。。。。
图 2：在部分扰动场景下，， ，，，， ，CIFAR-10 数据集的清洁测试准确率（%）
上述剖析批注，， ，，，， ，部分扰动并缺乏以从基础上削弱模子的泛化能力。。。 。。。。这一定性结论关于现实应用具有直接启示意义：若期望获得稳固且显著的防护效果，， ，，，， ，需要对数据集举行大比例甚至所有的扰动，， ，，，， ，或至少包管扰动样本在训练数据中占有足够高的比例（通常高于 80%）。。。 。。。。
结语
PIL 的焦点在于从机制层面重新审阅不可学习样本问题，， ，，，， ，将关注点从重大的署理模子与攻击战略，， ，，，， ，转向「模子线性化」这一要害因素。。。 。。。。通过使用线性署理模子，， ，，，， ，PIL 在显著降低盘算本钱的同时，， ，，，， ，依然坚持了稳固而有用的防护能力。。。 。。。。
我们希望这一视角能够为不可学龙域网络科技有限公习样本及相关数据�；；；；；ぱ芯刻峁┬碌乃夹�，， ，，，， ，并推动越发高效、可扩展的要领设计。。。 。。。。