基于自模式连通性的流形表示机器遗忘近似实现

背景与问题

机器卸载机制是保障“被遗忘权”的基础。目前大多数研究依赖于标签操纵或任务反向梯度来实现卸载，但这些方法往往效果有限，并且可能损害原始学习目标。此外，它们通常无法确保与重新训练标准卸载的一致性。

核心内容

ManiF-SMC 提出了一种新的卸载策略 ManiF，该策略通过将被删除样本从其原始语义中心移向保留数据的最近邻居来工作。这种重构使得卸载过程与重新训练的行为一致，并且完全在特征空间中进行操作，从而减少对标签和特定任务梯度的需求。

为了应对基于流形表示的卸载问题，ManiF-SMC 将卸载目标和特征保持目标整合到一个基于边距的三重损失中。由于找到合适的边距对于卸载来说具有挑战性，研究者提出了自模式连接性模块来快速重建局部流形，并指导每个卸载案例的适应性边距生成。

意义与影响

ManiF-SMC 的方法能够在不依赖标签和特定任务梯度的情况下实现高效的机器卸载。实验结果表明，它在四个代表性数据集上的表现与最先进的近似卸载方法相当，且仅在模型特征空间中操作。这不仅提高了卸载的有效性，还减少了对原始学习目标的影响，并提供了更通用的解决方案来处理卸载问题。