机器遗忘

机器遗忘是人工智能与机器学习领域中一个旨在使模型“遗忘”特定训练数据或其影响的研究方向。该概念的提出源于隐私保护与数据合规的需求，特别是对“被遗忘权”在算法系统中的技术实现要求。机器遗忘的核心目标是在不重新训练整个模型的情况下，以较低的计算、时间或经济成本，使模型的行为尽可能接近从未使用某些数据进行训练的状态。

背景

机器学习模型的主要特征之一是通过对历史数据的训练，学习数据中的模式并进行预测。这一过程不可避免地会使模型“记住”部分训练集信息，其中可能包含用户的个人数据，从而引发隐私泄露风险。例如，在基于协同过滤的推荐系统中，若用户希望删除与特定主题（如艾滋病）相关的阅读记录，而系统未更新相应的用户相似度模型，攻击者仍可能通过相似用户的行为推断出该用户的隐私信息。

在自然语言模型的增量训练中，可通过比较训练前后的模型差异推断出新增训练数据的内容；在成员推理攻击（Membership Inference Attack）中，攻击者可判断某条样本是否参与了模型训练。这些现象表明，机器学习模型往往会长期保留训练数据的信息，难以自然遗忘。

随着数据隐私问题的凸显，用户对个人信息控制权的诉求不断增强。2012年，欧盟委员会首次提出“被遗忘权”，即个人有权出于合法目的要求数据收集方删除其个人数据，从而保障隐私处理的合法性。此后，多国相继在法规层面强调用户对个人数据的控制权。

2018年，欧盟正式实施《通用数据保护条例》（GDPR），要求包括机器学习系统在内的自动化算法需支持“被遗忘权”的实现。

概念与定义

机器遗忘的基本思想是：当接收到删除请求时，模型不仅需从训练集中移除相关数据，还需消除这些数据对模型参数与输出的影响，使模型表现如同未使用这些数据进行训练。

最直接的实现方式是在不含被遗忘数据的剩余训练集上重新训练模型。然而对于参数量庞大的模型，重新训练通常需耗费高昂的计算与经济成本。因此，机器遗忘的核心问题在于：如何在低于重新训练代价的前提下，获得与重新训练结果尽可能接近的模型。

数据清洗旨在在模型训练前清除包含缺失值、异常值或噪声的“脏数据”，以提升数据质量和模型性能。与之不同，机器遗忘通常在模型训练完成后进行，目标是从已训练的模型中消除特定数据的影响。当模型训练后需要修正数据集错误或剔除异常样本时，机器遗忘同样可作为清除脏数据影响的技术手段。

持续学习研究模型在多个任务上持续学习的能力，旨在最大限度保留先前任务知识并吸收新知识。与此相对，机器遗忘则关注如何让模型主动“忘记”特定数据所包含的信息。二者虽目标相反，但在应用上可互补：通过机器遗忘移除不重要或过时的知识，可帮助持续学习模型在长期演化中保持灵活性与适应性。

应用

除隐私保护外，机器遗忘还可用于：

• 安全防护：当模型受到后门攻击或训练数据被污染时，可通过机器遗忘清除恶意样本对模型的影响，从而恢复模型的安全性与可靠性。
• 模型维护与压缩：在训练集存在冗余的情况下，通过机器遗忘删除冗余样本，可在不重新训练的前提下获得轻量化模型，提高模型更新与部署效率。