Machine Learning with Membership Privacy using Adversarial Regularization

文献背景及解决问题

机器学习模型通过其预测泄漏了大量有关其训练集的信息。对于机器学习即服务用户而言，这是一个严重的隐私问题。为了解决这个问题，在本文中，我们着重于减轻针对机器学习模型的黑匣子推理攻击的风险。

本文作者引入了一种机制来训练具有成员资格私有性的模型，从而确保模型在其训练数据与其他数据点的预测之间没有可区分性（来自相同的分布）。这需要最大程度地减少针对模型的最佳黑盒成员推理攻击的准确性。我们将此形式化为amin-max游戏，并设计一个对抗训练算法，该算法可将模型的预测损失以及推理攻击的最大收益降至最低。这种可以确保成员隐私（作为预测不可区分性）的策略还可以充当强大的正则化函数，并有助于推广模型。

基础知识

分类模型：设X为一个维空间中所有可能的数据点的集合，其中每个维代表一个数据点的一个属性（将用作分类模型的输入特征）。假设在X中有一组预定义的k类用于数据点。目的是找到每个数据点与类之间的关系作为分类函数f：X-→Y。输出反映了如何将每个输入分类为不同的类。输出y的每个元素表示输入属于其对应类的概率。机器学习的目标是找到使预期损失最小化的函数。陈述学习分类模型的优化问题，如下所示：

成员推理攻击（也称为散布攻击）的目的是确定对手是否可以通过D观察计算（例如汇总统计信息，机器学习模型）时确定目标数据记录是否在数据集D中。

攻击者将数据集中的已发布统计信息与从总体中计算的随机样本的相同统计信息进行比较，以查看哪个更接近目标数据记录。或者，对手可以比较目标数据记录和总体样本，以查看哪个更接近所发布的统计数据。在这两种情况下，如果目标都更接近已发布的统计信息，则很有可能它是数据集的成员。

成员推理攻击模型优化：在对抗训练中，训练数据集D和参考数据集D’上的分类损失和推理增益。分类损失是在D之上计算的，但是推理增益是在两个集合上计算的。

具体方案

MIN-MAX MEMBERSHIP PRIVACY GAME（最小最大化隐私游戏）：针对最强的推理攻击，将隐私损失降到最低，将分类损失降至最低。具有成员隐私的机器学习的对抗训练算法。该算法优化了最小-最大目标函数：

1. 训练的每个时期都包括（7）最大化部分的k个步骤，以找到最佳的推理攻击模型。
2. 接着是（7）最小化部分的一个步骤，以找到针对这种攻击模型的最佳防御分类模型。

核心算法

1. 内在最大化找到了最强的推论模型，该模型具有给定的分类模型f。外部最小化是针对给定值找到最强的防御分类模型的。参数λ控制着优化分类准确度和成员隐私的重要性。
2. 在训练的每个时期，通过解决（7）中的嵌套优化对两种模型进行交替训练以找到彼此的最佳响应。在内部优化步骤中：对于固定的分类器f，对成员推理模型进行训练，以区分其训练集D的预测与相同模型的参考集D’的预测。该步骤使经验推断增益G最大化。在外部优化步骤中：对于固定的推理攻击，分类器在D上训练，而对手的增益函数充当正则化器。这使经验分类损失LD最小化。我们希望该算法收敛到求解（7）的最小-最大博弈的平衡点。

实验

总结

• 本文设计了一种训练算法来规范化机器学习模型的隐私性。并且将其设计了一个优化问题，这是一个最小-最大游戏，它最小化了模型的分类损失和成员推理攻击的最大收益。是否我们也可以运用这种博弈思想，与其他攻击方法（GAN、模型重演攻击方法）相结合？
• 本文在证明如何抵御某种攻击方法时，有了很好的意见。由防御者设计的攻击方法就是最强的攻击方法，并且如果方案能够抵挡，那么就说明方案能抵御所有的成员推理攻击。这算不算是一种取巧。
• 本文阅读起来十分顺畅，写作套路十分值得学习。

下载

链接:https://pan.baidu.com/s/1ZtDKbGkiHAY_3-cMfv4DkA 密码:g09z