Differentially Private Asynchronous Federated Learning for Mobile Edge Computing in Urban Informatic

文献背景及解决问题

由于无线网络带宽和计算资源的限制，车辆很难使用大量数据来进行提高服务质量的机器学习，比如自动驾驶和交通预测。本文设计了一种在车联网环境下的联邦学习方案，实现了具有差分隐私的异步联邦学习。

联邦学习在车联网中的挑战：
1.车辆的移动性很难保持云服务器和车辆连续不断的同步通信
2.负责聚合的中心服务器具有安全威胁，导致学习过程失败
3.敌手通过推测使得更新的模型泄露用户车辆的隐私信息

车联网中的联邦学习

普通的做法：移动车辆在本地训练模型上传至路边单元，路边单元负责传输模型至基站，最后由基站负责聚合全局模型并提供给车辆使用。
问题1：车辆具有很强的移动性，并不能随时随地上传至特定的路边单元
问题2：中心服务器的脆弱性，一旦模型聚合出现问题，就会导致整个联邦学习系统失效
问题3：中心服务器如果发布恶意模型，用户在恶意模型上进行训练会导致用户数据被收集，而且用户不能感知到恶意模型的存在
问题4：差分攻击可能发生在学习方案中，使攻击者可能获取用户上传的更新中的隐私信息；拜占庭攻击使用户上传虚假模型降低模型可用性从而打消其余用户训练积极性
类似投毒攻击

具体方案

1.使用LDP的本地训练 ：
本文首先让每个移动车辆在本地训练自己的数据集，并在梯度中添加高斯噪声使其满足差分隐私：
隐私预算的分配方式：首先车辆需要根据情况估算训练轮数T，并将隐私预算根据轮数均分，直到停止但是这么做会出现一个问题，就是不是模型收敛停止而是预算不够再停止导致模型的准确率有可能会低所以本文设计了灵活的隐私预算分配方式，通过评估梯度对全局模型的贡献来分配预算，更好的梯度加更多的噪声。

2.车辆模型的分布式随机传播
一个参与车辆首先使用一个基于通信和计算资源的选择算法去选择一组车辆Vs，与传统联邦学习中所有用户上传更新给中心服务器不同，本方案中的车辆仅传输更新给其筛选的车辆集合，而且这个集合会随着车辆当前位置改变而重新选择，相当于同时进行多个联邦学习任务

3.收敛推进方案(权重聚合与更新验证) ：
图中每一个节点代表着一个带有模型属性（梯度，MAE和累加权重）的更新模型。每一轮迭代中，一个用户使用自己的数据集随机（ρ占比）验证更新模型的MAE，并且给其他参与者广播验证结果，最后计算分数。
车辆vi在第t轮从其他用户接收到的验证过的MAE

4.全局模型更新

总结与思考

• 优点：这篇文章是联邦学习在车联网中的一个应用，创新点是它的整个联邦学习系统中同时有多个小的联邦学习系统同时运作，同时使用了LDP实现了模型参数的隐私保护，设计了有选择的参数聚合与模型评估与验证方法。
• 缺点：这篇文章方案部分有些没有讲清楚，尤其是验证那一块，而且文章前后部分割裂严重，比如前面提到的基站、路面单元等实体后面都没有讲到，感觉和车联网没有什么联系，作者没有考虑噪声对模型准确率的影响。
• 思考：
  1.车联网这个应用场景与联邦学习还是很匹配的，而且我们也可以借鉴文中的思路，没有必要每一轮都要求所有用户的模型全都聚合，这样可以解决用户动态问题
  2.LDP的使用并不是之前调研的那种概率翻转的方式，而就是在本地使用了差分隐私，以前有过顾虑认为这种不能算LDP，但是这篇文章发出来了，也就证明这种方式是可以的
  3.文中还使用了决策树模型代替神经网络训练模型，我们也可以发展其他机器学习算法到分布式中？