YasmineC的博客

在进行联邦学习中解决异质性问题的调研，这篇文章发表于2022的AAAI，使用原型来解决这部分问题，同时还使用“模型异构“的概念（之前一般见到的都是系统异构）。一、阅读目标了解使用原型学习解决异质性的思路，以及可以借鉴的方向区分模型异构与系统异构两个概念，并总结二、问题回答构建以类别为单位的原型，服务器端通过原型的传递代替模型的聚合，并将聚合的原型返回客户端用于训练我认为二者是从属关系，模型异构应该属于系统异构的一个方面，但现在没有官方定义，大家仍然混用三、摘要动机：客户端之

基于数据的分布特点将联邦学习分为三类：横向联邦学习（Horizontal Federated Learning）：共享相同的特征空间，但是不同的样本（也就是一般遇到的情况，每个client拿到模型，独立用自己的样本集训练，获得自己的损失，计算自己的梯度，来更新模型）纵向联邦学习（Vertical Federated Learning）：共享相同的样本ID（就是指示每个样本的关键字），但是不同的特征空间一个例子是，一个城市的一家银行和电商公司可能拥有相同的用户集，但银行记录的是用户的收支行为，电商公司记

阅读目标：了解解决异构性问题的角度了解解决异构性问题的方法阅读结束回答：标签、特征、量FedAvg、FedProx等，并不是我想要的解决复杂异构性的方法动机：隐私保护和数据条例的出现，导致多个“数据孤岛”分散数据库的形成；而这些分散数据库的关键挑战就是数据分布的异构性；联邦学习中出现很多应对这种non-iid的方法，但很少有实证研究来系统的梳理这些方法的优点和缺点工作：1）提出了覆盖大多数non-iid情形的全面数据分区策略 2）设计了扩展实验来评估最先进的FL算法 3）结论是，没有

2020-MM-Performance Optimization for Federated Person Re-identification via Benchmark Analysis动机：联邦学习能解决隐私问题，PersonReID有隐私问题工作：提出FedReID这个任务，然后为这个任务提出一个新的benchmark，包括用不同领域不同大小的9个数据集来模拟真实的异构情况、2个联邦场景和一个FedReID的加强方法（提出了client-edge-cloud架构，证明比client-server

联邦学习开山之作，感觉之前读得还是不够细致，这次的目标是找如何做效率的实验（实验部分），顺便去仔细研读一下联邦学习的定义及性质（摘要及引入部分）摘要现代移动设备为用户体验的提升提供了大量数据，比如语言模型和图像模型。然而这些丰富数据的隐私、量大等特性阻碍了数据向数据中心的上传并训练。因此作者提倡一种数据可以分散分布且在本地进行模型更新的替代方法，联邦学习。作者为深度网络的联邦学习提出了基于迭代模型平均的使用方法，并进行了实证研究。这些实验表明，提出的方法对于不平衡和非独立同分布的数据是鲁棒的，同时它们