差分隐私学习记录

差分隐私 意义与定义 目标 尽可能延迟或避免过分精确的数据，暴露个人隐私。尽可能长时间的推迟这种必然性。 定义 差分隐私可以在确保的得出正确结论的前提上，加入“噪声”，从而隐藏个人信息。 参数ε是来调整隐私程度的。ε越小，隐私性越好。 应用 差分隐私数据库 特点 只回答聚合查询的结果 通过查询结果中加入噪声来满足差分隐私 例子：微软PINQ、Uber的Chorus 技术难点 如何用尽量少的噪声来达到ϵ−\epsilon-ϵ−差分隐私 尤其是在查询需要连接多张数据库表的时候。 如何

由深度学习三巨头Yoshua Bengio和Yann LeCun牵头创办的人工智能顶会ICLR今年最终收到2594篇投稿，共687篇论文被接收，其中48篇orals，108篇spotlights，531篇posters，录取率为26.5%，相比去年的31.4%略有下降。华人学者占比为47%。这篇博客为大家列出全部录用的论文列表，方便大家自取。

来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...

采用“客户端 - 可信服务器”二元拓扑结构。客户端将原始数据集传输至服务器，服务器运用全局敏感度计算噪声量级，再采用拉普拉斯机制或高斯机制对聚合数据施加扰动。其优势在于能利用全局数据计算扰动，隐私保护效果较好；缺点是依赖可信服务器，若服务器不可信，数据隐私易泄露。适用于对服务器信任度高、数据集中处理的场景。

差分隐私定义： 假设一个随机函数 M , 使得 M 在任意两个相邻的数据集 D 和 D’(即||D -D'||_1 <= 1)上得到任意相同输出集合 S 的概率满足： Pr[M(D) ∈ S] ⩽ exp(ε) * Pr[M(D′) ∈ S] + δ 则称该随机函数 M 满足(ε,δ)-differential privacy，简写为(ε,δ)-DP 这种形式的差分隐私是宽松的. 当 δ=0 时，称为 ε-DP也就是纯差分隐私定义. 其中 ε 称为隐私预算. 部分内容说明 隐私损失 差分隐私（DP

我们使用一个简单的Transformer模型作为大语言模型。为了简化实现，我们使用Hugging Face的# 加载预训练的BERT模型和分词器本文详细介绍了如何使用Python实现基于差分隐私和安全聚合的联邦学习框架，并应用于大语言模型的训练。通过引入差分隐私和安全聚合技术，我们能够在保护数据隐私的同时，实现高效的分布式模型训练。未来，随着联邦学习技术的不断发展，我们期待在更多实际应用场景中看到其广泛的应用。

（一篇博客的翻译http://www.win-vector.com/blog/2015/10/a-simpler-explanation-of-differential-privacy/） 差分隐私最初开发是为了方便敏感数据上的安全分析，并取得了成功。最近又很火，是Cynthia Dwork等做出的令人激动的结果，把结果应用于机器学习。 这篇文章研究从差分隐私的定义到Dwork等最近的成果如何...

Anomaly detection paper list github Survey Paper Deep Learning for Anomaly Detection: A Survey | [arXiv’ 19] |[pdf] Anomalous Instance Detection in Deep Learning: A Survey | [arXiv’ 20] |[pdf] Deep Learning for Anomaly Detection: A Review | [arXiv’ 20]

1.隐私保护的挑战 场景： 在上面场景中，我们要与研究者分享病人的医疗数据，怎样才能保护病人的隐私？ 做法1：将数据匿名化，也就是将数据中病人的名字和身份证号码等可以唯一识别病人的信息去掉，将其余的信息提供给研究者，如下图所示 分析：这样的作法其实并不能真的保护隐私，因为匿名化之后的数据往往还保留着许多可能泄漏隐私的信息，如上图所示，还保留着病人的出生日期、姓名和邮编，如果攻击者能在别处获得许多人的姓名、出生日期、性别和邮编的话，与上图病人的数据进行对应，就能反推出病人的姓名 .

通过几天对差分隐私的左思右想，总算是摸到了点门道，顺着学习思路，就一些比较关键性概念说一下自己的看法： 一、关键性概念 1、查询 对数据集的各种映射函数被定义为查询（Query），用 ={, , ......}来表示一组查询。 2、邻近数据集（兄弟数据集） 设数据集与，具有相同的属性结构，两者对称差记作，||表示对称差的数量。若||=1，则称和为邻近数据集...

首先要明白什么是隐私？若单个用户的某个属性可以是隐私，而一群用户的某个属性就可以不看做隐私了。例如，张三喜欢抽烟，所以得了肺癌。这个“张三得了肺癌”这条信息就是隐私。而医院里，抽烟的人容易得肺癌，这就不属于隐私。 因此，差分隐私是来保护隐私的密码学技术，通过对查询的结果加入噪声，而使得攻击者无法判断某个样本是否在数据集中。 差分隐私（Differential Privacy），简称DP，旨在传输的梯度信息中加入随机噪声，并将其查询操作的实际结果隐藏起来或者模糊化，直至无法区分，从而实现对私密数据的保护。 D

目录导引系列传送A Survey on Differentially Private Machine LearningReference 系列传送 【Active Learning】 【论文笔记01】Learning Loss for Active Learning, CVPR 2019 【论文笔记02】Active Learning For Convolutional Neural Networks: A Core-Set Approch, ICLR 2018 【论文笔记03】Variational Ad

联邦学习+差分隐私（FL+DP）

使用gmpy2报错

第七章 单向散列函数 Keccak Keccak是一种被选定为SHA-3标准的单向散列函数算法 Keccak可以生成任意长度的散列值，在输入数据的长度上也没有限制。 海绵结构 输入的数据在进行填充之后，要经过吸收阶段和挤出阶段，最终生成输出的散列值。 双工结构 在海绵结构中，只有将输入的消息全部吸收完毕之后才能开始输出，但在双工结构中，输入和输出是以相同的速率进行的。在双向通信中，发送和接收同...