基于重要梯度保护的差分隐私联邦动态聚合方法及系统
申请人信息
- 申请人:河海大学; 华能澜沧江水电股份有限公司
- 申请人地址:211100 江苏省南京市江宁区佛城西路8号
- 发明人: 河海大学; 华能澜沧江水电股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于重要梯度保护的差分隐私联邦动态聚合方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311575005.2 |
| 申请日 | 2023/11/23 |
| 公告号 | CN117521781A |
| 公开日 | 2024/2/6 |
| IPC主分类号 | G06N3/098 |
| 权利人 | 河海大学; 华能澜沧江水电股份有限公司 |
| 发明人 | 张本腾; 毛莺池; 许皓文; 曲力涛; 郑浩天; 刘润兵; 王哲; 吕爱军; 钟新元 |
| 地址 | 江苏省南京市鼓楼区西康路1号; 云南省昆明市官渡区世纪城中路1号 |
摘要文本
河海大学; 华能澜沧江水电股份有限公司取得“一种透气窗帘布”专利技术，本发明公开一种基于重要梯度保护的差分隐私联邦动态聚合方法及系统，构建基于稀疏向量的梯度噪声添加方式，基于本地模型训练损失函数和客户端本地数据量，计算梯度的动态聚合权重，最后实现全局模型的梯度聚合。由于对原始梯度加入大量差分隐私噪声，梯度所包含的信息会严重失真，导致联邦学习全局模型准确率大幅度降低，甚至使全局模型失去可用性。对于每个本地客户端来说，客户端更新的大多数梯度值都极小，只有包含重要参数更新信息的梯度才有被保护的价值。因此，仅对部分重要梯度添加隐私噪声能够防止噪声添加过多，提高全局模型准确率。
专利主权项内容
1.一种基于重要梯度保护的差分隐私联邦动态聚合方法，其特征在于，包括以下步骤：步骤1)在第t轮联邦训练中，参数服务器在全部客户端中随机选择K个客户端参与当前轮次的轮联邦训练，服务器将全局模型参数W下发至参与训练的客户端；t步骤2)构建基于稀疏向量的重要梯度扰动方法：第k个客户端使用本地数据集D迭代E次来更新本地模型M后，计算梯度重要性阈值λ，仅对梯度值大于重要阈值λ的重要梯度添加隐私噪声，其余的梯度保留原始值；kktt步骤3)构建基于客户端本地损失值比重的动态梯度权重计算方法：第k个客户端将处理后的梯度g(k)、本地模型训练损失L(W)和本地数据量n上传至参数服务器；基于L(W)和n，参数服务器动态计算第k个客户端上传梯度的聚合权重γ(k)，γ(k)∈[0，1]且∑γ(k)＝1；tktkktkttt步骤4)参数服务器根据g(k)和γ(k)进行全局梯度聚合，得到全局梯度g，然后更新全局模型参数W；在第t+1轮联邦训练中，参数服务器将全局模型参数W下发至随机选择的客户端；在模型训练的每一个回合按序执行步骤1)至4)，直到全局模型收敛且达到预期性能要求。tttt+1t+1 马 克 数 据 网