← 返回列表
一种用于云际联邦学习的客户端模型聚合方法及相关系统
摘要文本
本发明公开了一种用于云际联邦学习的客户端模型聚合方法及相关系统,在每一轮联邦学习训练中云服务商在本地完成本地模型的训练,利用训练得到的模型参数进行组内和组间模型参数的差异性计算,然后计算组间差异与组内差异之间的绝对差距得到差异因子。根据确定的收敛阈值选择差异因子大于阈值的客户端参与下一轮联邦学习训练;解决了现有分布式云际计算缺乏隐私保护,在高异构客户端的云际联邦学习模型训练中,收敛效率和模型精度低下的问题。通过在每一轮联邦学习训练中筛选有益于加速模型收敛的客户端参与训练,本发明能实现高效的全局模型聚合,同时分别适配中心服务端及各个云服务商模型的训练数据和系统性能,保证模型的准确性和训练效率。
申请人信息
- 申请人:西安交通大学
- 申请人地址:710049 陕西省西安市碑林区咸宁西路28号
- 发明人: 西安交通大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种用于云际联邦学习的客户端模型聚合方法及相关系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311396231.4 |
| 申请日 | 2023/10/25 |
| 公告号 | CN117390448A |
| 公开日 | 2024/1/12 |
| IPC主分类号 | G06F18/214 |
| 权利人 | 西安交通大学 |
| 发明人 | 言浬; 岳高峰 |
| 地址 | 陕西省西安市碑林区咸宁西路28号 |
专利主权项内容
1.一种用于云际联邦学习的客户端模型聚合方法,其特征在于,包括以下步骤:S1,对各云服务商进行模型参数初始化,然后利用云服务商各自的私有数据分别对各云服务商的本地模型进行机器学习训练,得到各云服务商的本地模型参数;S2,计算每一个云服务商相邻两次训练得到的本地模型参数的组内差异,同时计算各云服务商之间当前模型参数的组间差异;S3,根据获取的本地模型参数的组内差异和组间差异,计算各云服务商模型参数的组间差异与组内差异之间的绝对差距,得到差异因子;S4,采用随机梯度下降模型更新方法计算各云服务商的本地模型梯度和全局模型梯度;计算各个云服务商的本地模型梯度与全局模型梯度的误差平方和,以获取的误差平方和作为收敛阈值;S5,选择差异因子不低于收敛阈值的云服务商参与下一轮联邦学习训练,完成云际联邦学习的客户端模型聚合。