基于梯度动态裁剪的联邦数据分析系统及方法

专利主权项内容

1.一种基于梯度动态裁剪的联邦数据分析方法，其特征在于，包括以下步骤：步骤1)根据每个边端设备保存的监测数据，通过联邦学习算法训练监测数据分析模型，在每一轮联邦训练之初，参数服务器从边端设备群中随机选择k个设备参与该轮训练，服务器聚合梯度更新全局的监测数据分析模型M，简称全局模型，并将全局模型发送给选定的k个边端设备；步骤2)构建动态裁剪阈值函数：每个本地客户端在训练时都需要计算裁剪损失函数L，根据裁剪损失计算导数的期望和导数的平均值/>再利用式/>依次在每个迭代回合计算动态裁剪阈值C；tLosst+1步骤3)构建渐变衰减剪裁阈值拟合曲率：对于参数服务器使用幂函数构造衰减系数F，再在每一个迭代回合通过训练信息利用式递推得到自适应衰减率ρ；tt步骤4)构建跟随梯度变化的动态裁剪阈值：基于步骤2)和3)得到的动态裁剪阈值函数C和自适应衰减率ρ，根据式得到最终动态裁剪阈值；tt步骤5)客户端在本轮训练中计算批次的梯度，根据上一轮迭代计算出的动态裁剪阈值对梯度进行裁剪，随后根据裁剪阈值对噪声放缩，再将噪声添加到梯度上；服务器根据聚合后的梯度值更新服务器上的全局模型，并下发给各个客户端更新模型；在模型训练的每一个回合按序执行1)-5)步骤，直到最终迭代回合完成模型训练的动态裁剪过程。 来自：马 克 团 队