联邦学习方法、系统、装置以及存储介质

专利主权项内容

1.一种联邦学习方法，其特征在于，应用于客户端，所述客户端用于与多个用于进行联邦学习的服务器端通信连接，所述方法，包括：初始化本地模型；更新本地模型，下载服务器端的全局模型用于设置本地损失函数，从本地数据集中选取最小批次数据样本对本地模型训练，训练后获取更新的本地模型；更新对偶变量，采用方向交替乘子法优化，优化本地损失函数；获取更新后的本地模型和更新后的对偶变量，计算更新的本地模型梯度；发送所述更新的本地模型梯度至服务器端，所述服务器端用于与多个用于进行联邦学习的客户端通信连接，所述方法，包括：初始化服务器端，设置服务器端的全局迭代轮数、学习率和聚合更新算法；异步加权修正，对于掉线或延迟的客户端，获取上轮次的所述更新的本地模型梯度，作为延迟梯度并判别方向；分析所述延迟梯度与所述客户端在本轮次平均梯度的夹角是否大于直角度数，并依据分析结果对所述延迟梯度进行修正；对于掉线或延迟的客户端，服务器首先取出之前轮次中所存储的最新延迟梯度，并对其方向进行判别：若，则判断该延迟梯度与该轮平均梯度的夹角大于90度，然后服务器将所有满足该条件的掉线客户端的最新延迟梯度进行累加，并求平均值，记为/>；若，则需要对该延迟梯度进行修正，再用于服务器聚合中；具体的/>，服务器同样对所有需要修正的最新延迟梯度进行累加，然后求取平均值，记为/>，然后对/>用向量投影的方法来调整其方向，即/>；全局模型聚合更新，获取每个客户端发至的所述更新的本地模型梯度并计算对应聚合权重值，依据所述聚合权重值对客户端更新、加权聚合，获取下一轮的全局模型参数，并分发至各个客户端进行下一轮的客户端本地更新，包括对偶变量更新和本地模型更新。