一种基于图神经网络和双向深度知识蒸馏的联邦学习方法

专利主权项内容

1.一种基于图神经网络和双向深度知识蒸馏的联邦学习方法，其特征在于，包括以下步骤：S1、服务器端初始化一个全局模型，并将初始权重分发给所有客户端；S2、客户端接收服务器下发的全局模型，并使用基于注意力机制的视觉图神经网络进行本地训练；S3、客户端获取其本地模型的中间层表示和最终输出/>，并接收服务器在前一轮模型更新中的中间层表示/>和最终输出/>，计算出客户端的知识蒸馏损失，进而计算客户端的总损失/>；S4、更新客户端本地模型梯度：客户端完成本地训练后，基于客户端总损失计算模型参数的梯度并发送到服务器，并将其计算的蒸馏损失/>发送到服务器；S5、服务器端接收各客户端模型上传的本地模型更新和蒸馏损失：服务器从所有客户端聚合梯度取平均，计算平均梯度；同时服务器从所有客户端收集蒸馏损失，并计算平均蒸馏损失/>；S6、服务器端计算总损失并更新全局模型：通过计算服务器模型输出和真实标签/>之间的差异来计算服务器端的本地损失/>，进而结合/>计算出服务器总损失/>；利用聚合后的平均梯度，服务器更新其全局模型的权重/>；S7、完成上述步骤后，服务器再次分发更新后的权重到所有客户端，进行新一轮的学习直到满足收敛条件或达到预设的轮数。