一种基于本地特征的大模型切割联邦学习方法及系统

专利主权项内容

1.一种基于本地特征的大模型切割联邦学习方法，其特征在于：包括，客户端模块C接收中央服务器模块CS下发的全局大模型、全局大模型参数/>和测试数据集/>，并根据自身训练特征对全局大模型/>进行切割以生成适合本地高效训练的本地小模型/>；客户端在本地小模型/>上进行本地训练，并更新本地小模型参数/>，同时计算本地小模型/>在测试数据集/>上的精确度和损失函数的梯度；客户端根据预设的精确度变化-隐私预算分配策略决定本轮梯度扰动的隐私预算，并对梯度进行加噪处理；完成梯度加噪后，客户端通过本地小模型参数压缩算法对更新后的本地小模型参数进行压缩，并将压缩后的本地小模型参数和加噪后的梯度异步上传至异常检测和选择模块DS；异常检测和选择模块DS通过n轮交互完成异常客户端信誉度检测阈值协商，并在接收上传参数后更新全局信誉度和本地信誉度；异常检测和选择模块DS根据信誉度检测阈值协商检测恶意终端，并将全局信誉度以及全局信誉度所对应的压缩模型参数上传至中央服务器模块CS；中央服务器模块CS根据全局信誉度对客户端进行二次采样，使用还原聚合方式更新全局大模型/>，并将聚合后的全局大模型参数下发至客户端/>，直至大模型收敛。