一种分布式训练通信方法、装置、系统、设备及存储介质

专利主权项内容

1.一种分布式训练通信方法，其特征在于，应用于计算节点，包括：在执行分布式训练任务的当前次迭代计算得到节点梯度数据后，获取本地的梯度数据稀疏化位置信息以对所述节点梯度数据进行稀疏化处理；输出稀疏化的所述节点梯度数据以执行所述分布式训练任务的梯度数据聚合操作；其中，所述梯度数据聚合操作为利用对应的所述梯度数据稀疏化位置信息对稀疏化的所述节点梯度数据进行解码后，利用解码后的所述节点梯度数据进行的所述梯度数据聚合操作；所述梯度数据稀疏化位置信息的生成方法包括：根据所述分布式训练任务的模型精度损失函数，构建以满足梯度数据的期望稀疏度为约束条件、以模型精度损失最小化为优化目标的数据稀疏化目标函数；基于所述分布式训练任务的迭代计算得到的所述节点梯度数据和所述分布式训练任务的模型网络求解所述数据稀疏化目标函数，得到所述梯度数据稀疏化位置信息；在执行所述分布式训练任务时，所述梯度数据稀疏化位置信息的生成次数小于所述分布式训练任务的迭代计算次数。 更多数据：