← 返回列表
分布式集群的通信方法、系统、电子设备及可读存储介质
申请人信息
- 申请人:浪潮电子信息产业股份有限公司
- 申请人地址:250000 山东省济南市高新区浪潮路1036号
- 发明人: 浪潮电子信息产业股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 分布式集群的通信方法、系统、电子设备及可读存储介质 |
| 专利类型 | 发明授权 |
| 申请号 | CN202311423771.7 |
| 申请日 | 2023/10/31 |
| 公告号 | CN117155929B |
| 公开日 | 2024/2/9 |
| IPC主分类号 | H04L67/10 |
| 权利人 | 浪潮电子信息产业股份有限公司 |
| 发明人 | 高开; 王丽; 曹芳; 唐轶男; 郭振华; 赵雅倩 |
| 地址 | 山东省济南市高新区浪潮路1036号 |
摘要文本
本发明公开了一种分布式集群的通信方法、系统、电子设备及可读存储介质，涉及分布式集群领域，为解决受网络带宽限制使得集群间通信效率低的问题，该通信方法包括：确定分布式集群中的参数更新节点以及多个子集群；针对每一子集群，获取子集群对预设模型的多个阶段依次进行计算得到的多个梯度数据；确定获取到的各个阶段的梯度数据的发送次序；按发送次序从先到后的顺序将梯度数据发送至参数更新节点，以便通过参数更新节点基于梯度数据执行参数更新操作。本发明能够实现对集群间的网络带宽的充分利用，从而提高通信效率。
专利主权项内容
1.一种分布式集群的通信方法，其特征在于，所述分布式集群的通信方法包括：确定分布式集群中的参数更新节点以及多个子集群；所述子集群通过对所述分布式集群中的设备进行划分得到；针对每一所述子集群，获取所述子集群对预设模型的多个阶段依次进行计算得到的多个梯度数据；每一所述阶段包括所述预设模型的至少一个网络层，各个所述阶段包括的所述网络层不同；确定获取到的各个所述阶段的梯度数据的发送次序；每一所述阶段的梯度数据的发送次序和其计算次序呈负相关；按所述发送次序从先到后的顺序将所述梯度数据发送至所述参数更新节点，以便通过所述参数更新节点基于所述梯度数据执行参数更新操作。