← 返回列表
一种任务分配方法、装置及电子设备和存储介质
摘要文本
本申请公开了一种任务分配方法、装置及电子设备和存储介质,涉及计算机技术领域,该方法包括:获取分布式训练的物理节点集合、数据源集合、神经网络模型、事件树集合;确定多个事件树的总能耗,选择总能耗最小的事件树作为目标事件树;以最小化训练能耗为目标确定目标事件树的目标事件或数据源分配策略;其中,目标事件或数据源分配策略用于描述处理目标事件树中事件的物理节点或数据源分配的物理节点,训练能耗包括物理节点处理事件的能耗、不同事件之间的数据传输能耗;基于目标事件或数据源分配策略将数据源和目标事件树中的事件部署于对应的物理节点。本申请降低了分布式训练神经网络模型的能耗。。关注
申请人信息
- 申请人:浪潮电子信息产业股份有限公司
- 申请人地址:250000 山东省济南市高新区草山岭南路801号9层东侧
- 发明人: 浪潮电子信息产业股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种任务分配方法、装置及电子设备和存储介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410224929.6 |
| 申请日 | 2024/2/29 |
| 公告号 | CN117806835A |
| 公开日 | 2024/4/2 |
| IPC主分类号 | G06F9/50 |
| 权利人 | 浪潮电子信息产业股份有限公司 |
| 发明人 | 王晓敏; 范宝余; 赵雅倩; 李仁刚; 郭振华; 王丽 |
| 地址 | 山东省济南市高新区草山岭南路801号9层东侧 |
专利主权项内容
1.一种任务分配方法,其特征在于,包括:获取分布式训练的物理节点集合、数据源集合、神经网络模型、事件树集合;其中,所述事件树集合的事件树基于所述神经网络模型的层拓扑结构和所述神经网络模型的每个层包含的事件创建,所述事件树用于描述数据源与事件或不同事件之间的关联关系;根据所述神经网络模型的每个层传出数据与传入数据的比率和处理单位流量所需的计算资源确定多个所述事件树的总能耗,选择总能耗最小的事件树作为目标事件树;以最小化训练能耗为目标确定所述目标事件树的目标事件或数据源分配策略;其中,所述目标事件或数据源分配策略用于描述处理所述目标事件树中事件的物理节点或数据源分配的物理节点,所述训练能耗包括所述物理节点处理事件的能耗、不同事件之间的数据传输能耗;基于所述目标事件或数据源分配策略将所述数据源和所述目标事件树中的事件部署于对应的物理节点。