← 返回列表
一种神经网络模型训练方法、装置、芯片和系统
摘要文本
本发明实施例提供了一种模型训练方法。本发明实施例的每个工作模块包括并行运行的计算进程和通讯进程，计算进程根据上一次迭代的局部梯度和模型参数计算下一次训练模型的模型参数，通讯进程向服务器模块上推局部梯度以及下拉全局梯度。计算进程计算训练模型的下一次迭代的模型参数的过程不依赖于上一次迭代的全局梯度，从而使计算进程与通讯进程的时间窗口重叠，缩短了模型参数的训练时延。
申请人信息
- 申请人:华为技术有限公司
- 申请人地址:518129 广东省深圳市龙岗区坂田华为总部办公楼
- 发明人: 华为技术有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种神经网络模型训练方法、装置、芯片和系统 |
| 专利类型 | 发明授权 |
| 申请号 | CN201910503321.6 |
| 申请日 | 2016年11月29日 |
| 公告号 | CN110348571B |
| 公开日 | 2024年3月29日 |
| IPC主分类号 | G06N3/08 |
| 权利人 | 华为技术有限公司 |
| 发明人 | 张长征; 白小龙; 涂丹丹 |
| 地址 | 广东省深圳市龙岗区坂田华为总部办公楼 |
专利主权项内容
来自马-克-数-据 1.一种模型训练方法，其特征在于，运用所述方法的训练系统包括至少一个服务器模块和N个工作模块，所述至少一个服务器模块和所述N个工作模块在训练周期内训练所述模型的模型参数，所述训练周期包括K次迭代，其中，N和K均为正整数，每个工作模块上并行运行计算进程和通讯进程；所述计算进程根据第j次迭代的全局梯度、第i次迭代的局部梯度和所述第i次迭代的模型参数计算第i+1次迭代的模型参数，其中，i为小于K的正整数，所述j为小于等于所述i的正整数；所述计算进程根据所述第i+1次迭代的模型参数以及所述第i+1次迭代的样本数据，计算所述第i+1次迭代的局部梯度；所述通讯进程从所述至少一个服务器模块下拉所述第r次迭代的全局梯度，其中，r为小于i的正整数。