← 返回列表
用于执行人工神经网络反向训练的装置和方法
摘要文本
本发明提供了一种用于执行人工神经网络反向训练的装置，包括指令缓存单元、控制器单元、直接内存访问单元、H树模块、主运算模块、以及多个从运算模块。使用该装置可以实现多层人工神经网络的反向训练。对于每一层来说，首先对输入梯度向量进行加权求和计算出本层的输出梯度向量。该输出梯度向量乘以下一层在正向运算时的激活函数的导数值可以得到下一层的输入梯度向量。将输入梯度向量与正向运算时的输入神经元对位相乘得到本层权值的梯度，然后可以根据所得到的本层权值的梯度来更新本层的权值。
申请人信息
- 申请人:中科寒武纪科技股份有限公司
- 申请人地址:100190 北京市海淀区科学院南路6号科研综合楼644室
- 发明人: 中科寒武纪科技股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 用于执行人工神经网络反向训练的装置和方法 |
| 专利类型 | 发明授权 |
| 申请号 | CN202010164096.0 |
| 申请日 | 2016年1月20日 |
| 公告号 | CN111353588B |
| 公开日 | 2024年3月5日 |
| IPC主分类号 | G06N3/084 |
| 权利人 | 中科寒武纪科技股份有限公司 |
| 发明人 | 刘少礼; 郭崎; 陈云霁; 陈天石 |
| 地址 | 北京市海淀区知春路7号致真大厦D座16层1601房 |
专利主权项内容
1.一种用于执行人工神经网络反向训练的装置，包括H树模块、主运算模块、多个从运算模块，所述主运算模块通过所述H树模块与所述多个从运算模块连接，其中：主运算模块，用于将第n+1层的输出梯度向量与正向运算过程中的第n层的导数值相乘得到第n层的输入梯度向量；H树模块，用于将所述第n层的输入梯度向量发送给多个从运算模块；从运算模块，用于计算所述第n层的输入梯度向量第i个标量与权值矩阵中列向量的乘积得到输出向量；H树模块，用于将多个从运算的输出向量两两相加得到最终的输出梯度向量；所述从运算模块，还用于将正向运算第n层的输入向量的第j个元素与反向运算第n层的输入梯度向量的第i个元素执行乘积运算得到权值更新梯度，并依据所述权值更新梯度更新权值。