← 返回列表
一种基于脉动阵列的LSTM加速器及加速方法
申请人信息
- 申请人:南京航空航天大学
- 申请人地址:210000 江苏省南京市秦淮区御道街29号
- 发明人: 南京航空航天大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于脉动阵列的LSTM加速器及加速方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311535097.1 |
| 申请日 | 2023/11/16 |
| 公告号 | CN117610624A |
| 公开日 | 2024/2/27 |
| IPC主分类号 | G06N3/063 |
| 权利人 | 南京航空航天大学 |
| 发明人 | 葛芬; 王浩; 周芳; 叶剑涛; 龚文强; 张国辉 |
| 地址 | 江苏省南京市秦淮区御道街29号 |
摘要文本
本发明公开了一种基于脉动阵列的LSTM加速器，加速器包括向量‑矩阵转化模块、脉动阵列、Element‑wise模块、控制模块以及存储模块；向量‑矩阵转化模块负责将输入向量转化为矩阵形式，并映射至脉动阵列的输入数据流上；脉动阵列负责LSTM门控单元的稀疏权重矩阵与输入矩阵的乘法运算，由多个PE模块组成，通过输入数据流和权重数据流在PE模块间流动，高度复用数据，有效避免数据频繁读取。本发明还公开了一种基于脉动阵列的LSTM加速器的加速方法，本发明通过优化数据结构，将原有的矩阵与向量乘法运算转化为矩阵与矩阵乘法运算，并通过脉动阵列对稀疏权重矩阵与输入矩阵的乘法运算进行处理，实现了PE模块的高并行度和高吞吐率，从而提升了加速器的运算性能。
专利主权项内容
1.一种基于脉动阵列的LSTM加速器，包括权重缓存模块，其特征在于，还包括向量-矩阵转化模块、K个脉动阵列和Element-wise模块，其中，脉动阵列包括M×N个处理单元PE模块，M、N均为大于1的整数，脉动阵列的数量与LSTM模型中的LSTM门控单元的数量是相同的；其中，向量-矩阵转化模块，用于将输入向量转化为矩阵形式，得到输入矩阵并将其输出至脉动阵列；脉动阵列，用于接收来自权重缓存模块的权重矩阵、向量-矩阵转化模块的输入矩阵，权重矩阵和输入矩阵在PE模块间流动，权重矩阵经过剪枝后得到稀疏权重矩阵，在脉动阵列中完成LSTM门控单元的稀疏权重矩阵与输入矩阵的乘法运算，输出向量至Element-wise模块；Element-wise模块，用于接收来自脉动阵列输出的向量，计算当前时间步的细胞状态值和隐藏值。