← 返回列表
一种基于数据流的注意力机制加速器
申请人信息
- 申请人:合肥辉羲智能科技有限公司
- 申请人地址:230088 安徽省合肥市中国(安徽)自由贸易试验区合肥片区高新区创新大道2800号创新产业园二期F5栋1层00036室
- 发明人: 合肥辉羲智能科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于数据流的注意力机制加速器 |
| 专利类型 | 发明申请 |
| 申请号 | CN202310655873.5 |
| 申请日 | 2023/6/5 |
| 公告号 | CN117634568A |
| 公开日 | 2024/3/1 |
| IPC主分类号 | G06N3/063 |
| 权利人 | 合肥辉羲智能科技有限公司 |
| 发明人 | 王宏伟; 张浩; 罗飞; 李阳; 岳大胜 |
| 地址 | 安徽省合肥市中国(安徽)自由贸易试验区合肥片区高新区创新大道2800号创新产业园二期F5栋1层00036室 |
摘要文本
本发明涉及一种基于数据流的注意力机制加速器，包括上脉动阵列和下脉动阵列，所述上脉动阵列和下脉动阵列用于协同完成利用注意力机制通过Transformer神经网络“编码‑解码”结构进行序列到序列的转换，包括Q矩阵和K矩阵的并行生成、V矩阵的生成、头部注意力计算、以及最终的多头部注意力计算；所述上脉动阵列包括若干上阵列计算单元，所述下脉动阵列包括若干下阵列计算单元，所述上脉动阵列和下脉动阵列级联、可以动态配置为权重固定或输出固定，所述上阵列计算单元和下阵列计算单元可配置、动态支持权重固定或输出固定的数据复用方式。有益效果是有效支持数据复用和并行、延迟低、计算单元利用率高、吞吐率好。
专利主权项内容
1.一种基于数据流的注意力机制加速器，其特征在于：包括上脉动阵列和下脉动阵列，所述上脉动阵列和下脉动阵列用于协同完成利用注意力机制通过Transformer神经网络“编码-解码”结构进行序列到序列的转换，包括Q矩阵和K矩阵的并行生成、V矩阵的生成、头部注意力计算、以及最终的多头部注意力计算；所述上脉动阵列包括若干上阵列计算单元，所述下脉动阵列包括若干下阵列计算单元，所述上脉动阵列和下脉动阵列级联、可以动态配置为权重固定或输出固定，所述上阵列计算单元和下阵列计算单元可配置、动态支持权重固定或输出固定的数据复用方式。。来自马-克-数-据-官网