一种反馈式神经网络模型计算流流水线排布方法及AI编译器
摘要文本
本发明涉及一种反馈式神经网络模型计算流流水线排布方法及AI编译器，所述方法包括以下步骤：S1、针对块加载/块存储时间的大小，通过增减块计算个数做若干不同块计算时间大小的计算流流水线排布，编译生成不同DDR带宽占有下的计算流流水线排布指令流；S2、发生DDR带宽抢占时，根据计算单元运行块计算周期个数和块加载加块存储周期个数的比例，动态编译不同DDR带宽占有下的计算流流水线排布，切换到块计算时间大小和块加载/块存储时间大小相等或近似的计算流流水线排布指令流。有益效果是根据DDR带宽占用、动态切换相对合适神经网络模型计算流流水线排布。
申请人信息
- 申请人:合肥辉羲智能科技有限公司
- 申请人地址:230088 安徽省合肥市中国(安徽)自由贸易试验区合肥片区高新区创新大道2800号创新产业园二期F5栋1层00036室
- 发明人: 合肥辉羲智能科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种反馈式神经网络模型计算流流水线排布方法及AI编译器 |
| 专利类型 | 发明申请 |
| 申请号 | CN202310486544.2 |
| 申请日 | 2023/5/4 |
| 公告号 | CN117669668A |
| 公开日 | 2024/3/8 |
| IPC主分类号 | G06N3/063 |
| 权利人 | 合肥辉羲智能科技有限公司 |
| 发明人 | 李振峰; 陈韫韬; 梁昊; 徐宁仪 |
| 地址 | 安徽省合肥市中国(安徽)自由贸易试验区合肥片区高新区创新大道2800号创新产业园二期F5栋1层00036室 |
专利主权项内容
1.一种反馈式神经网络模型计算流流水线排布方法，所述神经网络模型包括若干计算节点，所述计算节点包括计算单元、SRAM和DDR；所述神经网络模型编译时的中间表示是由若干计算节点组成的一个有向无环图，所述计算节点的输入输出是一个存储在DDR中的张量，所述张量切成若干块；所述计算单元计算时是顺序执行若干块任务的计算流，所述块任务先进行块加载，每次将DDR中的一个块加载到SRAM中，然后进行块计算，从SRAM中读取块，计算后将结果输出到SRAM，最后进行块存储，将SRAM中的结果存回DDR；所述计算流按照流水线排布，用本块任务的块计算时间掩盖掉在后执行块任务的块加载时间、和在先执行块任务的块存储时间，所述DDR带宽是指块加载/块存储占有流水线的时间；其特征在于包括以下步骤：S1、针对块加载/块存储时间的大小，通过增减块计算个数做若干不同块计算时间大小的计算流流水线排布，编译生成不同DDR带宽占有下的计算流流水线排布指令流；S2、发生DDR带宽抢占时，根据计算单元运行块计算周期个数和块加载加块存储周期个数的比例，动态切换不同DDR带宽占有下的计算流流水线排布，切换到块计算时间大小和块加载/块存储时间大小相等或近似的计算流流水线排布指令流。。该数据由<马克数据网>整理