一种用于类脑计算平台的脉冲神经网络量化方法及系统
申请人信息
- 申请人:中科南京智能技术研究院
- 申请人地址:211135 江苏省南京市江宁区创研路266号麒麟人工智能产业园8栋8层
- 发明人: 中科南京智能技术研究院
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种用于类脑计算平台的脉冲神经网络量化方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311624398.1 |
| 申请日 | 2023/11/30 |
| 公告号 | CN117391175A |
| 公开日 | 2024/1/12 |
| IPC主分类号 | G06N3/082 |
| 权利人 | 中科南京智能技术研究院 |
| 发明人 | 杨宗林; 陶丽颖; 尚德龙; 周玉梅 |
| 地址 | 江苏省南京市江宁区创研路266号麒麟人工智能产业园8栋8层 |
摘要文本
中科南京智能技术研究院取得“一种透气窗帘布”专利技术,本发明公开了一种用于类脑计算平台的脉冲神经网络量化方法及系统,包括:加载并保存预训练全精度float32的脉冲神经网络模型, 记为脉冲神经网络模型T1;对脉冲神经网络模型T1进行修改获得脉冲神经网络模型T2;选取校准数据集对脉冲神经网络模型T2进行量化过程的训练,以选取合适的缩放量化放因子scale和零点zp使得量化前后精度损失最小;将训练后的脉冲神经网络模型T2部署至类脑计算平台;实现真正异步的脉冲神经网络计算,并且无精度丢失。
专利主权项内容
1.一种用于类脑计算平台的脉冲神经网络量化方法,其特征在于,包括:加载并保存预训练全精度float32的脉冲神经网络模型, 记为脉冲神经网络模型T1;对脉冲神经网络模型T1进行修改获得脉冲神经网络模型T2的过程为:对脉冲神经网络模型T1的输入层和输出层插入伪量化节点,由输入层将输入特征从全精度float32格式量化为int8格式,由输出层将输出特征从int8格式反量化为全精度float32格式;将脉冲神经网络模型T1中线性算子定义至伪量化节点,将输入伪量化节点的特征参数从int8格式反量化全精度float32格式,再经过伪量化节点计算后量化回int8格式;将脉冲神经网络模型T1改为欧拉数值解形式,然后将卷积算子、批归一化处理、LIF神经元算子做算子折叠,并对脉冲神经网络模型T1中各层权重和激活函数插入观察节点,所述观察节点用于计算和保存每个通道下每组权重的最大值和最小值以及量化范围,获得脉冲神经网络模型T2;选取校准数据集对脉冲神经网络模型T2进行量化过程的训练,以选取合适的缩放量化放因子scale和零点zp使得量化前后精度损失最小;将训练后的脉冲神经网络模型T2部署至类脑计算平台。