← 返回列表
卷积神经网络定点化优化的方法及系统
摘要文本
上海交通大学取得“一种透气窗帘布”专利技术,本发明提供了一种卷积神经网络定点化优化的方法及系统,包括:量化步骤:将预训练过的卷积神经网络进行量化,将卷积神经网络的输入量化为N bits的定点数,将卷积核中的参数量化为预设集合中的数,选择与所述预设集合中欧式距离最近的数进行量化;训练步骤:控制卷积层参数不变,训练量化后的卷积神经网络;卷积运算步骤:将经过训练的卷积神经网络输入卷积器,所述卷积器的输入为n个N bits的定点数以及n个4bits的卷积核参数,经过位移器输入n输入树形级联加法器,所述n为卷积核的数量。本发明提高了运算效率降低了功耗,同时保证预测结果的准确度。
专利主权项内容
1.一种卷积神经网络定点化优化的方法,其特征在于,包括:量化步骤:将预训练过的卷积神经网络进行量化,将卷积神经网络的输入量化为Nbits的定点数,将卷积核中的参数量化为预设集合中的数,选择与所述预设集合中欧式距离最近的数进行量化;训练步骤:控制卷积层参数不变,训练量化后的卷积神经网络;卷积运算步骤:将经过训练的卷积神经网络输入卷积器,所述卷积器的输入为n个Nbits的定点数以及n个4 bits的卷积核参数,经过位移器输入n输入树形级联加法器,所述n为卷积核的数量;所述卷积器中的位移器为n个并行位移器,或者多次复用一个位移器代替n个并行位移器;所述训练步骤包括采用fine-tune微调方法微调量化后的卷积神经网络;所述预设集合为{-0.125,-0.25,-0.5,-1,-2,-4,-8,0.125,0.25,0.5,1,2,4,8};所述4 bits的卷积核参数中的1 bit为卷积核参数的符号位。
专利申请信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 卷积神经网络定点化优化的方法及系统 |
| 专利类型 | 发明授权 |
| 申请号 | CN201810206021.7 |
| 申请日 | 2018年3月13日 |
| 公告号 | CN108564165B |
| 公开日 | 2024年1月23日 |
| IPC主分类号 | G06N3/0464 |
| 权利人 | 上海交通大学 |
| 发明人 | 王琴; 柳泽辰; 蒋剑飞; 绳伟光; 景乃锋 |
| 地址 | 上海市闵行区东川路800号 |