← 返回列表
基于零数据搜索的神经网络多粒度剪枝压缩方法及系统
申请人信息
- 申请人:中科方寸知微(南京)科技有限公司
- 申请人地址:210000 江苏省南京市江宁区麒麟科技创新园创研路266号人工智能产业园3号楼203B室
- 发明人: 中科方寸知微(南京)科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于零数据搜索的神经网络多粒度剪枝压缩方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410149908.2 |
| 申请日 | 2024/2/2 |
| 公告号 | CN117689001A |
| 公开日 | 2024/3/12 |
| IPC主分类号 | G06N3/082 |
| 权利人 | 中科方寸知微(南京)科技有限公司 |
| 发明人 | 冷聪 |
| 地址 | 江苏省南京市江宁区麒麟科技创新园创研路266号人工智能产业园3号楼203B室 |
摘要文本
本发明公开了基于零数据搜索的神经网络多粒度剪枝压缩方法及系统，属于深度神经网络压缩和加速的技术领域。包括以下步骤：在联合通道和权重剪枝的情况下得到剪枝后的子网络模型；将子网络模型通过一对向量表示，生成模型架构集合；利用N阶贪婪策略，通过多次迭代搜索出网络延迟和准确率之间位于帕累托前沿的模型序列；基于模型序列生成当前延迟下的修剪模型集合；在修剪模型集合中找到具有最大零数据线性区域数得分的模型。本发明采用神经网络模型通道和权重联合剪枝以获得更好的模型加速；多粒度剪枝用N阶贪婪策略利用先前剪枝得到的架构；在没有任何数据的情况下有效地发现多个模型，并在准确性和延迟之间取得较好的平衡。 （来 自 专利查询网）
专利主权项内容
1.基于零数据搜索的神经网络多粒度剪枝压缩方法，其特征在于，包括以下步骤：给定一个具有L个卷积层的深度神经网络模型；在联合通道和权重剪枝的情况下，得到剪枝后的子网络模型/>；将所述子网络模型/>通过一对向量进行表示，生成模型架构集合/>；利用N阶贪婪策略，通过多次迭代在模型架构集合中搜索出网络延迟/>和准确率/>之间位于帕累托前沿的模型序列：当前迭代中的搜索信息来自历史迭代中的搜索信息；计算当前模型的推理延迟，基于模型序列生成当前延迟下的修剪模型集合/>；利用算法在修剪模型集合中找到具有最大零数据线性区域数得分的模型/>；使用ADMM算法训练所有搜索到的模型。