← 返回列表

结合渐进式引导蒸馏和结构重构的检测网络轻量化方法

申请号: CN202311574622.0
申请人: 哈尔滨工业大学
申请日期: 2023/11/23

摘要文本

本发明公开了一种结合渐进式引导蒸馏和结构重构的检测网络轻量化方法,所述方法把MobileNet v3Block中的SE注意力机制替换为CBAM注意力机制,从空间和通道两个方面提升特征显著性,然后将目标检测网络中的卷积模块替换为改进后的MobileNet v3Block模块;再通过基于批归一化的剪枝方剔除重要性低的冗余通道,以进一步提升模型的轻量程度。本发明将渐进式引导蒸馏从图像分类任务扩展到目标检测任务,改进基于主干特征映射的知识蒸馏方法,通过教师网络提供先验知识,使用教师网络的中间表示特征作为提示辅助训练,以助教网络作为媒介平衡学生网络的检测精度和速度。

专利详细信息

项目 内容
专利名称 结合渐进式引导蒸馏和结构重构的检测网络轻量化方法
专利类型 发明申请
申请号 CN202311574622.0
申请日 2023/11/23
公告号 CN117557857A
公开日 2024/2/13
IPC主分类号 G06V10/764
权利人 哈尔滨工业大学
发明人 巩晋南; 王暄; 施天俊; 李朴真; 智喜洋; 胡建明; 江世凯; 张伟
地址 黑龙江省哈尔滨市南岗区西大直街92号

专利主权项内容

1.一种结合渐进式引导蒸馏和结构重构的检测网络轻量化方法,其特征在于所述方法包括如下步骤:步骤1:将MobileNet v3 Block中的SE注意力机制替换为CBAM注意力机制,并采用改进后的MobileNet v3 Block结构重构原始检测网络中的卷积模块得到学生网络;步骤2:基于批归一化的剪枝方法精简学生网络,引入批归一化层的缩放系数γ代表卷积层输出的每个通道的重要性,根据缩放系数γ的大小来确定要剪枝的通道;步骤3:选用原始检测网络作为教师网络,对参数相对较多、结构相对复杂的教师网络进行训练;步骤4:调整原始检测网络中的模块堆叠数目和每个网络单元的输出通道数得到不同参数量的助教网络,引入教师网络提供先验知识,使用教师网络主干特征的映射作为提示帮助训练助教网络,再递归地使用参数量大的助教网络蒸馏参数量小的助教网络,直至蒸馏出最后一层助教网络的规模满足轻量化的需求;步骤5:使用步骤4中最后一层助教网络的主干特征映射作为提示,对步骤1、步骤2精简后的学生网络进行蒸馏。