← 返回列表

基于三阶知识蒸馏的多模态生物特征识别方法

申请号: CN202410244697.0
申请人: 天津科技大学
申请日期: 2024/3/5

摘要文本

本发明涉及基于三阶知识蒸馏的多模态生物特征识别方法,通过获取相同类的人脸和指纹数据集;对人脸数据和指纹数据进行预处理和数据扩充,然后将扩充后的人脸和指纹数据进行随机划分用作训练集和验证集;将处理之后的数据输入到卷积神经网络中进行特征提取,获得性能好的教师模型并保存模型参数;将学生网络和教师网络进行蒸馏训练,得到训练好的学生模型;使用验证集,测试已经训练好的学生网络。本发明针对深度学习模型在嵌入式设备难以进行部署和实时性能差的问题,深入探究了现有的模型压缩和加速算法,将多模态生物特征识别、注意力融合机制、知识蒸馏技术结合,有效提高了小规模网络的性能,同时还有利于落地应用。。 (来源 马克数据网)

专利详细信息

项目 内容
专利名称 基于三阶知识蒸馏的多模态生物特征识别方法
专利类型 发明申请
申请号 CN202410244697.0
申请日 2024/3/5
公告号 CN117831138A
公开日 2024/4/5
IPC主分类号 G06V40/70
权利人 天津科技大学
发明人 杨巨成; 路开奎; 刘建征
地址 天津市河西区大沽南路1038号

专利主权项内容

1.基于三阶知识蒸馏的多模态生物特征识别方法,其特征在于:包括以下步骤:步骤1、获取相同类的人脸和指纹数据集;步骤2、对人脸数据和指纹数据进行预处理和数据扩充,然后将扩充后的人脸和指纹数据进行随机划分用作训练集和验证集;步骤3、将步骤2处理之后的数据输入到卷积神经网络的backbone中进行特征提取,然后将提取特征进行融合和匹配;选取优化器,设置教师网络参数,输出教师网络中间层特征、融合特征以及最后的logits输出分数特征,获得性能好的教师模型并保存模型参数;步骤4、将学生网络和教师网络进行蒸馏训练,选取优化器,设置学生网络参数,利用步骤3中得到的教师网络模型和参数指导学生网络训练,进行模型压缩,得到训练好的学生模型;步骤5、使用验证集,测试已经训练好的学生网络。