一种红外图像与可见光图像融合方法

专利主权项内容

1.一种红外图像与可见光图像融合方法，其特征在于，包括：将红外图像与可见光图像进行归一化处理，并分别输入至单模态特征提取分支网络，所述单模态特征提取分支网络包括特征提取模块以及混合注意力机制模块；利用残差连接的特征提取模块提取红外图像的基础特征与可见光图像的基础特征，并获得红外特征以及可见光特征；混合注意力机制模块运算步骤：将红外特征以及可见光特征输入至混合注意力机制模块，并分别获取红外全局特征与红外局部特征，以及可见光全局特征以及可见光局部特征；将红外全局特征与红外局部特征进行矩阵相加运算以及矩阵相乘运算，并对运算结果进行拼接处理以及降维处理后，利用跳跃连接的方式与红外特征进行加法运算，获得单模态红外特征；将可见光全局特征与可见光局部特征进行矩阵相加运算以及矩阵相乘运算，并对运算结果进行拼接处理以及降维处理后，利用跳跃连接的方式与可见光特征进行加法运算，获得单模态可见光特征；将第一级卷积得到的单模态红外特征与单模态可见光特征相加，并输入至Transformer模块中进行信息整合，获得多模态红外特征以及多模态可见光特征；混合模态特征提取步骤：利用SIM模块将多模态红外特征与多模态可见光特征根据对应的混合注意力机制模块所提取到的单模态红外特征与单模态可见光特征生成相应的相关性权重，并分别注入至单模态红外特征与单模态可见光特征中；判断单模态特征提取分支网络的级数是否小于预设级数，若是，循环混合注意力机制模块运算步骤至混合模态特征提取步骤，若否，将最后一级卷积得到的单模态红外特征以及单模态可见光特征与在最后一层Transformer模块中得到的多模态红外特征与多模态可见光特征分别相加之后再进行拼接处理；将拼接后的特征输入至解码器网络，并生成融合图像。