红外图像与可见光图像的融合方法及系统

专利主权项内容

1.一种红外图像与可见光图像的融合方法，其特征在于，包括：采集可见光图像以及对应的红外图像，并构建数据集；将可见光图像与红外图像进行归一化处理；多级特征提取步骤：利用残差密集块提取可见光图像与红外图像的特征，并获得第一可见光图像与第一红外图像；模态融合运算步骤：将经过残差密集块的每级第一红外特征与第一可见光特征输入至模态融合模块，该模态融合模块通过交叉全局注意力机制获取第二红外特征与第二可见光特征；加权运算步骤：将第二可见光特征与对应输入的第一可见光图像加权后输入至下一层残差密集块，同时将第二红外特征与对应输入的第一红外图像加权后输入至下一层残差密集块；判断残差密集块提取分支网络的级数是否小于预设级数，若是，循环多级特征提取步骤至加权运算步骤；若否，将最后一级输出的第二红外特征和第二可见光特征与对应输入的第一红外图像和第一可见光图像分别相加并结合；将结合后输入至解码器恢复图像特征，以获得融合图像。