一种多模态红外小目标检测方法

专利主权项内容

1.一种多模态红外小目标检测方法，其特征在于，包括：S1、获取红外相机和可见光相机拍摄的同一场景下的红外图像和可见光图像；S2、分别对红外图像和可见光图像进行目标位置和形状标注，并划分训练集、测试集和验证集以用于跨模态多尺度感知网络模型的训练和验证，所述模型包括两个特征提取网络、跨模态信息感知模块、金字塔池化模块和特征聚合模块；S3、将红外图像和可见光图像的训练集输入两个特征提取网络中，分为两个分支并行提取相对应特征，得到红外特征和可见光图像特征；S4、利用跨模态信息感知模块将对应层的红外图像特征和可见光图像特征进行融合得到每层的对应浅层融合特征以及初步的融合特征；S5、利用金字塔池化模块和特征聚合模块逐步融合初步融合特征以及对应层的浅层融合特征得到最终的融合图像；S6、利用最终的融合图像和原始输入图像，计算网络模型的损失函数，结合测试集和验证集，得到最终的跨模态多尺度感知网络模型；S7、待检测红外图像输入最终的跨模态多尺度感知网络模型，利用模型得到小目标检测结果。