一种跨模态超分辨率重建方法、终端设备及可读存储介质

专利主权项内容

1.一种跨模态超分辨率重建方法，其特征在于：包括如下步骤：步骤1，数据集预处理：准备相同场景的红外与可见光图像对，将可见光图像转换为灰度图像，将红外数据集使用DDE增强，提高对比度；再将所有图像进行数据增广，最后将三种图像进行粗配准，方便后续特征纹理提取任务的训练；步骤2，构建跨模态超分辨率重建网络：跨模态超分辨率重建网络由编码模块、双支路特征提取模块、解码模块组成；双支路特征提取模块包括可见光特征提取模块和灰度特征提取模块；步骤3，准备用于双支路特征权重预训练的数据集：该步骤与步骤1基本一致，但需要将数据集图片切割成统一规格的图像块对；步骤4，双支路特征权重的预训练：双支路特征权重的预训练包括三个阶段，分别是特征粗匹配阶段、双重对比学习特征精匹配阶段、特征导入阶段；通过对比学习将红外图像与参考图像的纹理相似权重导入到跨模态超分辨率重建网络；步骤5，训练跨模态超分辨率重建网络参数：双支路特征提取模块的权重归一化后转化为排序损失，获取两条支路特征权重比例，最后通过加权损失将纹理信息补充进红外图像中；超分采用L1损失、感知损失和对抗损失来优化网络参数；步骤6，保存模型：将最终确定的模型参数进行固化，之后需要进行红外图像超分辨率重建操作时，直接将图像输入到网络中即可得到最终的超分图像。