基于高维度特征映射和特征聚合的跨模态地点识别方法

专利主权项内容

1.一种基于高维度特征映射和特征聚合的跨模态地点识别方法，其特征在于，包括如下步骤：步骤1：在SCHAL-Net网络模型中分别输入RGB图像和红外图像，进入步骤2；步骤2：将RGB图像和红外图像两种模态的图像分别通过ResNet50的Conv1卷积层，提取各自模态所特有的特征，进入步骤3；步骤3：将共享参数的ResNet50网络的特征映射分为四个阶段，分别在前两个阶段的特征映射之后添加浅层特征增强模块，进入步骤4；步骤4：在ResNet50第三阶段输出的特征经过高维度特征映射模块作为最终整体特征的输出，进入步骤5；步骤5：对ResNet50第三阶段输出的特征进行图像块处理，提取局部特征，在经过注意力模块作为最终局部特征的输出，进入步骤6；步骤6：基于高维度模态内特征聚合模块，将步骤4输出的最终整体特征和ResNet50第四阶段的特征进行融合，得到融合后的特征，从而对整体特征进行约束，进入步骤7；步骤7：对步骤4输出的最终整体特征、步骤5输出的最终局部特征以及步骤6融合后的特征进行整体和局部特征协同约束，进入步骤8；步骤8：若达到指定的训练轮数，则进行步骤9，否则继续完成训练，返回步骤1；步骤9：得到训练完成的SCHAL-Net网络模型，并基于SCHAL-Net网络模型，实现跨模态地点识别。