针对高相似海洋遥感数据的图文跨模态检索方法及系统

专利主权项内容

1.针对高相似海洋遥感数据的图文跨模态检索方法，其特征在于，包括以下步骤：步骤S1、提取图像和文本特征：对于图像I和文本T，分别提取图像全局特征和图像局部特征X、文本全局特征/>和文本局部特征F；步骤S2、训练跨模态检索模型：所述跨模态检索模型包括细粒度稀疏表示模块、跨模态信息偏差计算模块和语义感知损失模块，具体训练方法如下：步骤S21、通过细粒度稀疏表示模块，获取图像和文本的细粒度稀疏表示：首先，在细粒度多属性库P的基础上，借助维度增加的交叉注意力，更新图像局部特征X和文本局部特征F，将X和F这两个特征转换为细粒度稀疏表示，生成稀疏图像局部特征和稀疏文本局部特征/>，挖掘出潜在的属性表示；然后，采用交叉注意力将生成的稀疏图像局部特征/>和稀疏文本局部特征/>的属性信息进行整合，更新细粒度多属性库P；步骤S22、通过跨模态信息偏差计算模块，计算跨模态信息偏差：基于生成的稀疏局部特征和/>，计算模态内亲和矩阵以及模态间亲和矩阵；在该矩阵基础上，计算模态间偏差，模态间偏差/>用于相似性匹配过程；步骤S23、通过语义感知损失模块进行相似性匹配，完成模型训练：使用三元组损失计算图像特征和文本特征的正样本相似度和负样本相似度，将相似度最高的图像特征和文本特征作为最佳检索匹配对；步骤S3、将待检索的图片或文本输入至训练好的跨模态检索模型中，得到对应的检索结果。