一种海洋遥感图文检索方法、装置、电子设备及存储介质

专利主权项内容

1.一种海洋遥感图文检索方法，其特征在于，包括如下步骤：获取海洋遥感图像和海洋遥感相关文本数据，将所述数据划分为训练集以及验证集；建立海洋遥感图文检索模型，其中，所述海洋遥感图文检索模型至少包括海洋遥感图像特征提取模块、文本特征提取模块、双向指导模块、全局对齐模块和总相似度计算模块，所述海洋遥感图像特征提取模块用于提取海洋遥感图像的细粒度特征和整体特征，所述文本特征提取模块用于提取海洋遥感文本的细粒度特征和整体特征，基于所述海洋遥感图像以及文本的细粒度特征，利用所述双向指导模块对所述图像以及文本的细粒度特征进行对齐，以获得对齐后的细粒度相似度得分，所述全局对齐模块用于对所述海洋遥感图像以及文本的整体特征进行对齐，以获得全局相似度得分，所述总相似度计算模块用于确定海洋遥感图像和文本的总相似度，所述全局相似度得分的计算式为：
，其中，为全局相似度得分，/>为图像整体特征，/>为文本整体特征，/>表示向量的模；所述海洋遥感图像和文本的总相似度计算式为：
，其中，为海洋遥感图像和文本的总相似度，/>为决定全局相似度得分的影响程度的权重因子，/>为决定局部相似度得分的影响程度的权重因子，/>为全局相似度得分，为图像引导文本学习的最终相似度得分，/>为文本引导图像学习的最终相似度得分；采用所述训练集对所述海洋遥感图文检索模型进行训练，采用所述验证集对所述训练后的海洋遥感图文检索模型进行优化，以得到训练完备的海洋遥感图文检索模型；获取待检索数据，将所述待检索数据输入至所述训练完备的海洋遥感图文检索模型中，以获得与待检索数据相关的遥感图像数据或与待检索数据相关的文本数据。。微信公众号马克数据网