基于多源数据融合的水下目标语义分割方法及系统

专利主权项内容

1.一种基于多源数据融合的水下目标语义分割方法，其特征在于，所述水下目标语义分割方法包括以下步骤：步骤1、获取水下目标事件图像与RGB图像所构建的数据集，按照8：2的比例划分训练集与验证集；步骤2、设计跨模态注意力模块及跨通道注意力模块；步骤3、将跨模态注意力模块与跨通道注意力模块嵌入到所设计的多源数据融合模块中；步骤4、将多源数据融合模块嵌入到构建的语义分割模型中，并使用步骤1的训练集训练语义分割模型，使用验证集验证训练后的语义分割模型；步骤5、使用步骤4的语义分割模型对水下目标进行语义分割；所述步骤2设计跨模态注意力模块具体为，由双分支架构构成，其中一个分支为CBR模块，CBR模块由卷积、批量标准化和ReLU激活函数构成，能够序列化地在模态维度产生注意力特征图信息，然后模态注意力特征图与原输入特征图进行相乘并进行自适应的模态特征筛选，产生最后的特征图；所述步骤2设计跨通道注意力模块具体为，由三分支架构构成，其中一个分支由一个CBR模块组成，另一个分支由两个CBR模块串联构成，两个分支同时作为残差边最后与跨通道注意力机制输出相加；能够序列化地在通道维度产生注意力特征图信息，然后通道注意力特征图与原输入特征图进行相乘并进行自适应的通道特征筛选，产生最后的特征图；所述步骤3多源数据融合模块具体为，多源数据融合模块包括两条CBR分支、一条跨模态注意力模块分支与一条跨通道注意力模块分支；CBR分支件分支由两个CBR模块串联构成，跨模态注意力模块分支由一个跨模态注意力模块与一个CBR模块串联构成，跨通道注意力模块分支由一个跨通道注意力模块与一个CBR模块串联构成；其中一条CBR分支的输出与跨模态注意力模块的输出进行相加，一条CBR分支的输出与跨通道注意力模块的输出进行相加；两种分支相加后的特征图按照通道维度拼接，然后进入到一个CBR模块，获得一个3×640×640的融合特征图，实现最终的多源数据特征融合。