一种基于人工智能的自监督多模态医学图像分割方法

专利主权项内容

1.一种基于人工智能的自监督多模态医学图像分割方法，其特征在于，包括以下步骤：步骤1、获取多个受试者的多模态图像，其中同一受试者不同成像方式的图像，或多种序列下MRI的3D图像作为一组多模态图像即一个样本组，选取部分样本组并为其中的各模态图像进行目标类别的标注，各模态图像的目标类别的标注作为模态图像的目标类别对应的标签；步骤2、将所有样本组的模态图像且不包括各模态图像的标签作为自监督训练集；步骤3、构建自监督模态掩码网络，自监督模态掩码网络包括一个掩码网络编码器，一个掩码网络解码器和自监督损失函数L，其中，Self掩码网络编码器包括1个输入层和Transformer模块；步骤4、将自监督训练集的多模态图像输入到自监督模态掩码网络中，进行端到端的预训练，并保存自监督模态掩码网络的预训练网络参数；步骤5、将步骤1中添加有标签的多模态图像和多模态图像对应的标签，作为分割训练集；步骤6、构建多模态医学图像分割网络，多模态医学图像分割网络包括一个一个分割网络编码器和一个分割网络解码器，其中，分割网络编码器包括1个输入层和Transformer模块，且分割网络编码器中Transformer模块的结构与掩码网络编码器中Transformer模块的结构一致；步骤7、设定分割损失函数L<Seg步骤8、将步骤4预训练后的自监督模态掩码网络中Transformer模块的参数迁移至分割网络编码器的Transformer模块中进行初始化；步骤9、根据步骤7设定的分割损失函数，利用步骤5生成的分割训练集对步骤8构建的带有自监督模态掩码预训练初始化的多模态医学图像分割网络进行端到端的训练，并保存多模态医学图像分割网络的参数；步骤10、将待分割的无标签多模态医学图像输入到步骤9训练好的多模态医学图像分割网络中得到目标类别分割的标签。