基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法

专利主权项内容

1.一种基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法，其特征在于，所述方法包括以下步骤：S1：一组病理学家合作从胰腺癌全视野数字切片图像中注释出神经，保证1000um范围内无其他阳性样本，使用距离变换在阳性区域周围生成阴性掩膜，对神经掩膜做距离变换操作，在1000um的距离处做截断，由此生成无阳性目标的纯阴性掩膜；S2：基于神经掩膜和步骤S1中生成的阴性掩膜，对WSI分别在多个分辨率下提取得到对应的不重叠的图像块和对应标签，由此提取得到的图像块可作为多分辨率数据集来进行模型训练；S3：使用VGG19-Net在大型自然图像上的预训练权重，将其拆分为五个阶段与设计的轻量级的DSAFormer层交替连接形成新颖的混合编码器网络，并将步骤S2中构建的数据集中高分辨率的图像块作为高分辨率分支的输入，得到高分辨率分支每层编码器的中间特征；S4：构建轻量级的FCN网络作为辅助分支，将步骤S2中构建的数据集中低分辨率的图像块作为辅助的低分辨率分支的输入，得到低分辨率分支每层编码器的中间特征；S5：构建多尺度双交叉注意力模块作为模型的skip-connection结构，对步骤S3和步骤S4中得到的多尺度和多分辨率信息进行融合，融合后的特征保留浅层特征以及融合之后的多尺度信息；S6：构建边界引导的解码器，将步骤S5得到的融合后的信息作为输入，使用Canny边界检测方法分别从低层特征和高层特征提取得到边界增强特征，并将边界增强特征作为先验，前一个解码器层得到的特征作为输入，将边界信息注入到每一层解码器；S7：使用交叉熵损失和Dice损失的组合损失函数来指导和约束模型的优化，最终对胰腺癌的全视野病理切片图像中的神经实现精准分割；其中，所述步骤S3中主干分支的分割模型是以VGG19-Net网络为基础提取局部特征，轻量级的DSAFormer层辅助提取图像块的长距离依赖关系，首先将VGG19-Net拆分为五个阶段，每个阶段均包含卷积核大小为3×3的2D卷积层和激活函数为ReLU的激活层交替两次，并在每层最后加入最大池化层得到特征F，然后将设计的轻量级的DSAFormer层与VGG19-Net的五个阶段交替连接形成CNN-Transformer混合模型，cnn其中轻量级的DSAFormer层总共由特征嵌入、双压缩注意力和MLP三个部分组成，将经过VGG19-Net得到的特征F首先通过Layer Normalization的归一化层，其次对每个图像块的向量进行卷积投影得到图像块嵌入，然后送入到双压缩注意力层计算注意力权重，最终通过MLP层得到输出F，其中双压缩注意力分为两个模块，分别在水平和垂直方向对特征进行压缩来计算压缩注意力，每个模块分为上下两个部分，其中下部分是采用压缩后的特征计算全局注意力，上部分是使用卷积层补充局部信息，首先将图像块嵌入通过卷积投影后的query作为Q，key作为K，以及value作为V，三者作为双压缩注意力层的输入，其中将Q、K和V在通道维度进行拼接作为每个模块的上部分的输入来补充局部信息，下部分是将三者分别自水平和垂直方向进行压缩来计算压缩注意力，并将压缩注意力得到的输出作为权重对上部分的局部信息进行重新加权，通过双压缩注意力层得到的权重和CNN编码器层的输出F进行残差连接，得到编码器层的中间特征F作为下一编码器层和相应解码器层的输入；cnnDSAcnnzg其中：所述步骤S4中的辅助分支的分割模型是FCN网络，采用步骤S2中低分辨率的图像作为输入来提取全局特征，辅助分支网络与对应主干网络拥有相同的深度，以便进行特征融合，辅助分支的网络总共五个阶段，每个阶段均包含卷积核大小为3×3的2D卷积层和激活函数为LeakyReLU的激活层交替两次，最后加入最大池化层得到特征F；fz其中，所述步骤S5中双交叉注意力分别在多尺度和多分辨率上进行注意力的计算，首先将步骤S3得到的四个主干编码器层的中间特征F映射为多头注意力的四个Q，将步骤S4得到的四个辅助编码器层的中间特征F进行拼接，并映射为K和V，分别和主干多尺度的信息计算全局注意力，从而得到融合多尺度的信息F；其次将多尺度信息F作为下一交叉注意力的输入，并映射为V，将步骤s4得到四个辅助编码器层的中间特征F映射为Q和K，分别和多尺度信息计算全局注意力，从而得到融合多尺度及多分辨率信息的F，zgfzmultiskip1fzskip其中，所述步骤S6中采用的解码器网络与编码器网络是对称结构，每个阶段均包含卷积核大小为3×3的2D卷积层和激活函数为ReLU的激活层交替两次，并在每层最后加入上采样层得到特征F，因此通过四次上采样操作，特征的尺寸依次上升，直到与输入图像的尺寸一致；jm首先使用Canny边界检测方法分别对步骤S5中得到的融合后的低层次特征F和高层次特征F提取边界，并将两个高低分辨率的边界在通道维度进行拼接，使用1×1卷积将其在通道维度进行融合得到边界增强特征，其次将边界增强特征作为先验，前一个解码器层得到的特征和相应skip-connection层特征F作为输入，将边界信息注入到每一层解码器，通过逐层解码，最后通过Sigmod激活函数得到最终的神经分割掩膜，其中，所述步骤S7中的损失函数采用的是交叉熵损失函数与Dice损失函数，表示为：skip1skip4skiploss＝weight×loss+weight×lOsstotalcecedicedice其中，y是真实标签值，正分类值为1，负分类值为0，为预测标签值/>loss为总的损失，loss为交叉损失，loss为Dice损失，weight为交叉熵损失所占权重，weight为Dice损失所占权重。totalcedicecedice