一种基于深度神经网络的术前与术中CT图像自动融合方法

专利主权项内容

1.一种基于深度神经网络的术前与术中CT图像自动融合方法，其特征在于，包括：采集脊柱微创术前和术后同一病人的三维C形臂CT图像，对所述三维C形臂CT图像的腰椎区域分别进行标注；根据所述标注的图像构建基于注意力机制的三维U型分割网络模型，利用所述三维U型分割网络模型从术前和术后CT图像中自动分割出腰椎区域；所述三维U型分割网络模型由特征提取子网络、特征融合子网络和预测子网络三部分组成；所述特征提取子网络包括初始卷积模块、下采样卷积模块和注意力机制模块；所述初始卷积模块利用三维卷积层将输入的标注图像的通道数从C转换为指定的输出通道数C，再使用N个下采样卷积模块逐步提取尺寸从大到小的特征，即依次经过批归一化层和ReLU激活函数得到初始特征图，所述注意力机制模块对所述初始特征图的尺寸进行全局平均池化缩减后，通过一个卷积层和ReLU激活函数将特征图的通道数减半，再通过另一个卷积层和Sigmoid激活函数得到注意力权重，最后将所述注意力权重和特征图相乘得到加权后的特征图；12所述特征融合子网络包括上采样模块和特征拼接操作；将从所述特征提取子网络的注意力模块输出的尺寸为(C, D, H, W)的特征图作为上采样模块U1的输入，所述上采样模块U1将输入的特征图尺寸扩大至原来的两倍，再将所述下采样卷积模块的输出特征通过特征拼接操作P1与所述上采样模块U1的输出特征融合后，作为上采样模块U2的输入；将所述上采样模块U2的输出特征和利用通道L2传输至所述特征融合子网络的上采样模块D2的输出特征，一并通过特征拼接操作P2产生融合特征后送入上采样模块U3，利用通道L3传输至所述特征融合子网络的上采样模块D2的输出特征，再通过特征拼接操作P3与所述上采样模块U3的输出特征进行融合后输入至上采样模块U4，利用通道L4传输至所述特征融合子网络的上采样模块D1的输出特征，再通过特征拼接操作P4与所述上采样模块U4的输出特征进行融合后输入分类预测模块F1，最终获得特征融合子网络的输出结果；所述预测子网络包括特征拼接操作和分类预测模块；所述初始卷积模块的输出特征通过通道L4传送至所述预测子网络，并使用特征拼接操作进行融合，将融合后的特征图输入分类预测模块，所述分类预测模块预测出C形臂CT图像中各体素属于腰椎部分的概率并输出；利用快速全局点云配准算法对术前和术后CT图像中自动分割出的腰椎区域进行配准，并获得术前CT图像和术后CT图像间的形变矩阵；通过所述形变矩阵将所述术前CT图像转换到所述术后CT图像的坐标空间，实现术前和术后CT图像的自动融合。