一种双视角跨模态重建CT影像的方法

专利主权项内容

1.一种双视角跨模态重建CT影像的方法，其特征在于，包含以下步骤：步骤1：下载CT影像数据集，使用数字重建影像技术，模拟X射线对3D重建肺部进行透射，生成虚拟冠状面和矢状面的双视角CR、DR影像，然后使用CycleGAN模型学习真实X光片的数据分布，使虚拟双视角CR、DR影像的数据分布贴合真实CR、DR影像的数据分布；步骤2：线下采集若干例胸部CR、DR影像，并将采集的胸部CR、DR影像与CT影像配对数据进行相应的预处理，使用CycleGAN模型学习真实X光片的数据分布，使得学习到的与CT影像概率分布更贴近真实分布，符合影像科医生的诊断标准；步骤3：建立X2CT-DDPMGAN网络，通过输入两张正交的胸部CR、DR影像跨模态生成CT影像，网络建立的具体步骤如下：1)建立扩散模型：两张正交的胸部CR、DR影像作为初始图像，对初始图像增加T轮高斯噪声，生成T张图像，表示为；计算图像和的数据分布，通过双视角信息融合模块将增加了T轮高斯噪声的二双视角胸部CR、DR影像融合为三维的和，前向扩散过程的数据分布计算如下：x1, x2……xi…xtxt-1xtCTt-1CTtxt
(1)其中为超参数，/>设定为0.0001到0.002的T步线性插值；/>，/>为高斯分布，任意时刻都可由和/>表示；xtx02)在X2CT-GAN网络结构中改进三维投影损失函数，投影损失中将X2CT-GAN网络中的三维投影损失的1损失替换为Charbonnier损失，得到改进后的条件生成对抗网络，具体如下：&在最小二乘生成对抗网络中，网络通过最小化损失函数来得到最接近真实的CT影像；其中，损失函数由生成损失和DDPM损失两部分组成，生成损失包括对抗损失、重建损失/>和投影损失/>，生成损失的计算如下：
(2)其中，为判别器的生成损失，判别器输出0到1之间的概率值；1代表判别器认为这个影像是真实的，0代表判别器认为是虚假的，0.5代表判别器无法判断是真是假；为生成器的生成损失；、/>和/>是超参数，控制对抗损失、重建损失和投影损失的权重；&&&&对抗损失定义如式(3)所示，为输入的两张正交的双视角胸部CR、DR影像，是其对应的CT影像数据，/>为对CT影像的概率分布求期望，/>为对CR、DR影像的概率分布求期望；/>代表判别器直接对真实CT影像y打分，代表输入CR、DR影像通过生成器G，生成了一个CT影像/>，判别器对其打分；LSGAN训练更加稳定并且可以捕捉更多真实细节，使生成数据接近真实数据分布：xy
(3)重建损失基于均方误差定义如式(4)所示，、定义均如式(3)，重建损失可以对三维空间中每一个像素点都进行相应的约束，使重建结果在形状上和输入信息保持一致性：xy
(4)其中，为对与()的概率分布求期望，/>为真实CT影像与生成CT影像作像素值之差的2损失的平方；yGxL投影损失中将X2CT-GAN网络中的三维投影损失的1损失替换为Charbonnier损失，1损失如式(5)所示，代表真实数据分布，()代表估计数据分布，n表示CT投影平面的像素总数；LLyi fxi
(5)如式(6)，损失在1损失的基础之上增加一个无穷小量，使得损失函数在0点附近仍然可导，避免了梯度消失和梯度爆炸；CharbonnierLossL
(6)改进投影损失使得生成的CT影像具有真实感，提高重建精度，对横断面、冠状面和矢状面的投影施加约束，其中分别代表CT数据在横断面、冠状面以及矢状面的二维投影，投影损失如式(7)所示，其中表示作；Pax, Pco, PsaCharbonnierloss
(7)3)在条件生成对抗网络中增加前向扩散过程，使扩散模型和改进后的条件生成对抗网络结合生成需要的CT影像，在保持生成高质量CT影像和多样性的前提下，提高生成速度，减少模型训练难度，具体如下：DDPM损失的计算：
(8)其中，L为DDPM损失，为/>对/>与差值的绝对值平方求期望，/>表示/>的估计值，/>为高斯分布；DDPM损失通过预测前向扩散过程中每一步的高斯分布，通过式(9)、(10)计算得到均值和方差/>，进而通过式(11)计算估计值/>，获得前向扩散过程中每一步添加的高斯噪声的近似值；
(9)
(10)
(11)4)生成器G生成CT影像CT后，与前向扩散过程一样，对CT’添加T-1轮高斯噪声得到CT’， CT’与CT、CT一起送入判别器D中进行判断真伪，其中CT为前向过程中的影像，CT’为生成影像， CT作为监督条件，代表T-1时刻的下一时刻，辅助判别器D判断真伪；随着训练过程中不断最小化损失函数，网络逐渐完整地学习到CR、DR影像到CT影像的映射关系，直到判别器D打分等于0.5时，说明判别器D难以判断真伪，得到训练好的模型。0’0t-1t-1t-1tt-1t-1t