一种基于CT脑梗图像生成DWI图像的方法

专利主权项内容

1.一种基于CT脑梗图像生成DWI图像的方法，其特征在于，包括以下步骤：步骤一、CT图像脑梗病变分割，得到脑梗图像的病变区域，将NIFTI格式的三维脑梗CT图像经过归一化和加窗操作后得到一系列大小为256×256的二维CT灰度图像，将二维CT灰度图像输入到脑梗病变分割网络中，得到脑梗病变区域的分割掩码；步骤二、CT图像到DWI序列跨模态生成，将脑梗二维CT灰度图像和脑梗分割掩码进行拼接，并输入到脑梗跨模态合成网络中，得到生成的脑梗图像DWI序列；CT图像到DWI序列跨模态生成步骤在于设计模型，模型由生成器和鉴别器组成，所述生成器由编码器、信息瓶颈层和解码器组成，所述鉴别器由卷积算子组成；损失函数使用复合型损失函数；跨模态生成通过卷积滤波器将两通道的CT脑梗图像和脑梗病变掩码的拼接映射到特征图上；其中/>是给定的通道数，/>分别表示特征图的高和宽，然后将这些特征表达提供给信息瓶颈层；生成器中的信息瓶颈层包含若干个聚合残差Transformer模块，聚合残差Transformer模块为Aggregated Residual Transformerblock，以下简称ART模块，每个ART模块是Transformer模块、通道压缩模块和卷积神经网络模块的级联，通道压缩模块为ChannelCompression，以下简称CC模块，卷积神经网络模块，以下简称CNN模块；X所述 ART模块接收第层特征映射作为特征输入，通过Transformer模块对特征图进行处理，为了方便训练，首先/>通过下采样得到/>，/>是由下采样中的通道数决定的，而/>是下采样因子决定的；然后Transformer分支来处理/>；j
首先被分成/>大小为P×P且不重叠的patch块，然后将这些patch块拉成1×/>大小的一维矩阵；Transformer模块通过可训练的线性映射将patch块嵌入到/>维空间，并辅以可学习的位置编码：
(1)其中，是输入的patch嵌入，/>表示第P个patch块，/>为嵌入映射，/>表示可学习的位置编码；其中，Transformer编码器通过L层多头自注意力机制和多层感知器来处理patch嵌入，多头自注意力机制为multi-headself-attention，以下简称MSA，多层感知器为multi-layerperceptrons，以下简称MLP；Transformer编码器的第层输出为：L
(2)
(3)其中，公式2和公式3中的为MSA的输出，公式3中的/>表示MLP的输出，公式2中的MSA层包括了多个独立的自注意力头；Transformer编码器/>的输出被转换为/>，然后将/>通过使用转置卷积实现的上采样块/>还原为/>：
(4)其中，为上采样输出的特征图；最后将通过Transformer模块学到的全局上下文信息与卷积算法提取的局部特征融合在一起；然后通过CC模块来处理融合后的特征：
(5)其中，是通过跳转连接的特征映射，CC使用两个不同卷积和大小的分支来处理特征映射；生成器的最后一个部分是基于转置卷积的解码器，解码器接收由信息瓶颈层提取的特征映射作为输入并生成目标模态图像/>，其中A是ART模块的总数，/>表示合成模态；鉴别器使用的是基于PatchGAN的鉴别器架构；鉴别器在获得的图像和合成图像之间执行补丁级判别；损失函数中的第一项是在目标图像和生成的目标图像之间的逐像素L1损失：
(6)其中，E表示期望，G为生成器网络；另外，损失函数的第二项为基于距离的目标图像和生成的目标图像之间的像素级一致损失：
(7)最后一项是通过条件鉴别器定义的对抗性损失：
(8)D为鉴别器网络，最终的损失函数是这三项的和：
(9)其中，，/>和/>分别是像素损失、重建损失和对抗损失的权重，权重值的设置是为了平衡不同损失的影响力，在深度学习模型中，通常会采用多个损失函数来训练模型，每个损失函数都有不同的目标和影响，设置权重可以控制每个损失函数对总体损失的贡献程度；
，/>和/>的值均为1，意味着每个损失函数对总体损失的贡献程度相等。