改进的注意力机制与CV模型相结合的分割方法及其系统

专利主权项内容

1.一种改进的注意力机制与CV模型相结合的分割方法，其特征是，包括以下步骤：S1.选取脑卒中病变数据作为数据集，将数据集按比例划分为训练集X和测试集Y；ijS2.对步骤S1获取的训练集X和测试集Y进行预处理，将训练集X和测试集Y导入读写医学影像文件的nibabel库后进行数据加载，然后将加载后的数据转换成数组类型的数据，重新设置原始训练集X和测试集Y的大小，计算两者的终止尺寸；ijijijS2的具体步骤为：对步骤S1获取的训练集X和测试集Y进行预处理，将训练集X和测试集Y导入nibabel库后对训练集进行加载，然后得到Numpy数组类型的数据；重新设置原始训练集X和测试集Y的大小，用原始尺寸减去目标尺寸后除以2作为重新设置数据大小的起始尺寸，用起始尺寸加上目标尺寸为两者的终止尺寸，ijijijend_size＝begin_size+target_shape，其中data_shape为原始数据的尺寸大小，target_shape为目标尺寸大小，begin_size为目标的起始尺寸，end_size为目标的终止尺寸；S3.首先进行数据增强，读取步骤S2中设置后的训练集X，随机裁剪大小为m个切片，以n的概率上下左右翻转对训练集X中的数据进行图像增强，得到增强后的数据然后将步骤S2中设置后的训练集X输入到模型中进行训练，并将模型训练中得到的最优权重weight与偏置量bias进行保存；iiiS3的具体步骤为：将步骤S2中重新设置尺寸的训练集输入到模型中进行训练，并将模型训练中得到的最优权重与偏置量进行保存，具体包括两个阶段，第一阶段经过解码器中的卷积块获得水平集函数Φ(x)，第二阶段通过第一阶段获取的水平集函数Φ(x)最小化CV模型来训练优化模型，通过反向传播算法调整训练过程，计算出的模型的权重weight和偏置量bias，并多次迭代训练获得最终权重weight和偏置量bias并保存，CV模型是Chan-Vese主动轮廓模型；第一阶段为：首先进行数据增强，读取训练集X中的数据，随机裁剪大小为m个切片，以n的概率上下左右翻转对训练集X中的数据进行图像增强，得到增强后的数据ii然后设置网络结构，设计编码器，解码器，Chan-Vese主动轮廓模型模块和边缘增强的注意力EEAM模块；(1)编码器结构和解码器结构分别由四个卷积块构成，EEAM模块分别放置在编码器第一个卷积块与解码器第四个卷积块的跳跃连接处和编码器第二个卷积块和解码器第三个卷积块的跳跃连接处；(2)编码器的第一个卷积块读取增强后的数据经过编码器的第一个卷积得到的特征图/>的维度是C×H×W×D，将编码器第一个卷积块得到的特征图/>输入到EEAM模块中，其中C，H，W，D，分别代表编码器第一个卷积块得到的特征图的通道数、高度、宽度和深度，编码器的第一个卷积块包含两个卷积核为[3, 3, 3]，步长为1，填充为1的卷积层、BatchNorm归一化层、ReLU激活函数和下采样系数为[2, 2, 2]的最大值池化；11111111(3)编码器的第二个卷积块读取编码器的第一个卷积块得到的特征图经过编码器的第二个卷积块得到特征图/>的维度是C×H×W×D，将编码器第二个卷积块得到的特征图/>输入到EEAM模块中，其中C，H，W，D，分别代表编码器第二个卷积块得到的特征图的通道数、高度、宽度和深度，编码器的第二个卷积块包含两个卷积核为[3, 3, 3]，步长为1，填充为1的卷积层、BatchNorm层、ReLU激活函数和下采样系数为[2, 2, 2]的最大值池化；22222222(4)编码器的第三个卷积块读取编码器的第二个卷积块得到的特征图经过编码器的第三个卷积块得到特征图/>的维度是C×H×W×D，其中C，H，W，D，分别代表编码器第三个卷积块得到的特征图的通道数、高度、宽度和深度，编码器的第三个卷积块包括两个卷积核为[3, 3, 3]，步长为1，填充为1的卷积层、BatchNorm层、ReLU激活函数和下采样系数为[2, 2, 2]的最大值池化；33333333(5)编码器的第四个卷积块读取编码器的第三个卷积块得到的特征图经过编码器的第四个卷积块得到特征图/>的维度是C×H×W×D，其中C，H，W，D，分别代表编码器第四个卷积块得到的特征图的通道数、高度、宽度和深度，编码器的第四个卷积块包括两个卷积核为[3, 3, 3]，步长为1，填充为1的卷积层、BatchNorm层、ReLU激活函数和下采样系数为[2, 2, 2]的最大值池化；44444444(6)解码器第一个卷积块读取编码器中第四个卷积块得到的特征图进行上采样得到和/>进行拼接，拼接得到的结果输入到解码器的第一个卷积块中，得到输出特征图的维度是C×H×W×D，其中C，H，W，D，分别代表解码器第一个卷积块得到的特征图的通道数、高度、宽度和深度，与编码器第四个卷积块得到的特征图的通道数、高度、宽度和深度相同，解码器的第一个卷积块包括一个卷积核大小为[3, 3, 3]，步长为2，填充为1的上采样层、两个卷积核大小为[3, 3, 3]，步长为2，padding为1的卷积层、BatchNorm层和ReLU激活函数；44444444(7)解码器第二个卷积块读取解码器中第一个卷积块得到的特征图进行上采样得到和/>拼接，拼接得到的结果输入到解码器的第二个卷积块中，得到输出特征图/>的维度是&×H×W×D，其中C，H，W，D，分别代表解码器第二个卷积块得到的特征图的通道数、高度、宽度和深度，与编码器第三个卷积块得到的特征图的通道数、高度、宽度和深度相同，解码器的第二个卷积块包括一个卷积核大小为[3, 3, 3]，步长为2，填充为1的上采样层和两个卷积核大小为[3, 3, 3], 步长为2，填充为1的卷积层，BatchNorm层，ReLU激活函数；&&&&&&&&(8)解码器第三个卷积块读取解码器中第二个卷积块得到的特征图进行上采样得到将上采样特征图/>输入到EEAM模块中和步骤(3)中获到的特征图/>分别进行1×1×1的卷积，将/>和/>卷积后得到的两个结果进行加权，经过ReLU函数，1×1×1的卷积操作和Sigmoid函数的映射得到/>表示第二个EEAM模块获得的第一个归一化后的结果，引入另一分支读取增强后的数据/>分别经过1×1×1和3×3×3的卷积之后与上采样特征图/>进行加权，经过Sigmoid函数得到/>表示第二个EEAM模块获得的第二个归一化后的结果，将/>和/>进行加权，采用最值归一化的方式最终输出注意力系数α，将获得的注意力系数α与上采样特征图/>进行相乘，得到注意力权重图将/>与上采样特征图/>进行拼接，拼接得到的结果输入到解码器的第三个卷积块中，得到输出特征图/>的维度是C×H×W×D，其中C，H，W，D，分别代表解码器第三个卷积块得到的特征图的通道数、高度、宽度和深度，与编码器第二个卷积块得到的特征图的通道数、高度、宽度和深度相同，解码器的第三个卷积块包括一个卷积核大小为[3, 3, 3]，步长为2，填充为1的上采样层和两个卷积核大小为[3, 3, 3]，步长为2，填充为1的卷积层，BatchNorm层，ReLU激活函数；2222222222(9)解码器第四个卷积块读取解码器中第三个卷积块得到的特征图进行上采样得到将上采样特征图/>输入到EEAM模块中和步骤(2)中获得的特征图/>分别进行1×1×1的卷积，以维持通道数一致，将/>和/>卷积后得到的两个结果进行加权，经过ReLU函数，1×1×1的卷积操作和Sigmoid函数的映射得到/>表示第一个EEAM模块获得的第一个归一化后的结果，引入另一分支读取增强后的数据/>分别经过1×1×1和3×3×3的卷积之后与上采样特征图/>进行加权，经过Sigmoid函数得到/>表示第一个EEAM模块获得的第二个归一化后的结果，将/>和/>进行加权，采用最值归一化的方式将加权后的结果限制在[0, 1]的区间上，最终输出注意力系数α，将获得的注意力系数α与上采样特征图/>进行相乘，得到注意力权重图/>将/>与上采样特征图/>进行拼接，拼接得到的结果输入到解码器的第四个卷积块中，得到输出特征图/>的维度是C×H×W×D，其中C，H，W，D，分别代表解码器第四个卷积块得到的特征图的通道数、高度、宽度和深度，与编码器第一个卷积块得到的特征图的通道数、高度、宽度和深度相同，解码器的第四个卷积块包括一个卷积核大小为[3, 3, 3]，步长为2，填充为1的上采样层和两个卷积核大小为[3, 3, 3]，步长为2，填充为1的卷积层，BatchNorm层，ReLU激活函数；1111111111(10)将解码器第四个卷积块获得特征图经过符号距离函数输出为水平集函数Φ(x)，其中，||x-y||代表x和y之间的欧氏距离，S代表图像边界内，S代表图像边界外，代表图像的边界上，inf是数学符号，表示无穷大，x和y表示特征图的坐标；2inout第二阶段为：将水平集函数Φ(x)输入到Chan-Vese模型中作为一个辅助监督分支，用于拟合图像边缘信息，即通过水平集函数来最小化Chan-Vese模型的能量泛函，以此来训练优化模型；引用Chan-Vese模型能量函数F(c, c, Φ)和DiceLoss为损失函数，12L＝L+F(c, c, Φ)，totalDice12其中c为目标区域的像素平均值，c为背景区域的像素平均值，u(x, y)为图像上点的像素值，λ表示目标区域的权重因子，λ表示背景区域的权重因子，H代表Heaviside函数，代表梯度，L表示总损失函数，L表示DiceLoss损失函数，μ和v表示参数的权重，Ω表示闭合轮廓区域，Φ(·)表示水平集函数；12012totalDice网络使用MultiStepLR学习率调整策略，使用Adam优化器，通过反向传播算法调整训练过程，计算出的模型的权重weight和偏置量bias；通过多次迭代训练，不断的更新网络的权重weight和偏置量bias，将最优的网络参数保存，最终完成对训练集X的训练；iS4.将增强后的数据中的输入图像I进行卷积操作加入到注意力模型中，先后与上采样和下采样得到的特征图进行融合获得注意力系数α，然后读取训练模型保存的最优权重weight和偏置量bias，以及步骤S2中预处理后的测试集Y的数据，通过网络解码器输出水平集函数，再将其转换成[0, 1]区间上的概率分布图，最后进行加权获得测试集的分割结果；ijS4的具体步骤为：将步骤S3中得到的增强后的数据中的输入图像I进行卷积操作加入到注意力模型中，先后与上采样和下采样得到的特征图进行融合，以达到对图像的病变进行增强的效果，最终获得注意力系数α，如公式所示：i注意力系数的计算公式为：其中I代表输入图像，Θ代表最值归一化，R代表ReLU激活函数，Sig代表Sigmoid函数，表示三维卷积，W、W和ψ均表示1×1×1卷积块；xg再读取步骤S3中训练好的模型中保存的权重weight和偏置量bisa，以及测试集数据Y，在网络解码器输出水平集函数Φ(x)，通过Heaviside Function生成[0, 1]区间上的概率分布图，然后与解码器上最后一层的EEAM模块中获得的注意力系数α进行加权，获得测试集的最终分割结果；j1水平集函数Φ(x)计算公式为Heaviside Function的计算公式为：最终的分割结果计算公式为：Final_Out＝α+Probably_Map，1其中α为编码器第一个卷积块和解码器第四个卷积块中EEAM模块得到的注意力系数，Probably_Map为本发明的网络经过步骤S3第二阶段训练后的训练集X中的分割概率图。1i