基于动态管状卷积的OCTA图像血管分割方法及其系统

专利主权项内容

1.一种基于动态管状卷积的OCTA图像血管分割方法，其特征在于，包括以下步骤：S1.在公开的OCTA-500数据集中选取n张眼底视网膜OCTA投影图像，得到数据集D′；S2.将从步骤S1中得到的数据集D′按比例进行划分，划分为训练集D′、验证集D′和测试集D′，然后对训练集D′进行数据集增强操作，得到增强后的训练数据集D；travaltestras3.通过设置编码器、多尺度特征融合模块和解码器进行网络结构的设置，编码器采用残差动态管状卷积编码器模块RTC，多尺度特征融合模块采用管状卷积空洞卷积融合模块TAF；步骤s3中通过设置编码器、多尺度特征融合模块和解码器进行网络结构的设置，编码器，具体步骤为：S3.1编码器采用残差动态卷积编码器模块来进行特征提取，编码器的由五个RTC模块组成，相邻两个RTC模块中间穿插一个最大池化层，RTC模块包括两个分支，第一个分支由两组动态管状卷积层、1×1卷积层、归一化操作层、ReLu激活函数组成，第二个分1×1卷积层、归一化操作层、ReLu激活函数组成，特征提取的具体过程为：S3.1.1将增强后的训练数据集D中的第i张OCTA投影图像D根据每个像素点的灰度值生成灰度矩阵，将该矩阵通过τ(D)得到特征图D，其中τ(·)是卷积核大小为3×3，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图D通过公式映射到[-1，1]区间，其中，X表示输入特征图的值，X为特征图D的最大值，X为D的最小值，再通过函数/>得到特征图D，Y表示输出特征图的值，将特征图D第一通道矩阵的下标值记作Δx，第二通道矩阵的下标值记作Δy；iios1os1maxos1minos1os2os2(x，y)(x，y)将训练数据集D中的第i张OCTA投影图像D输入到第一RTC模块得到特征图第一RTC模块的计算公式为：/>i其中，X表示第i张图片的输入特征图，y表示第i张图片的输出特征图，σ(·)表示ReLu激活函数，B(·)表示批量归一化操作，表示卷积核转置矩阵，/>表示卷积偏置，i∈{1，2，3}，i表示第i个卷积操作，ψ(·)表示卷积核大小为3×3，stride为1，padding为4的动态管状卷积，然后从特征图D中取出卷积核K对应的偏移量，K表示膨胀率为1的3×3卷积核，其中心坐标记为k，K＝{k，k，k，...，k}，将其记为K＝{k，k，k，...，k}，提取后K对应的偏移量点k为(Δx，Δy)，记作(Δx，Δy)，点k为(Δx，Δy)，记作(Δx，Δy)，……，点k为(Δx，Δy)，记作(ΔxΔy)；iinnnos2(x，y)(x-1，y-1)(x-1，y)(x-1，y+1)(x+1，y+1)12391(x-1，y-1)(x-1，y-1)112(x-1，y)(x-1，y)229(x+1，y+1)(x+1，y+1)99以在可变形卷积引入偏移量的方式上对偏移量施加限制，通过迭代策略，以卷积核K中点k为基准，k，k，k，k依次迭代，k，k，k，k依次迭代，对迭代过程中的每一个点以上一轮迭代点的坐标作为基准分别对x，y施加偏移量Δ＝{δ|δ∈[-1，1]}得到下一轮迭代的点的坐标，δ表示偏移量的范围参数，点(x，y)的下一轮迭代点的坐标为(x+Δ，y+Δ)，施加偏移后的点k的坐标为C表示偏移量点数，i表示迭代次数；5432167895±ckS3.1.2将步骤S3.1.1中得到的输入到编码器的第一最大池化层中，输出得到特征图下述步骤S3.1.3至S3.1.9的运算如步骤S3.1.1和步骤S3.1.2；S3.1.3将步骤S3.1.2中得到的特征图通过τ(D)得到特征图D，将特征图D通过公式X映射到[-1，1]区间，再通过函数Y得到特征图D；将特征图/>输入到第二RTC模块得到特征图/>偏移量从特征图D中读取获得；ios3os3os4os4S3.1.4将步骤S3.1.3中的特征图输入到编码器的第二最大池化层中，输出得到特征图/>S3.1.5将步骤S3.1.4中得到的特征图通过τ(D)得到特征图D，将特征图D通过公式X映射到[-1，1]区间，再通过函数Y得到特征图D；将特征图/>输入到第三RTC模块得到特征图/>偏移量从特征图D中读取获得；ios5os5os6os6S3.1.6将步骤S3.1.5中的特征图输入到编码器的第三最大池化层中，输出得到特征图/>S3.1.7将步骤S3.1.6中得到的特征图通过τ(D)得到特征图D，将特征图D通过公式X映射到[-1，1]区间，再通过函数Y得到特征图D；将特征图/>输入到第四RTC模块得到特征图/>偏移量从特征图D中读取获得；ios7os7os8os8S3.1.8将步骤S3.1.7中的特征图输入到编码器的第四最大池化层中，输出得到特征图/>S3.1.9将步骤S3.1.8中得到的特征图通过τ(D)得到特征图D，通过公式X映射到[-1，1]区间，其中X表示输入特征图的值，再通过函数Y得到特征图D；将特征图/>输入到第五RTC模块得到特征图/>偏移量从特征图D中读取获得；ios9os10os10所述第二RTC模块、……、第五RTC模块的计算公式与第一RTC模块相同；S3.2多尺度特征融合模块采用管状卷积空洞卷积融合模块TAF，多尺度特征融合模由三组上采样层、拼接聚合函数拼接、第一TAF模块构成，TAF模块由三个卷积分支、注意力门、1×1卷积模块以及一个残差连接构成，三个卷积分支中第一分支由动态管状卷积和1×1卷积层组成，第二分支和第三分支均由膨胀卷积和1×1卷积层组成，具体操作过程为：S3.2.1将从步骤S3.1中得到的特征图输入到第一上采样层通过上采样采取双线性插值的方法得到特征图/>然后将特征图/>与步骤S3.1中得到的特征图/>进行拼接操作得到特征图/>S3.2.2将从步骤S3.2.1中得到的特征图通过τ(D)得到特征图D，其中τ(·)为卷积核大小为3×3，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图D通过公式/>映射到[-1，1]区间，其中X表示输入特征图的值，其中X表示输入特征图的值，X为特征图D的最大值，X为D的最小值，再通过函数得到特征图D，Y表示输出特征图的值；将特征图/>输入到第一TAF模块得到特征图/>第一TAF模块的计算公式为ios11os11maxos11minos11os12其中，gat为注意力门模块中的参数，i表述第i张眼底视网膜OCTA投影图像，/>为AttentionGate模块的中间变量，σ(·)表示ReLu激活函数，σ(·)表示Sigmoid激活函数，c(·)表示拼接操作，/>表示1×1的卷积核的转置矩阵，/>表示卷积偏置，i∈{1，2，3，4，5，6}，i表示第i个卷积操作，Θ表示参数集合表示卷积核大小为3×3，stride为1，padding为1，膨胀系数为i的卷积操作，ζ(·)表示卷积核大小为3×3，stride为1，padding为4的动态管状卷积，其偏移量从特征图D中读取获得，获取方法如步骤S3.1中的步骤S3.1.1；i12mmmattdos12下述步骤S3.2.3至S3.2.6的运算如步骤S3.2.1和步骤S3.2.2；S3.2.3将步骤S3.1中得到的特征图输入到第二上采样得到特征图/>将特征图/>与步骤S3.1中得到的特征图/>进行拼接操作得到特征图/>S3.2.4将从步骤S3.2.3中得到的特征图通过τ(D)得到特征图D，将特征图D通过公式X映射到[-1，1]区间，其中X表示输入特征图的值，再通过函数Y得到特征图D；ios13os13os14将特征图输入到第二TAF模块得到特征图/>偏移量从特征图D中读取获得；os14S3.2.5将步骤S3.1中得到的特征图输入到第三上采样层得到特征图/>将特征图与步骤S3.1中得到的特征图/>进行拼接操作得到特征图/>S3.2.6将从步骤S3.2.5中得到的特征图通过T(D)得到特征图D，将特征图D通过公式X映射到[-1，1]区间，其中X表示输入特征图的值，再通过函数Y得到特征图D；ios15os15os16将特征图输入到第三TAF模块得到特征图/>偏移量从特征图D中读取获得；os16所述第二TAF模块和第三TAF模块的计算公式与第一TAF模块相同；S3.3解码器由四组上采样层和RTC模块构成，具体操作过程为：S3.3.1将从步骤S3.1中得到的特征图输入到第四上采样层得到特征图/>将步骤S3.1中得到的特征图/>与特征图/>进行拼接操作得到特征图/>S3.3.2将特征图通过τ(D)得到特征图D，将特征图D通过公式X映射到[-1，1]区间，再通过函数Y得到特征图D；ios17os17os18将特征图输入到第六RTC模块得到特征图/>偏移量从特征图D中读取获得；os18S3.3.3将从步骤S3.3.2中得到的特征图输入到第五上采样层得到特征图/>将从步骤S3.2中得到的特征图/>与特征图/>进行拼接操作得到特征图/>S3.3.4将特征图通过τ(D)得到特征图D，将特征图D通过公式X映射到[-1，1]区间，其中X表示输入特征图的值，再通过函数Y得到特征图D；ios19os19os20将特征图输入到第七RTC模块得到特征图/>偏移量从特征图D中读取获得；os20S3.3.5将从步骤S3.3.4中得到的特征图输入到第六上采样层得到特征图/>将从步骤S3.2中得到的特征图/>与特征图/>进行拼接操作得到特征图/>S3.3.6将特征图通过τ(D)得到特征图D，将特征图D通过公式X映射到[-1，1]区间，其中X表示输入特征图的值，再通过函数Y得到特征图D；ios21os21os22将特征图输入到第八RTC模块得到特征图/>偏移量从特征图D中读取获得；os22S3.3.7将从步骤S3.3.6中得到的特征图输入到第七上采样层得到特征图/>将从步骤S3.2中得到的特征图/>与特征图/>进行拼接操作得到特征图/>S3.3.8将特征图通过τ(D)得到特征图D，将特征图D通过公式X映射到[-1，1]区间，其中X表示输入特征图的值，再通过函数Y得到特征图D；ios23os23os24将特征图输入到第九RTC模块得到特征图/>偏移量从特征图D中读取获得；os24所述第五RTC模块、……、第九RTC模块的计算公式与第一RTC模块相同；S4.将从步骤S3获得的特征图输入到Sigmoid函数计算得到最终概率图，设定阈值，将像素坐标的像素点与阈值进行比较，判断像素点的所属来源，并保存判断后的分割结果图，再将分割结果图与其对应的标签输入到损失函数中计算凸扩张损失；S5.进行网络结构训练，通过反向传播计算损失函数对每个参数的梯度，使用优化器对步骤S3中网络结构的参数进行更新，完成对参数的调整和优化，保存训练过程中评价最优指标的参数；S6.读取步骤S5中保存的最优指标的参数，将其加载到网络结构对OCTA图像进行分割，并保存最终分割结果。 来自马-克-数-据