一种面向室内场景的无人机拍摄低光照图像语义分割方法

专利主权项内容

1.一种面向室内场景的无人机拍摄低光照图像语义分割方法，其特征在于：包括以下步骤：步骤1，收集大量包含室内场景的无人机拍摄低光照图像数据，标注对象的语义类别，形成数据集；步骤2，将数据集输入特征提取网络，提取图像中高层次的语义特征，得到特征图；所述步骤2具体包括以下步骤：所述特征提取网络分为四个阶段，每个阶段由初始卷积层和一组Bottleneck块组成；初始输入的原始图像H0尺寸为H*W*C，H为图像高度，W为图像宽度且与图像高度相等，C为图像通道；原始图像H0经过Resnext-101网络的第一个阶段处理后输出尺寸为(H/2)*(W/2)*(2C)的特征图F1；特征图F1经过第二个阶段处理后输出尺寸为(H/4)*(W/4)*(4C)的特征图F2；特征图F2经过第三个阶段处理后输出尺寸为(H/8)*(W/8)*(8C)的特征图F3；最终，特征图F3经过Resnext-101网络的第四个阶段处理后输出尺寸为(H/16)*(W/16)*(16C)的特征图F4；步骤3，将特征提取网络提取的语义特征输入低频信息提取模块，所述低频信息提取模块包括空间低频注意力模块、低频信息处理模块；空间低频注意力模块在不同空间位置上捕获语义特征的低频信息，输出空间低频注意力图；低频信息处理模块在多通道上捕获语义特征的多尺度滤波特征，输出多尺度滤波特征图；将空间低频注意力图和多尺度滤波特征图进行拼接融合，形成低频信息特征图；所述步骤3中，空间低频注意力模块在不同空间位置上捕获语义特征的低频信息，输出空间低频注意力图的步骤，包括：空间低频注意力模块对特征图F1分别执行最大池化和平均池化；接着，使用自适应池化分别对执行最大池化和平均池化后的特征进行自适应低通滤波；然后，将自适应池化得到的两个特征分别进行上采样，恢复到与自适应池化之前的特征图尺寸一致；最后，共同通过卷积操作和sigmoid函数，得到最终的空间低频注意力图M1；空间低频注意力模块对特征图F2、特征图F3、特征图F4进行相同的处理，得到空间低频注意力图M2、空间低频注意力图M3、空间低频注意力图M4；所述步骤3中，低频信息处理模块在多通道上捕获语义特征的多尺度滤波特征，输出多尺度滤波特征图的步骤，包括：低频信息处理模块对特征图F1进行三个通道分解处理，假设特征图F1的尺寸为H*W*C，H为图像高度，W为图像宽度，C为图像通道；分解后的单通道特征采用尺寸分别为H/2*H/2、H/4*H/4和H/8*H/8的多尺度自适应平均池化；接着，将多尺度自适应平均池化得到的多尺度滤波图通过上采样操作恢复到输入低频信息处理模块的图像尺寸大小，然后沿通道方向进行拼接；最后，将每个通道获得的多尺度滤波特征聚合在一起，再通过卷积操作进行恢复，得到多尺度滤波特征图P1；低频信息处理模块对特征图F2、特征图F3、特征图F4进行相同的处理，得到多尺度滤波特征图P2、多尺度滤波特征图P3、多尺度滤波特征图P4；步骤4，将数据集输入拉普拉斯金字塔网络，捕获图像的细节信息，输出拉普拉斯金字塔分量；步骤5，将低频信息特征图与拉普拉斯金字塔分量进行特征融合，得到融合特征图，最终输出分割结果。 （来源 马克数据网）