基于激光雷达数据进行特征增强的神经网络构建方法

专利主权项内容

1.基于激光雷达数据进行特征增强的神经网络构建方法，其特征在于，包括构建数据处理模块、浅层特征提取模块、深层特征融合模块和分类器；获得高光谱遥感图像和激光雷达数据作为数据集，数据处理模块将数据集进行预处理和数据增强，得到小尺寸训练集和测试集；浅层特征提取模块分别提取高光谱图像和激光雷达数据的浅层特征，将3D卷积与多尺度并行的混合卷积串联，构建提取高光谱数据的浅层空间光谱特征，通过三个串联的2D卷积提取激光雷达数据的浅层高程特征；深层特征融合模块采用倒置残差卷积和改进的Transformer并行提取深层特征，改进的Transformer设计了卷积和自注意力结合的跨模态增强模块，从局部和全局中增强交互特征，Transformer是基于自注意力机制的神经网络架构，由编码器和解码器组成；分类器用于将深层特征和交互特征融合后进行分类；倒置残差卷积由三个卷积层组成的，卷积层的大小分别为3×1×1，3×3和1×1，每个卷积层都连接批次归一化和ReLU激活函数；改进的Transformer包含2个改进的Transformer编码器，每个改进的Transformer编码器由六层自注意力模块和跨模态增强模块组成；跨模态增强模块包括：将经过位置编码的高光谱图像特征向量，/>，/>和激光雷达数据的特征向量/>，/>，都拆分成一半，一半用于卷积增强模块，一半用于自注意力以及增强注意力模块，将经过卷积增强后的局部特征和经过自注意力以及增强注意力模块后的全局特征进行融合，获取深度增强特征；3D卷积与多尺度并行的混合卷积串联包括：
；
；式中，为经过一层3D卷积和/>卷积后的输出，同时也是多尺度并行的混合卷积的输入，/>为卷积核大小为/>卷积操作，/>为卷积核为/>的3D卷积，/>为输入高光谱图像特征，/>为所得出的高光谱图像的浅层特征，/>为卷积核大小为/>且分为4组的分组卷积，/>为卷积核大小为/>的卷积操作；跨模态增强模块包括卷积增强模块及增强注意力模块：
；式中，为/>经过位置编码后的高光谱特征，/>和/>为深度可分离卷积操作，/>表示整流线性单元，/>表示批次归一化，/>表示对/>进行两次卷积池化提取特征操作；
；式中，表示位置编码的/>和/>拆分成一半并经过卷积增强后的局部交互特征，表示卷积增强模块，/>表示挤压操作，/>为激光雷达特征，/>表示克罗内克积；
；式中，是总的局部交互特征，/>表示位置编码的/>和/>拆分成一半并经过卷积增强后的局部交互特征，/>表示位置编码的/>和/>拆分成一半并经过卷积增强后的局部交互特征；
；式中，是增强注意力模块，h-l代表激光雷达特征对高光谱图像特征增强的操作，h是高光谱图像特征，l是激光雷达特征；
是激活函数，/>是缩放因子，T表示转置操作；
；
；
；式中，是增强后的全局特征，/>是增强注意力模块，/>是自注意力模块，是激活函数，/>是结合局部全局加强的增强特征，/>是高光谱自身注意力特征。 数据由马 克 数 据整理