一种双框架交互感知3D关联检测模型的构建方法及应用

专利主权项内容

1.一种双框架交互感知3D关联检测模型的构建方法，其特征在于，包括：获取匹配的标记三维物体的点云数据和图像数据作为训练样本集；将训练样本集输入到构建的双框架交互感知3D关联检测框架中训练直到满足迭代条件得到双框架交互感知3D关联检测模型，其中双框架交互感知3D检测框架包括特征提取网络、区域跨模态交互融合模块、双分支分布感知模块以及双特征关联挖掘模块，训练样本集中的点云数据和图像数据分别输入到特征提取网络中得到多尺度点云特征以及初始图像特征，多尺度点云特征和初始图像特征一并输入到区域跨模态交互融合模块中得到双模态特征，双模态特征输入到双分支分布感知模块中的内分布感知分支和外分布感知分支中分别得到内点感知分布特征和外点感知分布特征，将内点感知分布特征和外点感知分布特征同双模态特征进行融合得到双分布特征，双分布特征输入到双特征关联挖掘模块中对三维目标的属性分别进行局部属性关注和全局属性学习得到全局注意特征和局部注意特征，全局注意特征和局部注意特征融合得到属性关联注意特征，属性关联注意特征进行分类和回归得到三维物体；其中双分支分布感知模块包括并行的内分布感知分支和外分布感知分支，其中内分布感知分支和外分布感知分支的结构相同，内分布感知分支和外分布感知分支采用双分布感知表示的联合学习，模拟不同范围距离的点分布信息，并将局部收缩的内点感知表示融入内分布感知分支，将局部扩张的外点感知表示融入外分布感知分支；其中双特征关联挖掘模块包括局部属性关注分支和全局属性学习分支，其中全局属性学习分支采用由热值检测头、回归检测头、高度检测头、维度检测头、速度检测头以及偏转检测头组成多头注意力机制，局部属性关注分支对输入的双分布特征中的三维物体的属性进行局部建模得到全局注意特征，全局属性学习分支对输入的双分布特征中的三维物体的属性进行全局建模得到局部注意特征，从局部注意特征和全局注意特征中挖掘属性关联注意特征，使用Softmax函数对属性关联注意特征进行归一化操作得到关联注意力特征图，将关联注意力特征图进行分类和回归得到三维物体，同时使用SmoothL1损失函数对挖掘的属性关联注意特征与真实标签的特征进行优化训练；其中多尺度点云特征进行通道融合得到体素增强模态特征，基于体素增强模态特征对初始图像特征进行语义信息特征增强得到图像增强特征，体素增强模态特征进行区域体素自注意力聚集得到体素集，体素集同图像增强特征使用跨模态注意力的交互融合方式融合得到双模态特征。