一种三维场景语义感知方法、系统、设备与介质

专利主权项内容

1.一种三维场景语义感知方法，其特征在于，包括：获取三维场景的点云数据和RGB图像；根据点云数据，获得点云的距离图像和体素图像；分别从点云数据、点云的距离图像、体素图像和RGB图像中，提取点云特征、距离特征、体素特征和图像特征；通过图像特征分别对体素特征和距离特征进行图像增强，获得图像增强的体素特征和图像增强的距离特征；将图像增强的体素特征和图像增强的距离特征分别与体素特征和距离特征进行对应融合，获得体素-图像融合特征及距离-图像融合特征；将点云特征、体素-图像融合特征和距离-图像融合特征进行加权融合和残差连接，获得多模态融合特征；通过多模态融合特征对三维场景进行语义分割，获得三维场景的语义感知结果；将点云数据进行球面投影，获得点云的距离图像；获得图像增强的体素特征和图像增强的距离特征的过程包括：通过校准矩阵对图像特征进行校准，获得校准后图像；将校准后图像像素与图像特征进行对比，确定校准后图像中像素的偏移量；通过校准后图像中像素的偏移量对图像特征进行采样，获得采样后的图像特征；将体素特征和距离特征分别作为查询条件，将采样后的图像特征作为键和值，对体素特征和采样后的图像特征、距离特征和采样后的图像特征分别进行多头交叉注意力操作，获得图像增强的体素特征和图像增强的距离特征。