一种基于背靠背双目鱼眼相机的稠密SLAM的方法

专利主权项内容

1.一种基于背靠背双目鱼眼相机的稠密SLAM的方法，其特征在于，包括以下步骤：步骤1：实时运行中的SLAM接受背靠背双目鱼眼图像作为输入，SLAM的前端进行实时位姿估计和局部建图，得到估算的相机位姿以及局部地图点，然后选取部分帧送入到SLAM的后端作为关键帧；步骤2：后端根据背靠背双目鱼眼相机的内外参，定义虚拟球面坐标系，生成像素映射模板，并将步骤1中的关键帧内的背靠背双目鱼眼图像在线拼接为全景ERP图像；步骤3： 根据步骤2生成的像素映射模版生成鱼眼图像边界区域的掩码；根据步骤2生成的全景ERP图像，生成相机持有者所在区域的掩码；所述步骤3具体为：根据步骤2生成的背靠背双目鱼眼图像和在线拼接得到的全景ERP图像之间的像素映射模板，得到全景ERP图像上对应为两张双目鱼眼图像边界附近的区域，将这部分区域深度标记为不可靠深度，从而生成有效深度区域的掩码；在步骤2生成的全景ERP图像上，将背靠背鱼眼相机持有者所在区域标记为不可靠深度，生成有效深度区域的掩码；步骤4：将关键帧内的局部地图点投影到全景ERP图像上，得到对应的稀疏深度图；步骤5：将步骤2得到的全景ERP图像和步骤4得到的稀疏深度图送入全景深度补全网络，预测得到稠密的全景深度信息和对应的置信度信息；步骤6：将步骤5预测得到的深度信息和置信度信息，以及步骤3生成的掩码，加入到SLAM的优化和稠密建图中；所述步骤6具体为：根据步骤3生成的两个掩码，丢弃步骤5中生成的全景深度信息上的不可靠深度的区域；在将全景深度信息以及对应的置信度信息加入到SLAM的优化和稠密建图时，直接剔除置信度低于设定阈值的深度，或将置信度作为深度的权重加入到SLAM的优化和稠密建图中。