← 返回列表

激光雷达和多相机数据融合的三维场景重建方法

申请号: CN202311583868.4
申请人: 哈工大郑州研究院; 哈尔滨工业大学
申请日期: 2023/11/24

摘要文本

激光雷达和多相机数据融合的三维场景重建方法,涉及计算机视觉技术领域。解决了现有技术中单个相机与单个雷达结合的三维重建方法存在单次扫描场景范围小、以及重建效率低的问题。本发明可采用单激光雷达或多激光雷达与多个相机的数据融合技术来实现三维重建,方法包括:对激光雷达与每个相机间进行标定,得到激光雷达与各相机间的最优外参矩阵;将待测三维场景进行区域划分,使相邻的两个扫描区域存在部分重叠;利用激光雷达和所有相机对待测三维场景中每一个扫描区域进行扫描及数据融合,得到各扫描区域所对应的子图,将所有子图进行数据融合,完成三维场景重建。当使用多雷达时,还包括对雷达与雷达间的标定。主要用于室内外三维场景的重建。

专利详细信息

项目 内容
专利名称 激光雷达和多相机数据融合的三维场景重建方法
专利类型 发明申请
申请号 CN202311583868.4
申请日 2023/11/24
公告号 CN117523105A
公开日 2024/2/6
IPC主分类号 G06T17/00
权利人 哈工大郑州研究院; 哈尔滨工业大学
发明人 王珂; 范君国; 孙祺淏; 许润泽
地址 河南省郑州市郑东新区龙湖中环北路龙源东七街交叉口; 黑龙江省哈尔滨市南岗区西大直街92号

专利主权项内容

1.单激光雷达和多相机数据融合的三维场景重建方法,其特征在于,该方法包括如下过程:将单激光雷达固定在旋转平台上,该旋转平台和多相机固定在同一云台上,多相机的采集角度不同;对激光雷达与每个相机间进行标定,得到激光雷达与各相机间的最优外参矩阵;将待测三维场景进行区域划分,形成多个扫描区域,且相邻的两个扫描区域存在部分重叠;利用激光雷达和所有相机对待测三维场景中每一个扫描区域进行扫描及数据融合,得到各扫描区域所对应的子图,将所有子图进行数据融合,完成三维场景重建;其中,得到当前扫描区域所对应的子图的具体过程,包括如下步骤:S1、旋转平台带动激光雷达运动、云台带动所有相机运动,对当前扫描区域进行扫描,当前扫描过程中激光雷达采集到多帧云数据、每个相机采集到多帧图像;S2、将当前扫描过程中得到的每一帧点云数据转化至第一帧点云数据所在的激光雷达坐标系下的第一帧点云数据内,剔除第一帧点云数据中重复点,得到修正后第一帧点云数据;将当前扫描过程中各相机采集到多帧图像,转化至该相机的第一帧图像所在相机坐标系下的第一帧图像内,剔除第一帧图像中重复点,得到每个相机所对应的修正后第一帧图像;S3、通过激光雷达与各相机间的最优外参矩阵,将修正后第一帧点云数据变换到当前相机坐标系下,再利用当前相机的内参矩阵变换到像素坐标下,从而得到修正后第一帧点云数据中的点在当前相机所对应像素坐标下的位置信息;S4、根据修正后第一帧点云数据中的点在相应相机所对应像素坐标下的位置信息,从所对应的相机的第一帧图像中提取颜色,并将提取的颜色赋予修正后第一帧点云数据中的相应点,得到当前扫描区域所对应的具有颜色信息的第一帧点云数据,并将其作为子图。