可见光相机、红外相机与激光雷达的联合标定方法及系统

专利主权项内容

1.一种可见光相机、红外相机与激光雷达的联合标定方法，其特征在于，包括以下步骤：S1、设置矩形标定板，所述标定板的颜色与背景区分，并在采集数据之前对所述标定板进行冷藏；S2、在所述标定板直立状态下，调整所述标定板与可见光相机、红外相机、以及激光雷达之间的距离，使所述标定板完整出现在所述可见光相机、所述红外相机、以及所述激光雷达的视场角内，并同步采集一秒以上的数据；所述数据包括可见光图像、红外图像和激光雷达点云数据；S3、调整所述标定板的朝向角和俯仰角，改变所述标定板与所述可见光相机、所述红外相机、以及所述激光雷达之间的角度，并在每个角度采集一秒以上的数据；S4、取时间同步的一个角度的一帧数据，分别获取所述标定板的角点在可见光图像中的二维坐标、在红外图像中的二维坐标和在激光雷达点云数据中的三维坐标；步骤S4中，获取所述标定板的角点在激光雷达点云数据中的三维坐标，具体包括：步骤a：获取粗标定板平面；随机从所述点云数据中选取三个点，拟合出一个平面，计算所有点与该平面的距离，若距离小于阈值d，则认为点在该平面上，统计得到该平面上的点的数量；重复多次随机选取，取过程中平面上点数最多的平面P；分别计算平面P与地面的夹角α，以及与传感器三维坐标系中前向轴的夹角β，当夹角α大于或等于第一角度阈值且夹角β大于或等于第二角度阈值时，则认为平面P是粗标定板平面；111若夹角α小于第一角度阈值和/或夹角β小于第二角度阈值，则认为平面P是背景或地面，在点云数据中删除平面P内的所有点，然后再次开始随机选取过程，直至获取到两个夹角满足条件的粗标定板平面；11步骤b：获取修正后的标定板平面和平面点云；得到粗标定板平面后，回到原始点云数据中计算所有点与粗标定板平面的距离；首先使用较大的阈值m筛选出在粗标定板平面的点，然后再次在粗标定板平面点云数据中随机选点，拟合出一个平面，使用较小的阈值n判断点是否在该平面上，多次重复，取过程中平面上点最多的平面P，得到修正后的标定板平面和平面点云；2步骤c：获取标定板角点的三维坐标；根据平面方程及平面点云坐标，将点云投影在修正后的标定板平面上，并进行坐标系转换，得到点云在标定板平面上的二维点坐标；对投影点点集的横坐标和纵坐标取平均，计算点集中心，并根据所述标定板的尺寸大小设定第三阈值，删除离点集中心距离超过所述第三阈值的点；剩余点拟合最小矩形包围框，得到四条边的直线方程，计算所有点到边的距离并排序，删除距离最近的点，再次计算最小矩形包围框，并计算删除最近点前后两个最小矩形包围框的夹角及面积差，若符合预设条件，则认定删除的点是噪声，若不符合预设条件，则将删除点再加回来；所述预设条件指删除最近点前后两个最小矩形包围框的夹角及面积差均大于各自阈值；继续处理下一个最近点，循环上述操作，直到处理占总点数预定比例的点后结束，上述操作是指：删除距离最近的点，再次计算最小矩形包围框，并计算删除最近点前后两个最小矩形包围框的夹角及面积差，若符合预设条件，则认定删除的点是噪声，若不符合预设条件，则将删除点再加回来；此时得到的最小矩形包围框的角点即为所述标定板的角点投影点，根据平面方程将角点映射回三维空间，得到所述标定板的角点在激光雷达点云数据中的三维坐标；S5、基于所述标定板的角点在可见光图像中的二维坐标、在红外图像中的二维坐标和在激光雷达点云数据中的三维坐标之间的对应关系，求解坐标系旋转平移矩阵，完成联合标定。