← 返回列表
基于4D毫米波雷达与SAM图像分割的动点滤除视觉SLAM方法
摘要文本
数据由马 克 团 队整理 本发明涉及一种基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其中，该方法包括：输入4D毫米波雷达点云数据进行数据预处理；输入图像数据，对图像数据和动态目标点云进行图像预处理与数据关联；最后对获取到的动态目标数据进行视觉SLAM处理。本发明还涉及一种相应的装置、处理器及其存储介质。采用了本发明的该方法、装置、处理器及其存储介质，利用4D毫米波雷达的实时测速能力，分离出场景中的动态目标点云，将其投影至图像平面后，利用SAM图像分割网络，实时对动态目标像素级的分割，进而滤除动态目标视觉特征的误提取与匹配，增强了视觉SLAM中相机位姿估计与地图点的精度。
申请人信息
- 申请人:上海几何伙伴智能驾驶有限公司
- 申请人地址:201206 上海市浦东新区宁桥路615号2号楼2~3F
- 发明人: 上海几何伙伴智能驾驶有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于4D毫米波雷达与SAM图像分割的动点滤除视觉SLAM方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410073229.1 |
| 申请日 | 2024/1/18 |
| 公告号 | CN117593650A |
| 公开日 | 2024/2/23 |
| IPC主分类号 | G06V20/10 |
| 权利人 | 上海几何伙伴智能驾驶有限公司 |
| 发明人 | 李琛玮; 赵映重; 曾啟华; 陆新飞; 薛旦; 史颂华 |
| 地址 | 上海市浦东新区宁桥路615号2号楼2~3F |
专利主权项内容
1.一种基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其特征在于，所述的方法包括以下步骤：(1)输入4D毫米波雷达点云数据进行预处理，并以此进行点云动态点与静态点的剥离；(2)基于所述的4D毫米波雷达点云数据获取当前最新时间戳的图像数据进行数据关联；(3)将4D毫米波雷达的动态点投影到输入图像上进行空间关联，并将其输入到SAM图像分割模型中进行训练，以此得到数个包含动态目标边界像素坐标的分割实例；(4)对获取到的动态目标边界像素坐标进行ORB特征提取，得到滤除所有动态目标特征点后的所有静态特征点，并进行静态特征点匹配；(5)基于三角化原理对匹配的静态特征点对，求解与静态目标特征点对应的有效的三维点，并基于该三维点计算局部点云地图中的地图点以及相应的位姿；(6)对所述的局部点云地图进行局部BA优化以及回环检测处理，并以此得到当前环境的全局静态特征点地图和优化后的位姿。