一种自适应的视觉惯导里程计输出方法
摘要文本
本发明涉及视觉惯导里程计优化技术领域,提供一种自适应的视觉惯导里程计输出方法。包括:采集数据;对视觉图像特征进行前端跟踪对齐;选取相邻两帧视觉图像组成第一图像集并进行特征点法匹配与直接法对齐,获得第一结果集;对其中一帧图像进行模糊处理与光照变化处理,与另一帧组成第二图像集,再次特征点法匹配与直接法对齐,获得第二结果集;将两结果集进行深度学习,获得自适应融合网络;在滑动窗口内以视觉特征残差、惯导数据残差及先验残差为多目标组建目标函数,并通过自适应融合网络进行数据融合及求解;根据优化结果,视觉惯导里程计进行位姿输出。本发明不仅能够自适应调整特征点法及直接法融合的权重,并且提升了定位精度。 来源:马 克 团 队
申请人信息
- 申请人:南开大学
- 申请人地址:300071 天津市南开区卫津路94号
- 发明人: 南开大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种自适应的视觉惯导里程计输出方法 |
| 专利类型 | 发明授权 |
| 申请号 | CN202410066053.7 |
| 申请日 | 2024/1/17 |
| 公告号 | CN117576218B |
| 公开日 | 2024/3/29 |
| IPC主分类号 | G06T7/73 |
| 权利人 | 南开大学 |
| 发明人 | 苑晶; 唐光盛; 张雪波; 王扬 |
| 地址 | 天津市南开区卫津路94号 |
专利主权项内容
1.一种自适应的视觉惯导里程计输出方法,其特征在于,包括:S1:采集视觉惯导里程计的视觉图像及惯导数据;S2:提取所述视觉图像的评价指标,并对所述视觉图像特征进行前端跟踪对齐,所述评价指标包括运动模糊度、纹理清晰度及光照变化;S3:选取前端特征跟踪对齐后的相邻两帧视觉图像组成第一图像集,并对所述第一图像集分别进行特征点法描述子匹配与直接法对齐,获得第一结果集;其中,步骤S3中的所述前端特征包括:Fast角点特征,所述Fast角点特征用于特征点法匹配,所述Fast角点特征中包括brief描述子;Shi-Tomas角点,所述Shi-Tomas角点用于直接法跟踪;S4:对第一图像集中的第二帧图像进行模糊处理与光照变化处理,获得第二模糊图像,将所述第二模糊图像与第一图像集中的第一帧图像组成第二图像集,并对所述第二图像集分别进行特征点法描述子匹配与直接法对齐,获得第二结果集;S5:将所述第一结果集与所述第二结果集进行深度学习,获得自适应融合网络;其中,步骤S5进一步包括:S51:根据所述第一结果集与所述第二结果集计算获得特征点法下的位置偏差及直接法下的像素梯度偏差;S52:将所述位置偏差及所述像素梯度偏差归一化,获得不确定度真值;S53:将所述第一结果集对应的评价指标及所述第二结果集对应的评价指标作为输入,所述不确定度真值作为标签,通过深度学习网络进行训练,获得自适应融合网络;S6:基于滑动窗口以视觉特征残差、惯导数据残差及先验残差为多目标组建目标函数,通过所述自适应融合网络加权融合所述目标函数中的残差信息,并通过非线性优化求解库求解所述目标函数;S7:根据目标函数的优化结果,视觉惯导里程计进行位姿输出。