基于多模态深度估计引导的单目隐神经的建图方法
摘要文本
本发明公开了基于多模态深度估计引导的单目隐神经的建图方法，采用模糊深度感知模块的条件隐式最大似然估计技术生成深度多模态分布先验，提高存在非不透明介质时的场景重建精度，引入空间雕刻损失实现多视图深度估计的有效融合，获得全局一致的场景表征，引入表面法线损失，加强局部几何一致性约束，优化场景表示的同时使得系统在仅RGB输入的条件下，也具备精确的位姿跟踪精度和鲁棒性，解决了现有技术中因形状辐射歧义导致的全局表面重建不一致性，受限于物体空间位置遮挡与传感器测量精度导致建图不完整，定位效果不理想的问题。
申请人信息
- 申请人:成都信息工程大学
- 申请人地址:610225 四川省成都市西南航空港经济开发区学府路1段24号
- 发明人: 成都信息工程大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于多模态深度估计引导的单目隐神经的建图方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410196740.0 |
| 申请日 | 2024/2/22 |
| 公告号 | CN117765187A |
| 公开日 | 2024/3/26 |
| IPC主分类号 | G06T17/00 |
| 权利人 | 成都信息工程大学 |
| 发明人 | 王录涛; 戈胥; 王紫威; 沈艳; 郜东瑞; 陈俊; 陈海宁 |
| 地址 | 四川省成都市西南航空港经济开发区学府路一段24号 |
专利主权项内容
1.基于多模态深度估计引导的单目隐神经的建图方法，其特征在于，包括以下步骤：S1、获取单目RGB图像帧，通过模糊深度感知模块得到单目RGB图像帧的深度多模态先验分布，根据深度多模态先验分布构建体素空间；S2、从单目RGB图像帧中选取像素，根据选取的像素和单目RGB图像帧对应的相机位姿构造空间射线，根据待重建场景尺度计算空间射线的深度取值范围，在深度取值范围内根据深度多模态先验分布在空间射线上采样，得到空间位置点；S3、将空间位置点的坐标输入体素空间，得到第二特征向量，将第二特征向量输入全连接神经网络，得到体密度和颜色RGB值；S4、根据体密度计算空间射线截断距离的概率质量分布，根据空间射线截断距离的概率质量分布和深度多模态先验分布计算交叉熵，根据交叉熵约束空间射线截断距离的概率质量分布；S5、计算约束后的空间射线截断距离的概率质量分布的累积分布函数，根据累积分布函数逆运算得到空间射线截断距离样本，根据空间射线截断距离样本和深度多模态先验分布样本计算空间雕刻损失，根据空间雕刻损失调整空间点位置分布，生成新的空间位置点，将新的空间位置点输入体素空间，得到优化后的体密度和颜色RGB值；S6、根据颜色RGB值计算光度损失，联合光度损失、空间雕刻损失和表面法线损失构建总损失函数，根据总损失函数优化体素空间的空间表征和相机位姿；S7、重复S1~S6，直到体素空间的优化次数达到优化阈值，得到优化后的体素空间，根据优化后的体素空间输出相机位姿与MLP空间编码，完成基于多模态深度估计引导的建图方法。。来自：