基于深度感知迭代器的大规模多视图立体方法
申请人信息
- 申请人:安徽大学
- 申请人地址:230601 安徽省合肥市蜀山区经开区九龙路111号
- 发明人: 安徽大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于深度感知迭代器的大规模多视图立体方法 |
| 专利类型 | 发明授权 |
| 申请号 | CN202311754136.7 |
| 申请日 | 2023/12/20 |
| 公告号 | CN117437363B |
| 公开日 | 2024/3/22 |
| IPC主分类号 | G06T17/00 |
| 权利人 | 安徽大学 |
| 发明人 | 曹明伟; 江健非; 黄宝龙; 赵海峰 |
| 地址 | 安徽省合肥市经济技术开发区九龙路111号 |
摘要文本
本发明公开一种基于深度感知迭代器的大规模多视图立体方法，首先提取多尺度特征；然后，计算像素级视图权重、深度图和置信图；其次，构造深度感知迭代器；再次，构造混合损失策略，优化深度图；最后，融合深度图，即可获得点云模型。本发明充分利用基于深度感知迭代器的由粗到细的深度图计算方法，有效地将上下文引导的深度几何信息融合到代价体中计算出高质量的深度图，进而计算出精确的点云模型。
专利主权项内容
1.一种基于深度感知迭代器的大规模多视图立体方法，其特征在于，包括以下步骤：步骤S1、输入多视角图像数据和摄像机参数；/>中的/>幅多视角图像包括一幅参考视图/>和/>幅源视图/>；其中，为/>中多视角图像和/>中摄像机的序号，/>为/>中多视角图像和/>中摄像机的数量；/>，/>表示第/>个摄像机的内部参数矩阵，/>表示第0个摄像机和第/>个摄像机之间的旋转矩阵，/>表示第0个摄像机和第/>个摄像机之间的平移向量；步骤S2、对于中的/>幅图像/>，使用一个包含3个阶段的特征金字塔网络FPN来计算多视角图像的多尺度特征，在每个阶段/>，均使用FPN提取/>幅多视角图像的特征图，以及参考视图的上下文特征/>，其中=0，1，2；k步骤S3、使用基于三维CNN正则化的多视图立体网络，来计算图像1/8分辨率下的像素级视图权重，然后通过像素级视图权重计算得到初始的深度图和置信图；步骤S4、基于步骤S3中的初始深度图，执行可微分单应性变换并构建一个深度感知的代价体，得到深度感知迭代器，具体方法为：步骤S4.1、在个阶段上采用级联的2D ConvGRUs来进行深度优化：首先从上下文特征中提取当前隐藏状态，然后将其与深度感知代价体DACV结合并输入到ConvGRU中进行处理，从而得到更新后的隐藏状态/>；其中，表示非线性激活函数，/>表示一个小型的2D CNN，/>和/>分别表示当前状态GRU单元的更新门和重置门，/>表示中间隐藏状态，/>分别表示与CNN相关的更新门，重置门和中间隐藏状态的参数，/>表示深度感知代价体，⊙表示哈达玛积；步骤S4.2、对应用2D CNNs操作以获得残差深度值/>，然后将其添加到当前深度/>以进行更新；
；步骤S4.3、在第个阶段进行/>次迭代，在每个阶段的最后一次迭代之后，基于当前的隐藏状态/>对深度图进行上采样操作，/>=3；步骤S5、构造混合损失策略，优化深度图；步骤S6、融合所有视角图像的深度图，以输出点云模型。