一种基于点云引导的多视图神经隐式表面重建方法

专利主权项内容

1.一种基于点云引导的多视图神经隐式表面重建方法，其特征在于，具体步骤如下：S1预处理步骤：对需要重建三维模型的场景设置相应的相机，并获取K幅场景图像和对应图像的相机信息；从K幅场景图像中依次选择一幅图像为参考图像，邻近的N-1幅图像为邻域图像；利用预训练的多视图立体网络为参考图像产生深度图和置信度图，根据光度一致性和几何一致性过滤掉不可靠的深度值；将经过过滤的参考图像的深度图进行投影产生点云，并使用主成分分析法计算点云法线；S2数据采样步骤：在K幅图像中随机选择一幅图像作为目标图像，在该图像中随机选择M个像素，从相机中心O分别穿过每个像素发射M个射线，在每条射线上采样P个采样点；S3梯度向量损失计算步骤：使用位置编码和多尺度哈希编码将步骤S2中得到的采样点进行编码，得到每个采样点的编码特征，输入由四层多层感知机MLP组成的几何网络，对每个采样点输出有符号距离值、特征向量、不确定性值，对有符号距离值求导得到梯度向量，利用该梯度向量获取Eikonal损失L；eikS4获取颜色值步骤：使用多尺度哈希编码将步骤S2中得到的采样点进行编码，得到每个采样点的编码特征，分别连接对应射线r的视角方向v、几何网络学习到的特征向量和采样点的法向向量；将相应信息数据输入由两层感知机MLP组成的颜色网络，输出该点预测的颜色值；将步骤S3中学习到的有符号距离值转换为体密度，使用体渲染方式将得到的颜色值进行渲染从而得到射线r的颜色利用渲染颜色和对应的颜色真值获取颜色损失L；rgbS5不确定性损失计算步骤：从目标图像对应的点云中随机选择N个点，经过S3每个点云点输出有符号距离值、特征向量、不确定性值，利用不确定性值和有符号距离值获取不确定性损失L；cusdfS6隐式位移损失计算步骤：设置阈值ε，根据S5中得到的不确定性值对点云进行过滤，对过滤后的点云进行位置编码和多尺度哈希编码，得到编码特征，输入由两层MLP组成的隐式位移网络，输出隐式位移值，利用该隐式位移值和S5中得到的有符号距离值计算隐式位移损失L；idfS7损失获取步骤：根据S5得到的有符号距离值，将点云点投影到几何网络编码的隐式表面上，将投影位置再次投影到目标图像以及邻域图像上，利用不同视图上的投影patch计算归一化互相关值，从而进一步获取光度一致性损失L；pc对S5中得到的有符号距离值求导，得到点云点所在位置的梯度向量，利用该梯度向量和S1计算的点云法线以计算法线损失L；nS8场景表面模型获取步骤：在训练过程中不断重复步骤S2至S7，直至达到预设的迭代次数；训练完成后，将S3中的几何网络学习到的有符号距离场和S6中的隐式位移网络学习到的隐式位移场相加得到最终细化的有符号距离场，采用Marching Cube算法从最终有符号距离场的零水平级中提取场景的表面模型。