← 返回列表
基于深度无偏估计的神经渲染方法、系统及设备
摘要文本
本发明属于三维重建领域，具体涉及了一种基于深度无偏估计的神经渲染方法、系统及设备，旨在解决现有的新视角图像合成和模型重建中，由于相机大幅度运动还会导致相机轨迹估计的不准确使得渲染图像可能出现失真、模糊的问题。本发明包括：获取同一目标物体的多张不同角度的图像；基于深度估计网络和采样点估计网络构建深度无偏估计渲染网络，并通过多重损失函数进行训练；逐张获取每一张输入图像对应的初始深度图，并通过线性变换参数转换为多视图一致的无偏深度图，采样并通过采样点估计网络获得颜色、深度和体密度。本发明通过将深度一致性引入到无姿态先验的神经辐射场训练中，解决了大幅度相机运动下的姿态估计和神经渲染的问题。。
申请人信息
- 申请人:北京渲光科技有限公司
- 申请人地址:100043 北京市石景山区石景山路68号金安桥1号楼三层302
- 发明人: 北京渲光科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于深度无偏估计的神经渲染方法、系统及设备 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410182262.8 |
| 申请日 | 2024/2/19 |
| 公告号 | CN117745924A |
| 公开日 | 2024/3/22 |
| IPC主分类号 | G06T15/08 |
| 权利人 | 北京渲光科技有限公司 |
| 发明人 | 方顺; 张志恒; 崔铭; 冯星 |
| 地址 | 北京市石景山区石景山路68号金安桥1号楼三层302 |
专利主权项内容
1.一种基于深度无偏估计的神经渲染方法，其特征在于，所述方法包括：步骤S1，获取同一目标物体的多张不同角度的图像，作为输入图像；步骤S2，基于深度估计网络和采样点估计网络构建深度无偏估计渲染网络，并通过多重损失函数进行训练；所述多重损失函数包括重建损失、深度估计网络损失、无偏深度损失、光度损失和点云损失；所述无偏深度损失基于深度估计网络的输出和采样点估计网络的输出计算；步骤S3，通过训练好的深度无偏估计渲染网络中深度估计网络逐张获取每一张输入图像对应的初始深度图，并通过线性变换参数转换为多视图一致的无偏深度图；步骤S4，进行每一张输入图像和对应的无偏深度图的采样，并将获取的采样点通过采样点估计网络获得采样点颜色、采样点深度和采样点体密度；步骤S5，基于所有所述采样点体密度、采样点颜色和采样点深度，通过体渲染分别获得输入图像颜色和无偏深度图颜色。。关注公众号