基于神经辐射场的逆向渲染方法及系统
摘要文本
关注公众号专利查询网 。本发明属于图像数据处理领域，具体涉及一种基于神经辐射场的逆向渲染方法及系统，旨在解决现有技术在场景的几何结构、外观和照明解耦时精度不足，不利于后续用户编辑场景的问题。本发明包括：在目标场景中通过图像采集设备和所述体渲染网络获取目标场景渲染图像，并记录图像采集设备信息；通过建模网络获得目标场景3D模型、场景3D模型中网格顶点的属性特征和采样点到网格的采样距离；通过逆向渲染网络获取目标场景的几何信息、材质信息、光照信息和场景RGB颜色，通过基于神经辐射场的逆向渲染解耦场景的几何结构、外观和照明。为后续用户编辑场景提供数据基础，提高后续场景编辑的精确度和逼真程度。
申请人信息
- 申请人:北京渲光科技有限公司
- 申请人地址:100043 北京市石景山区石景山路68号金安桥1号楼三层302
- 发明人: 北京渲光科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于神经辐射场的逆向渲染方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311748879.3 |
| 申请日 | 2023/12/19 |
| 公告号 | CN117422815A |
| 公开日 | 2024/1/19 |
| IPC主分类号 | G06T15/20 |
| 权利人 | 北京渲光科技有限公司 |
| 发明人 | 方顺; 崔铭; 张志恒; 冯星; 乔磊; 孙思远; 汪成峰; 王月; 杨峰峰; 刘昊卿; 吕艳娜; 胡梓楠; 李荣华; 丁晓彤; 廖晨涵; 林俊杰; 赵炜阳; 于飞; 徐杰; 张亚男 |
| 地址 | 北京市石景山区石景山路68号金安桥1号楼三层302 |
专利主权项内容
1.一种基于神经辐射场的逆向渲染方法，其特征在于，所述方法包括：步骤S100，通过基于神经辐射场的逆向渲染网络获取目标场景的几何体信息、材质信息和光照信息；所述基于神经辐射场的逆向渲染网络，包括体渲染网络、建模网络和逆向渲染网络；所述体渲染网络，包括体渲染模块和位置编码模块；所述建模网络，包括设置跳跃连接的建模多层感知机、网格算法单元；所述逆向渲染网络，包括由采样距离输入端分别连入的并行的几何信息子网络、粗糙度子网络、镜面反射子网络和漫反射子网络；步骤S110，在目标场景中通过图像采集设备和所述体渲染网络获取目标场景渲染图像，并记录图像采集设备信息；所述目标场景渲染图像，包括目标场景中图像采集设备的像素发射射线中每个采样点对屏幕像素点颜色的贡献值；步骤S120，基于所述渲染图像，通过建模网络获得目标场景3D模型、场景3D模型中网格顶点的属性特征和采样点到网格的采样距离；其中，场景3D模型中网格顶点的属性特征包含几何信息 、漫反射信息/>、镜面反射信息/>和粗糙度信息/>，用以估计采样点的几何信息/>、采样点的漫反射信息/>、采样点的镜面反射信息/>和采样点的粗糙度信息；步骤S130，基于所述目标场景3D模型、目标场景3D模型中顶点的属性特征和计算属性特征的采样距离，通过逆向渲染网络获取目标场景的几何信息、材质信息、光照信息和场景RGB颜色。