三维场景的建模及渲染方法、装置及设备

专利主权项内容

1.一种三维场景的建模方法，其特征在于，包括：获取待建模场景图片经过3D空间采样得到的第一采样点；根据所述第一采样点的属性信息，利用预先训练的模型网络对待建模场景图片进行信息提取，得到第二采样点的体密度以及第二采样点在不同材质维度上的参数信息，所述第二采样点为待建模场景中预设视角的射线经过3D空间采样得到的，所述预先训练的模型网络包括形状网络和材质网络，具体根据所述第一采样点的属性信息，利用所述形状网络对待建模场景图片进行形状信息的提取，得到SDF表示的模型；将所述SDF表示的模型生成3D模型网格，根据所述3D模型网格的顶点数据估计第二采样点的属性信息；根据所述第二采样点的属性信息，利用所述材质网络对待建模场景图片进行材质信息的提取，得到第二采样点的体密度以及第二采样点在不同材质维度上的参数信息，所述第二采样点的体密度为利用材质网络中第一材质子网络进行几何信息提取得到的；根据所述第二采样点在不同材质维度上的参数信息，利用预先训练的颜色生成网络对待建模场景图片进行颜色提取，得到第二采样点的颜色信息，所述第二采样点在不同材质维度上的参数信息作为预先训练的颜色生成网络对应的输入参数；根据所述第二采样点的体密度、所述第二采样点在不同材质维度上的参数信息以及所述第二采样点的颜色信息，确定待建模场景图片的三维场景模型数据；使用环境贴图表示待建模场景中的漫反射照明，通过将待建模场景中的环境贴图更换为目标环境贴图，对待建模场景中的漫反射照明进行直接更改；使用多层感知机的网络表示待建模场景中的镜面反射照明，通过将待建模场景中的环境贴图更换为目标环境贴图，对待建模场景中的镜面反射照明进行间接更改；根据更改后待建模场景中的漫反射照明和镜面反射照明，确定待建模场景中更新的贴图信息；通过损失函数按照目标环境贴图进行优化，让镜面照明网络适应目标环境图/>，所述损失函数公式为：其中，S表示网格表面的采样数，P表示目标环境贴图中的像素数，/>表示镜像照明网络，/>表示第i个采样点的粗糙度值，/>为从相机原点到目标环境贴图/>第j个像素位置的单位向量，这里假设法线方向n与相机方向/>是相同的；获取待建模场景中第二采样点的粗糙度信息；若所述第二采样点的粗糙度信息小于预设阈值，则所述通过将待建模场景中的环境贴图更换为目标环境贴图，对待建模场景中的镜面反射照明进行间接更改，包括：通过将待建模场景中的环境贴图更换为目标环境贴图，按照所述目标环境贴图对多层感知机的网络进行优化，在优化过程中对待建模场景中的镜面反射照明进行间接更改；若所述第二采样点的粗糙度信息大于或等于预设阈值，则所述通过将待建模场景中的环境贴图更换为目标环境贴图，对待建模场景中的镜面反射照明进行间接更改，包括：通过将待建模场景中的环境贴图更换为目标环境贴图，根据蒙特卡洛采样生成目标环境贴图的多层纹理映射，根据所述目标环境贴图的多层纹理映射，对待建模场景中的镜面反射照明进行间接更改；具体通过蒙特卡洛采样得到不同粗糙度水平下的预过滤环境图，生成目标环境贴图的多层纹理映射，公式表示如下：其中，表示来自/>方向的光，/>表示入射光方向，n表示入射点所在表面的法线，J是入射光方向的采样数；所述多层纹理映射在每个纹理级别具有固定的粗糙度值，根据每个采样点的粗糙度r和相机方向，从多层纹理映射中查找对应级别的镜面照明，此时重新照明损失函数变为如下：其中，M是预计算的环境多层纹理贴图，是从相机方向/>看的粗糙度为/>采样点的光的颜色。 更多数据：搜索马克数据网来源：