基于多种采样策略的神经辐射场渲染方法、系统和设备

专利主权项内容

1.一种基于多种采样策略的神经辐射场渲染方法，其特征在于，所述方法包括：步骤S1，将相机对准目标物体，并获取当前相机方向向量和相机参数；步骤S2，通过相机和基于多种采样策略的神经辐射场渲染网络获取目标物体的渲染信息，所述渲染信息包括有符号距离场信息值、体密度值、颜色值、深度值和法线；所述基于多种采样策略的神经辐射场渲染网络，具体包括：采样渲染网络、特征提取网络和多分支渲染信息提取网络；所述采样渲染网络，包括采样模块和位置编码单元；所述特征提取网络，基于设置跳跃连接的第一多层感知机构建；所述多分支渲染信息提取网络，为并行的体密度获取支路、颜色获取支路、深度获取支路和法线获取支路；所述体密度获取支路包括第二多层感知机；所述颜色获取支路包括位置编码单元和第三多层感知机；所述深度获取支路包括位置编码单元和第四多层感知机；所述法线获取支路包括位置编码单元和第五多层感知机；步骤S21，通过图像采集设备和采样渲染网络对目标物体以均匀采样的方式进行第一层采样和位置编码，获得第一层采样点集；步骤S22，基于所述第一层采样点集通过特征提取网络计算第一层采样点集的特征图；步骤S23，通过所述第一层采样点集的特征图和所述当前相机方向向量通过多分支渲染信息提取网络获取第一渲染信息，所述第一渲染信息包括第一有符号距离场信息值、第一体密度值、第一颜色值、第一深度值和第一法线；步骤S24，根据所述第一渲染信息设置第二层采样密度，根据第二层采样密度对目标物体进行第二层采样和位置编码，获得第二层采样点集；步骤S25，基于所述第二层采样点集通过特征提取网络计算第二层采样点的特征图；步骤S26，通过所述第二层采样点集的特征图和所述当前相机方向向量通过多分支渲染信息提取网络获取第二渲染信息，所述第二渲染信息包括第二有符号距离场信息值、第二体密度值、第二颜色值、第二深度值和第二法线；第一渲染信息和第二渲染信息构成所述渲染信息；步骤S3，基于所述渲染信息获取设定视角的高分辨率视图或高分辨率三维重建模型。