基于二维神经渲染的体渲染方法、系统、设备及介质

专利主权项内容

1.一种基于二维神经渲染的体渲染方法，其特征在于，所述方法包括：S1 : 采集高分辨率图像数据集并对其下采样，获得高-低分辨率图像对数据集，所述图像对数据集为目标高分辨率图像进行下采样获得的低分辨率图像后构成高-低分辨率图像对，每对数据包括视角信息；S2：基于若干个体素进行三维场景的表达，并通过线性插值获取所述三维场景中任意连续位置的特征值，所述体素中包括颜色信息以及密度特征；S3：将确定原点以及视角方向的光线投射于所述三维场景中，基于体渲染获取像素点的颜色信息并生成低分辨率特征图；S4：基于高-低分辨率图像对数据集迭代训练二维神经超分模型；S5：将所述低分辨率特征图作为二维神经超分模型的输入，依次经过上采样处理、深度特征提取、解码器解码以及解码器融合输出所述像素点的目标颜色值；所述基于高-低分辨率图像对数据集迭代训练二维神经超分模型，包括如下步骤：S41：对低分辨率特征图进行上采样直至所述低分辨率特征图同高分辨率参考图的分辨率一致，其计算公式为：
；其中，高分辨率参考图为训练数据集中的固定中间帧，表示可学习的两层MLP，/>表示可学习的权重，/>操作表示将/>复制四次后连接，/>表示固定的模糊核；S42：上采样后的特征图与高分辨率参考图分别经过深度层的转换，通过一系列卷积层提取深度特征，特征通过解码器解码生成高分辨率结果, 其计算公式为：
；其中，表示空间到深度转换层，/>表示二维卷积层，/>表示高分辨率中间帧参考图，/>和/>表示提取到的深度特征, />为经过解码后的高分辨率结果；S43：低分辨率目标图与低分辨率特征图分别经过上采样后进行元素相加，生成低分辨率结果，其计算公式为：
；其中，表示低分辨率中间帧参考图，/>为低分辨率结果; S44：通过融合模块将高、低分辨率结果融合，生成最终的高分辨率渲染结果，其计算公式为：
；S45：分别通过渲染感知损失函数、超分重构损失函数迭代训练所述二维神经超分模型的相关参数直至收敛，获得训练好的二维神经超分模型，其中，所述渲染感知损失函数的表达式为：
；渲染感知损失是为了保证渲染结果与目标图片的视觉一致性，表示目标低分辨率图像；所述超分重构损失函数的表达式为：
；超分重构损失是为了保证超分得到的高分辨率结果与目标高分辨率图片的视觉一致性，表示目标高分辨率图像。