基于神经辐射场的大田渲染可视化快速渲染方法及装置

专利主权项内容

1.一种基于神经辐射场的大田渲染可视化快速渲染方法，其特征在于，包括以下步骤：步骤一：通过无人机拍摄装置拍摄采集大田作物图像；步骤二：对大田作物图像进行预处理，计算大田作物图像的位置参数，其中x，y，z为三维坐标，/>为二维方位视角；步骤三：将大田作物图像的位置参数输入正弦神经网络模型预测得到图像参数，RGB为颜色，/>为体密度，再通过体渲染公式进行图像生成，生成渲染图和深度图；正弦神经网络模型由多层感知机和正弦激活函数构成，每经过一层感知机使用一层正弦函数，对每一张采集的图像场景中的3D点投射光线，正弦神经网络模型沿着每条光线进行采样，通过多层感知机用于根据空间中任意点的坐标得到3D点的体密度/>与颜色RGB；表示为：/> ，其中，/>为正弦周期激活函数，/>为视点方向，x为空间点的坐标，/>为多层感知机；所述正弦神经网络模型将NeRF网络中的ReLU激活函数替换为Siren激活函数；步骤四：预训练教师模型，通过教师模型，学习场景中的基本特征；步骤五：训练学生模型，使用知识蒸馏将教师模型的知识融入学生模型中，对困难特征进行强化学习，以教师模型渲染图和深度图作为软目标，学生模型渲染图和深度图作为硬目标，将软目标和硬目标相结合，以改进学生模型训练过程，优化得到的三维场景，生成学生模型参数；所述步骤五中，进行学生模型训练，输入的大田作物图像的位置参数同时进入教师模型和学生模型，通过知识蒸馏的方式以教师模型生成的渲染图和深度图作为软目标，并以知识传递的知识方式结合学生模型生成渲染图和深度图的硬目标对学生模型进行反向传播优化，使用教师模型通过知识蒸馏损失来引导学生模型；知识蒸馏中分别计算学生损失和蒸馏损失，学生损失包括渲染图学生损失和深度图学生损失，渲染图学生损失是学生模型生成渲染图与真实图像的平方误差，深度图学生损失是学生模型生成深度图与真实深度图平方误差；蒸馏损失包括渲染图蒸馏损失和深度图蒸馏损失，渲染图蒸馏损失是教师模型生成渲染图与学生模型生成渲染图的平方误差，深度图蒸馏损失是教师模型生成深度图与学生模型生成深度图的平方误差；步骤六：使用训练完成的学生模型输出新的大田图像。 来自：