一种虚拟形象的合成方法、合成装置、设备及介质

专利主权项内容

1.一种虚拟形象的合成方法，其特征在于，包括：对样本对象参数进行预处理，包括对输入视频帧图像进行预处理：获取所述输入视频帧图像，提取每一帧图像的相机参数、姿态参数以及表情参数；通过样本对象三维模型进行几何轮廓渲染，包括：通过人类头部模型进行几何轮廓渲染：将每一帧图像的相机参数、姿态参数以及表情参数输入所述人类头部模型中进行拟合训练，生成所述输入视频帧图像对应的数字人头部的三维网格；通过神经辐射场网络模型进行训练学习，包括：获取渲染图片与输入真实图片之间的各个损失函数，并将所有损失函数加权求和、作为所述神经辐射场网络模型的训练目标来进行优化训练；其中，所述神经辐射场网络模型为多分辨率哈希神经辐射场网络模型，损失函数包括语义损失函数；其中，获取渲染图片与输入真实图片之间的语义损失函数，包括：获取数字人头部三维网格M的入射光线r上的采样点p，根据映射函数获取所述采样点p在标准拓扑网格上的对应点p′；其中，/>对所述对应点p′进行特征编码、并与面部表情系数E一起输入到所述神经辐射场网络模型中，渲染得到新视角视频帧图片I；new通过图像编码器φ(·)，分别根据所述新视角视频帧图片I、原始输入图片I生成渲染前后的语义信息编码φ(I)、φ(I)，并生成所述语义损失函数；其中，所述语义损失函数的公式为：L＝φ(I)•φ(I)。neworigneworigsemanticnewTorig