基于语音的人脸驱动方法、装置、电子设备及存储介质

专利主权项内容

1.一种基于语音的人脸驱动方法，其特征在于，包括：获取目标语音信号，并将所述目标语音信号输入至人脸混合形状参数预测模型中，以得到所述目标语音信号对应的人脸混合形状参数；基于所述人脸混合形状参数，生成3D人脸模型；其中，人脸混合形状参数预测模型是以多个样本语音信号以及各个样本语音信号的真实人脸混合形状参数为输入，各个样本语音信号的预测人脸混合形状参数为输出而训练得到的；任一样本语音信号的真实人脸混合形状参数是通过对该任一样本语音信号对应视频中的人脸图像进行人脸关键点识别，并对识别出的人脸关键点进行迭代优化处理而得到的，其中，识别出的人脸关键点进行迭代优化的目标为最小化迭代后的人脸关键点的熵值，最小化化迭代后的人脸关键点的均方误差，最小化迭代后的人脸关键点的三角面片的法向量夹角，以及最小化迭代后的人脸关键点与目标人脸关键点的变化的均方根值，且所述目标人脸关键点为所述任一样本语音信号对应视频中的其余人脸图像中迭代优化后的人脸关键点；所述人脸混合形状参数预测模型包括语音特征提取模块、LSTM时序模块以及MLP模块，其中，所述语音特征提取模块用于对输入的所述目标语音信号进行特征提取处理，得到语音特征，并将所述语音特征传输至所述LSTM时序模块；所述LSTM时序模块，用于对所述语音特征进行时序融合，得到时序语音特征；所述MLP模块，用于对所述时序语音特征进行人脸混合形状参数映射处理，以输出所述目标语音信号对应的人脸混合形状参数。