一种音视频的生成方法、装置、设备及存储介质

专利主权项内容

1.一种音视频的生成方法，其特征在于，包括：获取预先构建的初始二维人脸图像，以及所述初始二维人脸图像对应的匹配三维人脸模型；其中，所述初始二维人脸图像包括至少一个第一人脸关键点，所述匹配三维人脸模型包括至少一个第二人脸关键点，任一第一人脸关键点对应所述至少一个第二人脸关键点中的一个或者多个第二人脸关键点；对音频数据进行特征提取，得到所述音频数据的语音特征，并根据所述语音特征和所述匹配三维人脸模型，预测和所述音频数据对齐的目标三维人脸动作序列，得到所述音频数据对应的多个目标三维人脸模型；针对任一目标三维人脸模型，根据所述任一目标三维人脸模型中的各个第二人脸关键点的参数信息，所述匹配三维人脸模型中的各个第二人脸关键点的参数信息，以及所述至少一个第一人脸关键点和所述匹配三维人脸模型中的至少一个第二人脸关键点的对应关系，对所述至少一个第一人脸关键点的参数信息进行调整，得到与所述任一目标三维人脸模型匹配的目标二维人脸图像；将与所述多个目标三维人脸模型匹配的多个目标二维人脸图像进行拼接，得到与所述音频数据对齐的视频数据；将所述视频数据与所述音频数据合成，得到目标音视频；其中，所述多个目标三维人脸模型是通过训练后的人脸驱动预测模型得到的，其中所述训练后的人脸驱动预测模型的训练方式包括：获取训练音视频，所述训练音视频包括训练视频和训练音频数据，所述训练视频包括多帧训练二维人脸图像；获取各帧训练二维人脸图像对应的训练三维人脸模型中的各个第二人脸关键点的参数信息；对所述训练音频数据进行特征提取，得到所述训练音频数据的语音特征；基于偏向跨模态多头注意力机制，将所述训练视频和训练音频数据对齐；获取所述训练音频数据的各个语音特征和与所述各个语音特征对齐的训练三维人脸模型中的各个第二人脸关键点的参数信息的对齐偏差；按照减小所述对齐偏差的方向，对所述人脸驱动预测模型进行训练。