← 返回列表
音频驱动三维人脸动画模型的生成方法、装置及设备
申请人信息
- 申请人:南京硅基智能科技有限公司
- 申请人地址:210012 江苏省南京市雨花台区凤信路20号万博科技园C号楼4层
- 发明人: 南京硅基智能科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 音频驱动三维人脸动画模型的生成方法、装置及设备 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311870903.0 |
| 申请日 | 2023/12/29 |
| 公告号 | CN117710541A |
| 公开日 | 2024/3/15 |
| IPC主分类号 | G06T13/40 |
| 权利人 | 南京硅基智能科技有限公司 |
| 发明人 | 司马华鹏; 廖铮 |
| 地址 | 江苏省南京市雨花台区凤信路20号万博科技园C号楼4层 |
摘要文本
本申请提供了一种音频驱动三维人脸动画模型的生成方法、装置及设备，该方法包括：获取样本数据，样本数据包括样本音频数据、样本说话风格数据以及样本混合变形值；对样本音频数据进行特征提取，得到样本音频特征；基于待训练音频驱动三维人脸动画模型对样本音频特征进行卷积，得到初始音频特征；以及基于待训练音频驱动三维人脸动画模型对样本说话风格数据进行编码，得到样本说话风格特征；基于待训练音频驱动三维人脸动画模型对初始音频特征以及样本说话风格特征进行编码，得到输出混合变形值；对样本混合变形值以及输出混合变形值进行计算，得到损失函数值。本申请的技术方案，能够提高音频驱动三维人脸动画技术的精准度。
专利主权项内容
1.一种音频驱动三维人脸动画模型的生成方法，其特征在于，包括：获取样本数据，所述样本数据包括样本音频数据、样本说话风格数据以及样本混合变形值，所述样本音频数据与所述样本说话风格数据属于相同用户，所述样本说话风格数据用于描述用户的面部表情，所述样本混合变形值是对所述样本音频数据进行预处理得到的；对所述样本音频数据进行特征提取，得到样本音频特征；基于待训练音频驱动三维人脸动画模型对所述样本音频特征进行卷积，得到初始音频特征；以及基于所述待训练音频驱动三维人脸动画模型对所述样本说话风格数据进行编码，得到样本说话风格特征；基于所述待训练音频驱动三维人脸动画模型对所述初始音频特征以及所述样本说话风格特征进行编码，得到输出混合变形值；对所述样本混合变形值以及所述输出混合变形值进行计算，得到损失函数值；基于所述损失函数值对所述待训练音频驱动三维人脸动画模型的模型参数进行更新。 微信公众号马克 数据网