← 返回列表
一种基于多标签控制的三维动态表情生成方法及装置
摘要文本
在本说明书提供的一种基于多标签控制的三维动态表情生成方法及装置中，根据响应于生成请求确定的表情类别信息和表情强度信息，得到嵌入向量，以及将已生成的表情帧作为位移序列，用于得到预测向量。根据得到的嵌入向量和预测向量，通过特征转换模型的特征转换层，确定第一特征向量，以及将第一特征向量输入表情生成模型，生成当前表情帧。继续生成下一表情帧，直到生成的表情帧数量满足预设的帧数为止，进而根据生成的各表情帧，生成动态表情。从上述方法可以看出，通过参考表情类别信息、表情强度信息和位移序列，并利用特征转换模型和表情生成模型，逐一生成各表情帧，使得生成的各表情帧之间的衔接更自然，提高了动态表情生成的可控性。
申请人信息
- 申请人:之江实验室
- 申请人地址:311121 浙江省杭州市余杭区中泰街道科创大道之江实验室
- 发明人: 之江实验室
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于多标签控制的三维动态表情生成方法及装置 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311458408.9 |
| 申请日 | 2023/11/2 |
| 公告号 | CN117409466A |
| 公开日 | 2024/1/16 |
| IPC主分类号 | G06V40/16 |
| 权利人 | 之江实验室 |
| 发明人 | 张艾嘉; 郏维强; 华炜 |
| 地址 | 浙江省杭州市余杭区中泰街道科创大道之江实验室 |
专利主权项内容
1.一种基于多标签控制的三维动态表情生成方法，其特征在于，包括：接收动态表情的生成请求，确定所述生成请求中携带的表情类别信息以及表情强度信息；获取响应于所述生成请求确定出的各表情帧中人脸关键点的位移，并根据获取的各人脸关键点的位移确定位移序列；将所述表情类别信息以及所述表情强度信息作为输入，输入特征转换模型的嵌入层，确定所述嵌入层输出的嵌入向量；将所述位移序列作为输入，输入所述特征转换模型的线性投影层，确定所述线性投影层输出的预测向量；根据所述嵌入向量以及所述预测向量，确定输入数据，并输入所述特征转换模型的特征转换层，确定所述特征转换层输出的当前表情帧的第一特征向量；将所述第一特征向量输入表情生成模型，得到所述表情生成模型输出的当前表情帧中人脸关键点的位移，作为生成的表情帧；判断生成的表情帧数量是否满足动态表情对应的帧数；若否，则继续确定下一表情帧中人脸关键点的位移，直至生成的表情帧数量满足所述帧数为止；若是，则根据生成的各表情帧生成动态表情。 来源：马 克 团 队