← 返回列表
人脸图像生成方法及装置、计算机可读存储介质、终端
申请人信息
- 申请人:华院计算技术(上海)股份有限公司
- 申请人地址:200436 上海市静安区万荣路1268号云立方A栋9楼
- 发明人: 华院计算技术(上海)股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 人脸图像生成方法及装置、计算机可读存储介质、终端 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311085684.5 |
| 申请日 | 2023/8/25 |
| 公告号 | CN117372553A |
| 公开日 | 2024/1/9 |
| IPC主分类号 | G06T11/00 |
| 权利人 | 华院计算技术(上海)股份有限公司 |
| 发明人 | 虞钉钉; 徐清; 宣晓华; 王晓梅; 沈伟林; 沈旭立; 曹培 |
| 地址 | 上海市静安区万荣路1268号云立方A栋9楼 |
摘要文本
华院计算技术(上海)股份有限公司获取“一种透气窗帘布”专利技术，一种人脸图像生成方法及装置、计算机可读存储介质、终端，方法包括：确定人脸图像生成模型，包括图像编码子模型、音频编码子模型、音频映射子模型以及解码子模型；将驱动音频输入音频编码子模型，得到音频编码特征，以及将下半部分被遮挡的人脸图像输入图像编码子模型，得到人脸图像编码特征；将音频编码特征输入音频映射子模型，得到权重向量；采用权重向量，对预设的多个记忆口型编码特征进行加权运算，得到融合口型特征，其中，多个记忆口型编码特征对应于不同类型的口型；将音频编码特征、人脸图像编码特征以及融合口型特征，输入解码子模型，得到人脸生成图像。上述方案有助于提高人脸生成图像与驱动音频的口型匹配度。 微信公众号专利查询网
专利主权项内容
1.一种人脸图像生成方法，其特征在于，包括：确定人脸图像生成模型，所述人脸图像生成模型包括图像编码子模型、音频编码子模型、音频映射子模型以及解码子模型；将驱动音频输入所述音频编码子模型，得到音频编码特征，以及将下半部分被遮挡的人脸图像输入所述图像编码子模型，得到人脸图像编码特征；将所述音频编码特征输入所述音频映射子模型，得到权重向量；采用所述权重向量，对预设的多个记忆口型编码特征进行加权运算，得到融合口型特征，其中，所述多个记忆口型编码特征对应于不同类型的口型；将所述音频编码特征、所述人脸图像编码特征以及所述融合口型特征，输入所述解码子模型，得到人脸生成图像。