← 返回列表
一种视听一致个性化语音合成系统、合成方法及训练方法
申请人信息
- 申请人:广东省连听科技有限公司
- 申请人地址:515800 广东省汕头市澄海区凤翔街道洲畔社区莱美工业区全宇工业园2幢三楼东侧01室(自主承诺申报)
- 发明人: 广东省连听科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种视听一致个性化语音合成系统、合成方法及训练方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410139479.0 |
| 申请日 | 2024/2/1 |
| 公告号 | CN117711374A |
| 公开日 | 2024/3/15 |
| IPC主分类号 | G10L13/08 |
| 权利人 | 广东省连听科技有限公司 |
| 发明人 | 柯登峰; 徐艳艳; 林鹏; 李明珠; 许佳超 |
| 地址 | 广东省汕头市澄海区凤翔街道洲畔社区莱美工业区全宇工业园2幢三楼东侧01室(自主承诺申报) |
摘要文本
本发明涉及个性化语音合成领域，尤其涉及一种视听一致个性化语音合成系统、合成方法及训练方法。本发明通过加入说话人的人脸图像进行语音合成，并将参考音频与人脸图像进行结合，使得合成的语音能兼具视觉模态信息和听觉模态信息，有效提高语音合成系统的个性化建模能力；同时采用两个阶段对语音合成系统进行训练，可以充分挖掘语音和人脸图像的特征，并提高模型的准确性和自然度。
专利主权项内容
1.一种视听一致个性化语音合成系统，其特征在于：包括个性化语音生成模型和声码器，所述个性化语音生成模型包括文本编码器、风格编码器、人脸编码器、持续时间预测器、韵律预测器和解码器；所述文本编码器用于将给定的音素编码为音素隐藏表示；所述风格编码器用于将给定的梅尔谱图进行编码得到其音频风格向量；所述人脸编码器用于将给定的人脸图像进行编码得到人脸风格向量；所述持续时间预测器用于从给定的音素隐藏表示和风格向量得到预测的音素隐藏表示和预测的注意力对齐以及对齐音素隐藏表示；所述韵律预测器用于根据预测的音素隐藏表示和预测的注意力对齐以及风格向量得到预测音高和预测能量值；所述解码器用于将对齐音素隐藏表示、风格向量、音高和能量值进行重建得到新的梅尔谱图；所述声码器用于将梅尔谱图生成输出语音。