← 返回列表
一种基于大模型的多模态细粒度倾向分析方法及系统
摘要文本
本发明涉及语音文本分析技术领域，并提供一种基于大模型的多模态细粒度倾向分析方法及系统，所述方法的步骤包括：获取语音数据，将所述语音数据划分为多个语音子数据，将每个所述语音子数据编码为语音子向量；获取每个语音子数据对应的文本子数据，基于预设的编码器将每个所述文本子数据编码为文本子向量；将所述语音子向量输入到预训练的第一模型中，所述第一模型输出第一情绪倾向向量；将所述文本子向量输入到预训练的第二模型中，所述第二模型输出第二情绪倾向向量；所述第一情绪倾向向量和第二情绪倾向向量均包括鸽派情绪值和鹰派情绪值，基于所述第一情绪倾向向量和第二情绪倾向向量确定相互对应的语音子数据和文本子数据的情绪倾向。 （来自 ）
申请人信息
- 申请人:北京大学
- 申请人地址:100871 北京市海淀区颐和园路5号
- 发明人: 北京大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于大模型的多模态细粒度倾向分析方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410159489.0 |
| 申请日 | 2024/2/4 |
| 公告号 | CN117688344A |
| 公开日 | 2024/3/12 |
| IPC主分类号 | G06F18/20 |
| 权利人 | 北京大学 |
| 发明人 | 邓雅月; 许墨寒; 唐遥 |
| 地址 | 北京市海淀区北京大学物理学院西楼B116室 |
专利主权项内容
1.一种基于大模型的多模态细粒度倾向分析方法，其特征在于，所述方法的步骤包括：获取语音数据，将所述语音数据划分为多个语音子数据，基于预设的编码器将每个所述语音子数据编码为语音子向量；获取每个语音子数据对应的文本子数据，基于预设的编码器将每个所述文本子数据编码为文本子向量；将所述语音子向量输入到预训练的第一模型中，所述第一模型输出第一情绪倾向向量；将所述文本子向量输入到预训练的第二模型中，所述第二模型输出第二情绪倾向向量；所述第一情绪倾向向量和第二情绪倾向向量均包括鸽派情绪值和鹰派情绪值，基于所述第一情绪倾向向量和第二情绪倾向向量确定相互对应的语音子数据和文本子数据的情绪倾向。