← 返回列表
基于跨模态特征融合网络的情感与认知演变模式识别方法
申请人信息
- 申请人:华南师范大学
- 申请人地址:510000 广东省广州市中山大道西55号华南师范大学教育信息技术学院
- 发明人: 华南师范大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于跨模态特征融合网络的情感与认知演变模式识别方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311545009.6 |
| 申请日 | 2023/11/17 |
| 公告号 | CN117725547A |
| 公开日 | 2024/3/19 |
| IPC主分类号 | G06F18/25 |
| 权利人 | 华南师范大学 |
| 发明人 | 詹泽慧; 钟煊妍; 马一平; 梅虎 |
| 地址 | 广东省广州市天河区中山大道西55号华南师范大学 |
摘要文本
华南师范大学获取“一种透气窗帘布”专利技术，本发明公开了基于跨模态特征融合网络的情感与认知演变模式识别方法，通过获取目标对象的第一多模态信息，从第一多模态信息中的第一音频信息中转录出第一文本信息进而提取认知特征，对第一多模态信息进行时序分割和预处理，进而进行特征学习，得到第一情感特征和第二情感特征，采用注意力机制，基于残差跨模态模块进行特征融合，得到融合情感特征，对融合情感特征和认知特征进行合并，得到最终数据点，进而构造模式演变图，能够在演变模式具有多维性、连续性和动态性的情况下，准确识别出情感与认知演变模式，对情感与认知演变模式的识别和应用起到积极效果，并且能够可视化展现识别结果，便于直观理解。本发明实施例可广泛应用于计算机技术领域。 来自马-克-数-据
专利主权项内容
1.基于跨模态特征融合网络的情感与认知演变模式识别方法，其特征在于，包括：获取目标对象的第一多模态信息；其中，所述第一多模态信息包括第一音频信息和第一视频信息；将所述第一音频信息转录为第一文本信息，并提取所述第一文本信息的认知特征；对所述第一多模态信息进行时序分割和预处理，得到基于时序的声学特征序列、面部特征序列、视频连续帧和语音频谱时间序列；根据所述声学特征序列和所述面部特征序列进行特征学习，得到第一情感特征；根据所述视频连续帧和所述语音频谱时间序列进行特征学习，得到第二情感特征；采用注意力机制对所述第一情感特征和所述第二情感特征进行特征融合，进而通过残差跨模态模块进行多模态融合，得到融合情感特征；对所述融合情感特征和所述认知特征进行合并操作，形成包含情感信息和认知信息的最终数据点；基于所述最终数据点和所述最终数据点的时间信息，构造情感和认知的演变模式图。 关注微信公众号马克数据网