基于个性和共性对比分阶段引导的多模态情感分析方法

摘要文本

本发明公开了基于个性和共性对比分阶段引导的多模态情感分析方法，包括：提取视频样本的语言特征、声学特征和视觉特征；对所述语言特征、声学特征和视觉特征进行预处理后，进行两个阶段的高层次语义特征提取，获取第一阶段提取数据和第二阶段提取数据；利用个性对比损失函数，对所述第一阶段提取数据进行提取，获取特定于每个模态特性的表征数据；利用共性对比损失函数，对所述第二阶段提取数据进行提取，获取模态间共享特性的表征数据；基于所述特定于每个模态特性的表征数据和所述模态间共享特性的表征数据，推理视频样本的情感值。本发明能综合利用数据的多方面描述来推理视频片段中人物的情感极性。