一种基于多模型投票的多模态对话情感识别方法

专利主权项内容

1.一种基于多模型投票的多模态对话情感识别方法，其特征在于，包括以下步骤：S1：获取至少1个说话者说话产生的多模态数据；所述多模态数据包括文本数据、音频数据和图片数据；每个模态的数据均包括至少1种待识别的情感类别；S2：将文本数据、音频数据和图片数据分别输入预设的文本编码器、音频编码器和图片编码器中进行特征提取，分别获取文本特征、音频特征和图片特征；S3：将文本特征、音频特征和图片特征分别输入预设的文本情感分类器、音频情感分类器和图片情感分类器中进行第一次情感分类，分别获取文本情感分类结果、音频情感分类结果和图片情感分类结果；S4：根据文本情感分类结果、音频情感分类结果和图片情感分类结果分别计算每个模态对应的惩罚因子；将文本特征、音频特征和图片特征分别与每个模态对应的惩罚因子相乘，分别获取文本降权向量、音频降权向量和图片降权向量；S5：将文本降权向量、音频降权向量和图片降权向量共同输入预设的多头注意力层中进行多模态特征的融合交互，获取多模态情感特征向量；S6：将多模态情感特征向量输入预设的多模态情感分类器中进行第二次情感分类，获取多模态融合情感分类结果；S7：将多模态情感特征向量分解为若干个多模态情感特征子向量，并将所有多模态情感特征子向量按时序进行重新拼接，获取融合时序特征的情感特征向量；S8：将融合时序特征的情感特征向量输入训练好的双向RNN分类器中进行第三次情感分类，获取时序上下文交互情感分类结果；S9：将文本情感分类结果、音频情感分类结果、图片情感分类结果、多模态融合情感分类结果和时序上下文交互情感分类结果共同进行硬投票，分别将每个说话者得票数量最多的情感类别作为其最终的情感分类结果，完成多模态对话情感识别。