一种多模态情感识别方法及装置

专利主权项内容

（更多数据，详见马克数据网） 。1.一种多模态情感识别方法，其特征在于，包括：将长序列的音视频信息输入预先完成训练的多模态情感识别模型，其中，所述多模态情感识别模型包括音频特征编码器、视频特征编码器、视听编码器和多头情感注意力机制；对长序列的音视频信息进行预分段处理，将分段后的音视频信息分别输入音频特征编码器和视频特征编码器，提取其音频段级特征序列和视频段级特征序列；将所述音频段级特征序列和视频段级特征序列输入视听编码器，将所述音频段级特征序列和视频段级特征序列中的表征向量按顺序连接后得到段级音视频融合特征序列；将所述段级音视频融合特征序列中每个融合表征向量通过全连接层进行映射，得到段级情感相似性特征序列；将所述音频段级特征序列、视频段级特征序列和段级情感相似性特征序列输入多头情感注意力机制；将各段级情感相似性特征序列作为交叉注意力机制中查询元素，音频各段级特征序列作为键元素和值元素，通过多头注意力机制计算每个音频段级特征序列的情感注意力权重，输出音频段级情感加权特征序列；将各段级情感相似性特征序列作为查询元素，视频各段级特征序列作为键元素和值元素，通过多头注意力机制计算每个视频段级特征序列的情感注意力权重，输出视频段级情感加权特征序列；利用中心映射函数分别对所有音频段级情感加权特征序列和所有视频段级情感加权特征序列进行平均处理，得到长序列的音频加权中心向量和视频加权中心向量；将段级情感相似性特征序列进行平均处理，得到情感相似性信息的中心向量；将所述音频加权中心向量、视频加权中心向量和情感相似性信息的中心向量合并，构建多模态联合情感特征；将所述多模态联合情感特征输入全连接层进行情感预测，通过Softmax激活函数将其转换为对应的情感概率分布，将概率最大的情感作为目标情感。