一种多模态情绪识别方法和装置

专利主权项内容

1.一种多模态情绪识别方法，其特征在于，所述方法包括：S1、对原始多模态数据样本进行预处理，获取所述原始多模态数据样本包括的每个单模态的初级特征；S2、将所述每个单模态的初级特征分别输入单模态特征提取网络，提取每个单模态的高级特征；S3、将所述每个单模态的高级特征一维化后，分别输入每个单模态识别网络，对由每个单模态特征提取网络和单模态识别网络构成的单模态模型进行训练；S4、从训练完成的单模态模型中获取每个单模态特征提取网络的权重，并提取每个单模态识别网络中所有神经元的激活程度；S5、根据每个神经元的激活程度判断其类型，根据每个神经元的类型，获取不同神经元之间独特的连接约束；S6、基于获取的每个单模态特征提取网络的权重与提取到的连接约束，建立完整的多模态情绪识别模型并进行训练，得到训练完成的多模态情绪识别模型，用于识别多模态情绪。