图文情感分析方法

专利主权项内容

1.一种图文情感分析方法，其特征在于，包括：获取初始情感分析模型以及图文训练样本；所述图文训练样本包括句子训练样本、方面词训练样本和图像训练样本；对所述句子训练样本、所述方面词训练样本和所述图像训练样本分别进行编码和特征提取，得到句子特征表示、方面词特征表示、第一图像表示和实体名词特征表示；其中，所述方面词特征表示的首个位置令牌的表示为方面词全局表示；根据所述方面词全局表示和所述实体名词特征表示，获取名词与方面词训练样本的反向注意力权重、实体名词的正向注意力表示和实体名词的反向注意力表示；根据所述方面词全局表示、所述正向注意力表示和所述反向注意力表示，构建对比内容溯源损失函数；根据所述正向注意力表示及其对应的名词，所述反向注意力表示及其对应的名词，构建对比内容交换损失函数；根据所述实体名词特征表示和所述第一图像表示，得到各个实体名词感知的第二图像表示；根据所述反向注意力权重和所述第二图像表示对所述第一图像表示进行过滤，得到目标图像表示；根据所述方面词特征表示、所述句子特征表示和所述目标图像表示，得到训练样本的目标多模态融合全局表示；将所述目标多模态融合全局表示的输入至分类器，得到所述训练样本的情感分析结果；根据所述情感分析结果构建情感损失函数，根据所述情感损失函数、所述对比内容溯源损失函数和所述对比内容交换损失函数构建训练约束函数；根据所述训练约束函数训练所述初始情感分析模型，得到图文情感分析模型；将包含句子、方面词和图像的待分析图文数据输入至所述图文情感分析模型，得到所述待分析图文数据的情感分析结果。