一种图文融合的低秩多模态融合情感分析方法

专利主权项内容

1.一种图文融合的低秩多模态融合情感分析方法，其特征在于，步骤如下：步骤一：对网络平台用户意见图文对的数据集进行预处理操作，将数据集分为积极、消极和中性三分类标签，所述用户意见图文对包括用户意见文本数据和图像数据；步骤二：对用户意见图文对的数据集进行统一标签对齐处理，得到处理好的用户意见图文对数据集；步骤三：使用双向编码表征模型提取用户意见图文对中的文本特征；步骤四：使用结构重参数化视觉几何组模型提取用户意见图文对中的图像特征；步骤五：通过多模态特征融合层对提取出的文本特征和图像特征进行低秩多模态融合，得到多模态融合特征：对文本特征和图像特征用1扩充维度获得扩充后的文本模态特征和图像模态特征；对文本模态特征和图像模态特征进行外积处理得到高维张量；将高维张量与各模态所获取的低秩因子进行像素级乘法，得到多模态融合特征；步骤六：将多模态融合特征输入情感分类器中进行三分类预测，获取到最终用户情感预测。