一种基于解耦合多模态模型的用户需求推荐方法及系统

专利主权项内容

1.一种基于解耦合多模态模型的用户需求推荐方法，其特征在于，包括如下步骤：S1.针对用户发布的多模态内容进行特征提取，得到原始图像特征和原始文本特征；S2.根据步骤S1中获得的特征构建多模态编-解码器架构，然后通过交互解耦合模块Decoupling得到特定信息属性的特征，再通过单模态内部融合模块将模态关联特征和模态特定特征融合为解码器的输入，进行解码获得解码后的特征，最后对解码后的特征施加协同一致性约束；S3.结合注意力机制、KL散度约束以及对比约束对编码后的特征进行交互解耦合；步骤S3的具体步骤为：在交互解耦合模块Decoupling中，结合注意力机制、KL散度约束以及对比学习约束对编码后的图像特征f以及文本特征f进行交互解耦合；(v)(t)(1)使用交互注意力机制获取描述相近的模态关联特征和/>运算公式为：q＝Wf，k＝Wf，v＝Wf，(v)q(v)(v)(v)k(v)(v)(v)v(v)(v)q＝Wf，k＝Wf，v＝Wf，(t)q(t)(t)(t)k(t)(t)(t)v(t)(t)其中，q表示图像查询矩阵，k表示图像键矩阵，v表示图像值矩阵，q表示文本查询矩阵，k表示文本键矩阵，v表示文本值矩阵，和/>表示图像变换过程中的权重参数，W、W和W表示文本变换过程中的权重参数，a和a分别表示编码后的图像特征注意力系数和文本特征注意力系数，softmax(·)表示归一化函数运算，d表示归一化的特征维度；(v)(v)(v)(t)(t)(t)q(t)k(t)v(t)(v)(t)k(2)对模态关联特征和/>施加KL散度约束，运算公式为：其中，L(·)表示模态关联特征的散度损失，θ表示解耦合模块的参数，D(·)表示KL散度约束，i表示评论的索引；KLcopKL(3)通过使用模态关联信息、转换图像特征与转换文本特征分别构件正负样本来施加对比学习约束，得到模态特定特征和/>运算公式为：其中，表示图像内容的对比学习损失，/>表示文本内容的对比学习损失，E表示正负样本的分布，λ和λ表示用于控制不同实例上概率分布的参数；(v)(t)S4.使用自注意力机制作为多模态融合模块来聚合在步骤S2中得到的模态关联特征和模态特定特征预测用户偏好；步骤S4的具体步骤为：通过自注意力机制作为多模态融合模块来聚合模态关联特征和模态特定特征，得到预测的用户偏好，运算公式为：其中，表示预测的用户偏好，Fus(·)表示融合模块，/>表示融合模块的参数，L表示融合模块的损失，E表示分布，tw和TW表示评论，y和Y表示真实用户偏好标签，N表示评论的分布，y表示第i条评论的真实标签，/>表示第i条评论的预测标签，i表示评论的索引；(m)fus(tw, y)～(TW, Y)(i)S5.聚合步骤S4中的损失作为整个模型的总损失来对进行模型训练和参数优化。 （来自 马克数据网）