一种多模态双向蕴含社交网络虚假消息验证的方法及装置

专利主权项内容

1.一种多模态双向蕴含社交网络虚假消息验证的方法，其特征在于，包括以下步骤：(1)通过图片编码器以及文本编码器，对包含社交网络虚假消息的原始数据集中的原始图片-文本对进行特征提取，获取对应的图片特征和文本特征；(2)基于原始图片-文本对的蕴含关系构建对比学习，将步骤(1)得到的图片特征和文本特征进行对比学习，以训练图片编码器和文本编码器；(3)通过步骤(2)训练好的图片编码器和文本编码器对原始图片-文本对进行特征提取，并将提取到的图片特征、文本特征分别送入图片-文本回归编码器、文本-图片回归编码器进行回归转换；包括：通过训练好的图片编码器和文本编码器提取原始图片-文本对的图片特征和文本特征，并将提取到的图片特征、文本特征分别送入图片-文本回归编码器和文本-图片回归编码器中，通过训练这两个回归编码器参数将图片特征转换到文本特征、文本特征转换到图片特征，随后把转换后的特征进行对比学习，对图片特征和文本特征进行回归转换，分别获得经过回归转换后的图片到文本特征和文本到图片的特征；(4)对步骤(3)回归转换后的图片到文本特征和文本到图片分别使用对比学习策略，构建对比学习回归过程，将转换后的文本特征回归到其原始图片所对应的原始文本特征空间内、转换后的图片特征回归到其原始文本所对应的原始图片特征空间内，以训练图片-文本回归编码器和文本-图片回归编码器；所述对比学习回归过程包括：将文本特征、图片到文本特征构成第二矩阵，将图片特征、文本到图片特征构成第三矩阵；通过对比学习使转换后的文本特征与原始文本特征相似度最大，通过最大化第二矩阵对角线上正样本的原始文本特征和回归文本特征的余弦相似度，同时最小化非对角线上的负样本的余弦相似度，将转换后的文本特征回归到其原始图片所对应的原始文本特征空间内，以训练图片-文本回归编码器；通过KL散度来最大化第三矩阵对角线上正样本的原始图片特征和回归图片特征的KL散度，使转换后的图片特征和原始图片特征分布相似，将转换后的图片特征回归到其原始文本所对应的原始图片特征空间内，以训练文本-图片回归编码器；(5)通过训练好的图片编码器、文本编码器、图片-文本回归编码器、文本-图片回归编码器，提取社交网络虚假消息中的原始图片-文本对特征；将提取到的特征进行拼接和融合；(6)将步骤(5)融合后的特征送入到Softmax分类器中进行分类，得到虚假消息分类检测结果。