基于多模态上下文分层分步对齐的虚假信息检测方法
申请人信息
- 申请人:河海大学; 华能澜沧江水电股份有限公司
- 申请人地址:211100 江苏省南京市江宁区佛城西路8号
- 发明人: 河海大学; 华能澜沧江水电股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于多模态上下文分层分步对齐的虚假信息检测方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311569509.3 |
| 申请日 | 2023/11/23 |
| 公告号 | CN117521012A |
| 公开日 | 2024/2/6 |
| IPC主分类号 | G06F18/25 |
| 权利人 | 河海大学; 华能澜沧江水电股份有限公司 |
| 发明人 | 潘祯祥; 毛莺池; 熊力; 陈秉睿; 曹一凡; 戚荣志; 禹跃美; 贾璐瑶; 祖立辉; 吴波 |
| 地址 | 江苏省南京市鼓楼区西康路1号; 云南省昆明市官渡区世纪城中路1号 |
摘要文本
河海大学; 华能澜沧江水电股份有限公司取得“一种透气窗帘布”专利技术，本发明公开一种基于多模态上下文分层分步对齐的虚假信息检测方法和系统，获取社交媒体博文中的图像和文本；建立具有双向交叉模态注意的局部对齐模块，推断片段级别的匹配关系；建立全局上下文融合实体特征提取模块，利用多头自注意力机制帮助局部对象学习更多上下文语义，增强图像和文本特征的上下文表示；设计自适应权重过滤模块以进行图像‑文本实体特征对齐，根据两个模态增强特征的相似性，整合所有加权特征实现全局匹配，抑制整体语义偏差；将这两个不同级别融合实体特征的整体相似度输入二值分类器中，得出虚假信息检测的结果。本发明通过整合上下文信息，可保留文本和图像完整的语义信息，提高虚假信息检测的准确率。。该数据由<专利查询网>整理
专利主权项内容
1.一种基于多模态上下文分层分步对齐的虚假信息检测方法，其特征在于，包括如下步骤：(1)图像、文本基本特征提取，利用目标检测模型和语言表征模型分别提取社交媒体博文中图像和文本的特征，分别得到视觉区域和文本词汇的基本特征向量；(2)图像、文本加权特征提取，对于步骤(1)中提取到的图像、文本基本特征向量，利用双向交叉注意力机制对齐不同模态中的同一片段，然后以文本词汇作为基准，得到描述所述词汇的图像区域基本特征向量加权和，作为所述词汇的加权特征向量；同理，以图像区域作为基准，得到描述所述区域的文本词汇基本特征向量加权和，作为所述区域的加权特征向量；(3)图像-文本特征局部匹配，对于步骤(1)中提取到的图像、文本基本特征向量和步骤(2)中提取到的图像、文本加权特征向量，利用相似度匹配，得到局部片段级匹配结果；(4)图像、文本增强特征提取，对于步骤(1)中提取到的图像、文本基本特征向量，利用多头自注意力机制探索特征之间的上下文关系，分别得到融合了上下文信息的图像、文本增强特征向量；(5)图像-文本增强特征匹配，对于步骤(4)中提取到的图像、文本增强特征，利用自适应权重过滤模块，得到全局相关性匹配结果；(6)社交媒体博文检测，将步骤(3)中获得的局部片段级匹配结果和步骤(5)中获得的全局相关性匹配结果输入到二值分类器中，利用二值分类器中带有softmax函数的全连接层投射两个级别的结果向量的加和向量到真实信息和虚假信息两类目标空间，并得到社交媒体博文的检测结果。