← 返回列表
一种多模态虚假信息检测方法、系统及存储介质
摘要文本
本发明提供一种多模态虚假信息检测方法、系统及存储介质，所述方法的步骤包括：获取待辨认信息，从待辨认信息中分离图像信息和文本信息；将图像信息输入到第一网络模型中，得到图像特征向量，将图像特征向量输入到图像分类网络中，得到图像分类向量；将图像特征向量和图像分类向量输入到多专家结构中，得到融合类别图像特征向量；将文本信息输入到第二网络模型和情感提取模块中，第二网络模型输出文字特征向量，情感提取模块输出文字情感特征向量，融合文字特征向量和文字情感特征向量得到融合情感文字特征向量；将融合类别图像特征向量和融合情感文字特征向量融合，得到融合图文特征向量，并输入到判别模块中判定待辨认信息是否为虚假信息。
申请人信息
- 申请人:北京邮电大学
- 申请人地址:100876 北京市海淀区西土城路10号
- 发明人: 北京邮电大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种多模态虚假信息检测方法、系统及存储介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311411955.1 |
| 申请日 | 2023/10/27 |
| 公告号 | CN117591752A |
| 公开日 | 2024/2/23 |
| IPC主分类号 | G06F16/9536 |
| 权利人 | 北京邮电大学 |
| 发明人 | 寇菲菲; 李雅文; 王炳炜; 姚宇晗; 李炜炜; 杨俊俐; 亓丽梅 |
| 地址 | 北京市海淀区西土城路10号 |
专利主权项内容
1.一种多模态虚假信息检测方法，其特征在于，所述方法的步骤包括：获取待辨认信息，并从所述待辨认信息中分离图像信息和文本信息；将所述图像信息输入到第一网络模型中，对所述图像信息进行向量化，得到图像特征向量，将所述图像特征向量输入到图像分类网络中，得到图像分类向量；将所述图像特征向量和图像分类向量输入到多专家结构中，得到融合类别图像特征向量；将所述文本信息输入到第二网络模型和情感提取模块中，所述第二网络模型输出文字特征向量，所述情感提取模块输出文字情感特征向量，并通过注意力机制融合文字特征向量和文字情感特征向量，得到融合情感文字特征向量；将所述融合类别图像特征向量和融合情感文字特征向量通过注意力机制融合，得到融合图文特征向量；将所述融合图文特征向量输入到判别模块中，所述判别模块基于预设的分类器判定待辨认信息是否为虚假信息。 来源：百度搜索马克数据网