← 返回列表
基于跨模态注意力机制的多模态错误信息检测方法及系统
申请人信息
- 申请人:广东工业大学
- 申请人地址:510030 广东省广州市越秀区东风东路729号
- 发明人: 广东工业大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于跨模态注意力机制的多模态错误信息检测方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410210738.4 |
| 申请日 | 2024/2/27 |
| 公告号 | CN117809150A |
| 公开日 | 2024/4/2 |
| IPC主分类号 | G06V10/80 |
| 权利人 | 广东工业大学 |
| 发明人 | 杨振国; 郭志玮; 刘达煌 |
| 地址 | 广东省广州市东风东路729号 |
摘要文本
本发明涉及基于跨模态注意力机制的多模态错误信息检测方法及系统,该方法包括获取多模态数据,所述多模态数据包括:文本数据和图像数据;分别从所述文本数据和图像数据中提取文本特征和视觉特征,基于所述文本特征和视觉特征,结合跨模态注意力机制,获取强化特征;将所述强化特征进行融合,获取多模态融合特征;对所述多模态融合特征进行错误信息检测,获取错误信息检测结果。本发明能够准确辨别社交平台中的多模态错误信息。
专利主权项内容
1.基于跨模态注意力机制的多模态错误信息检测方法,其特征在于,包括:获取多模态数据,所述多模态数据包括:文本数据和图像数据;分别从所述文本数据和图像数据中提取文本特征和视觉特征,基于所述文本特征和视觉特征,结合跨模态注意力机制,获取强化特征;将所述强化特征进行融合,获取多模态融合特征;对所述多模态融合特征进行错误信息检测,获取错误信息检测结果。