← 返回列表
一种基于特征融合的多模态讽刺检测方法及系统
申请人信息
- 申请人:国网江苏省电力有限公司南通供电分公司
- 申请人地址:226006 江苏省南通市崇川区青年中路52号
- 发明人: 国网江苏省电力有限公司南通供电分公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于特征融合的多模态讽刺检测方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311305211.1 |
| 申请日 | 2023/10/10 |
| 公告号 | CN117371456A |
| 公开日 | 2024/1/9 |
| IPC主分类号 | G06F40/35 |
| 权利人 | 国网江苏省电力有限公司南通供电分公司 |
| 发明人 | 代克丽; 卢尧; 任福临; 钱凌寒; 杨鸣; 马骏; 顾彬仕; 徐华泽; 陈赛赛; 欧朱建; 沈彬彬 |
| 地址 | 江苏省南通市青年中路52号 |
摘要文本
本发明公开了一种基于特征融合的多模态讽刺检测方法及系统，该方法包括以下步骤：获取待检测文本中的外部知识即形容词‑名词对，后特征表示为A，分别将待检测文本对应的文本模态和图像模态分别特征表示为T和I；采用多头交叉注意机制表示每对多模态输入的文本‑图像的浅层一致性分数以及文本‑外部知识的浅层一致性分数；利用图注意网络计算文本‑图像的深层一致性分数sl和文本‑外部知识的深层一致性分数使用激活函数和线性层整合得到预测结果y。本发明结合文本、图像和形容词‑名词对三个模态，建立了知识强化型的多模态讽刺检测模型，在与文本、图像两种模态良好结合的基础上，提供更多元、有效的信息，并获得了更好的性能。
专利主权项内容
1.一种基于特征融合的多模态讽刺检测方法，其特征在于，该方法包括以下步骤：S1获取待检测文本中的外部知识即形容词-名词对，后特征表示为A，分别将待检测文本对应的文本模态和图像模态分别特征表示为T和I；S2采用多头交叉注意机制表示每对多模态输入的文本-图像的浅层一致性分数s以及文本-外部知识的浅层一致性分数eS3分别构建文本模态和图像模态的无向、自循环图，并利用图注意网络计算文本-图像的深层一致性分数s和文本-外部知识的深层一致性分数lS4根据在浅层和深层融合中得到的文本-图像的浅层一致性分数s、文本-外部知识的浅层一致性分数文本-图像的深层一致性分数s和文本-外部知识的深层一致性分数/>使用激活函数和线性层整合得到初步的预测结果y；elS5使用交叉熵损失函数，对上述模型进行端到端的训练，得到预测结果y'∈{0, 1}，其中，1表示具有讽刺性，0表示没有讽刺性。