基于特征交互融合的多模态图像分类方法及系统
摘要文本
本发明涉及图像分类技术领域，特别是涉及基于特征交互融合的多模态图像分类方法及系统，其中所述方法包括：获取待分类的第一模态图像和第二模态图像；将第一模态图像和第二模态图像，输入到训练后的多模态图像分类模型中，输出多模态图像的分类结果；其中，训练后的多模态图像分类模型用于对不同模态的图像采用不同的网络结构进行特征提取，分别得到特有特征和共享特征；采用注意力机制对特有特征和共享特征进行融合，采用分类器对融合特征进行分类，本发明利用共享特征与特有特征之间的相互作用，捕获和强化特征之间的关联性，有助于提升分类性能。
申请人信息
- 申请人:山东建筑大学
- 申请人地址:250000 山东省济南市历城区临港开发区凤鸣路1000号
- 发明人: 山东建筑大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于特征交互融合的多模态图像分类方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410100735.5 |
| 申请日 | 2024/1/25 |
| 公告号 | CN117636074A |
| 公开日 | 2024/3/1 |
| IPC主分类号 | G06V10/764 |
| 权利人 | 山东建筑大学 |
| 发明人 | 袭肖明; 杨博涵; 陈关忠; 宁一鹏; 钱娜; 郭子康; 孙马俊杰; 聂秀山 |
| 地址 | 山东省济南市历城区临港开发区凤鸣路1000号 |
专利主权项内容
1.基于特征交互融合的多模态图像分类方法，其特征是，包括：获取待分类的第一模态图像和第二模态图像；将第一模态图像和第二模态图像，输入到训练后的多模态图像分类模型中，输出多模态图像的分类结果；其中，训练后的多模态图像分类模型用于：对第一模态图像进行特征提取得到特征图；对第二模态图像进行特征提取得到特征图/>；对特征图/>提取模态的特有特征，得到特有特征/>；对特征图/>提取模态的特有特征，得到特有特征/>；将特有特征/>与特有特征/>进行拼接，得到特有特征/>；对特征图提取模态的共享特征，得到共享特征/>；对特征图/>提取模态的共享特征，得到共享特征/>；将共享特征/>与共享特征/>进行拼接得到共享特征/>；对共享特征/>进行共享特征分解得到分解特征/>，将分解特征进行拼接得到共享特征/>；对特有特征进行注意力计算得到特有特征/>，将共享特征/>作为注意力计算中的键值参与到特有特征/>的注意力计算中，得到第一特征/>；将特有特征/>作为注意力计算中的键值参与到共享特征/>的注意力计算中，得到第二特征/>；将第一特征/>与第二特征/>拼接后，得到融合特征/>；对融合特征/>进行分类得到分类结果。