← 返回列表
一种基于多模态强化图注意力网络的高光谱图像分类方法
摘要文本
本发明属于计算机视觉技术领域，公开了一种基于多模态强化图注意力网络的高光谱图像分类方法。首先，通过强化图构建子网络学习适合分类任务的两模态构图策略，将规则多模态数据转化为不规则的图结构以适应地物复杂的空间分布。然后，通过多模态边缘‑节点图注意力模块，提取空间近邻节点之间的边缘特征以建模节点特征聚合中的各节点重要性，从而捕获多模态数据的空间拓扑信息。最后，通过空间解耦多模态融合模块，将多模态特征解耦为共享部分和非共享部分，通过有针对地挖掘模态之间的共享信息和模态的特定信息提升模型对地物的区分能力。
申请人信息
- 申请人:中国矿业大学
- 申请人地址:221116 江苏省徐州市大学路1号中国矿业大学
- 发明人: 中国矿业大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于多模态强化图注意力网络的高光谱图像分类方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311542526.8 |
| 申请日 | 2023/11/17 |
| 公告号 | CN117422932A |
| 公开日 | 2024/1/19 |
| IPC主分类号 | G06V10/764 |
| 权利人 | 中国矿业大学 |
| 发明人 | 王雪松; 孟祥伟; 程玉虎; 王浩宇; 刘晓敏; 马雨洁 |
| 地址 | 江苏省徐州市南郊翟山 |
专利主权项内容
1.一种基于多模态强化图注意力网络的高光谱图像分类方法，其特征在于，包括如下步骤：步骤1，学习最优构图策略，对高光谱图像和激光雷达图像进行构图，得到高光谱空间图和激光雷达空间图；步骤2，利用边缘特征提取器分别捕获高光谱空间图和激光雷达空间图的边特征，将所述边特征进行边缘图注意力学习，获得各邻域节点的重要性权重，并通过节点特征聚合对两模态空间图的节点特征进行更新；步骤3，利用交叉注意力机制捕获两模态的共享特征，利用自注意力机制分别捕获高光谱空间图和激光雷达空间图的特定特征；通过拼接共享特征和特定特征得到多模态融合特征以完成对地物类别的预测。