一种多模态遥感数据分类的基础模型自适应方法
摘要文本
一种多模态遥感数据分类的基础模型自适应方法，属于图像处理技术领域。本发明解决了现有技术中难于直接使用预训练好的基础模型实现多模态遥感数据的分类问题。要点：获取多模态遥感数据；预处理多模态遥感数据；建立映射层，选取基础模型；构建跨空间交互模块实现通用特征和多模态数据中的空间特征的交互，沿多模态遥感数据的空间维度生成可学习的空间编码向量集合，并将其加到特征编码向量集合中，输出空间特征；构建跨通道交互模块，在基础模型的编码器模块的多头注意力机制MSA中，增加通用特征与多模态数据中通道维度的特征交互，输出光谱特征；将空间特征和光谱特征输入到全连接层中得到分类结果。本发明提升了多模态遥感数据的分类精度。
申请人信息
- 申请人:哈尔滨工业大学
- 申请人地址:150001 黑龙江省哈尔滨市南岗区西大直街92号
- 发明人: 哈尔滨工业大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种多模态遥感数据分类的基础模型自适应方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311580794.9 |
| 申请日 | 2023/11/24 |
| 公告号 | CN117611896A |
| 公开日 | 2024/2/27 |
| IPC主分类号 | G06V10/764 |
| 权利人 | 哈尔滨工业大学 |
| 发明人 | 何欣; 赵雅琴; 陈雨时; 吴龙文 |
| 地址 | 黑龙江省哈尔滨市南岗区西大直街92号 |
专利主权项内容
1.一种多模态遥感数据分类的基础模型自适应方法，其特征在于，包括以下步骤：S1.获取多模态遥感数据；S2.预处理多模态遥感数据，以每个模态中带有标签的像素为中心，选取27×27为大小的矩形窗作为每个单模态数据的样本，并将每个模态数据的样本使用双线性插值的方法将所有样本放大到224×224，匹配基础模型的空间输入维度；S3.建立映射层，将每个模态数据的样本分别送入映射层中进行降维匹配通道维度，并将降维后的不同单模态数据样本进行融合，得到融合后的多模态数据输入样本；S4.选取基于Transformer的基础模型，将多模态遥感数据输入到基础模型中提取多模态数据的通用特征；S5.构建跨空间交互模块实现通用特征和多模态数据中的空间特征的交互，沿多模态遥感数据的空间维度生成可学习的空间编码向量集合S，并将其加到特征编码向量集合Z中，输出空间特征；00S6.构建跨通道交互模块，在基础模型的编码器模块的多头注意力机制MSA中，增加通用特征与多模态数据中通道维度的特征交互，输出光谱特征；S7.将输出的空间特征和光谱特征输入到全连接层中得到分类结果。