← 返回列表
基于注意力机制的多模态融合地面污迹识别方法及系统
申请人信息
- 申请人:南京工业大学
- 申请人地址:211800 江苏省南京市浦口区浦珠南路30号
- 发明人: 南京工业大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于注意力机制的多模态融合地面污迹识别方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311550625.0 |
| 申请日 | 2023/11/20 |
| 公告号 | CN117649579A |
| 公开日 | 2024/3/5 |
| IPC主分类号 | G06V10/80 |
| 权利人 | 南京工业大学 |
| 发明人 | 冯李航; 赵达; 贾立鑫; 焦文华; 梅雪 |
| 地址 | 江苏省南京市江北新区浦珠南路30号 |
摘要文本
本发明公开了基于注意力机制的多模态融合地面污迹识别方法及系统包括，获取地面污迹多模态数据，并对地面污迹多模态数据进行预处理，得到多模态数据集；构建基于注意力机制的多模态融合神经网络模型，多模态融合神经网络模型包括地面图像数据特征提取网络，气体浓度数据特征提取网络，基于注意力机制的多模态特征融合网络和决策网络；将多模态数据集输入基于注意力机制的多模态融合神经网络模型中进行训练；对训练好的模型输入地面污迹实时多模态信息，根据模型输出获取地面污迹的识别结果。本发明能够有效地识别颜色相近或透明的地面污迹，对地面纹理等要求较低，且细粒度识别较高。
专利主权项内容
1.基于注意力机制的多模态融合地面污迹识别方法，其特征在于，包括：获取地面污迹多模态数据，并对所述地面污迹多模态数据进行预处理，得到多模态数据集；构建基于注意力机制的多模态融合神经网络模型，所述多模态融合神经网络模型包括地面图像数据特征提取网络，气体浓度数据特征提取网络，基于注意力机制的多模态特征融合网络和决策网络；将所述多模态数据集输入基于注意力机制的多模态融合神经网络模型中进行训练；对训练好的模型输入地面污迹实时多模态信息，根据模型输出获取地面污迹的识别结果。