一种城市场景零样本识别方法及系统
申请人信息
- 申请人:南京信息工程大学
- 申请人地址:210032 江苏省南京市江北新区宁六路219号
- 发明人: 南京信息工程大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种城市场景零样本识别方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311697488.3 |
| 申请日 | 2023/12/11 |
| 公告号 | CN117710800A |
| 公开日 | 2024/3/15 |
| IPC主分类号 | G06V20/00 |
| 权利人 | 南京信息工程大学 |
| 发明人 | 王超; 杨佳俊; 张同; 赵炀; 张婷; 于启炟; 谢涛; 李俊勇; 陈晓; 陈天宇 |
| 地址 | 江苏省南京市江北新区宁六路219号 |
摘要文本
本发明公开了一种城市场景零样本识别方法及系统，从获取到的数据集中，选定部分类别为训练集，其余部分则为测试集；其中训练集样本带有类别信息，而测试集样本不包括类别信息；构建用于零样本识别的多尺度局部景观与全局特征融合模型，其中包括局部景观的建议框提取、局部景观与全局特征融合；在此基础之上，构建基于语义相关矩阵的新的权重映射损失函数对构建的多尺度局部景观与全局特征融合模型进行更新不断的优化，得到训练完成的多尺度局部景观与全局特征融合模型，基于该模型分别在UCM、AID、NWPU三个数据集上进行测试，得出识别结果，从而识别未带标注信息的类别表示，能够提高零样本识别的精度，提升模型的泛化能力。
专利主权项内容
1.一种城市场景零样本识别方法，其特征在于：包括以下步骤S1、从获取到的样本数据集中选定部分类别为训练集，其余部分则为测试集；训练集样本包括类别信息，测试集样本不包括类别信息；S2、构建零样本识别模型，零样本识别模型包括视觉空间和语义空间，并将视觉空间作为嵌入空间；在视觉空间中，提取面向局部景观标记的建议框，并通过此建议框提取局部景观特征，接着通过级联的方式对局部景观特征和全局特征进行融合；在语义空间中，将每一个类别的场景名称转化为该场景对应的语义向量，通过一个映射矩阵，将语义向量映射嵌入至视觉空间，在视觉空间中进行未知类的识别；S3、构建基于语义相关矩阵的权重映射损失函数，基于训练集利用该损失函数对零样本识别模型进行更新优化，得到训练完成的零样本识别模型；S4、分别在UCM、AID、NWPU三个数据集上对训练完成的零样本识别模型进行可靠性测试；S5、通过总体精度、类平均精度以及混淆矩阵指标对零样本识别模型进行定量评估；S6、将未知类城市场景影像输入至零样本识别模型，获取该未知类城市场景所属类别。 来自：马 克 团 队