← 返回列表
一种基于实例的多视角视觉融合转导式零样本分类方法
申请人信息
- 申请人:南京信息工程大学
- 申请人地址:210044 江苏省南京市江北新区宁六路219号
- 发明人: 南京信息工程大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于实例的多视角视觉融合转导式零样本分类方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410017127.8 |
| 申请日 | 2024/1/5 |
| 公告号 | CN117541882A |
| 公开日 | 2024/2/9 |
| IPC主分类号 | G06V10/764 |
| 权利人 | 南京信息工程大学 |
| 发明人 | 汤龙; 赵靖涛 |
| 地址 | 江苏省南京市浦口区宁六路219号 |
摘要文本
本发明公开了一种基于实例的多视角视觉融合转导式零样本分类方法包括：提取已见类图片的多视角视觉特征；将已见类图片的多视角视觉特征和语义属性送入多视角视觉‑语义映射模型，利用交替方向乘子法学习不同视角上的转换矩阵；利用学习到的转换矩阵预测未见类图片的语义投影；再从语义投影进一步提取未见类图片的最终语义表示并基于此实现对未见类图片的识别；本发明提出采用单一的线性约束实现不同视角上的视觉信息的交互共享，简化了传统多视角信息融合模型的复杂度；同时，为了进一步挖掘在未见类中隐藏的视觉‑语义关联，提出一种自监督学习策略并利用多视角之间的一致性实现对未见类图片的语义校准，可大幅提升零样本分类的性能。
专利主权项内容
1.一种基于实例的多视角视觉融合转导式零样本分类方法，其特征在于，包括以下步骤：(1)提取已见类图片和未见类图片的多视角视觉特征；(2)将已见类图片的多视角视觉特征以及对应的类别语义属性送入多视角视觉-语义映射模型，利用交替方向乘子法学习不同视角上的转换矩阵；(3)利用学习到的转换矩阵预测未见类图片的语义投影；(4)根据步骤(3)得到的语义投影进一步提取未见类图片的最终语义并对未见类图片进行识别。