← 返回列表
一种基于感知相关性网络的零样本视觉导航方法及系统
申请人信息
- 申请人:山东大学
- 申请人地址:266200 山东省青岛市即墨区滨海路72号
- 发明人: 山东大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于感知相关性网络的零样本视觉导航方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410185784.3 |
| 申请日 | 2024/2/20 |
| 公告号 | CN117746303A |
| 公开日 | 2024/3/22 |
| IPC主分类号 | G06V20/40 |
| 权利人 | 山东大学 |
| 发明人 | 郑艳伟; 李昌瑞; 于东晓; 李亚玲 |
| 地址 | 山东省济南市历城区山大南路27号 |
摘要文本
本发明涉及计算机视觉领域，特别涉及一种基于感知相关性网络的零样本视觉导航方法及系统。该方法用于处理智能体需要导航到未见物体的情况，包括：使用目标特征生成模块生成未见目标物体的特征表示；使用未见物体识别模块感知目标物体是否出现在摄像机捕捉的当前观察帧中，并生成适应于观察上下文的目标特征表示；使用元对比特征学习模块使得未见物体特征接近于与其共同出现的已见物体的特征并远离未共同出现的已见物体的特征；使用元对象图学习模块计算基于特征的已见和未见目标之间的相关性；使用决策模块利用先前获得的信息帮助智能体做出决策。本发明充分利用未见目标的特征以及已见和未见目标之间的相关性，提高了智能体的导航成功率。
专利主权项内容
1.一种基于感知相关性网络的零样本视觉导航方法，其特征在于，包括以下步骤：(1)目标特征生成：基于扩散模型获得未见物体的图像特征；(2)未见物体识别：将所述未见物体的图像特征输入至Transformer模型，使用Transformer模型感知未见物体是否出现在摄像机捕捉的当前观察帧中，并生成包含环境特征的未见物体的特征向量；(3)元对比特征学习：使用对比学习的方式使步骤(2)获得的未见物体的特征向量接近于与其共同出现的已见物体的特征并远离未共同出现的已见物体的特征；(4)元对象图学习：使用图卷积神经网络GCN计算基于特征的已见物体和未见物体之间的相关性；(5)决策：使用长短期记忆网络LSTM以及强化学习算法训练决策网络。