← 返回列表
一种模态增强和补偿的跨模态行人重识别方法
申请人信息
- 申请人:南京信息工程大学
- 申请人地址:210032 江苏省南京市江北新区宁六路219号
- 发明人: 南京信息工程大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种模态增强和补偿的跨模态行人重识别方法 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410018744.X |
| 申请日 | 2024/1/5 |
| 公告号 | CN117746467A |
| 公开日 | 2024/3/22 |
| IPC主分类号 | G06V40/10 |
| 权利人 | 南京信息工程大学 |
| 发明人 | 邓淑雅; 程旭 |
| 地址 | 江苏省南京市浦口区宁六路219号 |
摘要文本
本发明公开了一种模态增强和补偿的跨模态行人重识别方法，引入了模态相互指导策略，指导可见光和红外模态的对齐匹配。首先，通过堆叠具有不同类型和感受野尺度的卷积来构建双分支结构的模态增强空间，旨在提取足够的模态信息用于特征补偿阶段；然后，构建模态补偿空间，分别从高度、宽度和通道三个维度通过特征级模态信息融合来补偿可见光或红外模态中相应的行人模态缺失信息；最后，设计了一种模态相互指导学习策略，通过使用身份信息互学习损失和模态引导对齐损失进行联合优化，输出行人匹配结果。本发明方法构建了模态增强和补偿空间并将其集成到特征级别，以改善跨模态差异，提取更具有辨别力的行人模态信息。 （）
专利主权项内容
1.一种模态增强和补偿的跨模态行人重识别方法，其特征在于，包括如下步骤：步骤S1、构建双流骨干网络，基于输入图片，分别提取可见光模态和红外模态的行人特征信息；步骤S2、构建模态增强空间，提取具有充分行人模态信息的特征；步骤S3、构建模态补偿空间，从三个维度补偿两个模态相应的缺失模态信息；步骤S4、设计模态相互指导学习策略，指导两个模态相互学习相应的行人身份信息，并引导模态特征对齐匹配；步骤S5、利用损失函数进行网络优化，对网络提取的特征进行相似性度量，输出行人匹配结果。 马 克 数 据 网