一种基于层级差异的无监督跨模态行人重识别方法及系统
摘要文本
本发明公开了一种基于层级差异的无监督跨模态行人重识别方法及系统，采用基于大统一表示学习框架的无监督红外‑可见光跨模态行人重识别网络进行行人重识别。训练策略分三阶段，阶段一提取图像特征并初始化记忆存储向量，后两阶段拼接特征向量对多数据域记忆模块类质心相似度向量进行聚类并进行与同第一阶段的初始化，统一并平滑两模态标签后获得对多层次差异更鲁棒的聚类嵌入编码和伪标签进行对比学习。多轮优化后根据提取特征与待检测特征间的相似度进行行人图片检索。本发明提出的新型网络架构通过分阶段细粒度训练策略以及对标签统一平滑处理，在无人工标注情况下实现了红外与可见光跨模态行人重识别，有效提升了重识别的准确率与召回率。
申请人信息
- 申请人:武汉大学
- 申请人地址:430072 湖北省武汉市武昌区八一路299号
- 发明人: 武汉大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于层级差异的无监督跨模态行人重识别方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311257780.3 |
| 申请日 | 2023/9/26 |
| 公告号 | CN117351518A |
| 公开日 | 2024/1/5 |
| IPC主分类号 | G06V40/10 |
| 权利人 | 武汉大学 |
| 发明人 | 叶茫; 杨斌; 陈军 |
| 地址 | 湖北省武汉市武昌区八一路299号 |
专利主权项内容
1.一种基于层级差异的无监督跨模态行人重识别方法，其特征在于：采用基于大统一表示学习框架的无监督红外-可见光跨模态行人重识别网络，进行行人重识别；所述大统一表示学习框架的无监督红外-可见光跨模态行人重识别网络，包括随机通道增强模块，双流残差连接网络浅层模态专用模块，双流残差连接网络深层共享模块，和双流残差连接网络自监督信息恢复模块；所述网络的随机通道增强模块，包括通道交换增强层，通道擦除层，随机灰度转换层以及随机水平翻转层；所述双流残差连接网络浅层模态专用模块，由两个参数不共享的卷积块构成，一个卷积块分为四层，第一层是一个卷积层，第二层为BN归一化层，第三层为Relu激活函数层，第四层是一个卷积层；所述双流残差连接网络深层模态共享模块，由四层共享参数的所述双流残差链接网络浅层模态中的残差块构成，每一个残差块分为三层，第一层是一个卷积层，第二层为BN归一化层，第三层为Relu激活函数层，最后整个残差块输出为第三层输出与残差块原始输入的加和；所述双流残差连接网络自监督信息恢复模块，由两个参数独立的残差块集合构成，由所述双流残差连接网络深层模态共享模块的输出作为输入，分别通过两个参数独立的，由四个残差块堆叠而成的模态专用监督信息恢复模块，最终得到与所述双流残差连接网络深层模态共享模块输入相同尺寸的数据，并用该数据与所述双流残差连接网络深层模态共享模块的输入数据做L2loss。 关注公众号马 克 数 据 网