基于特征增强与级联融合注意力的目标跟踪方法与系统
申请人信息
- 申请人:南昌工程学院
- 申请人地址:330000 江西省南昌市高新区天祥大道289号
- 发明人: 南昌工程学院
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于特征增强与级联融合注意力的目标跟踪方法与系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410162830.8 |
| 申请日 | 2024/2/5 |
| 公告号 | CN117710663A |
| 公开日 | 2024/3/15 |
| IPC主分类号 | G06V10/25 |
| 权利人 | 南昌工程学院 |
| 发明人 | 王军; 柴秉飞; 王员云 |
| 地址 | 江西省南昌市高新区天祥大道289号 |
摘要文本
本发明提出一种基于特征增强与级联融合注意力的目标跟踪方法与系统,该方法包括,在孪生双分支网络目标跟踪框架下,基于特征表示增强模块构建得到特征提取网络,基于级联融合注意力构建得到特征融合网络,利用训练后的特征提取网络提取目标模板图像以及搜索区域图像的深层特征并进行增强,获得模板特征和搜索特征,将模板特征输入到编码器中获得编码特征,将编码特征输入训练后的特征融合网络中进行级联融合注意力操作,得到增强的目标模板中间特征,将搜索特征与增强的目标模板中间特征输入至解码器,以得到用于定位目标的分数预测图以实现目标跟踪。本发明利用分组级联的设计方式,充分利用全局上下文信息,实现更加鲁棒和精确的跟踪。
专利主权项内容
1.一种基于特征增强与级联融合注意力的目标跟踪方法,其特征在于,所述方法包括如下步骤:步骤1、在孪生双分支网络目标跟踪框架下,基于特征表示增强模块构建得到特征提取网络,基于级联融合注意力构建得到特征融合网络;步骤2、通过大规模数据集对特征提取网络和特征融合网络进行训练,获得训练后的特征提取网络和训练后的特征融合网络;步骤3、利用训练后的特征提取网络提取目标模板图像以及搜索区域图像的深层特征,并通过特征表示增强模块对目标模板图像以及搜索区域图像的深层特征进行增强,获得包含目标图像信息的模板特征和搜索特征;步骤4、将模板特征输入到编码器中对模板特征进行增强,以获得编码特征;步骤5、将编码特征输入训练后的特征融合网络中进行级联融合注意力操作,以实现分组级联的方式计算输出特征,得到增强的目标模板中间特征;步骤6、将搜索特征与增强的目标模板中间特征输入至解码器,以得到用于定位目标的分数预测图;步骤7、将分数预测图中的最高分数区域作为目标的候选区域,并将其位置作为判定依据得到跟踪目标。