基于级联注意力的单流单阶段网络目标跟踪方法与系统

专利主权项内容

1.一种基于级联注意力的单流单阶段网络目标跟踪方法，其特征在于，所述方法包括如下步骤：步骤1、在单流单阶段框架下，基于Transformer网络模型以及特征增强模块，构建得到主干特征提取与融合模块，主干特征提取与融合模块、头部角点模块、和分数头部预测模块构成单流单阶段整体模型；步骤2、获取模板图像以及搜索图片，模板图像包括包含有若干所需跟踪目标的初始模板和若干包含目标状态的在线模板；步骤3、将模板图像以及搜索图片输入至单流单阶段整体模型中，通过主干特征提取与融合模块提取模板图像以及搜索图片对应的局部特征信息；将局部特征信息输入特征增强模块中，利用级联注意力对局部语义信息进行聚合以实现特征增强，得到模板图像和搜索图片的全局上下文信息；对模板图像和搜索图片的全局上下文信息进行交叉注意力计算以实现通信，获得结果特征图；步骤4、将结果特征图分割为模板图像和搜索图片，并作为下一阶段的输入，采用迭代的方式重复步骤3若干次，得到最终的结果特征图；步骤5、将最终的结果特征图输入头部角点模块中预测每个目标位置的置信度得分，并根据置信度得分确定跟踪目标所在位置以实现目标跟踪；并将结果特征图输入分数头部预测模块中，以预测每个目标状态的置信度得分，根据目标状态的置信度得分来确定是否将所预测的目标状态作为下一阶段在线跟踪过程中的在线模板；步骤6、利用大规模数据集为基础重复步骤2至步骤4，对单流单阶段整体模型进行预训练以优化模型参数；步骤7、利用训练好的单流单阶段整体模型对视频序列进行目标在线跟踪。