基于广谱相关性融合网络的目标跟踪方法、装置、设备

专利主权项内容

1.一种基于广谱相关性融合网络的目标跟踪方法，其特征在于，具体包括如下步骤：S1：将孪生神经网络的目标模板和搜索区域的两个分支的输入图像进行归一化处理，获得两个分支的归一化图像；S2：将两个分支的归一化图像输入至残差网络进行特征提取，对应获得两个分支的最后三层特征块；S3：将两个分支的最后三层特征块输入Transformer融合颈部网络进行特征融合和特征加强，对应获得第一特征块和第二特征块；所述步骤S3具体包括如下步骤：S31：将两个分支的最后三层特征块输入三层独立的坐标上下文编码器进行两个空间维度的长距离相关性建模，对应获得具有两个空间维度的长距离相关性的三个特征块；S32：将两个分支的三个特征块分别输入至调整层进行通道调整，对应获得具有目标通道数的三个目标特征块；S33：将两个分支的三个目标特征块分级输入至Transformer级联融合模块进行全局相关性建模，对应获得具有全局相关性的第一特征块和第二特征块；S4：对所述第一特征块和所述第二特征块进行深度互相关运算，并通过合并降低尺度操作获得响应图；S5：将所述响应图依次输入至时空依存性融合模块和预测头进行目标的分类和回归，获得目标的跟踪结果。