一种基于无人机视角下的行人多目标跟踪方法

专利主权项内容

1.一种基于无人机视角下的行人多目标跟踪方法，其特征在于，包括以下步骤：S1.采集包含行人的无人机视角图像数据集，并对数据集进行预处理；S2.设计并优化基于无人机视角下的行人检测与跟踪网络的损失函数；所述损失函数公式如下：
；其中，表示目标检测损失函数，/>表示目标跟踪损失函数，/>是一个自适应权重参数，用于平衡目标检测损失和目标跟踪损失的重要性；所述目标检测损失函数公式如下：
；其中，N为行人目标的数量，表示图像中存在的行人目标个数，为检测目标的索引，表示第/>个行人目标，/>是平衡因子，用于平衡正负样本之间的权重，/>为预测框属于行人类别的概率，表示模型对第/>个行人目标的预测结果，/>表示行人预测框/>和行人真实框之间的交并比，交并比用于衡量行人预测框与行人真实框的匹配程度；所述目标跟踪损失函数公式如下：
；其中为时间步，用于表示目标在不同时间点的状态，/>为跟踪目标的索引，用于区分不同的跟踪目标，T为总的时间步数，/>表示在时间步/>下的行人目标数量，/>为跟踪轨迹预测框，表示目标/>在时间步 />下的位置预测，/>为跟踪轨迹真实框，表示目标/>在时间步 />下的真实位置，/>表示跟踪轨迹预测框 /> 和跟踪轨迹真实框 /> 之间的交并比，/>表示跟踪轨迹预测框 />在时刻/>的速度向量，/>表示跟踪轨迹真实框 />在时刻/>的速度向量；S3.设计并优化基于无人机视角下的行人检测与跟踪网络；所述行人检测与跟踪网络包括行人检测网络和行人追踪网络；所述行人检测网络包括多个特征提取模块、多个特征增强模块，还有特征融合模块以及多个注意力机制模块和多个检测头模块，通过一系列模块的组合，使行人检测网络能够准确地定位和识别图像中的行人目标；所述行人跟踪网络通过级联匹配模块、IoU匹配模块以及卡尔曼滤波实现对行人目标的连续跟踪和轨迹估计；所述行人检测网络细分为主干网络、颈部网络和头部网络；所述主干网络是行人检测网络的核心部分，它由特征提取模块、特征增强模块、注意力机制模块和特征融合模块组成；首先，输入的图像经过两个特征提取模块，获取行人的局部特征，所述局部特征包括形状、纹理以及姿态信息；随后，使用特征增强模块进一步提升网络对行人特征的感知能力；接下来，一系列的特征提取模块和特征增强模块被应用，使网络更好地捕捉和表示图像中的行人特征；然后，注意力机制模块被引入，根据行人在图像中的重要性来自适应地调整特征的权重分配，使网络更加关注行人区域；最后，特征融合模块将来自不同尺度和层级的特征有效地组合，得到更丰富和全面的特征表示；所述颈部网络位于主干网络和头部网络之间，其作用是进一步处理和压缩特征表示，颈部网络通过上采样、特征拼接、特征增强、特征提取和注意力机制操作，对主干网络提取的特征进行降维和抽象，提取更高级的语义特征；所述头部网络是行人检测网络的最后一部分，用于生成行人检测框和相关的检测信息，所述头部网络包括微小目标检测头模块、小目标检测头模块、中目标检测头模块和大目标检测头模块，头部网络通过不同尺寸的检测头模块，预测行人的位置、边界框和置信度得分；S4.使用预处理之后的数据集训练设计好的行人检测与跟踪网络，得到行人检测与跟踪模型；S5.利用训练好的行人检测与跟踪模型，实时检测新的无人机视角图像序列。