基于卷积和注意力相结合特征提取的目标跟踪方法及系统

专利主权项内容

来自：马 克 团 队 1.一种基于卷积和注意力相结合特征提取的目标跟踪方法，其特征在于，包括：对给定的第一帧图像以及每一后续帧图像中的搜索区域分别进行初始化，得到所述第一帧图像对应的目标模板图像和每一所述后续帧图像对应的搜索图像；构建特征提取网络；所述特征提取网络包括两个结构相同的特征提取子网络；两个所述特征提取子网络分别用于对所述目标模板图像和搜索图像进行特征提取；所述特征提取子网络包括卷积模块、依次串联连接的多个分层特征模块和第一完全连接层；多个所述分层特征模块依次记为第一分层特征模块，第二分层特征模块，...，第M分层特征模块；所述卷积模块的输入为所述第一帧图像或每一所述后续帧图像，所述卷积模块的输出为所述第一分层特征模块的输入，所述第M分层特征模块的输出为所述第一完全连接层的输入，所述第一完全连接层的输出为所述特征提取网络提取出的特征；每一所述分层特征模块包括层归一化分支、全局分支、局部分支和融合分支；所述层归一化分支的输入为所述卷积模块的输出；所述层归一化分支的输出分别为所述全局分支的输入和所述局部分支的输入；所述全局分支用于采用自注意力操作提取全局信息；所述局部分支用于采用注意力和卷积相结合的操作提取局部信息；所述融合分支用于对全局分支输出的所述全局信息和所述局部分支输出的所述局部信息进行融合；将所述目标模板图像和每一所述搜索图像分别应用各自的所述特征提取子网络进行特征提取，得出目标模板图像提取特征和搜索图像提取特征；将所述目标模板图像提取特征输入至跟踪模型，并对每一所述搜索图像提取特征分别与所述跟踪模型输出的结果进行卷积操作，获得每一所述后续帧图像中搜索区域的目标响应位置。