基于特征融合与视角三元组损失的跨视角步态识别方法

专利主权项内容

1.基于特征融合与视角三元组损失的跨视角步态识别方法，其特征在于，包含如下步骤：步骤一、采集不同视角下的步行图像序列，提取全局及局部步态表示；采集不同视角下的步行图像序列，并提取每一帧的二值步行轮廓图像；基于一个步态周期内的所有二值步行轮廓图像，提取全局步态能量图G及局部时空序列L两个不同类型的步态表示，构成对全局人体步态运动和人体各个局部部位的步态运动的表征；步骤二、实现步态表示到深度判别性特征的非线性映射；根据步骤一所提取到的全局步态表示，使用全局特征学习网络定义和参数化全局非线性映射实现全局步态表示到全局深度特征的非线性映射；同时根据步骤一所提取到的局部步态表示，使用局部特征学习网络定义和参数化局部非线性映射/>实现局部步态表示到局部深度特征的非线性映射；步骤三、网络训练；定义步态表示的深度特征之间的视角层次性欧氏距离为步态表示之间的度量距离，该度量距离函数利用步态表示之间的视角差异幅度对步态表示的深度特征向量之间的差异进行加权；使用视角三元组损失函数监督全局特征学习网络和局部特征学习网络的训练过程，该损失函数考虑步态轮廓图像受到个体步态运动特性和视角的共同影响，利用训练样本的深度特征、身份和视角信息并结合视角层次性欧氏距离计算损失值，并在步态训练数据中使用在线最困难样本和视角困难样本挖掘增加每次训练可用的三元组，最终最小化视角三元组损失函数使学习到的非线性映射能够将步态表示映射到特定空间，该特定空间中来自同一行人的步态表示之间的度量距离小于来自不同行人的步态表示之间的度量距离，其中步态表示之间的度量距离与其深度特征差异和视角差异相关；步骤四、特征融合及步态识别；融合两种不同类型的深度判别性特征，即全局深度判别性特征和局部深度判别性特征/>作为最终人体步态特征表示；计算待识别步态融合特征与数据库步态融合特征之间的欧氏距离，返回数据库中与待识别步态样本的欧氏距离最小的步态样本，作为待识别步态的身份识别结果，实现跨视角步态识别。