一种基于共有特征学习的人脸关键点检测方法

专利主权项内容

1.一种基于共有特征学习的人脸关键点检测方法，其特征在于，该方法包括如下主要步骤：步骤1，获取人脸图像样本，样本数为N，对于第i个样本，通过VGG模型对其提取维度为1×C×H×W的人脸特征f，其中C、H和W分别表示输入的通道数、高和宽；i步骤2，对于第i个样本，从N个人脸图像样本中随机选取N-1个样本构成候选集，对于候选集中的样本，使用VGG模型提取特征，得到候选集样本的特征集合步骤3，将人脸特征f与一同通过基于注意力机制的特征坐标提取模块，具体为：i将f与合并为/>n表示常量，将/>通过两个不同的1*1的卷积，再将n、H和W维度合并，分别得到K∈R, Q∈R；inHW×CnHW×C步骤4，计算矩阵A，A＝K·Q, A∈R；对于矩阵A中的每一行，将其平均分为n份，每份取其最大值，组成新的矩阵A∈R；对于矩阵A的每一行取其平均值，得到矩阵A∈R，再将维度分解，得到A∈R；TnHW×nHW*nHW×n*avgnHW×1avgn×H×W步骤5，将矩阵A拆分成n个H*W的矩阵，并记录每个H*W矩阵最大值的坐标，组成坐标矩阵I∈R，其中I的第一个元素记为I，I∈R，I中剩余元素记为I′∈R；avgn×2001×2(n-1)×2步骤6，将人脸特征f和其对应的坐标特征I一同送入特征合并模块进行合并，取其坐标I中的元素e，e∈R；i00ii1×C将人脸特征和其对应的坐标特征I′一同送入特征合并模块进行合并，取I′中的n-1个维度为1×2的坐标与其相对应，取每个特征中对应坐标的元素组成矩阵矩阵e和/>为模板特征；i步骤7，将人脸特征f与与模板特征e与/>结合后得到输入图片缩放后的热力图H；iii步骤8，对于热力图H，取前p个峰值的坐标，并根据高H与宽W相对于原图大小进行映射，得到最终的p个关键点的坐标作为最终输出。i