一种同步人体运动识别与预测方法及系统

专利主权项内容

1.一种同步人体运动识别与预测方法，其特征在于，所述方法包括：基于OpenPose姿态估计算法获取用于运动识别与运动预测的骨骼序列数据；构建时空特征提取器，通过所述时空特征提取器对所述骨骼序列数据进行空间建模与时间建模，输出用于运动识别与运动预测的时空特征；基于所述时空特征，构建运动识别任务与运动预测任务之间的双向信息传递机制，以运动识别结果作为所述运动预测任务的先验知识，并将预测结果反馈至所述运动识别任务；基于所述运动识别任务与所述运动预测任务，最小化运动识别中真实分类标签和推断标签之间的交叉熵，及运动预测中真实关节坐标和预测关节坐标之间的误差，并使用预设参数衡量两个任务的重要性，以实现对所述运动识别任务与所述运动预测任务的多目标优化；其中，构建时空特征提取器，通过所述时空特征提取器对所述骨骼序列数据进行空间建模与时间建模，输出用于运动识别与运动预测的时空特征的步骤中，通过所述时空特征提取器对所述骨骼序列数据进行用于运动识别空间建模的步骤，包括：根据所述骨骼序列数据，输入骨骼序列并沿时间维度进行全局池化处理，输出池化矩阵以用于导出用于计算注意力分数的查询和值；将所述查询和值与计算得到的组合邻接矩阵进行相乘，得到骨骼序列的最终嵌入张量；基于所述最终嵌入张量对所述骨骼序列数据进行空间建模；其中，所述运动识别任务的损失函数为，所述运动预测任务的损失函数为，所述运动识别任务与所述运动预测任务的整体损失定义为：
；其中，为权重参数，用于控制两个损失函数在最终计算总损失时的权重，以权衡两个任务的重要性，实现对所述运动识别任务与所述运动预测任务的多目标优化；为了识别动作，最小化真实分类标签和推断标签之间的交叉熵；设第个样本的真实标签为/>相应的分类结果为/>，对于一个小批量中的/>个训练样本，动作识别损失公式为：
；式中，为转置操作；对于运动预测，使用平均每个关节位置误差进行训练，其中所述关节位置误差定义为：
；式中, 是第/>帧中预测的第/>个关节位置，/>是对应的基准真实值，/>为预测的帧数；其中，通过所述时空特征提取器对所述骨骼序列数据进行空间建模时，结合图卷积网络与图注意力网络进行建模，图卷积网络的计算将对称归一化的思想应用到第层输入骨架特征/>的节点更新函数中，如下所示：
；式中，为添加自环的邻接矩阵，/>为/>的度矩阵，/>为激活函数，/>为权重，/>的每个条目都采用二进制形式来表示连通性；其中，图注意力网络使用自注意力机制自适应地学习每对连接的节点来模拟每对人体关节之间的相互作用，第层输入骨架特征/>的更新函数公式为：
；式中，为自注意力得分矩阵，/>为第/>层的特征信息，/>为更新的下一层特征信息，/>为权重；其中，为从骨架图中提取特征，将图卷积网络和图注意力网络的邻接计算结合到一个更新函数中：
；式中，为组合邻接矩阵。