视频流分析训练的人体骨骼关键点推理方法及装置
申请人信息
- 申请人:深圳力强数智科技有限公司
- 申请人地址:518000 广东省深圳市龙华区民治街道民乐社区星河WORLD二期C栋503
- 发明人: 深圳力强数智科技有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 视频流分析训练的人体骨骼关键点推理方法及装置 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410008271.5 |
| 申请日 | 2024/1/3 |
| 公告号 | CN117831075A |
| 公开日 | 2024/4/5 |
| IPC主分类号 | G06V40/10 |
| 权利人 | 深圳力强数智科技有限公司 |
| 发明人 | 李强; 周海东; 杨鹏菲 |
| 地址 | 广东省深圳市龙华区民治街道民乐社区星河WORLD二期C栋503 |
摘要文本
本发明涉及神经网络领域,揭露一种视频流分析训练的人体骨骼关键点推理方法及装置,方法包括:从视频流中提取单帧图像,将单帧图像表征为图像向量,识别单帧图像中的第一骨骼关键点,对第一骨骼关键点进行关键点解码;判别骨骼线路是否为人体骨骼线路;计算第一骨骼关键点损失,利用第一骨骼关键点损失完成预设的骨骼关键点识别模型的骨骼关键点的识别能力训练;对单帧图像进行网格划分;对划分网格进行网格旋转平移,从相邻单帧图像中查询旋转平移网格的的相似网格;确定相似网格中的第三骨骼关键点,计算第二骨骼关键点损失,利用第二骨骼关键点损失完成视频流中骨骼关键点的运动追踪能力的训练。本发明可以降低骨骼关键点推理任务的复杂度。
专利主权项内容
1.一种视频流分析训练的人体骨骼关键点推理方法,其特征在于,所述方法包括:从视频流中提取单帧图像,利用预设的骨骼关键点识别模型中的编码层将所述单帧图像表征为图像向量,基于所述图像向量,利用所述预设的骨骼关键点识别模型中的隐藏层识别所述单帧图像中的第一骨骼关键点,利用所述预设的骨骼关键点识别模型中的解码层对所述第一骨骼关键点进行关键点解码,得到解码关键点;将所述解码关键点连接为骨骼线路,判别所述骨骼线路是否为人体骨骼线路;在所述骨骼线路不为所述人体骨骼线路时,计算所述解码关键点与预设的真实骨骼关键点之间的第一骨骼关键点损失,并利用所述第一骨骼关键点损失完成所述预设的骨骼关键点识别模型的骨骼关键点的识别能力训练,得到训练好的骨骼关键点识别模型;利用所述训练好的骨骼关键点识别模型输出所述单帧图像的第二骨骼关键点,基于所述第二骨骼关键点在所述单帧图像中的关键点分布,对所述单帧图像进行网格划分,得到划分网格;对所述划分网格进行网格旋转平移,得到旋转平移网格,从所述视频流中提取所述旋转平移网格所在的单帧图像的相邻单帧图像,从所述相邻单帧图像中查询所述旋转平移网格的的相似网格;确定所述相似网格中的第三骨骼关键点,计算所述第三骨骼关键点与预设的真实第三骨骼关键点之间的第二骨骼关键点损失,利用所述第二骨骼关键点损失完成所述视频流中骨骼关键点的运动追踪能力的训练,得到运动追踪能力训练结果,将所述运动追踪能力训练结果作为所述视频流中的人体骨骼关键点推理结果。