← 返回列表
基于自适应联合时空图卷积的虚拟现实交互方法及系统
申请人信息
- 申请人:烟台大学
- 申请人地址:264005 山东省烟台市莱山区清泉路30号
- 发明人: 烟台大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于自适应联合时空图卷积的虚拟现实交互方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311705047.3 |
| 申请日 | 2023/12/13 |
| 公告号 | CN117409483A |
| 公开日 | 2024/1/16 |
| IPC主分类号 | G06V40/20 |
| 权利人 | 烟台大学 |
| 发明人 | 刘兆伟; 刘文哲; 王占宇; 卢喜郎; 徐金东; 阎维青; 宋永超; 姜岸佐; 文志东 |
| 地址 | 山东省烟台市莱山区清泉路30号 |
摘要文本
本发明属于虚拟现实交互技术领域，提供了基于自适应联合时空图卷积的虚拟现实交互方法及系统，其使用RGB摄像头作为感知源，通过骨架估计算法实时提取人体骨架，提出了一种自适应图机制，替换原有骨架图，使得骨架图可以跟网络参数一同优化，提升了全局准确率，提出了一种跨时空的联合图卷积方法，跨时空聚合节点信息，提升识别准确率并降低网络参数量使实时化可行。
专利主权项内容
1.基于自适应联合时空图卷积的虚拟现实交互方法，其特征在于，包括如下步骤：根据获取的视频流数据构建人体骨架图结构；基于人体骨架图结构和训练后的人体姿态识别网络得到人体姿态类别；其中，所述人体姿态识别网络的构建过程包括：结合人体骨架图结构，构建自适应图机制，为每个动作学习一套相应的骨架图结构，并聚合不同视频帧的相同节点的邻居信息，得到自适应骨架图；基于自适应骨架图，采用图卷积神经网络对时间和空间维度特征联合聚合，得到时空联合聚合表示，根据时空联合聚合表示识别得到人体姿态类别；根据识别得到的人体姿态类别计算出虚拟人物的待响应运动轨迹，基于该待响应运动轨迹做出动作，完成虚拟现实互动。