基于手部骨架的虚拟现实控制方法、系统、设备及介质
申请人信息
- 申请人:烟台大学
- 申请人地址:264005 山东省烟台市莱山区清泉路30号
- 发明人: 烟台大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于手部骨架的虚拟现实控制方法、系统、设备及介质 |
| 专利类型 | 发明授权 |
| 申请号 | CN202311743426.1 |
| 申请日 | 2023/12/19 |
| 公告号 | CN117420917B |
| 公开日 | 2024/3/8 |
| IPC主分类号 | G06F3/01 |
| 权利人 | 烟台大学 |
| 发明人 | 刘兆伟; 李明亮; 姜丰; 卢喜郎; 苏航; 文志东 |
| 地址 | 山东省烟台市莱山区清泉路30号 |
摘要文本
本发明公开一种基于手部骨架的虚拟现实控制方法、系统、设备及介质，涉及虚拟现实技术领域，包括：获取手势图像并进行实例分割，得到手部目标区域候选框，采用通道注意力机制对手部目标区域候选框进行修正后，得到手部目标区域；采用训练后的手部关键点检测模型，对手部目标区域提取骨骼点矩阵；通过样条插值方法对骨骼点矩阵进行重标定，得到更新后的骨骼点矩阵；根据更新后的骨骼点矩阵在虚拟空间中映射为手势信息，由此控制操作虚拟对象。通过多视图图像训练模型，使其具有从2D推断三维信息的能力，同时通过对骨骼点矩阵进行重标定，达到防抖动与跳变的效果，提升识别准确性与稳定性。
专利主权项内容
1.基于手部骨架的虚拟现实控制方法，其特征在于，包括：获取手势图像并进行实例分割，得到手部目标区域候选框，采用通道注意力机制对手部目标区域候选框进行修正后，得到手部目标区域；采用训练后的手部关键点检测模型，对手部目标区域提取骨骼点矩阵；所述手部关键点检测模型为根据多视角下的手部位置，将其投影为2D图像，以此进行训练得到；通过样条插值方法对骨骼点矩阵进行重标定，得到更新后的骨骼点矩阵；根据更新后的骨骼点矩阵在虚拟空间中映射为手势信息，由此控制操作虚拟对象；其中，采用训练后的手部关键点检测模型，对手部目标区域提取骨骼点矩阵；所述手部关键点检测模型为根据多视角下的手部位置，将其投影为2D图像，以此进行训练得到包括：在多视角图像条件下构建多视角图像数据集，根据各视角对应的位姿构建三角坐标，得到手部目标的3D位置，并将其位置投影为2D图像，由此训练手部关键点检测模型；在多视角图像条件下构建多视角图像数据集，同时，对多视角数据集进行泛化处理，使用泛化后的数据集与关键点标注数据集训练手部关键点检测模型；采用训练后的手部关键点检测模型得到骨骼点坐标，通过多层无监督神经网络提取骨骼点识别权重，由此通过加权后得到骨骼点矩阵。