基于终端设备的手势识别方法及系统
申请人信息
- 申请人:亿慧云智能科技(深圳)股份有限公司
- 申请人地址:518000 广东省深圳市南山区粤海街道高新区社区科技南路18号深圳湾科技生态园12栋B1座2410-2412
- 发明人: 亿慧云智能科技(深圳)股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 基于终端设备的手势识别方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311612291.5 |
| 申请日 | 2023/11/29 |
| 公告号 | CN117711016A |
| 公开日 | 2024/3/15 |
| IPC主分类号 | G06V40/10 |
| 权利人 | 亿慧云智能科技(深圳)股份有限公司 |
| 发明人 | 谢俊 |
| 地址 | 广东省深圳市南山区粤海街道高新区社区科技南路18号深圳湾科技生态园12栋B1座2410-2412 |
摘要文本
亿慧云智能科技(深圳)股份有限公司取得“一种透气窗帘布”专利技术，本发明提供了基于终端设备的手势识别方法及系统，将图像数据按照分割成固定数量的组，从每个组中获取RGB静态图像样本和光流图像样本并融合成一个初始样本，获取静态图像样本的RGB上限值和RGB下限值，并将其作为亮度阈值，基于亮度阈值构建各个像素点的亮度调节曲线；将处理后的图像映射到三维坐标空间，获取手势的三维坐标标注；将三维坐标作为额外的特征与初始样本一起输入到3D卷积神经网络；3D卷积网络的输出作为LSTM的输入，将特征向量序列输入到LSTM单元中，通过softmax层对特征序列进行分类；将LSTM单元输出的特征序列与亮度信息、三维坐标信息合并成一个综合数据集，将综合数据集输入nception模型进行训练，训练模型以获得手势识别模型。
专利主权项内容
更多数据： 1.基于终端设备的手势识别方法，其特征在于，包括以下步骤：步骤一：将图像数据按照固定的时长分割成固定数量的组，每组包含若干连续的图像，从每个组中获取RGB静态图像样本和光流图像样本，将RGB静态图像样本和光流图像样本融合成一个初始样本，所述RGB静态图像样本为从视频帧中提取RGB图像，所述光流图像样本为通过光流算法计算出相邻帧之间的光流；步骤二：对每个静态图像样本，获取各个像素点的亮度值，采用亮度平衡算法对所述亮度值进行处理；获取静态图像样本的RGB上限值和RGB下限值，并将其作为亮度阈值；基于亮度阈值构建各个像素点的亮度调节曲线，应用亮度调节曲线对检测图像进行亮度调整；步骤三：将处理后的图像映射到三维坐标空间，通过投影方法将二维图像映射到三维坐标，获取手势的三维坐标标注；步骤四：将映射得到的三维坐标作为额外的特征，与初始样本一起输入到3D卷积神经网络；3D卷积神经网络的输入层接收初始样本，通过多层卷积操作提取特征，全连接层将特征图转化为固定维度的向量，3D卷积网络的输出作为LSTM的输入，全连接层与LSTM单元相连，将特征向量序列输入到LSTM单元中，通过softmax层对特征序列进行分类；步骤五：将LSTM单元输出的特征序列与亮度信息、三维坐标信息合并成一个综合数据集，选择Inception架构预训练模型，将综合数据集作为输入，对Inception模型进行训练，训练模型以获得手势识别模型。