一种三目视觉手语识别装置及多信息融合手语识别方法

专利主权项内容

1.一种三目视觉手语识别装置, 其特征在于，包括：视觉平台、左摄像装置、右摄像装置、单目调节支架、单目摄像装置、图像处理设备；所述视觉平台水平放置，其上对称安装左摄像装置、右摄像装置，左摄像装置和右摄像装置镜头中心连线的垂直平分线上设置单目调节支架；所述单目调节支架包括支撑杆、丝杠、丝杠安装座、轴承、手摇柄、升降螺母；所述支撑杆垂直视觉平台安装，支撑杆前面设置沿支撑杆长度方向的升降限位槽，侧面设置高度标尺；所述丝杠平行安装在支撑杆前面，其上下两端可转动地安装在丝杠安装座上，丝杠安装座内安装轴承，丝杠上端设置手摇柄；所述升降螺母安装在丝杠上，其后侧面设置升降卡位部，升降卡位部可上下滑动地卡在升降限位槽内，升降螺母前侧面设置转动连接部，转动连接部上安装可水平左右转动的水平转动件，水平转动件前端水平安装单目摄像装置；所述升降卡位部上设置高度指针，高度指针指向高度标尺；所述升降螺母底面伸出量角器，量角器与视觉平台平行，单目摄像装置上设置角度指针，角度指针指向量角器上的刻度线；所述高度指针与单目摄像装置镜头中心在同一高度上，指示单目摄像装置镜头中心高度；所述角度指针与单目摄像装置镜头中心轴线平行，指示单目摄像装置水平转角；所述单目摄像装置镜头中心轴线与左摄像装置和右摄像装置所在竖直面垂直；所述左摄像装置、右摄像装置、单目摄像装置共同建立一个虚拟三维坐标系，其中单目摄像装置镜头中心轴线所在直线为X轴，垂直于视觉平台、且经过左摄像装置和右摄像装置镜头中心连线中点的直线为Z轴，垂直于XZ平面、与X轴、Y轴相交的直线为Y轴，X轴、Y轴、Z轴交点为坐标原点(X，Y，Z)；000所述左摄像装置、右摄像装置、单目摄像装置连接图像处理设备，其中，左摄像装置、右摄像装置组成双目立体视觉系统；所述图像处理设备包括图像采集单元、三维建模单元、手势模型库、人脸表情库、人手与人体相对位置库、组合手语库、手势验证单元、人脸表情验证单元、人手位置验证单元、组合手语验证单元、手语转换单元、手语输出单元；所述手势模型库中存储手势模型，手势模型为左摄像装置、右摄像装置、单目摄像装置预先采集录入的手势模型信息，包含指关节坐标和向量数据；人脸表情库中存储人脸表情图片；人手与人体相对位置库中存储人手与人体相对位置图片；组合手语库中存储组合手语，每个组合手语由一个手势模型、一张人脸表情图片、一张人手与人体相对位置图片共同定义。 来源：百度马 克 数据网