一种基于人体轨迹预测的AGV防撞预警方法与系统
申请人信息
- 申请人:之江实验室
- 申请人地址:311121 浙江省杭州市余杭区中泰街道科创大道之江实验室
- 发明人: 之江实验室
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于人体轨迹预测的AGV防撞预警方法与系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410058003.4 |
| 申请日 | 2024/1/16 |
| 公告号 | CN117576354A |
| 公开日 | 2024/2/20 |
| IPC主分类号 | G06T19/00 |
| 权利人 | 之江实验室 |
| 发明人 | 李月华; 唐哲 |
| 地址 | 浙江省杭州市余杭区中泰街道科创大道之江实验室 |
摘要文本
本发明公开了一种基于人体轨迹预测的AGV防撞预警方法与系统，其方法包括：双目相机标定并采集图像数据、基于双目视觉的三维场景重建、人体三维关键点检测、人体三维检测框识别、多人体位姿跟踪、人体行为分析、人体轨迹预测、AGV防撞预警与路径重规划。本发明可同时对出现在视域范围内的多个人体进行行为分析及轨迹预测，生成相应的AGV防撞预警信息并根据威胁程度重新规划AGV的路径。。百度马 克 数据网
专利主权项内容
1.一种基于人体轨迹预测的AGV防撞预警方法，其特征在于，包括以下步骤：步骤一：对双目相机进行单目标定与双目标定，分别对左目相机、右目相机进行单目标定后，再计算左目相机与右目相机之间的标定参数，利用标定后的双目相机实时采集RGB图像数据；步骤二：基于相机标定参数，利用实时采集到的RGB图像数据做基于双目视觉的三维场景重建，得到AGV所处环境的三维点云信息；步骤三：针对AGV所处环境的点云信息做人体三维关键点检测，识别并定位出视域范围内所有的人体关键点；步骤四：针对AGV所处环境的点云信息做人体三维检测框识别，识别并定位出视域范围内所有的人体检测框；步骤五：基于人体三维关键点检测结果，优化人体三维检测框的识别结果，剔除误识别的人体检测框，同时剔除无法与检测框匹配的关键点，将同一个检测框内的关键点连接成人体三维骨骼框架；步骤六：基于检测框的位置变化规律和人体运动规律，给予检测框标签信息，使得同一个人在不同点云中的检测框具有相同的标签；步骤七：基于人体三维骨骼框架，拆分关键身体部位，分析关健身体部位的运动规律，推理关键身体部位的行为，并推理人体整体的行为意图；步骤八：基于检测框的位置变化规律拟合运动轨迹，并结合人体行为意图的推理结果，预测人体后续的运动轨迹；步骤九：基于预测的人体运动轨迹及人体检测框的几何信息，结合AGV自身的后续路径规划，判断是否会有碰撞风险，并给出碰撞预警，若在较短的一段时间内可能出现碰撞风险则改变AGV的路径，使AGV原地等待或重新规划路线。。（） （来 自 ）