基于点云的6-DOF人机协作姿态规划与类人交互运动生成方法

专利主权项内容

1.基于点云的6-DOF人机协作姿态规划与类人交互运动生成方法，其特征在于：该方法包括交接点云的提取阶段和6-DOF抓取姿态生成阶段；交接点云提取阶段：使用FasterR-CNN来检测2D场景中的物体和手的位置，利用识别得到的边界框进行手与物体分割；物体边界框内的区域被认为是可抓取，但当它与手部边界框重叠时，重叠区域被视为不可抓取区域；手部边界框内区域也被视为不可抓取；因此，在物体图片上生成一个抓取区域的掩模图像；结合RGB图像、深度图像与掩模图像，提取出场景中的交接点云；利用随机采样一致性RANSAC算法对点云进行平面分割过滤背景点；6-DOF抓取姿态生成阶段：提出一个基于点云数据的抓取规划模型；该抓取规划模型由两部分组成：6自由度抓取规划生成和最优抓取姿态选择；6自由度抓取规划生成中：输入交接点云，使用端到端的网络GraspNet来生成多样化的6自由度候选抓取姿态；GraspNet网络能够在3维点云上预测平行夹持器相对于相机坐标系的6自由度位姿，其中6自由度位姿以沿相机坐标系中X、Y、Z轴的平移及绕X、Y、Z轴的旋转表示；将表示方向的旋转矩阵预测解耦为两个独立的部分：视点分类和平面内的旋转角度预测；采用分解策略使神经网络学习和预测6自由度抓取姿势；最优抓取姿态选择中：通过计算交接点云的三维包围框的长度、宽度和高度，筛选出位于交接点云中心区域的候选抓取位姿；若预测的抓取方向与人递送物体的方向接近时被视为不安全的抓取姿态，对各个方向的位姿进行评比，选择得分最高的候选抓取姿势为6-DOF抓取姿势。