一种无人机及其基于视觉的抓取方法

专利主权项内容

1.一种无人机基于视觉的抓取方法，其特征在于，应用于一种无人机，包括无人机机体、目标物、机械臂、舵机控制关节和摄像头，所述机械臂固连于所述无人机机体的下方，所述舵机控制关节连接于所述无人机机体的上方前部，所述舵机控制关节为单自由度，所述舵机控制关节与所述摄像头连接，所述无人机机体上贴有运动捕捉系统的第一定位标签，所述舵机控制关节、摄像头之间贴有运动捕捉系统的第二定位标签，所述目标物贴有运动捕捉系统的第三定位标签，所述第一定位标签为至少四个反光球体组成的刚体，所述第二定位标签为至少四个反光球体组成的刚体，所述第三定位标签为至少四个反光球体组成的刚体；所述方法基于所述无人机进行以下步骤：S1、标定；S2、视觉伺服抓取；步骤S1包括：假设机械臂末端执行器相对于无人机的位置已知，给定机械臂关节位置，机械臂末端执行器位置相对于无人机已知，摄像头内参、畸变参数已经事先标定已知，目标物相对于摄像头坐标系的旋转和平移已知，目标物相对于摄像头坐标系的旋转和平移为摄像头外参，在获得摄像头外参的过程中使用AprilTags标记及其视觉标靶，能够实时的获得视觉标靶在摄像头坐标系下的旋转和平移矩阵，采用运动捕捉系统，可以获得反光球体组成的标签在运动捕捉系统坐标系下的位置，在无人机机体上贴有运动捕捉系统的定位标签Tag_Body、在舵机控制关节之后贴有运动捕捉系统的定位标签Tag_Link，在目标物上贴有运动捕捉系统的定位标签Tag_A，标定过程中需要保证各个标签不同防止被运动捕捉系统误识别，所以组成的反光球体的位置和个数不同，通过运动捕捉系统，可以得到已知的参数有：无人机机体在世界坐标系下的平移向量和旋转矩阵/>舵机控制关节在世界坐标系下的平移向量/>和旋转矩阵/>目标物在世界坐标系下的平移向量/>和旋转矩阵/>通过摄像头的AprilTag捕捉，得到目标物在摄像头坐标系下的平移向量/>和旋转矩阵/>继而由以下关系可得：其中，O代表平移向量，R代表旋转矩阵，角标b代表无人机机体坐标系，角标c代表摄像头坐标系，角标l代表舵机控制关节坐标系，和/>为无人机机体坐标系到摄像头坐标系的平移向量和旋转矩阵，/>和/>为无人机机体坐标系到舵机控制关节坐标系的平移向量和旋转矩阵，/>和/>为舵机控制关节坐标系到摄像头坐标系的平移向量和旋转矩阵，每一时刻以及舵机控制关节变化之后，都可以得到一组/>和/>的解，通过多组测量，由于/>为向量，对每个分量直接求平均值，而/>为旋转矩阵，先将其转换为四元素，然后使用多组四元素的均值算法进行四元素求均值，最后转换回旋转矩阵得到最终的均值/>另外，舵机控制关节的控制角度的准确性需要通过舵机的输入标定与运动捕捉系统下舵机控制关节定位标签Tag_Link的俯仰角度保持一致，后续在无外部捕捉系统下就可直接通过正运动学求解目标物在无人机坐标系下的位姿。