控制机械臂模仿视频动作的方法

专利主权项内容

1.控制机械臂模仿视频动作的方法，涉及机械臂和相机；机械臂包括依次连接的底座、臂段和夹爪，夹爪用于夹持目标物体；目标物体标识为P；相机为深度相机；其特征是，步骤如下：S01，获取目标物体在相机坐标系中的位置：对手眼系统进行标定，建立底座与相机之间的坐标转换关系，利用此关系，确定基坐标系与相机坐标系之间的转换矩阵由于夹爪在基坐标系中的位姿能够由机械臂的状态得到，假设目标物体处在基坐标系中的夹爪中心点P：(x，y, z)处，则基于公式1求得基坐标系中的夹爪中心点P在相机坐标系中的位置P；RobRobRobRobRobDcam公式1：S02，获取目标物体在图像上的像素位置：对相机进行内参标定后，获得如公式2所示的内参矩阵Matrix；in公式2：其中，f为沿拍摄图像X轴的相机焦距，c为沿相机拍摄图像X轴的光学中心点，f为沿拍摄图像Y轴的相机焦距，c为沿相机拍摄图像Y轴的光学中心点；xxyy把目标物体从相机坐标系中的位置P转化到像素坐标系中的位置P，转化过程基于公式3；Dcampixel公式3：P＝Matrix·P，其中，P简称为目标物体像素坐标点；pixelinDcampixel将目标物体像素坐标点P归一化，得到目标物体像素位置P，如公式4所示；pixelimage公式4：其中，[0]表示第一个坐标值的索引，[1]表示第二个坐标值的索引，[2]表示第三个坐标值的索引，P[0]表示目标物体在像素坐标系中的X轴坐标值，P[1]表示目标物体在像素坐标系中的Y轴坐标值，P[2]表示目标物体在像素坐标系中的Z轴坐标值；pixelpixelpixelS03，从图像中提取目标物体的关键特征点：首先在拍摄图像上建立臂段末端中心点S到目标物体像素位置P的延长线，再筛选出延长线向量正向一侧的点，接着根据目标区域所在位置限定出一个中心区域，将中心区域之外的像素点删除，最后根据目标场景设定的深度值范围，筛选出目标区域；再从目标区域中提取目标物体的3个关键特征点，得到这3个关键特征点在像素坐标系中的位置，这3个关键特征点相比其它未被筛选的普通特征点具有相对更高的稳定性和区分度，能够在相机拍摄的不同视角及不同照明条件的图像中被再次检测到；image本步骤中，所述目标区域为目标物体所在的区域；S04，获取数据集并用于训练神经网络：将上述3个关键特征点的在像素坐标系中位置和相机坐标系中的位置记录下来，然后机械臂对目标物体执行随机操作，随机操作包含旋转和平移；再不分先后次序执行以下两项操作：Ⅰ、通过转换矩阵计算执行操作后的夹爪中心点和上述3个关键特征点在相机坐标系中的新位置；Ⅱ、获取操作后的新生成的目标区域；重复随机操作多次，记录每次操作前后的上述3个关键特征点位置及目标区域，形成用于后续的Keypoint-RCNN神经网络训练的数据集；采用所述数据集训练Keypoint-RCNN神经网络，训练完成后，每当观察到演示视频中的机械臂夹爪夹取任意目标物体时，Keypoint-RCNN神经网络都能自动获取3个关键特征点，并随着演示视频的播放，对这3个关键特征点进行追踪并预测这3个关键特征点在像素坐标系中的位置；S05，将演示视频中的目标物体姿态映射到真实空间：事先准备需要机械臂模仿的演示视频，演示视频中的机械臂夹爪夹取任意物品执行操作；Keypoint-RCNN神经网络从演示视频中自动获取3个关键特征点，并随着演示视频的播放，对这3个关键特征点进行追踪并预测这3个关键特征点在像素坐标系中的位置；首先测得相机内置参数视场角以及演示视频第一帧中的各个关键特征点之间的实际长度作为先验知识；接着在相机水平放置时建立空间坐标系，空间坐标系中，原点是相机镜头的中心，x轴沿水平并垂直于相机镜头的轴向中心线，y轴沿竖直方向布置，z轴沿着镜头指向目标物体的方向；最后将Keypoint-RCNN神经网络自动获取的3个关键特征点在图像坐标系中的坐标映射到空间坐标系中的坐标；S06，将目标物体的空间坐标映射到基坐标系：将演示视频所有帧中的3个关键特征点的空间坐标通过转换矩阵映射到基坐标系，可得到公式10；公式10：其中，/>为所有帧中的3个关键特征点的空间坐标，为所有帧中的3个关键特征点的基坐标；基于基坐标即可计算出机械臂需要达到的目标位置，进而输出控制命令，控制机械臂动作从而达到目标位置。