基于3D视觉的箱体分割定位方法及系统

专利主权项内容

1.一种基于3D视觉的箱体分割定位方法，其特征在于，包括以下步骤：S1：通过3D视觉相机获取箱体范围的原始三维点云图像，将原始三维点云图像转换到机器人坐标系下；通过阈值分割获取原始三维点云图像中多个聚类，所述多个聚类包括独立的或离群的聚类；所述通过阈值分割获取原始三维点云图像中多个聚类，包括：通过主成分分析法的原始三维点云图像中的每个点的法向量方向，剔除接近垂直分布的点云，以获取近水平的点云数据；以各点之间的欧氏距离为标准对原始三维点云图像中的所有点进行聚类操作，剔除点云数量小于单个箱体数据的聚类，获取点云数量大于或等于单个箱体数据的聚类；S2：将坐标转换后的原始三维点云图像投影到二维图像上，并获取原始三维点云图像中的独立的或离群的聚类；通过在二维图像上与设定尺寸的矩形进行相似性匹配，以分割出二维图像中独立的或者贴合不紧密的箱体；对应从原始三维点云图像中减去已分割的聚类；S3：对原始三维点云图像中剩余聚类进行二次处理，计算出对应的二维图像的轮廓信息与角点信息，以轮廓与角点为基准推断剩余箱体的排列方式，直到推断出的排列方式的结果与原始三维点云图像的相似性大于设定阈值；包括：计算原始三维点云图像中剩余聚类对应的二维图像的面积，再除以单个箱体的面积，获取当前聚类对应的二维图像中包含的箱体数量；计算出图像的轮廓信息和角点信息；通过角点与其对应的两条轮廓的位置，推断出单个箱体的位置；将两条轮廓中的任一轮廓作为箱体的长边，推断出两种箱体排列；将两种以上的箱体排列分别与当前聚类对应的二维图像进行交并比判断，通过交并比阈值计算并进行多次迭代以推算箱体的排列，直至箱体排列中箱体的数量达到待分割的箱体数量，得到最终的分割结果；S5：将二维图像上的分割结果映射到原始三维点云图像，得到实际的各箱体的位姿坐标。