采摘机器人及其果实定位方法、装置、电子设备及介质

专利主权项内容

1.一种果实定位方法，其特征在于，应用于采摘机器人，包括：所述采摘机器人包括机器人本体，所述机器人本体包括处理器；所述机器人本体上安装有多个第一图像采集模块和一个第二图像采集模块；所述机器人本体包括多个机械臂；每个机械臂周围对应安装有一个所述第一图像采集模块，各个所述第一图像采集模块不与对应的机械臂互相干涉；所述机器人本体的基座位置安装所述第二图像采集模块，用于确定基座坐标系；所述处理器用于基于获取各个所述第一图像采集模块采集作业区域中对应子区域的果树图像和所述基座坐标系，确定所述作业区域的全局果实定位分布信息，并根据所述全局果实定位分布信息确定各个机械臂对应的局部果实定位分布信息，以控制各个机械臂进行协同作业；所述果实定位方法包括：获取各个第一图像采集模块采集作业区域中对应子区域的果树图像，并将各个所述果树图像输入至预设目标检测模型，得到所述预设目标检测模型输出的每个所述果树图像中各个果实的二维包围框信息和掩膜区域；利用每个所述果树图像中各个果实的掩膜区域和对应的图像深度信息，生成每个所述果树图像中各个果实的三维点云，并基于每个所述果树图像中各个果实的三维点云和二维包围框信息，确定每个所述果树图像中各个果实的定位坐标点；基于将每个所述果树图像中各个果实的定位坐标点转换到基座坐标系下的结果，确定所述作业区域的全局果实定位分布信息；其中，所述基于将每个所述果树图像中各个果实的定位坐标点转换到基座坐标系下的结果，确定所述作业区域的全局果实定位分布信息，包括：获取各个所述第一图像采集模块与标定板的相对位姿关系，并求取各个所述第一图像采集模块与所述第二图像采集模块间的位姿关系；结合所述第二图像采集模块与所述标定板的位姿关系，确定各个所述第一图像采集模块与所述基座坐标系的位姿变换矩阵；利用各个所述第一图像采集模块与所述基座坐标系的位姿变换矩阵，将每个所述果树图像中各个果实的定位坐标点转换到所述基座坐标系下，得到每个所述果树图像中各个果实在所述基座坐标系下的定位坐标点；根据所述基座坐标系下各个果实的定位坐标点，确定相邻果实之间的定位坐标点对，并确定所述基座坐标系下各所述定位坐标点对之间的距离；确定所述距离小于目标阈值的目标定位坐标点对，并从各所述目标定位坐标点对中剔除其中一个定位坐标点；根据所述基座坐标系下保留的各个定位坐标点，生成所述作业区域的全局果实定位分布信息；其中，所述基于每个所述果树图像中各个果实的三维点云和二维包围框信息，确定每个所述果树图像中各个果实的定位坐标点，包括：利用点云聚类算法，对每个所述果树图像中各个果实的三维点云进行聚类计算，确定每个所述果树图像中各个果实的表面特征点；根据每个所述果树图像中各个果实的二维包围框信息，生成每个所述果树图像中各个果实对应的三维视锥体以及视锥体中心线；基于每个所述果树图像中各个果实对应的视锥体中心线以及表面特征点，确定每个所述果树图像中各个果实的定位坐标点；其中，所述基于每个所述果树图像中各个果实对应的视锥体中心线以及表面特征点，确定每个所述果树图像中各个果实的定位坐标点，包括：针对每个所述果树图像中的各个果实，构建以所述表面特征点为球心，目标长度为半径的球体；所述目标长度是基于所述表面特征点对应的深度值确定的；确定每个所述果树图像中的各个果实对应的视锥体中心线穿过其对应的球体的两个交点；从每个所述果树图像中的各个果实对应的所述两个交点中确定离拍摄焦点距离大的交点为每个所述果树图像中的各个果实的定位坐标点；其中，所述目标长度可以通过下述公式计算得到，即：
；其中，表示果实二维包围框在图像平面U轴上的边长；/>表示所述表面特征点所对应的深度值；/>表示相机在所述U轴上的比例因子；/>表示所述目标长度；其中，各个所述第一图像采集模块与所述基座坐标系的位姿变换矩阵是通过下述公式来确定的：
；式中，An表示第n个第一图像采集模块的坐标系；D表示第二图像采集模块的坐标系；B表示基座坐标系；board表示标定板坐标系；表示各个第一图像采集模块与基座坐标系的位姿变换矩阵；/>表示各个第一图像采集模块与标定板的相对位姿关；/>表示第二图像采集模块与标定板的位姿关系；/>表示第二图像采集模块与机器人基座坐标系的位姿矩阵。 数据由马 克 数 据整理