一种果蔬识别采摘方法、系统及装置
申请人信息
- 申请人:安徽大学
- 申请人地址:230031 安徽省合肥市蜀山区肥西路3号
- 发明人: 安徽大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种果蔬识别采摘方法、系统及装置 |
| 专利类型 | 发明授权 |
| 申请号 | CN202311779603.1 |
| 申请日 | 2023/12/22 |
| 公告号 | CN117456368B |
| 公开日 | 2024/3/8 |
| IPC主分类号 | G06V20/10 |
| 权利人 | 安徽大学 |
| 发明人 | 詹洁; 王硕; 张慧珊; 闫子豪 |
| 地址 | 安徽省合肥市肥西路3号 |
摘要文本
本发明涉及深度学习技术领域，公开了一种果蔬识别采摘方法、系统及装置，其中的果蔬识别采摘方法包括：采集采摘区域的第一图像和第二图像；处理第一图像和第二图像获得图结构数据；将图结构数据输入识别模型，识别模型输出表示节点对应的果实的预测位置的坐标值；采摘机器人根据果实的预测位置来移动到果实所在的位置，然后通过采摘机器人上的图像采集单元采集第三图像；通过轮廓识别定位模型对第三图像进行实例分割确定果实的采摘点，然后控制采摘机器人来切割采摘点完成果实的采摘；本发明使机器人进行果实个体的采摘时不需要进行区域和视角的遍历，能够节省大量的识别和动作时间，提高采摘的速度。。详见官网：
专利主权项内容
1.一种果蔬识别采摘方法，其特征在于，包括以下步骤：步骤101，采集采摘区域的第一图像和第二图像；第一图像是SAR图像；第二图像是光学图像或者是SAR图像；步骤102，处理第一图像和第二图像获得图结构数据，图结构数据包括节点，一个节点与第一图像或第二图像的一个像素建立数据联系；为两个节点建立边的条件包括：两个节点数据联系第一图像上的两个相邻的像素；两个节点数据联系第二图像上的两个相邻的像素；两个节点中的一个节点数据联系第一图像上的像素，另一个节点数据联系第二图像上的像素，并且这两个像素在第一图像和第二图像的图像坐标系上的位置是相同的；步骤103，将图结构数据输入识别模型，识别模型输出表示节点对应的果实的预测位置的坐标值；如果节点对应的果实的预测位置的坐标值为0，则表示节点数据联系的第一图像的像素并未对应于果实；识别模型包括第一隐藏层和全连接层；第一隐藏层的计算公式如下：
；
；
；
；
；
；
；其中为初始隐藏特征，/>表示第v个节点的节点特征，/>表示融合向量，/>、/>、、/>分别表示第v个节点在第t个时间步的第一、二、三、四中间特征，/>和/>分别表示第v个节点在第t个时间步和t-1个时间步的输出特征，/>表示第j个节点在t-1个时间步的输出特征，/>表示与第v个节点之间通过边直接连接的节点的集合，该集合包括第v个节点，/>表示点乘，/>表示向量拼接，/>、/>、/>、/>、/>、/>、/>、/>分别表示第一、二、三、四、五、六、七、八权重参数，/>、/>、/>、/>分别表示第一、二、三、四偏置参数；全连接层的计算公式如下：
；其中表示第y个节点对应的果实的预测位置的坐标向量，坐标向量的第p个分量表示第y个节点对应的果实的预测位置的第p个坐标值，/>表示第y个节点在第S个时间步的输出特征，第y个节点与第一图像的像素建立数据联系，/>表示第九权重参数，/>表示第五偏置参数；识别模型输出表示节点对应的果实的预测位置的坐标值是在世界坐标系下的坐标值，是一个三维坐标，一个节点对应于三个坐标值，世界坐标系是以采摘区域的地面的某一点作为原点；以世界坐标系下的坐标值计算识别模型的损失值的计算公式如下：
；其中Loss表示损失值，A表示识别模型输出的坐标值不为0对应的节点的总数，B表示采摘区域的实际的果实的总数，表示第k个节点对应的果实的预测位置的第g个坐标值，/>表示第k个节点对应的果实的预测位置对应的真实果实位置的第g个坐标值；/>表示第d个真实果实的第g个坐标值，/>表示第d个真实果实对应的预测位置的第g个坐标值；步骤104，采摘机器人根据果实的预测位置来移动到果实所在的位置，然后通过采摘机器人上的图像采集单元采集第三图像，第三图像为可见光图像；步骤105，通过轮廓识别定位模型对第三图像进行实例分割确定果实的采摘点，然后控制采摘机器人来切割采摘点完成果实的采摘。