← 返回列表
一种基于深度学习的高反光汽车零件识别上料方法与系统
摘要文本
本申请实施例提供了一种基于深度学习的高反光汽车零件识别上料方法与系统，该方法包括：获取数据集，构建了一个高效的物理模拟引擎来合成数据集，对原始数据集进行扩充，并对数据集进行训练得到相应的权重参数；基于注意力机制的多尺度特征融合的Mask Rcnn目标检测网络对堆叠零件进行实例分割和目标对象检测，得到局部RGB图像和深度图；对零件反光部位的深度图置零，根据相机内参将深度图转为点云，使用点云特征提取模块对缺失点云进行特征提取，获得高质量的点云；将RGB图像和高质量的点云输入FFB6D位姿估计网络，输出位姿；通过机器人手眼标定，并向机器人发送抓取指令进行抓取。 （来自 专利查询网）
申请人信息
- 申请人:苏州诺克汽车工程装备有限公司
- 申请人地址:215332 江苏省苏州市昆山市花桥镇蓬青路1288号
- 发明人: 苏州诺克汽车工程装备有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于深度学习的高反光汽车零件识别上料方法与系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311227014.2 |
| 申请日 | 2023/9/22 |
| 公告号 | CN117455837A |
| 公开日 | 2024/1/26 |
| IPC主分类号 | G06T7/00 |
| 权利人 | 苏州诺克汽车工程装备有限公司 |
| 发明人 | 徐雪明; 韩宗旺; 陈龙 |
| 地址 | 江苏省苏州市昆山市花桥镇蓬青路1288号 |
专利主权项内容
1.一种基于深度学习的高反光汽车零件识别上料方法，其特征在于，包括：S1，获取数据集，构建高效的物理模拟引擎合成数据集，对原始数据集进行扩充，并对数据集进行训练得到相应的权重参数；S2，基于注意力机制的多尺度特征融合的Mask Rcnn目标检测网络对堆叠零件进行实例分割和目标对象检测，得到局部RGB图像和深度图；S3，对零件反光部位的深度图置零，根据相机内参将深度图转为点云，改进PF-NET网络对去除零件反光部位的点云进行补全；在编码器阶段，使用pointmlp的点云特征提取模块对三个不同尺度的缺失点云进行特征提取，生成多维特征向量，获得高质量的点云；S4，将RGB图像和高质量的点云输入FFB6D位姿估计网络，输出位姿；S5，通过机器人手眼标定，完成相机坐标系到机器人基坐标系的转换，并向机器人发送抓取指令进行抓取。