1.本发明涉及一种基于图像数据处理的目标抓取定位方法及系统，特别是视觉图像数据处理的技术领域。


背景技术：

2.随着科学技术的大力推进，智能化产业链逐渐替代人工作业产业链，智能化工业机器人也随着人工智能技术的发展，逐渐渗透到大众生活的各行各业中。在抓取工业作业过程中，由于传统的抓取机器人仅能通过重复简单结构化的动作，因此往往会导致抓取效率不高，或者抓错甚至损坏待待抓取物表面的问题出现。
3.现有技术中，常采用结合视觉图像处理的方式对目标物进行进一步分析，从而提高对目标物的定位精准，但是传统的图像数据处理算法往往由于边缘提取不精准，图像数据处理精度不够等原因，往往会导致识别准确度不够，以及鲁棒性不高等问题。


技术实现要素：

4.发明目的：提出一种基于图像数据处理的目标抓取定位方法及系统，以解决现有技术存在的上述问题。
5.技术方案：第一方面，提出了一种基于图像数据处理的目标抓取定位方法，其特征在于，具体包括以下步骤：
6.步骤1、通过摄像头采集作业台上的目标物图像数据；
7.步骤2、对所述目标物图像数据进行图像数据的预处理；
8.步骤3、构建用于识别目标物的识别模型，并接收经过预处理后的目标物图像数据；
9.步骤4、所述识别模型根据接收到图像数据进行分析，输出分析结果；
10.步骤5、根据所述识别模型输出的分析结果生成抓取指令；
11.步骤6、抓取机器人根据生成的抓取指令触发机械结构进行作业，抓取目标物并搬运至载物运输台进行后续的货物装载。
12.在第一方面的一些可实现方式中，在所述步骤2中，采用边缘检测方法实现从不同视觉对象中提取有用结果的目的，从而对图像数据进行预处理；进一步的，预处理过程包括以下步骤：
13.步骤2.1、构建高斯滤波器，并利用所述高斯滤波器与图像进行卷积，平滑图像消除图像噪声；
14.步骤2.2、采用边缘检测的算子计算图像数据中所有像素点在水平方向和垂直方向上的一阶导数值，从而获取像素点对饮的梯度和方向；
15.步骤2.3、预设非极大值抑制方法进行杂散响应的消除；
16.步骤2.4、利用双阈值检测圈定真实和潜在的边缘；
17.步骤2.5、通过抑制孤立的弱边缘方式，实现最终边缘的检测。
18.在第一方面的一些可实现方式中，所述步骤2.1中构建的高斯滤波器进一步为大小是(2k+1)*(2k+1)的高斯滤波器核，其对应的生成表达式为：
[0019][0020]
式中，k表示核矩阵的维数；σ表示标准方差；
[0021]
采用边缘检测的算子计算图像数据中所有像素点在水平方向和垂直方向上的一阶导数值的表达式为：
[0022][0023][0024]
式中，g表示像素点的梯度；θ表示像素点的方向；g
x
表示所有像素点水平方向的一阶导数；gy表示所有像素点垂直方向的一阶导数。
[0025]
在步骤2.2中采用边缘检测算子计算图像数据中所有像素点在水平方向和垂直方向上的一阶导数值时，结合抓取目标图像数据的特点，对计算过程中涉及到的算子进行优化。
[0026]
进一步的，针对步骤2.4中双阈值处理过程中，阈值参数过高会造成边缘断裂和不连续的现象，使用最大类间方差的方法替代人工预设参数的设置方法，通过满足双阈值的自适应获取方式，提高生成边缘图像的清晰度。
[0027]
所述最大类间方差进一步为：根据图像的灰度直方图信息自适应确定阈值，通过存在的阈值ω将获取到的目标物图像数据像素划分为小于阈值ω的c1和大于阈值ω的c2两种类别，预设图像数据中有l个灰度级，当图像数据的灰度级为k时，预设两类像素的均值分别为m1、m2、全局的图像数据像素均值为mg、像素被划分为c1类别的概率ρ1、像素被划分为c2类别的概率ρ2，彼此之间满足的表达式为：
[0028]
ρ1*m1+ρ2*m2＝mg
[0029]
ρ1+ρ2＝1
[0030]
式中，像素被划分为c1类别的概率ρ1表达式进一步为：
[0031][0032]
像素被划分为c2类别的概率ρ2表达式进一步为：
[0033][0034]
式中，pi＝ni/n表示第i个灰度级归一化后的图像概率分布；其中，ni表示灰度值为i的像素点个数，表示总的像素点数量；
[0035]
类间方差表达式为：
[0036][0037]
式中，σ2表示方差的数值；ρ1表示像素被划分为c1类别的概率、ρ2表示像素被划分为c2类别的概率；mg表示全局的图像数据像素均值；m表示灰度级别k的累加均值。进一步，遍历搜索0至255个灰度级，获取满足类间方差最大化情况下的灰度级k，从而通过自适应方法获取最优的高低阈值。
[0038]
在第一方面的一些可实现方式中，针对实际工况中针对光线干扰的问题，步骤2在进行图像数据预处理时通过一种针对环境光线自适应的方法对采集的图像进行亮度的调整；
[0039]
进一步的，预设像素阈值范围，当采集到的图像数据低于或高于预设范围时，自动对图像数据进行调整，从而增强目标物在采集图像中的识别度；
[0040]
其中，获取像素点的亮度计算表达式为：
[0041][0042]
式中，f(x,y)表示平均像素值；r(x,y)表示r通道的像素值；g(x,y)表示g通道的像素值；b(x,y)表示b通道的像素值。
[0043]
在第一方面的一些可实现方式中，为克服实际工况中识别圆形目标时易出现的误判现象，依据圆形物体所独有的圆心到圆边任意点距离相等的几何特性，增加在圆形边缘上选取的散点样本的数量并将散点样本的数量设置为参数空间中的阈值。
[0044]
第二方面，提出一种基于图像数据处理的目标抓取定位系统，该系统具体包括：
[0045]
用于获取目标物图像数据的第一模块；
[0046]
用于对图像数据进行预处理的第二模块；
[0047]
用于构建识别目标物识别模型的第三模块；
[0048]
用于分出处理并输出分析结果的第四模块；
[0049]
用于生成抓取指令的第五模块；
[0050]
用于执行抓取指令的第六模块。
[0051]
在第二方面的一些可实现方式中，所述第一模块通过信息采集设备获取作业台上的目标物图像数据，并将数据传输至所述第二模块中进行图像数据的预处理；随后，所述第三模块构建用于识别目标物的识别模型，并接收第二模块中经过预处理后的图像数据；所述第四模块根据第三模块接收到的数据，对其进行数据分析，并输出对应的分析结果至所述第五模块；所述第五模块根据接收到的分析结果生成触发抓取作业的抓取指令；所述第六模块根据生成的抓取指令触发机械结构进行抓取作业，抓取目标物并搬运至载物运输台进行后续的货物装载。
[0052]
在第二方面的一些可实现方式中，所述第二模块对图像数据进行预处理的过程进一步包括：通过边缘检测方法从不同视觉对象中提取有用的结构，减少待处理的数据量；同时，针对采集到的图像数据，通过设定阈值的方式自适应调整图像数据亮度。
[0053]
进一步的，当目标物为圆形目标时，针对易出现的误判情况，通过依据圆形物体所独有的圆心到圆边任意点距离相等的几何特性，增加在圆形边缘上选取的散点样本的数量并将散点样本的数量设置为参数空间中的阈值，克服对非圆形目标的误判。
[0054]
有益效果：本发明提出了一种基于图像数据处理的目标抓取定位方法及系统，通过对获取图像数据预处理方式的优化，有效提高图像特征提取的作业效率，同时对图像数据的光线亮度进行调整，减少误判的可能性，从而进一步提升物件的识别效率，增加抓取作业的有效性，提高总体的运行速度和鲁棒性。
附图说明
[0055]
图1为本发明的数据处理流程图。
具体实施方式
[0056]
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
[0057]
针对现有技术中，传统的抓取机器人仅能通过重复简单结构化的动作，因此往往会导致抓取效率不高，或者抓错甚至损坏待抓取物表面的问题出现，本实施例提出一种基于图像数据处理的目标抓取定位方法，如图1所示，该方法具体包括以下步骤：
[0058]
步骤1、通过摄像头采集作业台上的目标物图像数据；
[0059]
步骤2、对所述目标物图像数据进行图像数据的预处理；
[0060]
步骤3、构建用于识别目标物的识别模型，并接收经过预处理后的目标物图像数据；
[0061]
步骤4、所述识别模型根据接收到图像数据进行分析，输出分析结果；
[0062]
步骤5、根据所述识别模型输出的分析结果生成抓取指令；
[0063]
步骤6、抓取机器人根据生成的抓取指令触发机械结构进行作业，抓取目标物并搬运至载物运输台进行后续的货物装载。
[0064]
在进一步的实施例中，为了便于识别模型对接收到的图像数据进行有效分析，在步骤2中进行图像数据预处理时，进一步采用边缘检测方法实现从不同视觉对象中提取有用结果的目的，从而减少待处理的数据量。具体的，首先构建高斯滤波器，并利用所述高斯滤波器与图像进行卷积，从而平滑图像消除图像噪声；其次，采用边缘检测的算子计算图像数据中所有像素点在水平方向和垂直方向上的一阶导数值，从而获取像素点对饮的梯度和方向；再次，预设非极大值抑制方法进行杂散响应的消除；从次，利用双阈值检测圈定真实和潜在的边缘；最后，通过抑制孤立的弱边缘方式，实现最终边缘的检测。
[0065]
其中，构建的高斯滤波器进一步为大小是(2k+1)*(2k+1)的高斯滤波器核，其对应的生成表达式为：
[0066][0067]
式中，k表示核矩阵的维数；σ表示标准方差。
[0068]
采用边缘检测的算子计算图像数据中所有像素点在水平方向和垂直方向上的一阶导数值的表达式为：
[0069][0070][0071]
式中，g表示像素点的梯度；θ表示像素点的方向；g
x
表示所有像素点水平方向的一阶导数；gy表示所有像素点垂直方向的一阶导数。
[0072]
在进一步的实施例中，在采用边缘检测方法实现从不同视觉对象中提取有用结果的目的时，由于在利用双阈值检测圈定真实和潜在边缘的处理过程中，阈值参数过高会导致边缘断裂，以及不连续的显现；另外，阈值参数设置过低也会导致出现较多的虚假边缘。因此，本发明针对现有技术中的边缘检测算法原理和缺陷，并结合抓取图像的特点，对计算过程中涉及到的算子进行改进。
[0073]
具体的，针对高低阈值设定这一方面，使用最大类间方差的方法替代现有技术中的人工设置，通过满足双阈值的自适应获取方式，有效提高生成边缘图像的清晰度。其中，最大类间方差进一步为根据图像的灰度直方图信息自适应确定阈值的方法，通过存在的阈值ω将采集到的图像数据的像素划分为小于阈值的c1和大于阈值的c2两种类别，预设图像数据中有l个灰度级，当图像数据的灰度级为k时，预设两类像素的均值分别为m1、m2、全局的图像数据像素均值为mg、像素被划分为c1类别的概率ρ1、像素被划分为c2类别的概率ρ2，彼此之间满足如下表达式所示：
[0074]
ρ1*m1+ρ2*m2＝mg
[0075]
ρ1+ρ2＝1
[0076]
式中，像素被划分为c1类别的概率ρ1表达式为：
[0077][0078]
像素被划分为c2类别的概率ρ2表达式进一步为：
[0079][0080]
式中，pi＝ni/n表示第i个灰度级归一化后的图像概率分布；其中，ni表示灰度值为i的像素点个数，表示总的像素点数量。
[0081]
小于阈值的c1像素均值m1表达式为：
[0082][0083]
大于阈值的c2像素均值m2表达式为：
[0084][0085]
灰度级别k的累加均值m表达式为：
[0086][0087]
灰度级别k的图像均值mg表达式为：
[0088][0089]
综上，类间方差表达式为：
[0090][0091]
通过遍历搜索0至255个灰度级，获取满足类间方差最大化情况下的灰度级k，从而实现自适应获取最优的高低阈值，进而提升目标物边缘图像的清晰度。
[0092]
在进一步的实施例中，由于实际工况中存在由于环境光线的问题，从而导致采集到的图片数据不满足实际需求，进而使得识别结果不准确，针对实际工况中针对光线干扰的问题，本实施例提出一种针对环境光线自适应的方法对采集的图像进行亮度的调整。具体的，预设像素阈值范围，当采集到的图像数据低于或高于预设范围时，自动对图像数据进行调整，从而增强目标物在采集图像中的识别度。其中像素点的亮度计算表达式为：
[0093][0094]
式中，f(x,y)表示平均像素值；r(x,y)表示r通道的像素值；g(x,y)表示g通道的像素值；b(x,y)表示b通道的像素值。为克服实际工况中识别圆形目标时易出现的误判现象，本实施例依据圆形物体所独有的圆心到圆边任意点距离相等的几何特性，增加在圆形边缘上选取的散点样本的数量并将散点样本的数量设置为参数空间中的阈值，用以解决对非圆形目标的误判。
[0095]
在进一步的实施例中，构建的用于识别目标物的识别模型，在接收经过预处理后的目标物图像数据后，对其进行数据分析。其中，识别模型分析过程包括深度可分离卷积、通道注意力和通道混洗，深度可分离卷积实现的过程包括深度卷积和逐点卷积，用于将通道域和空间域分开进行处理。
[0096]
具体的，深度卷积是二维平面的操作方式，用于将单个卷积核应用至每个通道上；逐点卷积通过卷积，用于对通道数进行调整。优选实施例中，通过将深度可分离卷积和普通卷积的计算量积相比，可以看出当卷积核的大小预设为3*3时，深度可分离卷积可以将参数量减少到普通卷积的1/9左右，增加了网络的运行速度。
[0097]
通道混洗从特征图角度进行分析，优选实施例中通过将来自不同支路的特征图用concat函数组合在一起，解决不同组之间信息不流通的问题。与现有技术中的单纯拼接，本实施例通过通道混洗的方法，能在不增加计算量和参数量的前提下，完成通道间的信息混合，增强分类效果。
[0098]
现有技术中，在图像数据分析模型中，添加注意力机制已经成为广泛使用的方法，软性注意力作为神经网络的常用方式，主要包括：通道注意力和空间注意力，用于根据图像特征的重要程度生成对应的权重，从而辅助算力的合理分配。在遇到正负激活值相抵的状
况时，针对仅采用全局平均池化获取特征图的信息会出现特征图变模糊，进而造成信息丢失的问题，本实施例进一步提出采用全局平均池化和全局随机池化提取中间特征图的信息的方式降低信息的损失。其中全局平均池化可以较好的保留背景信息，而全局随机池化按概率值选取特征，具有较强的泛化性，二者结合便可以减少信息的丢失。
[0099]
本实施例中构建的识别模型采用特征拼接的方式，通过多支路并行方式，以及将通道注意力机制与深度可分离卷积结合，实现了网络的轻量化，克服了现有技术中对运行内存需求高的问题，降低了模型参数量，减少复杂度。
[0100]
在一个实施例中，针对提出的一种基于图像数据处理的目标抓取定位方法，提出用于实现该方法系统，具体的，该系统为一种基于图像数据处理的目标抓取定位系统具体包括：
[0101]
用于获取目标物图像数据的第一模块；
[0102]
用于对图像数据进行预处理的第二模块；
[0103]
用于构建识别目标物识别模型的第三模块；
[0104]
用于分出处理并输出分析结果的第四模块；
[0105]
用于生成抓取指令的第五模块；
[0106]
用于执行抓取指令的第六模块。
[0107]
在进一步的实施例中，所述第一模块通过信息采集设备获取作业台上的目标物图像数据，并将数据传输至所述第二模块中进行图像数据的预处理；随后，所述第三模块构建用于识别目标物的识别模型，并接收第二模块中经过预处理后的图像数据；所述第四模块根据第三模块接收到的数据，对其进行数据分析，并输出对应的分析结果至所述第五模块；所述第五模块根据接收到的分析结果生成触发抓取作业的抓取指令；所述第六模块根据生成的抓取指令触发机械结构进行抓取作业，抓取目标物并搬运至载物运输台进行后续的货物装载。
[0108]
在进一步的实施例中，所述第二模块对图像数据进行预处理的过程进一步包括：通过边缘检测方法从不同视觉对象中提取有用的结构，减少待处理的数据量；同时，针对采集到的图像数据，通过设定阈值的方式自适应调整图像数据亮度。
[0109]
进一步的，当目标物为圆形目标时，针对易出现的误判情况，通过依据圆形物体所独有的圆心到圆边任意点距离相等的几何特性，增加在圆形边缘上选取的散点样本的数量并将散点样本的数量设置为参数空间中的阈值，克服对非圆形目标的误判。
[0110]
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。