一种无人抓料机智能控制系统及控制方法与流程

1.本发明涉及抓料机抓钩位姿调整技术领域，具体涉及一种无人抓料机智能控制系统及控制方法。


背景技术：

2.现有的无人抓料机在对较为松散的物体，例如：火车皮废料、各种木材、树枝等进行抓取时，由于这些物体之间的缝隙较多且这些物体易被抓钩影响，往往随机抓取就可以得到较好的抓取结果，但是对废钢等表面积较大且硬度较大的物体进行抓取时，由于缝隙较少，随机抓取很容易抓取到钢铁表面，导致没能成功抓取到物体，就会导致抓料的成功率比较低。


技术实现要素：

3.为了解决上述技术问题，本发明的目的在于提供一种无人抓料机智能控制方法，所采用的技术方案具体如下：获取抓料机抓钩抓取物料时的视频帧图像并进行筛选得到一帧抓取物料图像；将抓取物料灰度图进行灰度化得到抓取灰度图，对抓取灰度图进行分割获得物料之间的缝隙区域；基于抓取灰度图中抓钩上钩子的分布，将每个钩子作为一个抓钩节点构建抓钩结构图；抓钩结构图中相邻的抓钩节点相互连接；获取灰度图中每两个缝隙区域之间的最小距离和最大距离组成距离范围；将每个缝隙区域作为一个缝隙节点构建缝隙结构图，每两个缝隙节点之间的边权值为距离范围；相邻抓钩节点之间的距离和一个抓钩节点到另一个抓钩节点之间的最大距离组成搜索范围；以任意一个缝隙节点为中心节点，获得与中心节点之间的边权值在搜索范围内的缝隙节点，记为子图节点；若一个中心节点的子图节点的数量大于预设阈值，则中心节点和子图节点构成子图；抓钩结构图中中心点与各抓钩节点之间的连线的夹角组成第一角度序列；子图中中心点与各缝隙节点之间的连线的夹角组成第二角度序列；基于第一角度序列和第二角度序列获得子图与抓钩结构图的匹配度；匹配度大于第一阈值的子图为抓取待选子图；基于抓取待选子图中每个缝隙节点对应的缝隙区域的面积获得抓取待选子图的面积率；抓取待选子图的面积率与匹配度的乘积为抓取待选子图的抓取匹配程度；基于抓取匹配程度最大的抓取待选子图中缝隙区域的分布调整抓钩的位姿。
4.优选地，获取抓料机抓钩抓取物料时的视频帧图像并进行筛选得到一帧抓取物料图像包括：利用dnn语义分割获得视频帧图像中的抓钩区域和物料区域；若一个视频帧图像中抓钩区域与物料区域无交集，保留该视频帧图像作为待筛选图像；获得为标准矩形的物料区域的最大主成分方向和最小主成分方向的差值，作为标准差值；获得待筛选图像中物料区域的最大主成分方向和最小主成分方向的差值，作为实际差值；筛选出实际差值与标准差值差异最小的物料区域所在的待筛选图像，作为抓取物料图像。
5.优选地，获取灰度图中每两个缝隙区域之间的最小距离和最大距离组成距离范围
包括：所述最小距离是指从一个缝隙区域内的一点出发达到另一个缝隙区域内的最小距离；所述最大距离是指从一个缝隙区域内的一点出发到另一个缝隙区域内的最大距离。
6.优选地，基于第一角度序列和第二角度序列获得子图与抓钩结构图的匹配度包括：将第二角度序列中的元素中的元素进行移位，第二角度序列中的元素每移位一次获得一个新的第二角度子序列，分别计算第二角度序列对应的多个第二角度子序列与第一角度序列的余弦相似度，所述余弦相似度的最大值为子图与抓钩结构图的匹配度。
7.优选地，基于抓取待选子图中每个缝隙节点对应的缝隙区域的面积获得抓取待选子图的面积率包括：抓取待选子图中每个缝隙节点对应的缝隙区域的面积与抓取待选子图中缝隙节点对应的缝隙区域的面积的最大值的比值为抓取待选子图中每个缝隙节点对应的缝隙区域的面积比例值；抓取待选子图中每个缝隙节点对应的缝隙区域的面积比例值的和的平均值为抓取待选子图的面积率。
8.优选地，基于抓取匹配程度最大的抓取待选子图中缝隙区域的分布调整抓钩的位姿包括：获得得到所述余弦相似度的最大值时第二角度序列中元素移位的次数；将第二角度序列中从第一个元素开始的预设数量的元素相加获得位姿调整参数，其中预设数量与所述第二角度序列中元素移位的次数相等；基于位姿调整参数调整抓钩的位姿。
9.本发明还提供了一种无人抓料机智能控制系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被处理器执行时实现一种无人抓料机智能控制系统的步骤。
10.本发明实施例至少具有如下有益效果：本发明通过获得与抓钩结构图的抓取匹配程度最大的抓取待选子图，然后基于抓取匹配程度最大的抓取待选子图中缝隙区域的分布调整抓钩的位姿，能够提高无人物料机的抓取成功率；结合计算匹配过程中的参数，可以得到抓钩的调整位姿，实现对抓钩的智能控制，减少计算量。
附图说明
11.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
12.图1是本发明实施例提供的一种无人抓料机智能控制方法的方法流程图。
具体实施方式
13.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种无人抓料机智能控制系统及控制方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
14.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
15.下面结合附图具体的说明本发明所提供的一种无人抓料机智能控制方法的具体
方案。
16.请参阅图1，其示出了本发明一个实施例提供的一种无人抓料机智能控制方法的方法程图，该方法包括以下步骤：步骤s1，获取抓料机抓钩抓取物料时的视频帧图像并进行筛选得到一帧抓取物料图像；将抓取物料灰度图进行灰度化得到抓取灰度图，对抓取灰度图进行分割获得物料之间的缝隙区域。
17.本发明的目的是对抓钩的抓取区域进行检测，因此首先需要获得抓钩需要抓取的物料区域图像，通过实时视频数据的采集，获得图像数据，获取抓料机抓钩抓取物料时的视频帧图像。
18.通过每个视频帧图像中抓钩区域和物料区域的交集对视频帧图像进行筛选，在筛选后的视频帧图像中选择视角最接近正俯视的图像，具体为：抓钩在对物料进行抓取时，采集到的图像中存在抓钩遮挡物料的情况，这种情况会对之后的抓取区域的获取产生影响，因此首先在采集到的视频图像中筛选得到不存在这种情况的视频帧图像，然后进行后续分析。
19.对于存在该种情况的视频帧图像上，抓钩区域和物料区域存在交集，因此只需通过计算每个视频帧图像上抓钩区域和物料区域是否存在交集即可，计算过程如下：通过两个语义分割网络实现对抓钩区域和物料区域的识别，所述语义分割网络的训练过程如下：两个网络的训练过程相同，只是数据集不同，使用的数据集为侧俯视采集的抓钩（物料）视频帧图像数据集，抓钩（物料）的样式为多种多样的。需要分割的像素共分为两类，即训练集对应标签标注过程为：单通道的语义标签，对应位置像素属于背景类的标注为0，属于抓钩（物料）的标注为1。网络的任务是分类，所有使用的loss函数为交叉熵损失函数。通过语义分割得到的0-1掩膜图像与原图像相乘，得到的图像中只含有抓钩（物料）区域的图像，去除了背景的干扰。
20.通过语义分割网络分别得到每个视频帧图像上的抓钩区域和物料区域后，计算两个区域的交集，如果交集为0，对该视频帧图像进行保留，可以得到多个保留的视频帧图像，记为待筛选图像。
21.由于摄像机在拍摄时，存在近大远小的情况，因此在筛选得到的待筛选图像中还需要进行二次筛选，有的待筛选图像中物料区域的变形明显较小，即所述矩形的变形较小。虽然现有方法可以对这种情况进行校正，但原始图像的质量越好（即畸变越小，质量越好），校正后结果的可信度越高，误差越小，为了减小这种情况对后续的抓取区域获取的影响，因此还需要对待筛选图像再次筛选得到变形最小的图像作为最终的视频帧图像进行后续计算。
22.通过语义分割网络可以得到待筛选图像中的物料区域，由于所述物料区域不一定是矩形，也可能是梯形等形状；获得为标准矩形的物料区域的最大主成分方向和最小主成分方向的差值，作为标准差值；获得待筛选图像中物料区域的最大主成分方向和最小主成分方向的差值，作为实际差值，计算所述标准差值与实际差值的差值，所述差值越小，待筛选图像畸变越小。
23.所述标准差值是指对物料区域的正俯视图像进行采集，在该正俯视图像上获得的该物料连通域的最大与最小主成分方向的差值。
24.所述物料区域的最大主成分方向和最小主成分方向通过主成分分析方法得到，具体过程如下：获取物料区域像素的坐标，利用pca算法获得这些数据的主成分方向，可获得k个主成分方向，每个主成分方向都是一个2维的单位向量，每个主成分方向对应一个特征值。本发明获取特征值最大的主成分方向将其称为连通域最大主成分主方向，表示这些数据投影方差最大的方向，即这些数据的主要分布方向；同时获取特征值最小的主成分方向将其称为连通域最小主成分方向，表示这些数据投影方差最小的方向。
25.筛选出实际差值与标准差值差异最小的物料区域所在的待筛选图像，作为抓取物料图像利用现有技术对抓取物料图像进行图像畸变的修正，得到修正后的抓取物料图像。
26.通过两次筛选以及图像畸变修正的抓取物料图像能够保证后续计算的准确性。
27.对于废钢等表面积较大且硬度较大的物料来说，在抓钩作用下不易变形，导致如果抓钩没有定位到较为精确的缝隙区域，即抓钩抓取到废钢表面，容易导致抓取失败，因此首先需要对物料区域的缝隙进行检测，检测到缝隙后，由于抓钩是固定的模式，因此需要计算缝隙区域与该固定模式的最大匹配区域作为抓取区域，提高抓钩的抓取成功率和抓取质量(抓钩抓取的成功率越高，抓取得到的物料越多）。
28.通过otsu阈值分割法得到抓取物料图像上的所有缝隙区域，具体过程为：首先将得到的rgb图像转化为灰度图像，然后通过otsu阈值分割得到阈值k,将小于阈值k的区域作为缝隙区域。通过otsu计算缝隙区域的原因是钢材等物品是金属制品，表面受光照影响较大，因此存在废钢的区域的灰度值较大，即前景和背景的灰度值相差明显，因此可以直接采用otsu阈值分割的方法得到缝隙区域。
29.步骤s2，基于抓取灰度图中抓钩上钩子的分布，将每个钩子作为一个抓钩节点构建抓钩结构图；抓钩结构图中相邻的抓钩节点相互连接；获取灰度图中每两个缝隙区域之间的最小距离和最大距离组成距离范围；将每个缝隙区域作为一个缝隙节点构建缝隙结构图，每两个缝隙节点之间的边权值为距离范围；相邻抓钩节点之间的距离和一个抓钩节点到另一个抓钩节点之间的最大距离组成搜索范围；以任意一个缝隙节点为中心节点，获得与中心节点之间的边权值在搜索范围内的缝隙节点，记为子图节点；若一个中心节点的子图节点的数量大于预设阈值，则中心节点和子图节点构成子图。
30.在步骤s2中得到了缝隙区域，需要计算抓钩与缝隙区域的匹配，由于图结构可以用来表示不同节点之间的联系，因此采用构建图结构的方式来对抓钩和缝隙区域进行表示。
31.抓钩中的钩子数量用g表示，优选地，本实施例中g的取值为5，基于抓取灰度图中抓钩上钩子的分布，也即是基于抓钩的形状，将每个钩子作为一个抓钩节点构建抓钩结构图，该图为无向图，只有相邻的钩子之间存在边进行连接，边权值为相邻的钩子之间的距离值，此处的距离值是表示抓钩中的相邻钩子在图像中的像素距，用h表示，需要说明的是，图像上几个像素点距离可以表示实际中的相邻钩子之间的距离，由于摄像头和抓钩之间的距离是个定值，因此可以通过摄像机的焦距f、摄像机和钩子的距离d得到抓钩的相邻钩子距离在图像上的每个像素点表示的实际距离，结合相邻钩子之间的实际距离d得到图像中每个像素点表示的抓钩距离，例如图像中两个相邻钩子之间的像素距离为5，表示实际中的10cm，则每个像素点表示实际中的2cm。得到图像中每个像素表示的实际距离r后，有助于后
续的h和h的计算。
32.对于抓取灰度图的缝隙区域，将每个缝隙区域作为图结构中的一个缝隙节点构建缝隙结构图，将两个缝隙区域，即缝隙节点之间的最小和最大距离组成的距离范围作为边权值，所述最小距离是指从一个缝隙区域内的一点出发达到另一个缝隙区域内的最小距离；所述最大距离是指从一个缝隙区域内的一点出发到另一个缝隙区域内的最大距离。
33.获得相邻的抓钩节点之间的距离h和一个抓钩节点到另一个抓钩节点之间的最大距离h，组成搜索范围。以任意一个缝隙节点为中心节点，在中心节点的周围获得与中心节点之间的边权值在搜索范围内的缝隙节点，将这些缝隙节点记为子图节点，这些节点都是有可能最终可以与抓钩结构图像中的抓钩节点相匹配，以g=5为预设阈值，若一个中心节点周围子图节点的数量大于等于预设阈值g，则中心节点和子图节点构成子图，每个子图都有可能越抓钩结构图相匹配，此时的相匹配指的是子图的结构与抓钩结构图的结构相同。
34.抓钩结构图是一个的五边形，其角点表示抓钩上的五个钩子，如果五个角点刚好落在子图中的五个缝隙区域中，基于子图的位姿信息对抓钩进行位姿调整进而对物料进行成功抓取，如果角点不落在缝隙区域中，抓取的成功率就比较小了。
35.得到了多个子图，将缝隙结构图中不属于每个子图的节点删除，计算得到满足条件的缝隙节点的同时，在计算过程中也得到了每个缝隙节点所属节点类别，所述缝隙节点类别是指每个缝隙节点在搜索中心节点周围的缝隙节点时中使之满足条件的节点，该缝隙节点和所述使之满足条件的缝隙节点组成了节点类别，一个缝隙节点可能处于多个缝隙节点类别之中，也即是一个缝隙节点可能出现在多个子图中。
36.步骤s3，抓钩结构图中中心点与各抓钩节点之间的连线的夹角组成第一角度序列；子图中中心点与各缝隙节点之间的连线的夹角组成第二角度序列；基于第一角度序列和第二角度序列获得子图与抓钩结构图的匹配度；匹配度大于第一阈值的子图为抓取待选子图；基于抓取待选子图中每个缝隙节点对应的缝隙区域的面积获得抓取待选子图的面积率；抓取待选子图的面积率与匹配度的乘积为抓取待选子图的抓取匹配程度；基于抓取匹配程度最大的抓取待选子图中缝隙区域的分布调整抓钩的位姿。
37.在步骤s2中基于缝隙节点之间的距离关系得到了符合抓钩结构图中抓钩节点之间的距离关系的缝隙节点，从而组成了子图，此时还需要计算缝隙节点之间的分布关系与抓钩节点的分布关系是否匹配。在抓钩结构图构造一个虚拟点，首先计算得到抓钩图结构中的角度序列，然后计算子图中的实际的角度序列，计算序列的匹配，结合每个缝隙节点对应的缝隙区域的大小，得到匹配程度。
38.虚拟点为抓钩结构图中的中心点，中心点与各抓钩节点之间的连线的夹角组成第一角度序列，在得到第一角度序列时，任意选择一个抓钩节点按照顺时针方向读取夹角角度值，组成第一角度序列，虚拟点的作用是为了用来描述除了该虚拟点之外的其它抓钩节点之间的角度关系，因为之前已经确定了缝隙节点之间的距离信息是满足要求的，如果这些缝隙节点之间的方位信息也满足要求，则可以与抓钩图结构形成匹配。同样的对于子图，子图中中心点与各缝隙节点之间的连线的夹角组成第二角度序列，计算第一角度序列和第二角度序列的余弦相似度，通过移位计算的当时选择最大的余弦相似度作为子图和抓钩结构图的匹配度，所述移位计算是指由于不知道两个图结构的节点之间的匹配信息，因此需要对第二角度序列中的元素中的元素进行移位，第二角度序列中的元素每移位一次获得一
个新的第二角度子序列，分别计算第二角度序列对应的多个第二角度子序列与第一角度序列的余弦相似度，所述余弦相似度的最大值为子图与抓钩结构图的匹配度。例如第一角度序列为：[a、b、c、d、e]，第二角度序列为：[b1、c1、d1、e1、a1]，其中理想的匹配是两个序列中相同位置的元素字母相同，将第二角度序列中的元素位移一次得到一个第二角度子序列：[c1、d1、e1、a1、b1]，位移4次得到一个第二角度子序列：[a1、b1、c1、d1、e1]，此时[a1、b1、c1、d1、e1]与[a、b、c、d、e]之间的余弦相似度是最大的，最大的余弦相似度为子图与抓钩结构图的匹配度。
[0039]
获得每个子图与抓钩结构图的匹配度，获得匹配度大于第一阈值y=0.8的子图，记为抓取待选子图。
[0040]
在进行抓取的时候还需要考虑缝隙区域的面积，因此需要基于抓取待选子图中每个缝隙节点对应的缝隙区域的面积获得抓取待选子图的面积率；抓取待选子图中每个缝隙节点对应的缝隙区域的面积与抓取待选子图中缝隙节点对应的缝隙区域的面积的最大值的比值为每个缝隙节点对应的缝隙区域的面积比例值，抓取待选子图中每个缝隙节点对应的缝隙区域的面积比例值的和的平均值为抓取待选子图的面积率。
[0041]
抓取待选子图的面积率与匹配度的乘积为抓取待选子图的抓取匹配程度，获得抓取匹配程度最大的抓取待选子图。得到抓取匹配程度最大的抓取待选子图后需要得到抓钩的位姿调整参数，获得得到余弦相似度的最大值的时候第二角度序列中元素移位的次数，也即是得到抓取匹配程度最大的抓取待选子图与抓钩结构图的匹配度时第二角度序列中元素移位的次数，将第二角度序列中从第一个元素开始的预设数量的元素相加获得位姿调整参数，其中预设数量与所述第二角度序列中元素移位的次数相等。
[0042]
根据位姿调整参数在物料区域内调整抓钩的位姿，提高抓取的成功率。
[0043]
实施例2：本实施例提供了一种无人抓料机智能控制系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被处理器执行时实现一种无人抓料机智能控制方法的步骤。由于实施例1已经对一种无人抓料机智能控制方法进行了详细的阐述，此处不再过多介绍。
[0044]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围，均应包含在本技术的保护范围之内。