基于启发式的机器人柔性织物展平方法及系统

1.本发明涉及自动控制技术领域，具体为基于启发式的机器人柔性织物展平方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.织物的生产过程中，需要对织物展开成指定状态才能对其进行检测和操作，但由于织物具有高柔性、低摩擦以及材料各项异性的特点，并且存在自遮挡等问题，使得利用机器人展平织物时，难以精准、可靠的对其变形进行感知与操作。
4.目前利用机器人抓取织物进行展平的系统中，大部分通过传统的计算机视觉方法完成织物的识别和感知，需要进行大量的预处理以及结构化配置，难以准确表征织物的状态。系统的机器人运动控制部分也多是通过硬编码等方式操作织物，鲁棒性较差，这使得机器人难以自主的应对织物展平等操作任务。


技术实现要素：

5.为了解决上述背景技术中存在的技术问题，本发明提供基于启发式的机器人柔性织物展平方法及系统，受人工展平褶皱操作的启发，控制机器人的动作，可以对织物变形操作进行定量描述且可以适用于不同类型的织物展平操作。
6.为了实现上述目的，本发明采用如下技术方案：
7.本发明的第一个方面提供基于启发式的机器人柔性织物展平方法，包括以下步骤：
8.获取织物的图像信息并预处理，从预处理后的图像中筛选出织物的最大褶皱，得到最大褶皱的长度信息和中心点位置；
9.在每个展平动作周期内，沿织物最大褶皱的垂直平分线方向，使机器人抓取织物上距离最大褶皱中心点最近的一个角，拖拽最大褶皱长度一半的距离；
10.判断织物状态是否平整，否则重复上述步骤，是则完成织物展平。
11.获取织物的图像信息并预处理的过程，包括：
12.获取织物当前环境的彩色图像与深度图像；
13.利用训练好的模型从织物彩色图像中分割出织物前景图像；
14.利用训练好的模型从织物前景图像中提取织物的操作特征，包括织物的角位置和织物边缘的位置。
15.从预处理后的图像中筛选出织物的最大褶皱，得到最大褶皱的长度信息和中心点位置，包括：
16.基于织物深度图像利用滤波器提取褶皱像素；
17.利用区分褶皱的阈值和褶皱距离阈值对提取出的褶皱像素聚类形成褶皱簇；
18.选择像素最多的褶皱簇为最大褶皱，获取最大褶皱中像素x轴，y轴的最大值与最小值，得到最大褶皱的端点位置、长度以及中点位置。
19.机器人抓取织物拖拽期间，机械人的拖拽力大于织物的滑动摩擦力。
20.判断织物状态是否平整，包括：
21.获取织物轮廓区域内像素点个数n，设织物完全展开的情况下，轮廓区域内像素点个数为n，则织物的平整度重合度为n/n；
22.当织物的平整度重合度大于95％时，认为织物已经平整。
23.本发明的第二个方面提供实现上述方法的系统，包括：
24.分别与控制器连接的图像检测模块、拉力检测模块和机器人；图像检测模块采集织物的彩色与深度图像信息，提取图像的操作特征与变形特征；拉力检测模块利用机器人末端执行器的六维力传感器检测织物展平过程中的张力；控制器根据织物的操作与变形特征输出机器人末端执行器的位姿，带动末端执行器抓取织物进行展平动作。
25.本发明的第三个方面提供一种计算机可读存储介质。
26.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于启发式的机器人柔性织物展平方法中的步骤。
27.本发明的第四个方面提供一种计算机设备。
28.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于启发式的机器人柔性织物展平方法中的步骤。
29.与现有技术相比，以上一个或多个技术方案存在以下有益效果：
30.1、人工展平褶皱的经验是选择织物上最大的褶皱，沿着该褶皱中线垂直方向拉伸，则机器人从人工展平织物的操作中获得启发，在每个机器人展平动作周期内，沿最大褶皱的垂直平分线方向，抓取距离最大褶皱中心点最近的一个角，拖拽最大褶皱长度一半的距离，重复数次后获得平整的织物，可以对织物变形操作进行定量描述且可以适用于不同类型的织物展平操作。
31.2、通过深度学习网络提取织物图像的操作特征，可以避免传统机器视觉复杂的预处理以及结构化配置，使得实际应用过程更加快速可靠。
32.3、将机器学习与计算机视觉相结合，提供了一种检测识别织物最大褶皱的方法，可以快速准确的获取织物的变形特征。
附图说明
33.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
34.图1是本发明一个或多个实施例提供的机器人柔性织物展平执行过程示意图；
35.图2是本发明一个或多个实施例提供的柔性织物展平过程中的最大褶皱检测流程示意图；
36.图3是本发明一个或多个实施例提供的机器人柔性织物展平系统示意图。
具体实施方式
37.下面结合附图与实施例对本发明作进一步说明。
38.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
39.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
40.正如背景技术中所描述的，利用机器人抓取织物进行展平的系统中，大部分通过传统的计算机视觉方法完成织物的识别和感知，需要进行大量的预处理以及结构化配置，难以准确表征织物的状态。系统的机器人运动控制部分也多是通过硬编码等方式操作织物，鲁棒性较差，这使得机器人难以自主的应对织物展平等操作任务。
41.因此，以下实施例给出了基于启发式的机器人柔性织物展平方法及系统，受到人工展平褶皱操作的启发，人工展平褶皱时，会选择织物上最大的褶皱，然后沿着褶皱中线垂直方向拉伸，则每个机器人展平动作周期内，沿最大褶皱的垂直平分线方向，抓取距离最大褶皱中心点最近的一个角，拖拽最大褶皱长度一半的距离，重复数次后获得平整的织物，可以对织物变形操作进行定量描述且该策略可以适用于不同类型的织物展平操作。
42.实施例一：
43.如图1-2所示，基于启发式的机器人柔性织物展平方法，包括以下步骤：
44.获取织物的图像信息并预处理，从预处理后的图像中筛选出织物的最大褶皱，得到最大褶皱的长度信息和中心点位置；
45.在每个机器人展平动作周期内，沿最大褶皱的垂直平分线方向，控制机器人抓取距离最大褶皱中心点最近的一个角，拖拽最大褶皱长度一半的距离；
46.判断织物状态是否平整，否则重复上述步骤，是则完成织物展平。
47.具体的：
48.织物展平方法包括状态感知，特征提取，启发决策，操作执行四个部分。
49.采集待展平环境的图像，通过深度学习提取织物的变形特征与操作特征，进而形成织物状态的描述；
50.利用人工展平织物的操作经验，制定基于最大褶皱的启发式展平操作策略(人工展平褶皱的经验是选择布料上最大的褶皱，然后沿褶皱中线垂直方向拉伸，该策略是从人工展平操作经验中得到启发，仿照人工展平的操作规律，制定了基于最大褶皱的启发式展平操作策略)，选择机器人的操作点与展开动作，并在展开过程中利用力传感器控制机械臂末端拉力；
51.通过图像判断织物是否展平，依次重复执行，直到展平织物。
52.具体步骤如下：
53.(1)利用相机采集当前环境的彩色图像i与深度图像d。
54.(2)利用预训练好的gc-net网络模型从彩色图像i中分割出织物前景图像if。
55.(3)利用预训练好的u-net网络模型从织物前景图像if中提取织物操作特征a(a,
e)，包括角a(xn,yn)以及边缘{e(x1,y1),...,e(xn,yn)}。
56.(4)在织物前景图像if中检测织物褶皱并结合深度图像d提取织物最大褶皱的特征w(l,c)，包括褶皱长度l，褶皱中心c。
57.(5)利用提取的织物最大褶皱特征，结合人工展平褶皱织物时的操作经验，制定基于最大褶皱的启发式展平操作策略，获得机械臂展平操作的像素描述。
58.(6)在手眼标定的基础上，将展平像素描述转化为机械臂末端动作，执行展平操作，期间机械臂的拖拽力f大于织物的滑动摩擦力f。
59.(7)判断织物状态是否平整，否则返回步骤1，是则完成织物展平操作。
60.步骤2中，gc-net模型训练过程如下：
61.2.1采集织物环境图像，并利用labeme(一种图像数据标注工具)对织物进行标注，获取训练数据和标签数据。
62.2.2结合采集的数据与标签，利用均方根误差损失函数(rmse)训练网络，具体公式如下：
[0063][0064]
其中，yi和f(xi)分别表示第i个样本的真实值与预测值，m为数据样本个数。
[0065]
2.3训练结束保存结果最好的模型权重为预训练模型。
[0066]
步骤3中，u-net模型训练过程如下：
[0067]
3.1对分割后的织物图像，利用labelme对织物的角和边进行标注，获得数据集与标签。
[0068]
3.2结合采集的数据与标签，利用交叉熵损失函数l训练网络，具体公式如下：
[0069][0070]
其中，m为类别数量，此处为2，y
ic
是符号函数，如果样本的真实类别等于c则取1，否则取0，p
ic
为观测样本属于类别c的预测概率。
[0071]
3.3训练结束保存结果最好的模型权重为预训练模型。
[0072]
步骤4中，褶皱的检测与最大褶皱识别流程如图3所示：
[0073]
4.1对分割出来的织物图像应用方向为θn的gabor滤波器提取褶皱fn。
[0074]
4.2为进一步细化褶皱，利用织物深度图像，计算平均绝对偏差对褶皱进行进一步的滤波(深度阈值滤波)：
[0075][0076]
其中fn是褶皱的像素数，是第j个像素的深度值，rc是织物的平均深度值。
[0077]
4.3对计算出平均绝对偏差的褶皱像素(xn,yn),首先设置区分褶皱的阈值δ1，采用k-means聚类方法得到小褶皱簇{c1,...,cn}，再利用褶皱距离阈值δ2，将小褶皱簇{c1,...,cn}再一次进行聚类得到大褶皱簇{w1,...,wn}，其中每个wn中包含对应像素{n1,...,nn}。
[0078]
4.4选择像素最多的褶皱簇w
nmax
为最大褶皱，获取最大褶皱w
nmax
中像素x轴，y轴的
最大值x
max
，y
max
与最小值x
min
，y
min
，计算最大褶皱的端点(x
p1
,y
p1
)，(x
p2
,y
p2
)长度l以及中点(xc,yc)，筛选出最大褶皱：
[0079]
(x
p1
,y
p1
)＝(x
max
,y)
[0080]
(x
p2
,y
p2
)＝(x
min
,y)
[0081]
l＝max(|(x
max
,y)-(x
min
,y)|,|(x,y
max
)-(x,y
min
)|)
[0082][0083]
步骤5中，基于最大褶皱的启发式展平操作策略：
[0084]
该策略是从人工展平操作经验中得到启发，人工展平褶皱的经验是选择织物上直观最大的褶皱，然后沿着该褶皱中线垂直方向拉伸。
[0085]
因此，仿照人工展平的操作规律，制定基于最大褶皱的启发式展平操作策略，即在每个机器人展平动作周期内，计算最大褶皱的垂直平分线沿垂直平分线方向，抓取离最大褶皱中心c最近的一个角a(xi,yi)，拖拽的距离：
[0086][0087][0088]
步骤7中，判断织物状态平整：
[0089]
7.1分割织物图像，利用canny算子提取物料轮廓，统计轮廓区域内像素点个数n。设织物完全展开的情况下，轮廓区域内像素点个数为n，则织物的平整度重合度为：
[0090][0091]
7.2当co大于95％时，认为织物已经展平。
[0092]
上述过程给出了一种利用机器人展平柔性形变物体的方法，可以提高机器人操作变形物体的能力。
[0093]
人工展平褶皱的经验是选择织物上最大的褶皱，然后沿着褶皱中线垂直方向拉伸，重复数次后获得平整的织物，则机器人从人工展平织物的操作中获得启发，在每个机器人展平动作周期内，沿最大褶皱的垂直平分线方向，抓取距离最大褶皱中心点最近的一个角，拖拽最大褶皱长度一半的距离，可以对织物变形操作进行定量描述且该策略可以适用于不同类型的织物展平操作。
[0094]
该策略是从人工展平操作经验中得到启发，仿照人工展平的操作规律，制定了基于最大褶皱的启发式展平操作策略
[0095]
通过深度学习网络提取织物图像的操作特征，可以避免传统机器视觉复杂的预处理以及结构化配置，使得实际应用过程更加快速可靠。
[0096]
将机器学习与计算机视觉相结合，提供了一种检测识别织物最大褶皱的方法，可以快速准确的获取织物变形特征。
[0097]
实施例二：
[0098]
如图3所示，本实施例提供了实现上述方法的系统，包括：
[0099]
分别与控制器连接的图像检测模块、拉力检测模块和机械臂。
[0100]
图像检测模块由rgb-d相机采集织物的彩色与深度图像信息，提取图像的操作特征与变形特征。拉力检测模块利用机械臂末端六维力传感器检测织物展平过程中的张力。控制器根据织物的操作与变形特征输出机械臂末端位姿，进而带动末端执行器抓取织物进行展平动作，经过多次交互，最终展平存在变形的织物。
[0101]
上述系统受到人工展平褶皱操作的启发，人工展平褶皱时，选择织物上最大的褶皱，然后沿着褶皱中线垂直方向拉伸，重复数次后获得平整的织物，则从人工展平织物的操作中获得启发，在每个机器人展平动作周期内，沿最大褶皱的垂直平分线方向，抓取距离最大褶皱中心点最近的一个角，拖拽最大褶皱长度一半的距离，可以对织物变形操作进行定量描述且该策略可以适用于不同类型的织物展平操作。
[0102]
实施例三
[0103]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一中提出的基于启发式的机器人柔性织物展平方法中的步骤。
[0104]
本实施例中的计算机程序所执行的基于启发式的机器人柔性织物展平方法，受到人工展平褶皱操作的启发，人工展平褶皱时，选择织物上最大的褶皱，然后沿着褶皱中线垂直方向拉伸，重复数次后获得平整的织物，则从人工展平织物的操作中获得启发，在每个机器人展平动作周期内，沿最大褶皱的垂直平分线方向，抓取距离最大褶皱中心点最近的一个角，拖拽最大褶皱长度一半的距离，可以对织物变形操作进行定量描述且该策略可以适用于不同类型的织物展平操作。
[0105]
实施例四
[0106]
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时实现如上述实施例一提出的基于启发式的机器人柔性织物展平方法中的步骤。
[0107]
本实施例处理器执行的基于启发式的机器人柔性织物展平方法中，受到人工展平褶皱操作的启发，人工展平褶皱时，选择织物上最大的褶皱，然后沿着褶皱中线垂直方向拉伸，重复数次后获得平整的织物，则从人工展平织物的操作中获得启发，在每个机器人展平动作周期内，沿最大褶皱的垂直平分线方向，抓取距离最大褶皱中心点最近的一个角，拖拽最大褶皱长度一半的距离，可以对织物变形操作进行定量描述且该策略可以适用于不同类型的织物展平操作。
[0108]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0109]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0110]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0111]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0112]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
[0113]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。