一种非特定形状物体识别、定位与机械手抓取系统及方法

1.本发明属于机械手抓取领域，更具体地，涉及一种非特定形状物体识别、定位与机械手的抓取系统及方法。


背景技术：

2.近年来互联网技术发展迅速，自动化已成为工业生产中的主流。传统的人工生产已渐渐消失在视野中，新兴的工业机器人等更先进的生产设备迈入人们的视野。而对于零件生产这一行业，许多问题随之而来。全自动化的生产线，在面对不同种类的零件时该如识别？机械手该如何抓取？
3.目前，工业产线自动化的传统机械手进行物体抓取时，需要事先对待抓取目标的特征进行分析、编程，再配合机器视觉系统实现对特定目标的位置定位，最终指导机械手完成抓取过程。而且，现有技术中，视觉识别的算法只针对某些特点的零件，还无法做到完全对随机物体的识别，而且系统在坐标的计算上存在一定的投影误差，导致机械手在抓取物体的时候有着几毫米左右的误差。此外，机械手抓取的策略并未做到最佳，机械手在抓取过程中还存在一些多余的动作，因此抓取效率并不是很高。机械手在抓取物体的时候，会有着不理想的抓取姿势，从而使得抓取出现错误而导致机械手停止。机械手对抓取的物体有着大小的限制，所抓的物体既不能太大也不能太小。机械手在抓取物体的时候偶尔会有抓不稳导致物体掉下来的情况。
4.针对现有技术的以上缺陷，需要开发一种用于机械手的非特定形状物体识别、定位与抓取系统及方法。


技术实现要素：

5.针对现有技术的缺陷，本发明的目的在于提供一种非特定形状物体识别、定位与机械手抓取系统及方法，通过结合深度神经网络学习实现目标的自动判断和分类，并引导机械手实现对一定范围内位置随机的目标进行拾取，旨在解决现有技术中机械手的抓取不够灵活、适应性不足的问题。
6.为实现上述目的，本发明提供了一种非特定形状物体识别、定位与机械手抓取系统，其包括多自由度机械手、机器视觉成像模块和中央处理模块，其中，
7.多自由度机械手包括卡爪或/和吸嘴，多自由度机械手与中央处理模块相连接，以受中央处理模块控制，根据中央处理模块给出的平面运动坐标和目标外围尺寸执行对目标的拾取，
8.机器视觉成像模块包括工业相机和成像镜头，机器视觉成像模块与中央处理模块相连接，以将自身采集的图像数据传输给中央处理模块，
9.中央处理模块用于接收机器视觉成像模块采集的图像数据，对图像数据进行处理，提取目标轮廓，并根据目标轮廓结合标定后的物空间尺寸与像空间像素数量映射关系实现对每个目标的外形尺寸的测量，还用于采用深度神经网络模型依据目标外形尺寸对目
标进行分类，进而指导并控制多自由度机械手对目标进行识别、定位和拾取。
10.进一步的，中央处理模块内集成有图像处理子模块，图像处理子模块用于图像数据执行处理，具体为，通过直方图均衡化获得对比度改善的工作区域图像，再通过边缘提取算法实现对工作区域图像中的待拾取目标进行分割，将工作区域图像中所有的目标轮廓提取，以为后续的分析和处理提供数据基础。
11.进一步的，中央处理模块内还集成有尺寸测量子模块，其用于根据目标轮廓测量目标尺寸信息，目标尺寸信息包括外接矩形长宽比、矩形度和圆度，还用于据目标轮廓信息测量目标平面中心位置的实际空间坐标，用于后续对机械手拾取的引导。
12.进一步的，中央处理模块内还集成有目标分类子模块，其用于根据图像处理子模块提取的目标轮廓信息和尺寸测量子模块获取的目标尺寸信息，通过训练好的深度神经网络模型对目标进行分类，并在目标无法被分类到已知目标特性分类库中，则将其作为新的目标特征加入分类库。
13.进一步的，中央处理模块内还集成有拾取引导子模块，其用于根据工作区域内每个目标的位置信息和分类信息，按照设定的拾取方式引导机械手完成对目标的拾取工作。
14.按照本发明的第二个方面，还提供一种非特定形状物体识别、定位与机械手抓取方法，其包括如下步骤：
15.s1：采集获得图像数据，图像数据为数字格式，
16.s2：对数据格式的图像数据执行图像预处理，获取目标图像，利用边缘提取和亚像素分析获取目标图像中目标的边缘信息，并根据边缘信息确定其外接矩形，
17.s3：对每个目标的边缘信息和外接矩形进行配对，将配对结果存放于目标信息列表中，对列表中的每一个信息进行分析，计算出每个目标外接矩形的长、宽信息以及外接矩形中心位置坐标信息，并将信息存入目标信息列表中，用于对目标进行分类，
18.s4：利用预先训练好的分类用深度神经网络模型对目标信息进行分类，采用由输入层、多个隐藏层、输出层构成的深度神经网络作为分类网络，网络输入信息为目标轮廓及尺寸信息，输出为分类结果，
19.在进行目标分类时，如果发现新类型目标，首先排除其是已知目标发生位置重叠，如果仍然表现出新目标的特征，则将其视作第一次出现的新目标，将获取到的新目标数据加入到训练集中，并通过生成对抗神经网络产生大量与之特征相似的目标数据，再通过机器学习训练的方式更新深度神经网络模型的参数，实现对新出现的非特定对象目标的准确分类，
20.s5:指导并控制多自由度机械手按照设定方式对目标进行识别、定位和拾取，拾取非特定目标时，按照预定的收集方式将其放置到对应的收集空间中。
21.进一步的，步骤s4中，排除新类型目标是已知目标发生位置重叠的具体操作为，首先根据位置测量结果引导机械手运行到新类型目标附近，对新类型目标进行触碰操作，改变目标位置，再重新对工作区域进行图像采集，然后对新类型目标出现区域进行目标识别，如果其仍然表现出新目标的特征，则将其视作第一次出现的新目标。
22.进一步的，步骤s3中，计算出每个目标外接矩形的长、宽以及外接矩形中心位置坐标信息时，第一坐标系为空间坐标系，第二坐标系为图片坐标系，第三坐标系为机械手坐标系，图片坐标系以固定的拍摄所得图像为准建系，空间坐标系以置物平面的物体具体位置
为准，以置物平面为xy平面，竖直方向向上为z轴正方向建系，机械手坐标系以机械手运动时，运动前后的两个特征点的差异位置为准在实际空间上建系，通过一个矩阵完成对在第二坐标系的坐标向第一坐标系的转换，通过第二个矩阵完成对在第一坐标系的坐标向第三坐标系的转换。
23.进一步的，步骤s5中，多自由度机械手在放置目标后，将自身的位姿返还给外界的中央处理模块，以确认机械手的坐标是否是正确的，多自由度机械手在抓取目标前按照目标物体的大小进行排序，以此对物体进行抓取，并且按照种类和大小进行分类将不同的物体摆放到对应地不同位置。
24.进一步的，步骤s2中，图像预处理包括灰度拉伸、直方图均衡化、平滑滤波、畸变校正、白平衡校正中的一种或者多种，步骤s5中，指导并控制多自由度机械手按照设定方式对目标进行识别、定位和拾取时，设定方式是指按照目标大小，形状或/和色域进行坐标的排序后的方式。
25.本发明通过提取视野的零件的信息来识别不同的零件，其主要途径包括对零件外接矩形长宽比的计算，对零件矩形度，圆度的计算。考虑到模版匹配所需的参数较多且复杂，在计算时需要更多的时间，参数的设置对于速度和结果有着较大的影响，因此并没有选用模版匹配进行待抓取对象的识别，而是对零件的长宽比、矩形度和圆度进行区分，这种方法无疑使得本发明方法和系统更为高效。而对于机械手的抓取，本发明申请的算法设计使得机械手能在抓取时自动地调整位姿，使得抓取更为精确，同时通过操作面板与程序能实现对机械手较为精确的控制。
26.机械手在放置物体后，会将自己的位姿返还给电脑或者工控机，因此可以做到一定程度的监控，来确认机械手的坐标是否是正确的。机械手在抓取物体前可以按照物体的大小进行排序来以此对物体进行抓取，并且按照种类和大小进行分类将不同的物体摆放到不同的位置。
27.总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
28.本发明系统中，通过结合机器视觉并结合深度学习方法的思想，构造深度神经网络模型实现对首次出现目标的自动判断与分类，并将这些特征自动合并到长期积累的目标特征信息库中，在此后的应用中能够自适应的对非特定目标实现智能识别、分类与位置测量。本发明申请的系统和方法在机器视觉系统拍摄工作区域图像的基础上，通过结合人工智能技术的图像处理算法，实现对目标的尺寸测量、外观特征分析、遮挡情况识别、特性分类与位置测量，在此基础上实时给出最优化目标拾取方案，引导机械手快速、准确、有序的对随机位置、随机种类、可能存在遮挡目标进行拾取。
附图说明
29.图1是本发明实施例提供的非特定形状物体识别、定位与机械手抓取系统进行工作的流程示意图。
具体实施方式
30.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对
本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
31.本发明的非特定形状物体识别、定位与机械手抓取系统主要包括功能平台部分和集成在功能平台部分的子模块部分，功能平台部分包括多自由度机械手、机器视觉成像模块和中央处理模块，集成在功能平台部分的子模块部分包括图像处理子模块、尺寸测量子模块、目标分类子模块和拾取导引子模块，这两个部分相互配合实现本发明申请所设计的对非特定形状目标进行识别、定位于抓取的功能。
32.其中，多自由度机械手可以根据任务需要选择不同构成方式、不同负载能力和不同运动精度的产品，其基本要求是要具备根据给定的机械手平面运动坐标和目标外围尺寸信息，利用机械手配备的卡爪、吸嘴等部件实现对目标的准确抓取。机器视觉成像模块由高分辨率工业相机、成像镜头、照明光源及其安装结构构成，其中高分辨率工业相机的分辨率由需要拾取的目标的最小尺寸和成像镜头的焦距参数决定，而成像镜头的焦距、光圈等参数则需要根据待探测的工作区域范围来计算得到，照明光源用来对目标和工作区域进行有效照明，根据待测目标表面颜色和反射率特性以及工作区域背景反射特性等计算得到。模块中的安装结构负责保证机器视觉成像模块与机械手之间处于相对固定的空间位置，方便后期对机械手进行导引时确定坐标转换矩阵并提高导引精度。中央处理模块主要负责软件系统的运行，包括采集相机的图像数据、运行分析软件给出导引数据、控制机械手和机器视觉成像模块的各部件按照给定的参数和坐标位置正常工作。
33.中央处理模块集成有多个子模块，包括图像处理子模块、尺寸测量子模块、目标分类子模块和拾取引导子模块，各个模块具体的作用如下：
34.图像处理子模块对机器视觉系统采集的工作区域图像进行图像处理，通过直方图均衡化等图像预处理方法获得对比度改善的工作区域图像，再通过边缘提取算法实现对其中的待拾取目标的分割，将工作区域中所有的目标轮廓准确提取出来，为后续的分析和处理提供数据基础。
35.尺寸测量子模块在图像处理模块获得了工作区域内所有目标轮廓信息的基础上，通过标定后的物空间尺寸与像空间像素数量映射关系实现对每个目标的外形尺寸的测量，同时根据目标轮廓信息测量其平面中心位置的实际空间坐标用于后续对机械手拾取的引导。
36.目标分类子模块利用图像处理模块提取的目标轮廓信息和尺寸测量模块获取的目标尺寸信息，通过训练好的深度神经网络对其进行分类，如果目标无法被分类到已知目标特性分类库中，则将其作为新的目标特征加入分类库。
37.拾取引导子模块通过前面所有模块处理后得到的工作区域内每个目标的位置信息和分类信息，按照既定的逻辑引导机械手完成对目标进行拾取的工作。
38.图1是本发明实施例提供的非特定形状物体识别、定位与机械手抓取系统进行工作的流程示意图，结合该图以及非特定形状物体识别、定位与机械手抓取方法可知，本发明方法主要包括如下步骤：
39.(1)、机器视觉成像模块对工作区域进行成像探测，光源均匀照明工作区域中的目标，经过成像镜头成像在高分辨率工业相机像面上，所形成的图像经过数字信号传输线传输到中央处理模块，由该模块采集后存储为数字格式图像供后续步骤处理使用。
40.(2)、数字格式图像送入图像处理模块，首先通过计算机图形学中灰度拉伸、直方图均衡化、平滑滤波、畸变校正、白平衡校正等图像预处理手段，获取高对比度、低噪声、无失真的目标图像；随后利用边缘提取和亚像素分析算法分析获取图像中目标的高精度边缘信息；最后利用分析得到的目标边缘确定其外接矩形，用于进一步的尺寸测量。
41.(3)、对每一个分析得到的目标的边缘轮廓和外接矩形进行配对，将其存放于目标信息列表中，利用尺寸测量模块对列表中的每一个信息进行分析，计算出外接矩形的长、宽信息以及矩形中心位置坐标信息，并将信息存入目标列表中，用于下一步对目标进行分类。
42.(4)、利用预先训练好的分类用深度神经网络对目标信息进行分类，分类的依据是测量得到的尺寸和目标的具体轮廓信息，由于随机放置的目标在被拍摄的时候可能处于各种姿态，拍摄的图像处理得到的外轮廓可能有各种不同的形状，测量得到的尺寸也会有差异，因此不能采用简单的线性模型直接对其进行分类。考虑采用由输入层、多个隐藏层、输出层构成的深度神经网络作为分类网络，网络输入信息为目标轮廓及尺寸信息，输出为分类结果，以先验测量数据作为训练数据对模型进行训练，所得到神经网络模型能够以99％以上的准确率对已知目标进行分类。如果出现无法准确分类的情况，则考虑可能是第一次出现的新类型目标，进入下一步操作。
43.(5)、对分类中出现的新类型目标，必须首先排除其是已知目标发生位置重叠后在二维图像上出现特征不同而误分类的情况，因此每次发现有新目标后，首先根据位置测量结果引导机械手运行到目标附近，对目标进行小幅度触碰操作，轻微改变目标位置，再利用机器视觉系统对工作区域进行拍摄，然后重点对新目标出现区域进行目标识别，如果经过机械手操作后仍然是一个目标，而且仍然表现出新目标的特征，则将其视作第一次出现的新目标，将获取到的新目标数据加入到训练集中，并通过生成对抗神经网络产生大量与之特征相似的目标数据，用来充实新类型的训练数据，再通过机器学习训练的方式更新深度神经网络的参数，实现对新出现的非特定对象目标的准确分类。
44.(6)、在得到工作区域内所有目标的轮廓、位置及其分类信息列表后，控制软件根据拾取逻辑确定拾取顺序，并按照顺序指引机械手运动到相应的实际坐标位置，拾取非特定目标，然后按照约定的收集方法将其放置到对应的收集空间中。
45.本发明中，“眼”比如系统视觉部分，通过一系列的图像处理，确定目标位置，“手”比如系统的机械手运动部分，包括机械手的抓取和放置，手眼结合的部分，包括数据传输和坐标转换将系统的“手”和“眼”结合起来。
46.本发明的一个实施例中，利用halcon软件完成相关图像处理，具体的，在给定背景和充足光源的条件下，通过照相获取原始图片，利用halcon进行图像矫正，消除像差，获得基本置物平面上的矩形视场图片，通过在halcon上下载下来的n*n标准标定板，按照其尺寸确定视场的正确，即图像位置和实际位置相匹配。通过halcon强大的视觉处理能力，将视野中每个待抓取物体的外接矩形提取出来，并通过对矩形的长宽比和面积等特点来实现不同种类物体的识别。将扫描到的各个物体进行分类，以如大小，形状，色域等因素为基准分类，再对这些图片坐标以使用者要求的顺序如按照大小形状色域等进行坐标的排序。目前，在项目中所使用的物体主要是工业中的常用零件，比如螺母，螺帽这种在形状上有着明显特征以及具有较为规则的形状，相对比较容易识别和分类。
47.机械手进行对目标物体的抓取和放置时，需要对机械手运动路径设置。因为机械
手的自身影响，周围金属框架的制约和置物平面上待抓取小物体的阻挡，规划机械手在实施抓取前的移动路径，可以避免机械手的运动被阻挡以及机械手对原有场景的破坏。抓取时，机械手臂按照顺序获取零件的初始坐标，移动机械手臂至初始坐标处。机械手臂通过图片预置长度的大小计算出被测物体的合理被抓取角度，控制二指机械爪转向。机械手臂根据当前特征点的横纵坐标差异计算预置长度的竖直坐标落点，调整竖直坐标移动到目标位置，收紧机械爪。机械手臂识别未夹起待抓取物体时，会获取到下一个目标的坐标直至抓取起物体。机械手臂夹起待抓取物体后，根据当前特征点的位置识别到达物体放置位置的路径，规划机械手的行进方向，避免机械手的运动被阻挡或者破坏原有的置物场景。机械手臂识别特征点到达预定置物位置上方时，会缓缓下落，下落期间会一直检查机械手的受力情况，如机械手受到一个向上的力，则会判断机械手下降到了底端，机械手会放开机械抓，进行抓取，机械手会根据零件的种类放置到不同的地方。此外，机械手会根据所抓取物体的大小不同而进行分类，会根据不同的面积的区间把零件放到不同的地方。控制机械手的工控机上会实时显示机械手抓取目标物体的坐标以及机械手将物体放置在目标位置的坐标，起到监控的效果。
48.本发明中，将机器视觉的信息转换成机械手臂可利用的信息时，相当于将“手”和“眼”进行结合，主要需要进行坐标转换和数据传输。进行坐标转换时，第一坐标系为空间坐标系，第二坐标系为图片坐标系，第三坐标系为机械手坐标系，图片坐标系以固定的拍摄所得的halcon中图片为准建系，空间坐标系以置物平面的物体具体位置为准，以置物平面为xy平面，竖直方向向上为z轴正方向建系，机械手坐标系以机械手运动时，运动前后的两个特征点的差异位置为准在实际空间上建系，通过一个矩阵完成对在第二坐标系的坐标向第一坐标系的转换，通过第二个矩阵完成对在第一坐标系的坐标向第三坐标系的转换。获得图像处理的数据排列中的坐标后，进行坐标变换，运用redis数据库进行图像处理和机械手臂系统的热数据的快速传输，在数据库中进行坐标的数据交互。
49.在本发明的一个实施例中，基于优傲机器人公司的universal robots e5，搭配二指机器爪进行有效工作半径最高850毫米，最大重量五公斤的抓取任务。围绕机械臂在四周搭设金属框架，其中确保在俯视图上机械臂位于金属框架矩形投影一条边上的中点位置，确保ccd相机离置物平面的竖直距离比如为88cm。选择了jai公司的go-5100m-usb相机，该相机ccd靶面是2/3寸，根据计算和最后的实际匹配，采用了焦距f＝16mm的镜头，以得到相机覆盖到50cm*40cm的矩形视场。光通量e＝(1/(d*d))*lnx，d为光源至被测物体的距离，x为发光强度得物体至镜头的距离(工作距离)wd。通过已知的传感器成像面高度hi和被测物尺寸(视场高度)ho计算图像放大倍数pmag，pmag＝sensor size(mm)/field of view(mm)＝hi/ho。利用公式计算所需的焦距f，f＝wd*pmag/(1+pmag)，选取与计算值最接近的标准镜头产品，并取其焦距值。标准镜头焦距比如为：8mm、12.5mm、16mm、25mm和50mm。根据所选镜头焦距重新核算镜头到物体的距离wd。其中，le＝di-f＝pmag*f，pmag＝di/wd或者wd＝f*(1+pmag)/pmag，换算成中文为：分辨率＝感光芯片尺寸/像素尺寸＝视野长或宽/检测精度。基于所搭载的飞创义达光学平台，在置物平面上可以采用pvc版和纯黑色幕布搭建比如90cm*90cm大小的置物区域，同时在这样的对比下，不另外添加光源。
50.本发明中，构建了一套结合机器视觉成像和非特定形状目标自适应识别智能算法的物体识别、定位与抓取系统，实现了无需对待抓取目标实现分析或编程，直接利用人工智
能算法配合边缘计算模块对新出现的外形、尺寸不同的物体进行自动分类、识别，通过定位算法实现高精度定位并指导机械手对任意形状、尺寸的非特定目标进行准确抓取。
51.本发明所设计的目标自适应识别智能算法利用了深度神经网络和机器学习的设计思想，通过构造并训练神经网络，实现对外形特征、尺寸参数的自动抽取和聚类，并根据分类结果自适应判断是否要增加物体种类，从而实现对任意新特性的非特定物体的高效自适应识别。
52.本发明中，所设计的机器视觉成像模块与机械手的空间安装基准相对固定，通过高精度标定算法实现图像坐标和机械手空间坐标的快速、高效转换，实现结合图像处理算法的人工智能物体识别、定位功能，指导机械手按照指令获取特定特征目标或按照目标特征对目标进行分类拾取。
53.本发明具有如下两个较为巧妙和新颖的方面：(1)、智能自适应新目标分类。智能制造领域对柔性生产的需求日益增多，现代智能产线中会出现需要对大量小批次、多规格、随机出现的零件或部件进行搬运、组装操作的需求，传统机械手在进行零件搬运时，必须首先知道要搬运的目标的尺寸、外形等特征，经过分析、事先编程后才能实现准确、可靠的抓取。本发明申请通过结合机器视觉和深度学习方法，构造深度神经网络实现对首次出现目标的自动判断与分类，并将这些特征自动合并到长期积累的目标特征信息库中，在此后的应用中能够自适应的对非特定目标实现智能识别、分类与位置测量。(2)、自适应、实时指导机械手自动拾取目标。现阶段工业自动产线上机械手拾取目标的方式大多基于固定目标位置的定点拾取，极少数应用中采用了机器视觉引导机械手实现了对一定范围内位置随机的目标的拾取功能，一旦产品种类繁多、数量众多、摆放位置随机甚至相互之间出现遮挡，系统就无法实现有效识别和拾取了。本发明申请的系统在机器视觉系统拍摄工作区域图像的基础上，通过结合人工智能技术的图像处理算法，实现对目标的尺寸测量、外观特征分析、遮挡情况识别、特性分类与位置测量，在此基础上实时给出最优化目标拾取方案，引导机械手快速、准确、有序的对随机位置、随机种类、可能存在遮挡目标进行拾取。
54.本发明系统和方法可以在如下领域进行应用：(1)自动产线上的零件分拣：因为零件的精细，可以通过系统将不同的零件通过大小，重量，形状，颜色进行分类，自动分拣到不同的区域内，大大减少人力物力；(2)柔性制造当中的智能分类：柔性制造系统是建立在成组技术的基础上，由计算机控制的自动化生产系统，可同时加工形状相近的一组或一类产品。适合多品种、小批量的高效制造模式，在不同品种下，根据品种的个性差异，可以将本发明申请的系统融入其中，实现智能分类，减少毛坯和在制品的库存量，减少直接劳动力。除此之外，在很多需要分类的地方，都可以应用本发明申请的系统和方法。
55.本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。