基于图像几何匹配的机器手控制系统及其控制方法与流程

本发明涉及机器控制系统，更具体地说是指基于图像几何匹配的机器手控制系统及其控制方法。

背景技术：

传统的干细胞制备基本上是手工加上半自动化设备完成的，制备过程需要大量的制备人员手工参与，手工制备存在效率低、感染几率高、出错率高、质量监控难等弊端，影响了干细胞产品的质量和对干细胞产品的带来污染的风险。

随着干细胞制备过程引进了全自动化的设备，特别是应用了无菌机器手，可以针对复杂繁琐的制备过程，通过柔性编程技术，实现仿人工的制备操作，解决了制备人员直接接触器具带来了对干细胞污染的风险。无菌机器手在干细胞制备过程中主要用来搬运离心管、冻存管等在干细胞制备过程中使用的重要容器，干细胞制备过程中，流程相对来说比较复杂、工序长，工作点位有离心机、称重平台、离心管开/关盖平台、冻存管开/关盖平台等。机器手搬运容器的指令动作过程为：机器手处于安全点位，等待主控制器指令；机器手收到主控制器发出的搬运路径号和工作使能，通过接收位置传感器的信号，判断搬运点有物料，放置点无物料；机器手运动到搬运点夹取物料，通过夹手位置传感器，判断物料已经在夹手内，然后通过预设的路径运行至放置点，松开夹爪，通过夹手位置传感器，判断已经把物料放置完毕；机器手回到安全点，反馈工作结果给主控制器，重复上述步骤。

无菌机器手的应用高效安全解决了干细胞制备容器在各个工位传递问题，规避了操作人员手工操作带来的污染风险，但同时也带了新的设备安全操作的问题，机器手长时间独立自动工作，除了有足够的指令与上位控制器交换，使上位控制器能及时准确掌握机器手的工作状态和工作结果，还必须有第三方监视反馈，确保机器手每步操作都是按照预定的路径运行，防止因指令交互的错误导致机器手的误动作；因为涉及的搬运物料离心管、冻存管等是非常重要的物料，多数里面已经有细胞悬液，有的搬运工序甚至是在容器没有关盖的状态下进行的，机器手上的夹手位置感应器只能判断夹手是否夹取容器，无法感知容器是否在水平状态；容器搬运点和放置点的位置传感器只能感知该处是否有容器，无法判断容器是否在水平状态和偏移情况，容器在工作位置的过度移位，对搬运前和搬运后的自动化工序操作都是有极大影响；而目前针对于上述的问题，大多只能人为解决，也就是人为进行监控后，并操作机器手进行容器的搬运，但是这样子的效率较低，且准确程度不高。

因此，有必要设计一种新的系统，实现增加自动监控的模块，实时监控机器手的操作状态，以提升机器手的操作效率和准确率。

技术实现要素：

本发明的目的在于克服现有技术的缺陷，提供基于图像几何匹配的机器手控制系统及其控制方法。

为实现上述目的，本发明采用以下技术方案：基于图像几何匹配的机器手控制系统，包括主控制器、机器手控制器、机器手、相机控制组件以及若干个相机；所述相机，用于采集机器手的操作图像；所述相机控制组件，用于对所述操作图像进行图像几何匹配，以得到匹配结果；所述主控制器，用于根据所述匹配结果输出对应的控制信号；所述机器手控制器，用于根据所述控制信号输出驱动信号；所述机器手，用于根据所述驱动信号进行容器的搬运工作。

其进一步技术方案为：所述相机控制组件包括图像获取单元、图像预处理单元、几何匹配单元、结果输出单元；其中，所述图像获取单元，用于获取相机所采集的操作图像；所述图像预处理单元，用于将操作图像转成灰度图像，并进行图像降噪和平滑处理，以得到预处理后的图像；所述几何匹配单元，用于检测预处理后的图像的对比序号，并结合预设的模板进行几何匹配，以得到匹配结果；所述结果输出单元，用于输出匹配结果。

其进一步技术方案为：所述相机控制组件还包括模板设置单元；其中，所述模板设置单元，用于创建模板，提取模板的几何特征信息，将特征和特征之间的空间关系进行组织，并存储在模板中，以形成预设的模板。

其进一步技术方案为：所述主控制器与所述机器手控制器通过以太网口连接。

其进一步技术方案为：所述机器手控制器与所述相机控制组件通过socket协议连接。

其进一步技术方案为：所述主控制器的型号为r04en。

其进一步技术方案为：所述主控制器上设有若干个连接接口，所述连接接口为rj45接口。

其进一步技术方案为：所述主控制器与所述相机控制组件通过socket协议连接。

本发明还提供了基于图像几何匹配的机器手控制系统的控制方法，包括：

相机采集机器手的操作图像；

相机控制组件对所述操作图像进行图像几何匹配，以得到匹配结果；

主控制器根据所述匹配结果输出对应的控制信号；

机器手控制器根据所述控制信号输出驱动信号；

机器手根据所述驱动信号进行容器的搬运工作。

其进一步技术方案为：所述相机控制组件对所述操作图像进行图像几何匹配，以得到匹配结果，包括：

获取相机所采集的操作图像；

将操作图像转成灰度图像，并进行图像降噪和平滑处理，以得到预处理后的图像；

检测预处理后的图像的对比序号，并结合预设的模板进行几何匹配，以得到匹配结果；

输出匹配结果。

本发明与现有技术相比的有益效果是：本发明通过设置相机控制组件以及若干个相机，以此构成机器视觉部件，利用相机控制组件以及相机进行图像识别，相机控制组件采用几何匹配的方式进行图像识别，可以实时监控机器手的工作过程，实现增加自动监控的模块，实时监控机器手的操作状态，以提升机器手的操作效率和准确率。

下面结合附图和具体实施例对本发明作进一步描述。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明具体实施例提供的基于图像几何匹配的机器手控制系统的示意性框图；

图2为本发明具体实施例提供的基于图像几何匹配的机器手控制系统的相机控制组件的示意性框图；

图3为本发明具体实施例提供的基于图像几何匹配的机器手控制系统的控制方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施方式对本发明作进一步详细说明。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行结合和组合。

如图1～3所示的具体实施例，本实施例提供的基于图像几何匹配的机器手控制系统100，可以运用在带有机器手103操作的环境中，比如干细胞培养的过程中。

请参阅图1，基于图像几何匹配的机器手控制系统100，包括主控制器101、机器手控制器102、机器手103、相机控制组件104以及若干个相机105；相机105，用于采集机器手103的操作图像；相机控制组件104，用于对操作图像进行图像几何匹配，以得到匹配结果；主控制器101，用于根据匹配结果输出对应的控制信号；机器手控制器102，用于根据控制信号输出驱动信号；机器手103，用于根据驱动信号进行容器的搬运工作。

相机105和相机控制组件104完成的是机器视觉部分的内容，机器视觉是人工智能正在快速发展的一个分支，在自动化生产过程中，常用机器视觉来替代人工视觉，用于提高生产的灵活性和自动化程度，机器手103在干细胞制备过程中的搬运工作，需要有类似人工视觉的监控手段，经过采集机械手和物料的图像，通过图像的预处理，最后以图像几何匹配的方式检测出当前物料位置与标定得物料位置在水平偏移和垂直旋转角度上的值，识别机器手103搬运过程中运行的路径是否正确及容器是否在安全的状态，确保干细胞制备过程的安全和可靠。

主控制器101在系统中主要是控制整个系统的，根据预先制定生产工艺，对机器手控制器102下达各种搬运任务，机器手103采用了史陶比尔tx60stericlean机器人，该机器人最大负载为9公斤，工作半径为670mm，机器手103采用特殊关节和全封闭式结构，防护等级ip65，能够应对vhp环境下的消毒工艺，机器手控制器102cs9提供支持ethercat、modbustcp、以太网socket协议的通信端口。

在本实施例中，上述的相机105的个数为三个，可以从两侧和顶部对机器手103和物料进行图像采集。相机105采用堡盟lxg-250c，该相机105为2500万像素的彩色相机105，传感器快门为全局类型，可以同时捕获整个画面的图像，适合用来拍摄运动的物体。相机控制组件104采用了工业计算机，里面安装了labview软件和imaqvison模块，该imaqvison模块是labview内置的视觉开发工具包，用于触发相机105采集图像和处理图像。

在一实施例中，请参阅图2，上述的相机控制组件104包括图像获取单元1041、图像预处理单元1042、几何匹配单元1043、结果输出单元1044；其中，图像获取单元1041，用于获取相机105所采集的操作图像；图像预处理单元1042，用于将操作图像转成灰度图像，并进行图像降噪和平滑处理，以得到预处理后的图像；几何匹配单元1043，用于检测预处理后的图像的对比序号，并结合预设的模板进行几何匹配，以得到匹配结果；结果输出单元1044，用于输出匹配结果。

预设的模板主要包括机器手103搬运过程安全可靠且准确时所采集的特征信息集成的模板。操作图像处理后借助该预设的模板进行匹配，当匹配结果显示匹配程度高，则表明当前机器手103的操作状态是正确的。当出现匹配结果显示匹配程度不高，也会进行对应的提醒，利用图像识别技术监视无菌机器手103搬运的工作过程是否安全可靠，准确率高。

用图像识别技术监视无菌机器手103搬运的工作场景分为三部分：搬运前物料形态位置检测、搬运过程中机器手103姿态和物料水平状态检测及搬运后物料形态和位置检测。搬运过程中，机器手103根据实际的路径会不停地改变自身的姿态，不需时刻拍摄机器手103的图像，只需要取路径上的特殊路径点，拍摄机器手103的图像，跟预先保存的图形模板对比和匹配，以此来判别机器手103和物料状态，减少相机控制组件104的计算工作量。

在一实施例中，请参阅图2，上述的相机控制组件104还包括模板设置单元1045；其中，模板设置单元1045，用于创建模板，提取模板的几何特征信息，将特征和特征之间的空间关系进行组织，并存储在模板中，以形成预设的模板。

图像的几何匹配首先是要创建一个或多个能表征搜索目标的模板，其次是提起模板的几何特征信息，然后将这些特征和特征之间的空间关系进行组织，并存储在模板中。图像几何匹配的算法分为两种，一种基于边缘的，另一种是基于特征的。在检测无菌机器手103工作时候，需要查看机器手103姿态和搬运的物料没有移位确摆放正确，只需要检测其边缘，再与预设的模板对比，判断其位置和旋转角度即可。

上述的模板设计单元主要设置的内容在nivison模板编辑器内创建一个标准的模板，进行学习，提取几何匹配模板曲线，在此过程中设定的参数包括抽取模式，分普通和均匀模式；边缘阈值；边缘滤波尺寸，分精细和普通模式，精细模式精度会更高；最小长度，即提起边缘最小象素长度；行搜索间距、像素单位；列搜索间距、像素单位。

另外，可以通过手工定义一些参数：屏蔽一些无需检测的区域；手工增加一些自定义的线。

模板设计单元还要设置被搜索的曲线参数以及设置图像搜索方法，图像搜索方法是指从被检测的图像中找出与学习过的模板类似的图像，包括匹配数量、旋转角度、分值、比例范围及算法等。分值从0-1000，分值越大，表示相似度越高，图像搜索方法的设置过程包括以下参数的设置：匹配数量；匹配最小分值；亚象素搜索；对比反正，分为原始、反转、二者都有三种方式；搜索策略；设置搜索旋转范围；设置搜索变化比例范围；设置闭合范围；算法，分为基于边缘与基于特征，当前选用基于边缘。

在本实施例中，匹配结果包括合格数量、位置、旋转角度、大小比例、匹配分数等。

举个例子：在不同的拍摄序号拍摄的图片，根据几何匹配所形成的匹配结果如表1所示。

表1.不同的拍摄序号拍摄的图片的匹配结果

其中，相机1051主要用来拍摄物料摆放是否水平，从测试图像序号2可以看出，物料倾斜角度过大，可以判定物料摆放为错误状态，从而避免了无菌机器手103错误执行相关的搬运工作。

在一实施例中，上述的主控制器101与机器手控制器102通过以太网口连接。

在一实施例中，上述的机器手控制器102与相机控制组件104通过socket协议连接。

在一实施例中，上述的主控制器101的型号为r04en。

在一实施例中，上述的主控制器101上设有若干个连接接口，连接接口为rj45接口。

在一实施例中，上述的主控制器101与相机控制组件104通过socket协议连接。

主控制器101使用了三菱最新一代r系列的中大型可编程序控制器，型号为r04en，自带160k字节的程序存储器，指令最快处理时间为0.98ns，同时有三个rj45接口，具有以太网、cc-linkie等工业总线功能。主控制器101与相机105控制器之间使用了以太网socket通信方式进行通信。

机器手控制器102与主控制器101通过以太网口连接，使用了modbustcp协议，机器手控制器102以modbustcp作为通信的服务器，主统控制器作为通信的客户端，由主控制器101主动连接机器手控制器102，根据机器手103动作控制的需求，机器手103会在通信端口定义一些输入和保持寄存器，作为系统控制器与机器手103指令和信息反馈的载体。机器手控制器102与相机控制组件104通过以太网以及socket协议连接，机器手控制器102以active模式主动连接相机控制组件104，通信内容为自定义的ascii码，ascii码与机械手控制器发送给相机105控制器请求的对应为：以开始符&开始，中间为相机105拍摄使能(y为拍摄，n为不需要拍摄)；最后以结束符％结束，以此形成ascii码。

相机控制组件104经过拍照、图像处理、图像检测后，应答机器手控制器102信息为：以开始符&开始，中间为相机105检测结果(o为通过，n为不通过)以及相机105拍摄检测图像对比序号，具体是三位数；最后以结束符％结束，以此形成ascii码。

无菌机器手103增加图像检测后的搬运流程如下：机器手103处于安全点位，等待主控制器101指令；机器手103收到主控制器101发出的搬运路径号和工作使能，通过接收位置传感器的信号和相机105检测结果，判断搬运点有物料，且摆放正确，放置点无物料；机器手103运动到搬运点夹取物料，通过夹手位置传感器，判断物料已经在夹手内，通过图像检测，判断物料在夹手上是否水平，然后通过预设的路径运行至放置点，在机器手103运行的路径中，选取特定图像检测位置，来查看搬运过程物料是否处于水平状态。搬运至放置点后，松开夹爪，通过夹手位置传感器，判断已经把物料放置完毕，最后通过图像检测，判断放置后的物料是否在正确的位置；机器手103回到安全点，反馈工作结果给系统控制器，重复上述步骤。机器手103的每一步工作都是在视觉检测监视下进行工作的，做到一边运行一边检测，确保机器手103执行任务的安全和准确。

上述的基于图像几何匹配的机器手控制系统100，通过设置相机控制组件104以及若干个相机105，以此构成机器视觉部件，利用相机控制组件104以及相机105进行图像识别，相机控制组件104采用几何匹配的方式进行图像识别，可以实时监控机器手103的工作过程，实现增加自动监控的模块，实时监控机器手103的操作状态，以提升机器手103的操作效率和准确率。

在一实施例中，请参阅图3，还提供了基于图像几何匹配的机器手控制系统100的控制方法，包括步骤s110～s150。

s110、相机105采集机器手103的操作图像。

在本实施例中，操作图像是指机器手103在路径上的特殊路径点所拍摄的图像，比如抓取容器该位置的图像。

s120、相机控制组件104对操作图像进行图像几何匹配，以得到匹配结果。

在本实施例中，匹配结果是指拍摄的操作图像与预设的图像进行几何匹配的匹配程度。

在一实施例中，上述的步骤s120可包括步骤s121～s124。

s121、获取相机105所采集的操作图像；

s122、将操作图像转成灰度图像，并进行图像降噪和平滑处理，以得到预处理后的图像；

s123、检测预处理后的图像的对比序号，并结合预设的模板进行几何匹配，以得到匹配结果；

s124、输出匹配结果。

在本实施例中，预处理后的图像是指图像转为灰度且进行图像降噪和平滑处理后形成的图像。

s130、主控制器101根据匹配结果输出对应的控制信号；

s140、机器手控制器102根据控制信号输出驱动信号；

s150、机器手103根据驱动信号进行容器的搬运工作。

需要说明的是，所属领域的技术人员可以清楚地了解到，上述基于图像几何匹配的机器手控制系统100的控制方法的具体实现过程，可以参考前述的基于图像几何匹配的机器手控制系统100实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。

上述仅以实施例来进一步说明本发明的技术内容，以便于读者更容易理解，但不代表本发明的实施方式仅限于此，任何依本发明所做的技术延伸或再创造，均受本发明的保护。本发明的保护范围以权利要求书为准。