基于立体视觉识别传感器的定位夹持检测装置及方法与流程

本发明属于工程机械技术领域，具体涉及基于立体视觉识别传感器的定位夹持检测装置及方法。

背景技术：

目前，在工程中工作件的传送中主要是人工依靠目测进行分类、定位和分拣，但是，人工分类不精确，定位不准确，分拣劳动强度大，有时工作件含有毛刺还会伤害人的皮肤。视觉机器人可以代替人工作业，立体视觉具有检测三维目标的优势。

申请号为cn201810924835.4的中国专利公开了一种基于视觉识别的钢筋网片抓取系统，包括视觉识别机构、控制系统和钢筋网片夹取机构，视觉识别机构、钢筋网片夹取机构与控制系统信号连接，控利系统包括识别模块、匹配模块和定位模块；钢筋网片夹取机构包括夹具架、升降机构、行走平台和运输支架，运输支架设有横向轨道，夹具架上并排设有多组抓取夹具，升降机构可带动抓取夹具进行竖向运动，夹具架通过升降机构与行走平台相连，行走平台设有纵向轨道，夹具架可沿纵向轨道运动，行走平台设置在运输支架上并可沿所述横向轨道运动。该发明通过对待抓取的钢筋网片进行视觉识别，可实现了钢筋网片智能、自动化的转运和上线，节省钢筋网片转运时间，节省了人力成本，提高了生产效率。

申请号为cn201910210040.1的中国专利公开了一种基于线激光双目立体视觉的工件抓取方法，用线激光双目测量方法测投到置物平台激光线的三维数据；线激光完整扫置物平台，用线激光双目测量方法得置物平台轮廓三维数据；依置物平台轮廓三维数据得轮廓带法线点云图；提前输入系统的工件三维模型转为带法线点云数据；对模型、场景带法线点云数据均匀采样；依采样点云数据算模型任意两点点对特征生成四维查找表；依采样场景点计算场景任意两点点对特征；用四维查找表找模型相似点对；相似点对选最优匹配；匹配结果后验使结果准确；控制系统依匹配结果控制机械臂移动并抓工件。该发明抗环境干扰强；能准确识别目标工件；算法简单、计算量小、实时性好、可靠性高，能适应繁杂工艺过程，有良好应用前景。

然而，以上现有技术中的视觉定位和机构夹持仍存在难题，当视觉识别系统对目标锁定后，进行下一步的夹持动作时，由于夹持机构底部可能存在安装不到位的情况，会产生晃动，对夹持效果产生不利影响，尤其是缺乏对夹持机构的到位检测，夹持基准从一开始就出错，给视觉识别系统的定位余量计算带来偏差，致使夹持功能缺失。

技术实现要素：

针对现有技术中存在的上述不足之处，本发明提供了基于立体视觉识别传感器的定位夹持检测装置，用以解决现有夹持检测装置当视觉识别系统对目标锁定后，进行下一步的夹持动作时，由于夹持机构底部可能存在安装不到位的情况，会产生晃动，对夹持效果产生不利影响，尤其是缺乏对夹持机构的到位检测，夹持基准从一开始就出错，给视觉识别系统的定位余量计算带来偏差，致使夹持功能缺失的问题。

为了解决上述技术问题，本发明采用了如下技术方案：

基于立体视觉识别传感器的定位夹持检测装置，包括夹持机构、运输机构以及视觉检测机构，所述视觉检测机构置于运输机构的上方，所述视觉检测机构对运输机构上的目标物进行识别检测，获得目标物的定位信息，并将定位信息传输给外部控制系统，进而夹持机构对目标物进行夹持。

本发明的立体视觉识别所采用定位夹持装置通过视觉系统、人机交互、三维重构等，实时计算出目标物的三维坐标与姿态，将数据信号传输给外部计算机系统，通过软件分析，控制夹持机构对目标物就行定位夹持。

进一步，所述运输机构的外侧设有定位连接组件，所述定位连接组件包括连接下部和连接上部，所述连接下部设置于运输机构内，所述连接上部与运输机构两侧滑动连接，所述夹持机构与连接上部活动连接，其中，所述连接上部与连接下部配合，调节所述夹持机构在运输机构上的水平位置，并对目标物进行夹持检测。

本发明的定位夹持检测装置，安装方便，通过连接下部、连接上部的结合与分离的形式，改善了在定位夹持过程中出现的晃动问题，使得夹持基准在整个工作过程中不会出现偏差。

进一步，所述连接下部包括下部腔体、至少一个卡合单元，所述卡合单元转动连接于下部腔体的内侧，以及用于转动连杆，所述转动连杆的前端与卡合单元连接，以及弹性件，所述转动连杆的后端与所述弹性件连接，所述连接上部中设有至少一个引导单元，所述引导单元与连接上部的底部连接，所述引导单元上连接有转筒，所述卡合单元的两侧设有转筒连接块，所述连接上部向右滑动，所述转筒连接块将所述转筒固定，所述连接上部与连接下部相结合，所述连接上部向左滑动，所述弹性件回缩，带动所述转筒连接块转动，并脱离所述转筒，所述连接上部与连接下部相分离。

进一步，所述定位连接组件还包括滑轨组件，所述滑轨组件分为设置于连接下部两侧的滑轨一部以及设置于连接上部两侧的滑轨二部，所述滑轨一部与滑轨二部滑动连接。

滑轨一部与滑轨二部的配合形式，是为了保证连接上部相对连接下部滑动过程中的平顺性，避免因出现卡顿而晃动时，转筒连接块与转筒产生错位后，转筒连接块无法对转筒就行卡合，进而无法实现本发明的夹持稳定的效果。

进一步，所述视觉检测机构包括多个视觉识别相机、相机支架以及固定架体，所述固定架体设置于运输机构的上方并与运输机构的两侧连接，所述相机支架安装在运输机构的上方，并与固定架体连接，所述视觉识别相机通过相机支架与固定架体相连接。

进一步，所述视觉识别相机为两个，每个所述视觉识别相机通过千兆以太网接口与外部计算机系统连接。

进一步，所述定位连接组件与夹持机构之间设有机械臂，所述机械臂的底部与连接上部连接，所述机械臂的前部与夹持机构活动连接。

定位夹持检测装置，加入了机械臂，使得夹持更加稳定，同时也让有更佳的容错功能，尤其是适用于复杂环境下目标的定位夹持，能够实现夹持机构多轴运动。

进一步，所述机械臂有五轴，驱动源为伺服马达。

五轴的机械臂能实现全方面对夹持机构就行自由度的控制，增强了夹持机构对目标物夹持的效能。伺服马达可靠性强。

进一步，所述机械臂上还设有检测模块和控制模块，所述检测模块用于检测所述机械臂工作范围内的障碍物，以设置所述机械臂的安全工作区域，所述控制模块控制所述机械臂在安全工作区域内工作。

上述的基于立体视觉识别传感器的定位夹持检测装置的使用方法，包括以下步骤：

s1：装置的组装，将所述视觉检测机构置于运输机构的上方，所述连接上部与运输机构两侧滑动连接，所述夹持机构与连接上部活动连接，将所述固定架体设置于运输机构的上方并与运输机构的两侧连接，所述相机支架安装在运输机构的上方，并与固定架体连接，所述视觉识别相机通过相机支架与固定架体相连接，再将所述机械臂的底部与连接上部连接，所述机械臂的前部与夹持机构活动连接；

s2：视觉检测机构对目标物的定位与信息处理，通过视觉识别相机对目标物拍摄，获取用于校正拍摄图像畸变的相机内部参数，传回到外部计算机系统，得到两个相机之间的位置关系和用于双目校正的重投影矩阵，将识别信息作出的目标物定位信息传送到机械臂上的控制模块，机械臂控制夹持机构对目标物进行夹持；

s3：连接下部和连接上部的配合，所述卡合单元转动连接于下部腔体的内侧，以及用于转动连杆，所述转动连杆的前端与卡合单元连接，以及弹性件，所述转动连杆的后端与所述弹性件连接，所述连接上部中设有至少一个引导单元，所述引导单元与连接上部的底部连接，所述引导单元上连接有转筒，所述卡合单元的两侧设有转筒连接块，所述连接上部向右滑动时，所述转筒连接块与转筒相接触后，所述转筒被转筒连接块上的凹口内固定，连接上部与连接下部连接成一体，当所述连接上部向左滑动，所述弹性件回缩，带动所述转筒连接块转动，并脱离所述转筒，所述连接上部与连接下部相分离。

本发明与现有技术相比，具有如下有益效果：

1.本发明的立体视觉识别所采用定位夹持装置通过视觉系统、人机交互、三维重构等，实时计算出目标物的三维坐标与姿态，将数据信号传输给外部计算机系统，通过软件分析，控制夹持机构对目标物就行定位夹持；

2.本发明的定位夹持检测装置，安装方便，通过连接下部、连接上部的结合与分离的形式，改善了在定位夹持过程中出现的晃动问题，使得夹持基准在整个工作过程中不会出现偏差，具体采用卡合单元、引导单元的形式，可以让实施过程动作迅速，成本低，结构简，单轻便，连接上部在向右移动过程中，转筒与转筒连接块相抵接，将卡合单元向下按压，转动连杆转动，将弹性件拉伸，当连接上部移动到与预调节好后的夹持机构定位距离时，转筒进入到转筒连接块上的凹口内，完成固定锁定，相反过程为，连接上部在向左移动，弹性件恢复原长，进行收缩，带动转动连杆将卡合单元进行转动，从而转筒连接块与转筒相脱离，完成解锁过程，便于调节定位连接组件，使之对夹持机构进行针对性的调节，消除余量。

3.本发明的定位夹持检测装置加入了机械臂，使得夹持更加稳定，同时也让有更佳的容错功能，尤其是适用于复杂环境下目标的定位夹持，能够实现夹持机构多轴运动。

附图说明

图1为本发明基于立体视觉识别传感器的定位夹持检测装置实施例的主视结构示意图(去除视觉检测机构)；

图2为本发明基于立体视觉识别传感器的定位夹持检测装置实施例中连接上部的立体结构示意图；

图3为图2中a处的局部放大图；

图4为本发明基于立体视觉识别传感器的定位夹持检测装置实施例的主视结构示意图；

图5为本发明基于立体视觉识别传感器的定位夹持检测装置实施例中连接下部的立体结构示意图；

图6为图5中b处的局部放大图；

说明书附图中的附图标记包括：

夹持机构1、目标物10、运输机构2、传输带21、视觉检测机构3、视觉识别相机31、相机支架32、固定架体33；

定位连接组件4、连接下部41、下部腔体411、卡合单元412、转筒连接块4121、弹性件413、转动连杆414、连接上部42、引导单元421、转筒4211、滑轨组件43、滑轨一部431、滑轨二部432，机械臂5、检测模块51和控制模块52。

具体实施方式

为了使本领域的技术人员可以更好地理解本发明，下面结合附图和实施例对本发明技术方案进一步说明。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

实施例一：

如图1-6所示，本发明的基于立体视觉识别传感器的定位夹持检测装置，包括夹持机构1、运输机构2以及视觉检测机构3，视觉检测机构3置于运输机构2的上方，视觉检测机构3对运输机构2上的目标物10进行识别检测，获得目标物的定位信息，并将定位信息传输给外部控制系统，进而夹持机构1对目标物进行夹持。

本发明的立体视觉识别所采用定位夹持装置通过视觉系统、人机交互、三维重构等，实时计算出目标物的三维坐标与姿态，将数据信号传输给外部计算机系统，通过软件分析，控制夹持机构对目标物就行定位夹持。在检测时，将视觉系统安装在相机支架32上，相机支架32安装在运输机构2的上方，使两个视觉识别相机31正对运输机构2中的传输带21，且与检测平面保持一定的距离；将夹持机构1安装在位于传输带21旁边的机械臂5上，使夹持机构1可以夹到传输带21上的工作物。视觉检测机构3将检测信息返回外部的计算机系统，再机械臂5与夹持机构1执行夹持目标工件的动作。

运输机构2的外侧设有定位连接组件4，定位连接组件4包括连接下部41和连接上部42，连接下部41设置于运输机构2内，连接上部42与运输机构2两侧滑动连接，夹持机构1与连接上部42活动连接，其中，连接上部42与连接下部41配合，调节夹持机构1在运输机构2上的水平位置，并对目标物进行夹持检测。

本发明的定位夹持检测装置，安装方便，通过连接下部41、连接上部的结合与分离的形式，改善了在定位夹持过程中出现的晃动问题，使得夹持基准在整个工作过程中不会出现偏差。

连接下部41包括下部腔体411、至少一个卡合单元412，卡合单元412转动连接于下部腔体411的内侧，以及用于转动连杆414，转动连杆414的前端与卡合单元412连接，以及弹性件413，转动连杆414的后端与弹性件413连接，连接上部42中设有至少一个引导单元421，引导单元421与连接上部42的底部连接，引导单元421上连接有转筒4211，卡合单元412的两侧设有转筒连接块4121，连接上部42向右滑动，转筒连接块4121将转筒4211固定，连接上部42与连接下部41相结合，连接上部42向左滑动，弹性件413回缩，带动转筒连接块4121转动，并脱离转筒4211，连接上部42与连接下部41相分离。

当连接上部42在向右移动过程中，转筒4211与转筒连接块4121相抵接，将卡合单元412向下按压，转动连杆414转动，将弹性件413拉伸，当连接上部42移动到与预调节好后的夹持机构1定位距离时，转筒4211进入到转筒连接块4121上的凹口(图示未画出)内，完成固定锁定，相反过程为，连接上部42在向左移动，弹性件413恢复原长，进行收缩，带动转动连杆414将卡合单元412进行转动，从而转筒连接块4121与转筒4211相脱离，完成解锁过程，便于调节定位连接组件4，使之对夹持机构1进行针对性的调节，消除余量，具体采用的卡合单元412、引导单元421的形式，可以让实施过程动作迅速，成本低，结构简，单轻便。

定位连接组件4还包括滑轨组件43，滑轨组件43分为设置于连接下部41两侧的滑轨一部431以及设置于连接上部42两侧的滑轨二部432，滑轨一部431与滑轨二部432滑动连接。

滑轨一部431与滑轨二部432的配合形式，是为了保证连接上部42相对连接下部41滑动过程中的平顺性，避免因出现卡顿而晃动时，转筒连接块4121与转筒4211产生错位后，转筒连接块4121无法对转筒4211就行卡合，进而无法实现本发明的夹持稳定的效果。

通过视觉检测机构3检测到目标物10的三维空间坐标和姿态后，先使夹持机构1的开口的中心线对目标物10的中心。

视觉检测机构3包括多个视觉识别相机31、相机支架32以及固定架体33，固定架体33设置于运输机构2的上方并与运输机构2的两侧连接，相机支架32安装在运输机构2的上方，并与固定架体33连接，视觉识别相机31通过相机支架32与固定架体33相连接。

视觉识别相机31为两个，每个视觉识别相机31通过千兆以太网接口与外部计算机系统连接。

实施例二：

本实施例作为上一实施例的进一步改进，如图1-6所示，本发明的基于立体视觉识别传感器的定位夹持检测装置，包括夹持机构1、运输机构2以及视觉检测机构3，视觉检测机构3置于运输机构2的上方，视觉检测机构3对运输机构2上的目标物10进行识别检测，获得目标物的定位信息，并将定位信息传输给外部控制系统，进而夹持机构1对目标物进行夹持。

本发明的立体视觉识别所采用定位夹持装置通过视觉系统、人机交互、三维重构等，实时计算出目标物的三维坐标与姿态，将数据信号传输给外部计算机系统，通过软件分析，控制夹持机构对目标物就行定位夹持。在检测时，将视觉系统安装在相机支架32上，相机支架32安装在运输机构2的上方，使两个视觉识别相机31正对运输机构2中的传输带21，且与检测平面保持一定的距离；将夹持机构1安装在位于传输带21旁边的机械臂5上，使夹持机构1可以夹到传输带21上的工作物。视觉检测机构3将检测信息返回外部的计算机系统，再机械臂5与夹持机构1执行夹持目标工件的动作。

运输机构2的外侧设有定位连接组件4，定位连接组件4包括连接下部41和连接上部42，连接下部41设置于运输机构2内，连接上部42与运输机构2两侧滑动连接，夹持机构1与连接上部42活动连接，其中，连接上部42与连接下部41配合，调节夹持机构1在运输机构2上的水平位置，并对目标物进行夹持检测。

本发明的定位夹持检测装置，安装方便，通过连接下部41、连接上部的结合与分离的形式，改善了在定位夹持过程中出现的晃动问题，使得夹持基准在整个工作过程中不会出现偏差。

连接下部41包括下部腔体411、至少一个卡合单元412，卡合单元412转动连接于下部腔体411的内侧，以及用于转动连杆414，转动连杆414的前端与卡合单元412连接，以及弹性件413，转动连杆414的后端与弹性件413连接，连接上部42中设有至少一个引导单元421，引导单元421与连接上部42的底部连接，引导单元421上连接有转筒4211，卡合单元412的两侧设有转筒连接块4121，连接上部42向右滑动，转筒连接块4121将转筒4211固定，连接上部42与连接下部41相结合，连接上部42向左滑动，弹性件413回缩，带动转筒连接块4121转动，并脱离转筒4211，连接上部42与连接下部41相分离。

当连接上部42在向右移动过程中，转筒4211与转筒连接块4121相抵接，将卡合单元412向下按压，转动连杆414转动，将弹性件413拉伸，当连接上部42移动到与预调节好后的夹持机构1定位距离时，转筒4211进入到转筒连接块4121上的凹口(图示未画出)内，完成固定锁定，相反过程为，连接上部42在向左移动，弹性件413恢复原长，进行收缩，带动转动连杆414将卡合单元412进行转动，从而转筒连接块4121与转筒4211相脱离，完成解锁过程，便于调节定位连接组件4，使之对夹持机构1进行针对性的调节，消除余量，具体采用的卡合单元412、引导单元421的形式，可以让实施过程动作迅速，成本低，结构简，单轻便。

定位连接组件4还包括滑轨组件43，滑轨组件43分为设置于连接下部41两侧的滑轨一部431以及设置于连接上部42两侧的滑轨二部432，滑轨一部431与滑轨二部432滑动连接。

滑轨一部431与滑轨二部432的配合形式，是为了保证连接上部42相对连接下部41滑动过程中的平顺性，避免因出现卡顿而晃动时，转筒连接块4121与转筒4211产生错位后，转筒连接块4121无法对转筒4211就行卡合，进而无法实现本发明的夹持稳定的效果。

通过视觉检测机构3检测到目标物10的三维空间坐标和姿态后，先使夹持机构1的开口的中心线对目标物10的中心。

视觉检测机构3包括多个视觉识别相机31、相机支架32以及固定架体33，固定架体33设置于运输机构2的上方并与运输机构2的两侧连接，相机支架32安装在运输机构2的上方，并与固定架体33连接，视觉识别相机31通过相机支架32与固定架体33相连接。

视觉识别相机31为两个，每个视觉识别相机31通过千兆以太网接口与外部计算机系统连接。千兆以太网接口，pc标准接口，传输速率和距离都更高。是一种基于千兆以太网通信协议开发的相机接口标准，特点是快捷的数据传输速度和高达100米的传输距离。是近几年市场上应用的重点，使用方便，cpu资源占用少，可多台同时使用。

定位连接组件4与夹持机构1之间设有机械臂5，机械臂5的底部与连接上部42连接，机械臂5的前部与夹持机构1活动连接。

定位夹持检测装置，加入了机械臂5，使得夹持更加稳定，同时也让有更佳的容错功能，尤其是适用于复杂环境下目标的定位夹持，能够实现夹持机构多轴运动。

机械臂5有五轴，驱动源为伺服马达。

五轴的机械臂5能实现全方面对夹持机构1就行自由度的控制，增强了夹持机构1对目标物10夹持的效能。伺服马达可靠性强。

机械臂5上还设有检测模块51和控制模块52，检测模块51用于检测机械臂5工作范围内的障碍物，以设置机械臂5的安全工作区域，控制模块52控制机械臂5在安全工作区域内工作。

上述的基于立体视觉识别传感器的定位夹持检测装置的使用方法，包括以下步骤：

s1：装置的组装，将视觉检测机构3置于运输机构2的上方，连接上部42与运输机构2两侧滑动连接，夹持机构1与连接上部42活动连接，将固定架体33设置于运输机构2的上方并与运输机构2的两侧连接，相机支架32安装在运输机构2的上方，并与固定架体33连接，视觉识别相机31通过相机支架32与固定架体33相连接，再将机械臂5的底部与连接上部42连接，机械臂5的前部与夹持机构1活动连接；

s2：视觉检测机构3对目标物的定位与信息处理，通过视觉识别相机31对目标物拍摄，获取用于校正拍摄图像畸变的相机内部参数，传回到外部计算机系统，得到两个相机之间的位置关系和用于双目校正的重投影矩阵，将识别信息作出的目标物定位信息传送到机械臂5上的控制模块52，机械臂5控制夹持机构1对目标物进行夹持；

s3：连接下部41和连接上部42的配合，卡合单元412转动连接于下部腔体411的内侧，以及用于转动连杆414，转动连杆414的前端与卡合单元412连接，以及弹性件413，转动连杆414的后端与弹性件413连接，连接上部42中设有至少一个引导单元421，引导单元421与连接上部42的底部连接，引导单元421上连接有转筒4211，卡合单元412的两侧设有转筒连接块4121，连接上部42向右滑动时，转筒连接块4121与转筒4211相接触后，转筒4211被转筒连接块4121上的凹口内固定，连接上部42与连接下部41连接成一体，当连接上部42向左滑动，弹性件413回缩，带动转筒连接块4121转动，并脱离转筒4211，连接上部42与连接下部41相分离。

以上的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。