一种基于机器视觉的工件定位方法及装置与流程

本发明涉及智能机器人技术领域，具体涉及一种基于机器视觉的工件定位方法及装置。

背景技术：

当前对于工件的分拣，包装主要还是依靠人工操作，这种原始的人工分拣、包装方式效率低下，难以适应对大批量工件的分拣与包装，另一方面，人工分拣相对于机械来说亦较容易出现错误。采用机械手代替人工操作对工件进行分拣与包装能有效加快工作效率，减少人工分拣时出现的错误。而采用机械手代替人工操作的前提条件是需要对工件进行准确的识别与定位。而如何对工件进行准确的识别与定位成为值得研究的问题。

技术实现要素：

为解决上述问题，本发明提供一种基于机器视觉的工件定位方法及装置，可以对工件进行准确的识别与定位。

为了实现上述目的，本发明提供以下技术方案：

一种基于机器视觉的工件定位方法，包括：

确定目标工件，采集kinect相机拍摄的图像，检测所述图像中包含所述目标工件图像的预测框；

根据所述预测框的回归坐标确定所述目标工件的轮廓，以及目标工件中心点的二维坐标；

获取所述kinect相机的标定参数，根据所述标定参数和所述目标工件中心点的二维坐标得出目标工件中心点的三维坐标；

将所述目标工件的轮廓和所述目标工件中心点的三维坐标作为目标工件的定位结果。

优选的，所述检测所述图像中包含所述目标工件图像的预测框，包括：

获取多张原始图像，所述原始图像中包含所述目标工件图像；

通过人工方式标注出每张所述原始图像中目标工件图像的区域框，将标注了区域框的原始图像作为训练图像，将多张所述训练图像作为训练图像集；

将所述训练图像集输入faster-r-cnn神经网络进行训练，输出测试框，其中，所述测试框包括工件框和背景框，所述faster-r-cnn神经网络的输出层包括背景标签和目标工件标签；

将所述测试框和区域框进行比对，根据所述比对结果将所述测试框划分为背景框和包含目标工件图像的工件框，直至完成对所述训练图像集的训练；

将完成训练后的faster-r-cnn神经网络作为检测模型；

将kinect相机拍摄的图像输入所述检测模型，检测出包含所述目标工件图像的预测框。

优选的，所述将所述测试框和区域框进行比对，根据所述比对结果将所述测试框划分为背景框和包含目标工件图像的工件框，具体为：

通过以下公式计算所述测试框和区域框的重合度：

其中，gt表示测试框，er表示区域框，area(gt∩er)为所述测试框和区域框的重叠区域，area(gt∪er)为所述测试框和区域框的合并区域，iou为所述测试框和区域框的重合度；

将所述重合度大于0.7的测试框作为工件框，将所述重合度小于0.3的测试框作为背景框。

优选的，所述根据所述预测框的回归坐标确定所述目标工件的轮廓，以及目标工件中心点的二维坐标，包括：

对所述预测框进行阈值化处理，生成二值化图像；

采用边缘检测算法检测所述二值化图像的边缘轮廓，通过最小外接矩形法获取所述边缘轮廓的最小外接矩形，将所述最小外接矩形作为目标工件的轮廓；

计算所述最小外接矩形的中心点坐标，将所述中心点坐标作为目标工件中心点的二维坐标。

进一步，所述根据所述标定参数和所述目标工件中心点的二维坐标得出目标工件中心点的三维坐标，具体为：

获取相机的标定参数，所述标定参数包括：相机在x轴上的焦距fx，相机在y轴上的焦距fy，相机在x轴上的光圈中心cx，相机在y轴上的光圈中心cy，深度图的缩放因子s，深度图的深度值d；

通过以下公式计算目标工件中心点的三维坐标：

d＝z·s

其中，(u,v)为目标工件中心点的二维坐标，(x,y,z)为目标工件中心点的三维坐标。

一种基于机器视觉的工件定位装置，所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下装置的模块中：

预测框检测模块，用于确定目标工件，采集kinect相机拍摄的图像，检测所述图像中包含所述目标工件图像的预测框；

目标工件确定模块，用于根据所述预测框的回归坐标确定所述目标工件的轮廓，以及目标工件中心点的二维坐标；

三维坐标模块，用于获取所述kinect相机的标定参数，根据所述标定参数和所述目标工件中心点的二维坐标得出目标工件中心点的三维坐标；

定位结果模块，用于将所述目标工件的轮廓和所述目标工件中心点的三维坐标作为目标工件的定位结果。

本发明的有益效果是：本发明公开一种基于机器视觉的工件定位方法及装置，首先确定目标工件，采集kinect相机拍摄的图像，检测所述图像中包含所述目标工件图像的预测框；进而根据所述预测框的回归坐标确定所述目标工件的轮廓，以及目标工件中心点的二维坐标；接着获取所述kinect相机的标定参数，根据所述标定参数和所述目标工件中心点的二维坐标得出目标工件中心点的三维坐标；最后将所述目标工件的轮廓和所述目标工件中心点的三维坐标作为目标工件的定位结果。本发明可以对工件进行准确的识别与定位。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一种基于机器视觉的工件定位方法的流程示意图；

图2是本发明实施例一种基于机器视觉的工件定位装置的结构示意图。

具体实施方式

以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如图1所示为一种基于机器视觉的工件定位方法，包括以下步骤：

步骤s100、确定目标工件，采集kinect相机拍摄的图像，检测所述图像中包含所述目标工件图像的预测框；

步骤s200、根据所述预测框的回归坐标确定所述目标工件的轮廓，以及目标工件中心点的二维坐标；

步骤s300、获取所述kinect相机的标定参数，根据所述标定参数和所述目标工件中心点的二维坐标得出目标工件中心点的三维坐标；

步骤s400、将所述目标工件的轮廓和所述目标工件中心点的三维坐标作为目标工件的定位结果。

本实施例首先对kinect相机拍摄的图像进行处理，检测所述图像中包含所述目标工件图像的预测框，初步确定所述目标工件图像的区域，进而根据所述预测框的回归坐标确定所述目标工件的轮廓，从而进一步提取所述目标工件的轮廓这一有效特征，在确定好所述目标工件的轮廓之后，即可确定目标工件中心点的二维坐标；接下来需要确定目标工件中心点的三维坐标，通过数学模型可以建立目标工件中心点的二维坐标到三维坐标的转换关系，在这个转换关系的数学模型中，所述kinect相机的标定参数为已知参数，在确定好具体的相机型号后即可获取得到，根据所述标定参数和所述目标工件中心点的二维坐标即可得出目标工件中心点的三维坐标，最后将所述目标工件的轮廓和所述目标工件中心点的三维坐标作为目标工件的定位结果，从而对工件进行准确的识别与定位。

在工件实际的加工生产环境中，分拣机器人往往需要在杂乱和非线性光照条件变化的环境下作业；另一方面，工件的零乱、堆叠摆放，尤其是五金工件材质的反光特性和非规则形状，这些复杂工况都加大了摄像机视觉识别的难度，视觉定位的精度也难以保证。

在一个优选的实施例中，所述步骤s100中，检测所述图像中包含所述目标工件图像的预测框，包括：

获取多张原始图像，所述原始图像中包含所述目标工件图像；

标注每张所述原始图像中目标工件图像的区域框，将标注了区域框的原始图像作为训练图像，将多张所述训练图像作为训练图像集。本实施例可通过人工方式对每张所述原始图像中目标工件图像的区域框进行标注。

将所述训练图像集输入faster-r-cnn神经网络进行训练，输出测试框，其中，所述测试框包括工件框和背景框，所述faster-r-cnn神经网络的输出层包括背景标签和目标工件标签；

将所述测试框和区域框进行比对，根据所述比对结果将所述测试框划分为背景框和包含目标工件图像的工件框，直至完成对所述训练图像集的训练；

将完成训练后的faster-r-cnn神经网络作为检测模型；

将kinect相机拍摄的图像输入所述检测模型，检测出包含所述目标工件图像的预测框。

本实施例可对复杂工况下的工件进行视觉识别与视觉定位，通过kinect相机获取rgb图像，再使用改进后的faster-r-cnn神经网络检测出目标工件的位置，把目标工件从复杂的背景中提取出来，得到目标工件在rgb图像中的位置，最后再结合kinect相机采集到的深度信息，最终得出目标工件的三维空间坐标。从而对目标工件进行视觉识别与视觉定位，便于分拣机器人对目标工件实现快速准确的抓取。

在一个优选的实施例中，所述将所述测试框和区域框进行比对，根据所述比对结果将所述测试框划分为背景框和包含目标工件图像的工件框，具体为：

通过以下公式计算所述测试框和区域框的重合度：

其中，gt表示测试框，er表示区域框，area(gt∩er)为所述测试框和区域框的重叠区域，area(gt∪er)为所述测试框和区域框的合并区域，iou为所述测试框和区域框的重合度；

将所述重合度大于0.7的测试框作为工件框，将所述重合度小于0.3的测试框作为背景框。

本实施例中，通过计算所述测试框和区域框的重合度，将所述测试框划分为背景框和包含目标工件图像的工件框进行有效分离，提高了视觉定位的精度。

在一个优选的实施例中，所述根据所述预测框的回归坐标确定所述目标工件的轮廓，以及目标工件中心点的二维坐标，包括：

对所述预测框进行阈值化处理，生成二值化图像。

本实施例所述阈值为rgb值，通过二值化处理，降低了图像处理的复杂度。在一个具体的实施例中，所述二值化处理的阈值为100。

采用边缘检测算法检测所述二值化图像的边缘轮廓，通过最小外接矩形法获取所述边缘轮廓的最小外接矩形，将所述最小外接矩形作为目标工件的轮廓；

本实施例中，所述二值化图像的边缘轮廓是对所述目标工件初步界定的轮廓，为提高对所述目标工件定位的精确度，采用最小外接矩形法获取所述边缘轮廓的最小外接矩形，将所述最小外接矩形作为目标工件的轮廓。

计算所述最小外接矩形的中心点坐标，将所述中心点坐标作为目标工件中心点的二维坐标。

在一个优选的实施例中，所述步骤s300具体为：

获取相机的标定参数，所述标定参数包括：相机在x轴上的焦距fx，相机在y轴上的焦距fy，相机在x轴上的光圈中心cx，相机在y轴上的光圈中心cy，深度图的缩放因子s，深度图的深度值d；

通过以下公式计算目标工件中心点的三维坐标：

d＝z·s

其中，(u,v)为目标工件中心点的二维坐标，(x,y,z)为目标工件中心点的三维坐标。

在一个实施例中，可将计算得出的目标工件中心点的二维坐标传回kinect传感器，结合kinect相机的标定参数，通过kinectsdk的map-color-frame-to-camera-space函数可得到目标工件中心点的三维坐标。

参考图2，本实施例还提供一种基于机器视觉的工件定位装置，所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下装置的模块中：

预测框检测模块100，用于确定目标工件，采集kinect相机拍摄的图像，检测所述图像中包含所述目标工件图像的预测框；

目标工件确定模块200，用于根据所述预测框的回归坐标确定所述目标工件的轮廓，以及目标工件中心点的二维坐标；

三维坐标模块300，用于获取所述kinect相机的标定参数，根据所述标定参数和所述目标工件中心点的二维坐标得出目标工件中心点的三维坐标；

定位结果模块400，用于将所述目标工件的轮廓和所述目标工件中心点的三维坐标作为目标工件的定位结果。

所述一种基于机器视觉的工件定位装置可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述一种基于机器视觉的工件定位装置，可运行的装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种基于机器视觉的工件定位装置的示例，并不构成对一种基于机器视觉的工件定位装置的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种基于机器视觉的工件定位装置还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(central-processing-unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital-signal-processor，dsp)、专用集成电路(application-specific-integrated-circuit，asic)、现成可编程门阵列(field-programmable-gate-array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种基于机器视觉的工件定位装置运行装置的控制中心，利用各种接口和线路连接整个一种基于机器视觉的工件定位装置可运行装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种基于机器视觉的工件定位装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart-media-card,smc)，安全数字(secure-digital,sd)卡，闪存卡(flash-card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。