基于机器视觉的大尺寸冲压板孔群防漏检测方法及装置

1.本发明涉及智能制造自动化装备领域，尤其涉及基于机器视觉的大尺寸冲压板孔群防漏检测方法及装置。


背景技术：

2.孔群防漏检测的关键在于对冲压孔群的识别检测。现有对漏孔群检测的方法主要是有利用上下运动检测装置穿过冲压孔群进行孔群防漏检测，缺点是不适应于多孔、小孔径、多种类图纸加工出的大尺寸板材混合冲压的情况。也有部分配合相机检测，但也需要传感器进行辅助，很难适用于大尺寸板材的多冲压孔检测，且效率较低。


技术实现要素：

3.针对现有技术存在的不足，本发明的目的是提供一种基于机器视觉的大尺寸冲压板孔群防漏检测方法及装置，采用yolov3框架对大尺寸冲压板孔群进行识别，利用图纸对应的dxf文件定位实际冲压孔坐标与yolov3识别结果作对比，其识别精度与效率均可以得到保证孔群防漏检测。
4.为了实现上述目的，本发明是通过如下的技术方案来实现：
5.第一方面，本发明的实施例提供了基于机器视觉的大尺寸冲压板孔群防漏检测方法，包括：
6.获取不同堆叠情况下板材堆叠图片；
7.对筛选后的图片进行标注，建立冲压板孔群检测的数据库并扩增数据库；
8.基于扩增数据库构建基于yolo v3网络的孔群防漏检测模型；
9.根据实际冲压板孔群位置验证yolo v3识别结果。
10.作为进一步的实现方式，将cad中的电子图纸导出为dxf文件；将图像中识别出的冲压孔分别用矩形标注，将图像像素数换算成板的实际尺寸，对应图像dxf文件的冲压孔信息进行孔群防漏检测。
11.作为进一步的实现方式，使用标注工具对图像中的无遮挡圆孔、全遮挡圆孔、残缺半圆孔、长圆孔情况分别进行标注，建立冲压板孔群检测的数据库并训练检测模型，其中训练集、验证集与测试集按照设定比例随机分配。
12.作为进一步的实现方式，将原始图片输入到特征提取网络中进行提取，每个卷积层后接一个批量归一化层和relu激活函数，输出多种尺度的特征图，然后将多种特征输入fpn特征金字塔进行融合，对每一种尺度的图像进行提取并产生多尺度的特征表示；最终将特征分别输入预测网络得到无遮挡圆孔、全遮挡圆孔、残缺半圆孔、长圆孔的位置预测。
13.作为进一步的实现方式，在提取dxf文件中冲压孔位置后，将检测到的冲压孔中心位置像素坐标换算为dxf文件中实物尺寸的坐标，最后将标注出的冲压孔位置信息与dxf文件进行匹配对比。
14.作为进一步的实现方式，将yolo v3的像素原点与dxf文件中的图像原点设置为一
致；在yolo v3识别之后，以检测到的冲压孔中心位置像素坐标换算为dxf文件中实物尺寸的坐标对比是否一致，进行孔识别。
15.作为进一步的实现方式，所检测冲压板孔为圆孔或长圆孔，对于长圆孔的信息主要针对两个圆的圆心x、y、z坐标以及圆半径信息，通过两个圆心的距离及圆半径做出等长宽矩形包围的长圆孔做后续对比检测。
16.第二方面，本发明的实施例还提供了基于机器视觉的大尺寸冲压板孔群防漏检测装置，包括相机，相机通过双轴运动模组安装于支架一侧，相机与工控机相连；
17.所述相机用于获取冲压板孔图像信息；
18.所述工控机包括处理器，处理器用于调用程序代码，执行权利要求1-7任一项所述的检测方法。
19.作为进一步的实现方式，还包括显示屏，用于显示检测结果。
20.作为进一步的实现方式，所述双轴运动模组由单片机控制。
21.本发明的有益效果如下：
22.(1)本发明结合深度学习进行孔群识别，可以在兼顾效率的同时有效地对冲压过后不同图纸加工出的大尺寸冲压板孔群进行防漏检测；
23.(2)在检测时，板材堆放在一起会出现无遮挡圆孔、全遮挡圆孔、残缺半圆孔、长圆孔的情况，本发明利用yolov3可识别出此类冲压板孔群，在进行训练之前将这四类情况进行分别标注提高识别准确性，最后通过图纸对应的dxf文件中冲压孔坐标与yolov3识别结果作对比，使得图纸冲压孔坐标与检测到的冲压孔坐标进行对比达到孔群防漏检测；对主要出现的无遮挡圆孔、全遮挡圆孔、残缺半圆孔、长圆孔的准确率高，可适用于有油污、板材生锈的情况；识别精度与效率高，检测时间小于加工时间，可以得到保证工序节拍的实时性要求。
24.(3)本发明利用工业相机结合深度学习将识别结果对比dxf文件中冲压孔位置，有效地对多种类图纸及不同孔径板材混合冲压的情况；能够提高工作效率。
附图说明
25.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
26.图1是本发明根据一个或多个实施方式的孔群防漏检测流程示意图；
27.图2是本发明根据一个或多个实施方式的冲压板孔群区域识别流程示意图；
28.图3是本发明根据一个或多个实施方式的装置结构示意图；
29.图4是本发明根据一个或多个实施方式的带有工业相机的丝杠滑轨示意图。
30.其中，1、工业相机，2、丝杠导轨滑台，3、第一电机，4、同步带导轨滑台，5、第二电机，6、单片机，7、工控机，8、显示屏。
具体实施方式
31.实施例一：
32.本实施例提供了基于机器视觉的大尺寸冲压板孔群防漏检测方法，包括：
33.获取不同堆叠情况下板材堆叠图片；
34.对筛选后的图片进行标注，建立冲压板孔群检测的数据库并扩增数据库；
35.基于扩增数据库构建基于yolo v3网络的孔群防漏检测模型；
36.根据实际冲压板孔群位置验证yolo v3识别结果。
37.具体的，如图1所示，包括以下步骤：
38.步骤一：将cad中的电子图纸导出为dxf文件。
39.dxf文件是一种矢量数据格式，可以解析不同的图形。本实施例针对所需要的不同尺寸的圆孔与长圆孔，例如圆的信息在dxf上显示为圆心坐标x，圆心坐标y，圆心坐标z以及圆半径信息。
40.由于长圆孔为两个相同半径的半圆弧之间用两条线段连接各自顶点，因此对于长圆孔的信息主要针对两个圆的圆心x、y、z坐标以及圆半径信息，通过两个圆心的距离及圆半径做出等长宽矩形包围的长圆孔做后续对比检测。
41.步骤二：建立冲压后板材堆叠时的数据集。
42.首先，调整好相机拍摄角度，开启补光灯后拍摄不同堆叠情况下板材堆叠图片。将采集到的500余张样本进行人工筛选，从中优选出450张图片使用labelimg对图像中的无遮挡圆孔、全遮挡圆孔、残缺半圆孔、长圆孔情况分别进行标注；建立冲压板孔群检测的数据库，用于训练孔群防漏检测模型，其中训练集、验证集与测试集按8:1:1的比例随机分配。
43.运用镜像操作、缩放、旋转、平移、剪裁以及添加噪声等常用的数据增强技术进行数据库扩充，使冲压板孔群识别数据库扩增为880张。
44.当然，在其他实施例中，样本张数、筛选出的图片张数以及扩增后的图片张数可根据实际情况调整。
45.步骤三：构建基于yolo v3网络的孔群防漏检测模型。
46.yolo v3是对深度卷积神经网络yolo的改进，该算法使用一个单独神经网络作用在图像上，将图像划分多个区域并且预测边界框和每个区域的概率。yolov3在保持速度优势的前提下，提升了预测精度，尤其是加强了对小物体的识别能力。其网络结构主要包含特征提取网络、特征金字塔fpn以及预测网络三个部分。
47.如图2所示，darknet53网络结构作为yolov3的骨干网络，该网络在特征提取时，引入了大量的残差结构，并且使用步长为2，卷积核大小为3
×
3卷积层conv2d，输出13
×
13、26
×
26、52
×
52三种尺度的特征图，在保证准确率的同时极大地提升了网络的运行速度。然后三种特征被输入fpn特征金字塔进行融合，对每一种尺度的图像进行提取并产生多尺度的特征表示，有利于对不同孔径的冲压板孔群进行检测。最终将特征分别输入预测网络得到无遮挡圆孔、全遮挡圆孔、残缺半圆孔、长圆孔的位置预测。
48.步骤四：dxf文件中实际冲压板孔群位置验证yolo v3识别结果。
49.yolo v3识别之后会将当前图片对识别到的无遮挡圆孔、全遮挡圆孔、残缺半圆孔、长圆孔进行标注。由于yolo v3是通过相机拍照出的照片进行识别，照片的尺寸为长度方向上所含的像素点数乘以宽的方向上所含的像素点数所得的像素数。将yolo v3的像素原点与dxf文件中的图像原点设置为一致。在yolo v3识别之后，以检测到的冲压孔中心位置像素坐标换算为dxf文件中实物尺寸的坐标对比是否一致，进行孔识别。
50.本实施例结合板材dxf文件对比yolov3识别出的冲压孔群区域，可快速高效的进行冲压孔群识别，有效地解决了人工检测时难以高强度工作等问题。
51.实施例二：
52.本实施例提供了基于机器视觉的大尺寸冲压板孔群防漏检测装置，如图3和图4所示，包括相机、双轴运动模组、支架、工控机7等，其中，相机采用工业相机1。
53.在本实施例中，双轴运动模组包括沿支架长度方向设置的水平移动模组以及与水平移动模组连接的升降运动模组，工业相机1安装于升降运动模组。水平移动模组包括同步带导轨滑台4，同步带导轨滑台4由第二电机5驱动；升降运动模组包括丝杠导轨滑台2，丝杠导轨滑台2由第一电机3驱动。
54.本实施例的第一电机3、第二电机5由单片机6控制。
55.工业相机1用于获取冲压板孔图像信息，工控机7包括存储器、处理器，存储器用于存储程序代码，处理器用于调用程序代码，执行实施例一所述的检测方法。本实施例还包括显示屏8，用于显示检测结果。
56.本实施例的工作原理为：
57.首先导入检测板的dxf文件，工控机7发送板长信息给单片机6控制同步带导轨滑台4运动，带动工业相机1拍摄，得到当前相机所在位置的图像，孔群防漏检测网络中开始检测，将图像中识别出的冲压孔分别用矩形标注出来。将图像像素数换算成板的实际尺寸，对应此张图像dxf文件部分的冲压孔信息进行孔群防漏检测。
58.进一步的，开始图像匹配对比，在提取dxf文件中冲压孔位置后，将检测到的冲压孔中心位置像素坐标换算为dxf文件中实物尺寸的坐标，最后将标注出的冲压孔位置信息与dxf文件进行匹配对比。将匹配对比结果显示在显示屏8上后，读取检测信息。检测完成若出现漏孔则进行报警，若检测合格由单片机6控制第二电机5运动至下一检测点。当前板检测合格后，由单片机6控制第一电机3将工业相机1向上移动，等待下一张板堆叠上之后进行检测。
59.冲压板孔群检测原理：将原始图片输入到特征提取网络(darknet53)中进行提取，每个卷积层后接一个批量归一化层和relu激活函数。输出13
×
13、26
×
26、52
×
52三种尺度的特征图，然后三种特征被输入fpn特征金字塔进行融合，对每一种尺度的图像进行提取并产生多尺度的特征表示，有利于对不同孔径的冲压孔进行检测。最终将特征分别输入预测网络得到无遮挡圆孔、全遮挡圆孔、残缺半圆孔、长圆孔的位置预测。
60.以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。