一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统与流程

本发明属于机械零部件损伤监测与诊断领域，尤其涉及一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统。

背景技术：

钢丝绳作为矿井提升机、工程起重机、索道、电梯等复杂机械系统的重要承载部件，其健康状况直接关系到使用者的生命和财产安全。所以对钢丝绳的健康状况进行实时的监测和诊断显得十分重要。通过视觉方法检测钢丝绳表面状况是一种直观、有效的方法。

目前采用的机器视觉方法主要存在以下问题：1)现有的研究多默认为获取的钢丝绳图像数据规范，即钢丝绳位姿正常，而实际中由于工作环境和监测对象的影响，所获取的钢丝绳图像不一定位于图像正中间且不一定处于水平或垂直状态；所获取的图像含有大量背景信息，从而造成不必要的计算，同时诊断结果受到背景信息的影响。2)现有诊断方法需人工选择和提取特征，机器学习从原始数据中不能生成有辨别能力的特征；同时，缺陷样本的数量不足以训练一个健壮的分类器。

随着人工智能的快速发展，结合适当的图像预处理，深度学习可作为一种解决上述问题的高效方法。深度学习作为一种先进的端对端方法，可自适应的从原始信号中学习特征的深层次表达，可避免复杂的人工特征提取过程。自从2006年深度学习的提出，深度学习已被广泛应用于文字识别、语音识别、图像识别等领域。在机械损伤检测与诊断领域，一些深度学习算法也已经被逐渐利用，取得了较传统算法更好的结果。

鉴于传统方法的局限性以及深度学习的优势，本发明将深度学习方法引入到钢丝绳表面缺陷的监测当中，对保障钢丝绳的可靠性和安全性意义重大。

技术实现要素：

本发明针对上述不足提供了一种基于图像处理和深度学习的钢丝绳表面缺陷智能检测方法与系统，融合机器视觉技术、图像处理方法和深度学习算法，以高效地检测和识别钢丝绳表面缺陷。

本发明采用如下技术方案：

一种基于深度学习的在役钢丝绳表面缺陷检测方法，包括图像采集、原始图像数据规范化预处理、建立分类器和在线智能诊断四个步骤，具体步骤如下：

步骤1，图像采集：对运行中的钢丝绳图像进行周向采集，记录下每张图像中钢丝绳在全绳中的位置；

步骤2，原始图像数据规范化预处理；具体如下，

步骤2.1，位姿调整：采用边缘检测和形态学方法实现钢丝绳图像分割，利用霍夫变换实现边界识别，计算其边界斜率，将图像进行旋转；

步骤2.2，roi提取：对图像进行垂直灰度投影，得到垂直灰度分布图；根据钢丝绳直径大小，结合灰度积分公式，计算灰度积分值最小的区间，并将其切割出来，切割为等长度的子图，从而建立起满足训练和测试用的钢丝绳表面状态大数据集；

步骤3，建立分类器：对传统的cnn即lenet-5进行改进，包括其结构和参数，命名为wr-cnn，然后设置分类器wr-cnn的结构和参数；

步骤4，在线智能诊断：在得到集成算法模型后，配置检测系统的软硬件，实现钢丝绳表面缺陷在线实时检测，并根据检测结果作出合理预警。

作为本发明一种基于深度学习的在役钢丝绳表面缺陷检测方法的进一步优选方案，在步骤2.1中，位姿调整为不规范钢丝绳位姿调整过程，其具体过程如下：

步骤a.同态高斯滤波：建立同态滤波器hhf(u,v)＝(γh-γl)[ch(u,v)]+γl，其中h(u,v)＝exp[-(d(u,v)/d0)²ⁿ]，设置公式中的参数γh,γl,c,n,d0，其中，h(u,v)为传递函数，d0为截至频率，u和v分别为图像中像素点坐标x和y进行傅里叶变换后对应的量，n为阶数，常数c用于控制坡度的锐利度，它在γh和γl之间过渡，其中γl<1且γh>1；对图像i进行滤波，得到滤波后的图像i1；

步骤b.纹理检测：设置sobel的阈值g，根据公式计算梯度图像g(x,y)，与阈值进行比较，忽略小于阈值的边缘，得到二值纹理图像i2；其中，

式中，f(x+i,y+j)为偏离点(x,y)的点(x+i,y+j)的灰度值，ax(i,j)和ay(i,j)分别是x方向和y方向上的sobel边缘算子；

步骤c.边界确认：设置结构元素b1，进行膨胀运算，得到膨胀图像i3；进行孔洞填充运算，得到填充图像i4；设置结构元素b2，连续两次腐蚀运算，得到腐蚀图像i5；

步骤d.姿态旋转：进行霍夫变换，寻找峰值，提取直线段，直线段为设置线段合并阈值和检测的直线断的最小长度，找到钢丝绳边界直线，得到钢丝绳边界图像i6；接着计算边界的斜率，根据斜率对滤波图像i1进行旋转；完成旋转后，得到旋转图像j。

作为本发明一种基于深度学习的在役钢丝绳表面缺陷检测方法的进一步优选方案，在步骤a至步骤d中，将参数设置为：γh＝2.2,γl＝0.25,c＝2,n＝1,d0＝50；g＝0.5·g′g′为自适应阈值；膨胀运算中，对于线性结构元素b1，元素长度为3，角度为0度和90度；腐蚀运算中，对于菱形结构元素b2，结构元素原点到顶点距离为1；寻找的峰值数目设为4，在hough矩阵中寻找前4个大于hough矩阵中最大值0.3倍的峰值；线段合并阈值设为50，检测直线段的最小长度设为70；图像旋转时，根据斜率值反向旋转。

作为本发明一种基于深度学习的在役钢丝绳表面缺陷检测方法的进一步优选方案，在步骤2.2中，roi提取为不规范钢丝绳roi提取过程；具体过程如下：

步骤2.11，对钢丝绳位姿进行调整后，从调整完位姿的图j(x,y)中提取有价值的钢丝绳区域图片r(x,y)，即roi区域；

步骤2.12，设图像j(x,y)的长为w，宽为h，(x,y)为坐标，输入图像j(x,y)第x列的平均灰度值计算为则图像j在垂直方向的投影为g＝[g(1),g(2),...g(w)]；

步骤2.13，设钢丝绳的宽度为wr，则沿x轴的投影曲线中每个宽度的灰度积分s(b)为

步骤2.14，当b使s(b)满足argmins(b)时，b即为钢丝绳在x轴方向上的起点位置，b+wr则为终点位置，则位于x轴方向的区间[b,b+wr]中的图为roi区域r(x,y)；

步骤2.15，将r(x,y)剪切出来后，再分割为等长度的子图，即可建立其用于训练和测试数据集。

作为本发明一种基于深度学习的在役钢丝绳表面缺陷检测方法的进一步优选方案，在步骤2中，通过对实际和实验室中钢丝绳图像的采集和数据增强，建立2000张不同的健康钢丝绳、2000张不同的断丝钢丝绳和2000张不同的磨损钢丝绳的图像数据集；对图像进行灰度化，以减少光照的影响，通过插值运算将图像缩放到32×32或64×64大小，以作为网络模型的输入。

作为本发明一种基于深度学习的在役钢丝绳表面缺陷检测方法的进一步优选方案，在步骤3中，建立深度卷积神经网络结构，输入的二维数据的尺寸为64×64；在第一个隐含层中，卷积层包含32个过滤器，卷积核尺寸为5×5，池化层的池化尺寸为2×2；第二至第四隐含层采用了不同个数的过滤器，采用了相同的卷积核大小和池化核大小；全连接层的神经元个数分别为2560和768；输出层的节点为3，等于样本类型的数量。

作为本发明一种基于深度学习的在役钢丝绳表面缺陷检测方法的进一步优选方案，在步骤3中，设置所提出算法与其他对比算法的配置，将输出层统一设为3个节点；svm、knn、ann是在本数据集上，采用智能优化算法得到的较好结构和配置。

作为本发明一种基于深度学习的在役钢丝绳表面缺陷检测方法的进一步优选方案，在步骤3中，比较所提出算法与其他算法的性能，建立满足要求的wr-cnn分类器；letnet-5和largecnn对各类别都有一定的误识别，而wr-cnn误识别率较小，准确性较高；wr-cnn可以精确的、快速的从经过位姿调整和roi提取的预处理图像中识别钢丝绳表面缺陷状态。

一种钢丝绳表面缺陷智能检测系统，包括

污垢清洗模块，配置钢丝绳表面污垢清洗装置，用于清洗污垢；

图像采集模块，根据光照条件，配置相关的光源，采用1-4个高速相机拍取钢丝绳表面的图像，用于掌握钢丝绳的单向/周向状态信息；

诊断与预警模块；将所采集的图像实时传输到含已训练好的深度网络集成模型wr-cnn的上位机中，上位机根据诊断结果作出进一步的预警。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1)本发明提出了在钢丝绳表面图像采集前进行污垢自动清除，以减少对缺陷识别的影响；

2)本发明克服了钢丝绳位姿不正和图像背景信息的影响，可提高算法的工作环境适应性和鲁棒性；

3)所提出的wr-cnn算法能够达到99％的诊断精度，且只消耗8ms/样本，可满足实时性的要求；可一定程度上实时发现钢丝绳断丝、磨损损伤，并可在此基础上扩展缺陷类型，以检测更多类型缺陷，克服了人工巡检的效率低、检测周期长和无法及时发现的问题。

附图说明

图1为本发明的基于深度学习的钢丝绳表面缺陷智能检测方法流程图；

图2为本发明的不规范钢丝绳位姿调整过程图，其中，(a)原始图i，(b)滤波图i1，(c)纹理提取图i2，(d)膨胀运算图i3，(e)填充运算图i4，(f)腐蚀运算图i5，(g)边界识别图i6，(h)几何旋转图j；

图3为本发明的不规范钢丝绳roi(感兴趣区域)提取过程图；

图4为本发明的所建立钢丝绳缺陷数据集部分样本图；其中，(a)健康钢丝绳，(b)断丝钢丝绳，(c)磨损钢丝绳；

图5为本发明的深度卷积神经网络结构图；

图6为本发明的所提出算法与其他对比算法的配置；

图7为本发明所提出算法及其他算法的性能比较结果；

图8为本发明钢丝绳表面缺陷智能检测系统架构图。

具体实施方式

为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围：

如图1所示，为本发明的基于深度学习的在役钢丝绳表面缺陷智能检测方法，包括图像采集、数据预处理、分类器建立和在线智能诊断几个步骤。具体步骤如下：

1)图像采集：对运行中的钢丝绳图像进行周向采集(采集前根据实际情况确定是否清洗钢丝绳表面污垢)，记录下每张图像中钢丝绳在全绳中的位置，以便于后期预警时提供位置信息。采集包括健康、断丝、磨损状态的钢丝绳表面图像若干张。

2)对原始图像进行规范化预处理。2.1)位姿调整：采用边缘检测和形态学方法实现钢丝绳图像分割，然后利用霍夫变换实现边界识别，计算其边界斜率，然后将图像进行旋转；2.2)roi提取：对图像进行垂直灰度投影，得到垂直灰度分布图。根据钢丝绳直径大小，结合灰度积分公式，计算灰度积分值最小的区间，并将其切割出来，然后切割为等长度的子图，从而建立起满足训练和测试用的钢丝绳表面状态大数据集。

3)建立分类器：对传统的cnn即lenet-5进行改进，包括其结构和参数，命名为wr-cnn，然后设置分类器wr-cnn的结构和参数；

4)在线智能诊断：在得到集成算法模型后，配置检测系统的软硬件，实现钢丝绳表面缺陷在线实时检测，并根据检测结果作出合理预警。

如图2所示，为不规范钢丝绳位姿调整过程。其具体过程如下：

a.同态高斯滤波。建立同态滤波器hhf(u,v)＝(γh-γl)[ch(u,v)]+γl，其中hl(u,v)＝exp[-(d(u,v)/d0)²ⁿ]，设置公式中的参数γh,γl,c,n,d0。对图像i进行滤波，得到滤波后的图像i1。

b.纹理检测。设置sobel的阈值g，然后根据公式计算梯度图像g(x,y)，与阈值进行比较，忽略小于阈值的边缘，得到二值纹理图像i2。

c.边界确认。设置结构元素b1，进行膨胀运算，得到膨胀图像i3；进行孔洞填充运算，得到填充图像i4；设置结构元素b2，连续两次腐蚀运算，得到腐蚀图像i5。

d.姿态旋转。进行霍夫变换，寻找峰值(设置峰值数)，然后提取直线段(设置线段合并阈值和检测的直线断的最小长度)，找到钢丝绳边界直线，得到钢丝绳边界图像i6；接着计算边界的斜率，根据斜率对滤波图像i1进行旋转。完成旋转后，得到旋转图像j。

其中，算法中的参数需要根据试验效果进行确定，包括同态高斯滤波参数，边缘检测算子阈值、膨胀参数、腐蚀参数、霍夫变换参数等。针对本实例，经过多次试验，将参数设置为：γh＝2.2,γl＝0.25,c＝2,n＝1,d0＝50；g＝0.5·g′(g′为自适应阈值)；膨胀运算中，对于线性结构元素b1，元素长度为3，角度为0度和90度；腐蚀运算中，对于菱形结构元素b2，结构元素原点到顶点距离为1；寻找的峰值数目设为4，在hough矩阵中寻找前4个大于hough矩阵中最大值0.3倍的峰值；线段合并阈值设为50，检测直线段的最小长度设为70；图像旋转时，根据斜率值反向旋转。

如图3所示，为不规范钢丝绳roi提取过程。对钢丝绳位姿进行调整后，从调整完位姿的图j(x,y)中提取有价值的钢丝绳区域图片r(x,y)，即roi区域。设图像j(x,y)的长为w，宽为h，(x,y)为坐标。输入图像j(x,y)第x列的平均灰度值计算为则图像j在垂直方向的投影为g＝[g(1),g(2),...g(w)]。设钢丝绳的宽度为wr，则沿x轴的投影曲线中每个宽度的灰度积分s(b)为当b使s(b)满足argmins(b)时(因为灰度图中，黑色为0，白色为255，且背景为白色)，b即为钢丝绳在x轴方向上的起点位置，b+wr则为终点位置，则位于x轴方向的区间[b,b+wr]中的图为roi区域r(x,y)。将r(x,y)剪切出来后，再分割为等长度的子图，即可建立其用于训练和测试数据集。

如图4所示，为所建立钢丝绳数据集部分样本图。通过对实际和实验室中钢丝绳图像的采集和数据增强，建立了2000张不同的健康钢丝绳、2000张不同的断丝钢丝绳和2000张不同的磨损钢丝绳的图像数据集。每种状态能够尽可能的涵盖所有的样本空间。首先对图像进行灰度化，以减少光照的影响，然后通过插值运算将图像缩放到32×32或64×64大小，以作为网络模型的输入。

如图5所示，为本发明的深度卷积神经网络结构。在网络中，输入的二维数据的尺寸为64×64。在第一个隐含层中，卷积层包含32个过滤器，卷积核尺寸为5×5，池化层的池化尺寸为2×2。第二至第四隐含层采用了不同个数的过滤器，采用了相同的卷积核大小和池化核大小。全连接层的神经元个数分别为2560和768。输出层的节点为3，等于样本类型的数量。

如图6所示，为本发明的所提出算法与其他对比算法的配置。本实例中，lenet-5、lightcnn直接采用图6中输入层、卷积层、池化层和全连接层的配置，将输出层统一设为3个节点；svm、knn、ann是在本数据集上，采用智能优化算法得到的较好结构和配置。

如图7所示，为本发明所提出算法与其他算法的性能比较结果。从结果可以看出，深度学习方法在各类别缺陷的识别上效果相近，而机器学习算法对各类别缺陷的识别差别较大，说明深度网络在本实例上的区分能力更好；深度学习方法中，letnet-5和largecnn对各类别都有一定的误识别，而提出的wr-cnn误识别率较小，说明了所提出算法在本实例上具有较高的准确性。所提出的wr-cnn可以精确的、快速的从经过位姿调整和roi提取的预处理图像中识别钢丝绳表面缺陷状态。

如图8所示，为本发明钢丝绳表面缺陷智能检测系统架构。钢丝绳表面缺陷智能检测系统包括污垢清洗模块、图像采集模块和诊断与预警模块。根据实际情况，配置钢丝绳表面污垢清洗装置；根据光照条件，配置相关的光源，并采用1-4个高速相机拍取钢丝绳表面的图像，以掌握钢丝绳的单向/周向状态信息；然后将所采集的图像实时传输到含已训练好的深度网络集成模型wr-cnn的上位机中，上位机根据诊断结果作出进一步的预警。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。