基于计算机视觉的自动化生产线异常监控方法

1.本发明涉及图像处理技术领域，具体涉及基于计算机视觉的自动化生产线异常监控方法。


背景技术：

2.自动化生产线是工业、机械领域的重要载体，被广泛应用。自动化生产线在运行过程中需要多种机械设备的配合，各个工艺环节环环相扣，生产线中任何工件和设备的异常都会导致整条生产线的停产，造成重大经济损失，严重时将会造成安全问题。在自动化生产线工作过程中，当机械设备出现表面渗油漏油等异常时，设备表面会出现油液现象，故对自动化生产线生产过程中设备表面的渗油状况进行检测预警，是自动化生产线设备稳定运行的重要保障。
3.目前常见的对设备表面的渗油状况进行检测预警的方法为，对于根据液压润滑油站油箱的液位数值与理论液位值进行比较，当前液位数值超出理论液位值一定限值后进行预警。该方法需要设定理论液位值，且不同的设备对应的理论液位值不同，理论液位值没有根据设备的实时状态进行更新，故仅根据固定的液位值，难以实现设备的渗油状态的实时检测。


技术实现要素：

4.为了解决理论液位值没有根据设备的实时状态进行更新，难以实现设备的渗油状态的实时检测的技术问题，本发明的目的在于提供基于计算机视觉的自动化生产线异常监控方法，所采用的技术方案具体如下：获取生产线工作运行过程中设备的表面图像；根据表面图像中各像素点的拉普拉斯算子值，构建自适应正则限定因子；根据所述自适应正则限定因子修正引导滤波中的线性代价系数，得到对应的修正后的代价函数；基于所述修正后的代价函数，对表面图像进行滤波分层，得到基础层图像和对应的细节层图像；基于所述细节层图像中像素点的灰度值拟合高斯混合模型，基于所述高斯混合模型构建结构纹理特征矩阵，作为第一矩阵；构建标准基础层图像对应的结构纹理特征矩阵，作为第二矩阵；根据所述第一矩阵和所述第二矩阵的相似程度得到相似系数；基于所述基础层图像对应的灰度共生矩阵的特征参数，构建特征向量，作为第一向量；构建标准细节层图像的特征向量，作为第二向量；根据所述第一向量和所述第二向量的距离得到轮廓差异度；基于所述相似系数和所述轮廓差异度，得到设备表面渗油指标；基于所述设备表面渗油指标对生产线进行预警。
5.优选的，所述根据表面图像中各像素点的拉普拉斯算子值，构建自适应正则限定因子，包括：获取所述表面图像中各像素点的拉普拉斯算子值；对于任意像素点，根据像素点
所在的局部窗口内像素点的最大拉普拉斯算子值、像素点和表面图像中其他像素点的拉普拉斯算子值的差异，构建自适应正则限定因子。
6.优选的，所述自适应正则限定因子的计算公式为：其中，为像素点k的自适应正则限定因子；q为表面图像中的所有像素点的总数量；为像素点k的对应的拉普拉斯算子值；为像素点j的对应的拉普拉斯算子值；为像素点k对应的3*3局部窗口内像素点的最大拉普拉斯算子值。
7.优选的，所述根据所述自适应正则限定因子修正引导滤波中的线性代价系数，包括：将线性代价系数中的正则化参数更新为原始的正则化参数和所述自适应正则限定因子的比值。
8.优选的，所述修正后的代价函数，包括：所述修正后的代价函数中的线性代价系数为，根据所述自适应正则限定因子修正后的引导滤波中的线性代价系数。
9.优选的，所述结构纹理特征矩阵的维度为，为结构纹理特征矩阵的行数，为高斯混合模型中单高斯模型的数量；3为结构纹理特征矩阵的列数，分别为对应单高斯模型的权值系数、均值和方差。
10.优选的，所述根据所述第一矩阵和所述第二矩阵的相似程度得到相似系数，包括：将所述第一矩阵和所述第二矩阵的皮尔逊系数，作为相似系数。
11.优选的，所述特征向量由灰度共生矩阵的四个特征参数构成，所述特征参数包括：对比度、逆方差、角二阶矩和熵。
12.优选的，所述基于所述相似系数和所述轮廓差异度，得到设备表面渗油指标，包括：将所述相似系数和模型参量的和，作为第一指标；将所述轮廓差异度和所述第一指标的比值，作为设备表面渗油指标。
13.优选的，所述基于所述设备表面渗油指标对生产线进行预警，包括：当归一化后的设备表面渗油指标大于等于预设渗油阈值时，对生产线进行预警。
14.本发明实施例至少具有如下有益效果：本发明对通过计算机视觉获取自动化生产线生产过程中设备的渗油漏油状况，具有无接触性且成本较低。该方法首先根据得到的生产线工作运行过程中设备的表面图像中各像素点的拉普拉斯算子值，构建自适应正则限定因子，根据自适应正则限定因子修正引导滤波的代价函数，当像素点的拉普拉斯算子值越大时，反映像素点有较强的算子绝对值相应，其为边缘像素点的概率较大，根据拉普拉斯算子值修正线性代价系数，使得增强边缘细节处的像素点的梯度保留能力，提高了边缘细节信息的保留程度；基于修正后的代价函数对表面图像进行滤波分层，得到基础层图像和细节层图像，对于设备表面图像，为提高设
备表面图像中结构纹理细节的提取精度，本发明将对表面图像进分层，相比传统的引导滤波分层效果，本发明通过自适应调整代价函数，对正则化参数进行针对性设定，提高图像分层过程中边缘细节信息的完整度，避免滤波过程中边缘过度模糊，边缘信息丢失的情况；基于基础层图像和标准基础层图像、细节层图像和标准细节层图像，得到相似系数和轮廓差异度，相似系数和轮廓差异度反映了当前待检测设备和标准无渗油设备的差异情况，其综合了表面图像对应的基础层和细节层，有效提高设备表面细节纹理信息的提取精度，同时基于基础层对设备表面的综合轮廓信息进行提取，准确表征设备表面状况，提高生产线中设备的渗油漏油检测精度；基于相似系数和轮廓差异度得到设备表面渗油指标；基于设备表面渗油指标对生产线进行预警。本发明基于计算机视觉对自动化生产线运行过程中设备表面渗油异常状况进行监测，实现对自动化生产线异常的检测预警。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
16.图1为本发明一个实施例所提供的基于计算机视觉的自动化生产线异常监控方法的方法流程图。
具体实施方式
17.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于计算机视觉的自动化生产线异常监控方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
18.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
19.本发明实施例提供了基于计算机视觉的自动化生产线异常监控方法的具体实施方法，该方法适用于生产线工作运行场景。该场景下通过图像采集设备获取设备的表面图像，该图像采集设备可以为监控摄像头，也可以为相机；该场景下检测设备的渗油异常情况。为了解决理论液位值没有根据设备的实时状态进行更新，难以实现设备的渗油状态的实时检测。本发明基于计算机视觉对自动化生产线运行过程中设备表面渗油异常状况进行监测，实现对自动化生产线异常的检测预警。
20.下面结合附图具体的说明本发明所提供的基于计算机视觉的自动化生产线异常监控方法的具体方案。
21.请参阅图1，其示出了本发明一个实施例提供的基于计算机视觉的自动化生产线异常监控方法的步骤流程图，该方法包括以下步骤：步骤s100，获取生产线工作运行过程中设备的表面图像。
22.通过图像采集设备获取生产线工作运行过程中设备表面的图像数据，用于对设备
表面渗油状况进行检测。
23.本发明旨在基于计算机视觉对自动化生产线过程中的异常状况进行检测分析，对设备表面渗油漏油等异常状况进行监测，通过图像采集系统对自动化生产线设备表面进行图像采集。需要说明的是，自动化生产线中的设备有很多，因此关于相机的数量、相机的部署以及相机视角等设定由实施者根据实际情况自行设置，相机视角需要实施者根据生产线中设备的位置等信息来进行设定，以保证能够完整采集到设备表面信息以及设备的易渗油区域。通过图像采集系统获取生产线工作运行过程中设备的表面图像，用于对自动化生产线过程中设备渗油漏油状况进行监测。根据获取生产线工作运行过程中设备表面的表面图像数据，用于对自动化生产线设备表面状况进行检测，作为设备表面渗油异常检测的基础数据。
24.步骤s200，根据表面图像中各像素点的拉普拉斯算子值，构建自适应正则限定因子；根据所述自适应正则限定因子修正引导滤波中的线性代价系数，得到对应的修正后的代价函数。
25.对于步骤s100所获取的设备的表面图像，将对其进行分析，以便对设备表面的渗油漏油等异常状况进行检测。建立设备状态指标提取模型，用于提取生产线中设备表面的特征参数，对设备表面渗油情况进行检测，设备状态指标提取模型具体为：首先，对于所采集的表面图像，当设备表面出现渗油状况时，其表面的结构纹理细节信息将会发生变化，为提高对设备表面结构纹理特征的提取精度，对于所采集的设备表面图像，本发明将通过引导滤波对表面图像进行分离，获取对应的细节层和基础层，对于引导滤波，滤波之后的输入输出关系为：其中，是对应引导滤波的线性滤波输出图像，为线性代价系数；为输入的引导图像中的像素点i。其中，决定滤波输出图像的梯度细节信息的保留能力，其值越大，结构纹理细节信息保留的越完整。需要说明的是输入图像也即引导图像。
26.引导滤波中的传统代价函数为：其中，为引导滤波中的传统代价函数；为以像素点k为中心的局部滤波窗口，是输入图像也就是所采集的表面图像中的像素点i，为引导图像中的像素点i，在本发明中将引导图像设置为输入图像，也即，i代表表面图像中的像素点i，为线性代价系数，为正则化参数。需要说明的是，传统代价函数的公式和引导滤波之后的输入输出关系为本领域技术人员的公知技术，在此不再赘述。
27.正则化参数用于防止过拟合，当代价函数取最小值时对应的线性代价系数即为引导滤波中的最佳代价系数，根据现有技术计算过程可得：，，其中为以像素点k为中心的3*3局部滤波窗口内像素点的灰度方差，为以像素点k为中心的3*3局部滤波窗口内像素点的灰度均值，但是传统该引导滤波过程中线性代价系数的取值与正则参数密切相关，而对于的取值大多为人为自主设定，该方法不能够结合图像原有的特征属性来进行自适应滤波过程，导致滤波后的图像边缘细节信息模糊，从而使得后续提取结构纹理细节信息不完整，降低设备表面渗油状况检测的精度。
28.为提高滤波输出图像细节信息的保留精度，以便后续准确提取设备表面的结构纹理细节信息，本发明将对线性代价系数进行自适应设定：对于引导图像，本发明将对其引导图像内的像素点设置自适应正则限定因子，首先，通过边缘检测算子对表面图像进行边缘检测，边缘检测算子有很多sobel、canny、log等。本发明采canny算子对表面图像进行边缘检测，获取每个像素点的拉普拉斯算子值，并基于此本发明将构建自适应正则限定因子，也即根据表面图像中各像素点的拉普拉斯算子值，构建自适应正则限定因子，具体的：获取所述表面图像中各像素点的拉普拉斯算子值；对于任意像素点，根据像素点所在的局部窗口内像素点的最大拉普拉斯算子值、像素点和表面图像中其他像素点的拉普拉斯算子值的差异，构建自适应正则限定因子。
29.所述自适应正则限定因子的计算公式为：其中，为像素点k的自适应正则限定因子；q为表面图像中的所有像素点的总数量；为像素点k的对应的拉普拉斯算子值；为像素点j的对应的拉普拉斯算子值；为像素点k对应的3*3局部窗口内像素点的最大拉普拉斯算子值。
30.当像素点k的拉普拉斯算子值越大时，也即该点具有较强的算子绝对值响应，越可能为边缘像素点，那么对应的自适应正则限定因子越大，也即对边缘细节处的像素点的梯度保留能力越应该增强，进而实现对于边缘细节处的像素点在进行引导滤波过程中，基于像素点的特征信息自适应的提高其边缘细节信息的保留能力。
31.进一步，基于本发明所构建的自适应正则限定因子，本发明将对引导滤波过程中的代价函数进行调整，也即根据自适应正则限定因子修正引导滤波中的线性代价系数，
得到对应的修正后的代价函数，具体的：将线性代价系数中的正则化参数更新为原始的正则化参数和所述自适应正则限定因子的比值，得到修正后的线性代价系数和对应的修正后的代价函数。
32.修正后的代价函数为：修正后的代价函数为：为修正后的引导滤波中的代价函数；为以像素点k为中心的局部滤波窗口；是输入图像也就是所采集的表面图像中的像素点i；为引导图像中的像素点i；i代表表面图像中的像素点i；，为修正后的线性代价系数；为正则化参数；为像素点k的自适应正则限定因子。
33.基于此根据代价函数取最小值原则，同样得到对应的修正后的线性代价系数，其表达式为：，，其中为以像素点k为中心的3*3局部滤波窗口内像素点的灰度方差，为以像素点k为中心的3*3局部滤波窗口内像素点的灰度均值；为自适应正则限定因子。也即修正后的代价函数中的线性代价系数为根据自适应正则限定因子修正后的引导滤波中的线性代价函数。对于修正后的线性代价系数，当像素点k的canny算子绝对值越大时，也即拉普拉斯算子值越大时，也即该点具有较强的算子绝对值响应，越可能为边缘像素点，那么对应的自适应正则限定因子越大，则对应自适应调整后的正则化参数越小，可得修正后的线性代价系数越大，也即对边缘细节处的像素点的梯度保留能力越应该增强，进而实现对于边缘细节处的像素点在进行引导滤波过程中，基于像素点的特征信息自适应的提高其边缘细节信息的保留能力。
34.步骤s300，基于所述修正后的代价函数，对表面图像进行滤波分层，得到基础层图像和对应的细节层图像；基于所述细节层图像中像素点的灰度值拟合高斯混合模型，基于所述高斯混合模型构建结构纹理特征矩阵，作为第一矩阵；构建标准基础层图像对应的结构纹理特征矩阵，作为第二矩阵；根据所述第一矩阵和所述第二矩阵的相似程度得到相似系数。
35.即可根据步骤s200的方法实现对表面图像的滤波分层过程进行自适应调控，滤波之后将会得到基础层图像，基于所述基础层图像和对应的表面图像，该表面图像即为输入图像。本发明将进行差分运算，得到对应的细节层图像，具体过程均本领域
技术人员的公知技术，不再做具体阐述。
36.首先，对于生产线的设备表面，本发明将先获取设备正常无渗油情况下的标准表面图像，记为，同样的根据修正后的代价函数，对标准表面图像进行滤波分层，得到标准基础层图像和其对应的标准细节层图像。然后，将提取标准细节层图像中的结构纹理特征参数，基于标准细节层图像中像素点的灰度值拟合一个高斯混合模型，其包含单高斯模型的个数记为n，则基于标准细节层图像中像素点的特征信息所拟合的高斯混合模型构建一个结构纹理特征矩阵，该结构纹理特征矩阵的维度为，n代表结构纹理特征矩阵的行数，n也即为高斯混合模型中单高斯模型的数量；3代表结构纹理特征矩阵的列数，分别为对应单高斯模型的权值系数均值和方差。即可得到设备正常无渗油情况下的标准细节层图像所对应的结构纹理特征矩阵，记为第二矩阵；对于待检测设备表面的细节层图像同样的采取同样的方法进行结构纹理特征矩阵的提取，记为结构纹理特征矩阵，也记为第一矩阵。获取两个结构纹理特征矩阵的皮尔逊系数，将该皮尔逊系数作为两个矩阵的相似系数，记为p，也即将所述第一矩阵和所述第二矩阵的皮尔逊系数作为相似系数。皮尔逊系数p值越大，则两个细节层图像对应的结构纹理信息越相似，也即设备表面出现渗油情况的可能性越小。
37.步骤s400，基于所述基础层图像对应的灰度共生矩阵的特征参数，构建特征向量，作为第一向量；构建标准细节层图像的特征向量，作为第二向量；根据所述第一向量和所述第二向量的距离得到轮廓差异度。
38.进一步，为提高设备表面渗油漏油情况的检测精度，对于由标准表面图像得到的标准基础层图像，本发明将基于标准基础层图像的特征状况对其整体轮廓特征进行提取，获取设备表面的综合轮廓信息。对于设备正常无渗油情况下所对应的标准基础层图像，本发明将提取标准基础层图像所对应的灰度共生矩阵，并得到对应的特征参数，并根据该特征参数构建特征向量，具体的，特征向量由基础层对应的灰度共生矩阵的四个特征参数构成，这四个特征参数包括：对比度、逆方差、角二阶矩和熵，其组成一个特征向量，记为第二向量。同样的，根据该方法获取待检测设备表面的表面图像的基础层图像所对应的特征向量v，记为第一向量，计算两个特征向量的欧式距离d，将该欧氏距离作为轮廓差异度。也即基于所述基础层图像对应的灰度共生矩阵的特征参数，构建特征向量，作为第一向量；构建标准细节层图像的特征向量，作为第二向量；根据所述第一向量和所述第二向量的距离得到轮廓差异度。欧氏距离d越大，两个特征向量之间的差异性越大，也即设备表面整体的综合轮廓信息与设备表面正常时的综合轮廓信息相似程度越小，越有可能表面出现渗油导致整体的轮廓信息发生变化；至此，即可根据本发明的方法提取自动化生产线生产过程中设备表面渗油检测的状态指标，也即得到相似系数p以及轮廓差异度d，用于对设备表面的渗油漏油状况进行检
测分析。
39.步骤s500，基于所述相似系数和所述轮廓差异度，得到设备表面渗油指标；基于所述设备表面渗油指标对生产线进行预警。
40.基于所提取的相似系数p以及轮廓差异度d这两个状态指标，将对自动化生产线中的设备渗油状况进行监测，并对异常状况进行预警提示，避免造成重大经济损失。
41.根据步骤s300和步骤s400得到的设备表面相对正常情况下标准表面图像和待检测的表面图像的特征差异，得到对应的设备表面渗油指标，也即基于相似系数和轮廓差异度，得到设备表面渗油指标，具体的：将所述相似系数和模型参量的和，作为第一指标；将所述轮廓差异度和所述第一指标的比值，作为设备表面渗油指标。进而对设备表面的异常状况进行监测判定。在本发明实施例中模型参量的取值为5，在其他实施例中可由实施者根据实际情况调整该取值。
42.其中，e为设备表面渗油指标，为模型参量；d为轮廓差异度；p为相似系数；为第一指标。
43.将轮廓差异度加上模型参量作为第一指标的目的是为了避免出现分母为零的情况。当待检测表面对应的细节层图像和标准细节层图像的差异越大，则对应的相似系数越小，则该待检测表面出现表面渗油的概率越大，故相似系数和设备表面渗油指标呈反比关系；当待检测表面对应的基础层图像和标准基础层图像的差异越大，则对应的轮廓差异度越大，该待检测表面出现表面渗油的概率越大，故轮廓差异度和设备表面渗油指标呈正比关系。
44.进一步的，基于设备表面渗油指标对生产线进行预警，具体的：在对设备表面渗油指标进行归一化后，当归一化后的设备表面渗油指标大于等于预设渗油阈值时，对生产线进行预警。在本发明实施例中预设渗油阈值的取值为0.5，在其他实施例中实施者可根据实际情况调整该取值。当生产线中设备对应的设备表面渗油指标高于预设渗油阈值时，系统将做出预警，提示相关检修人员对自动化生产线中设备状况进行检修，对渗油区域设备的螺丝等松紧状况进行检测，及时更换相应的零部件，以避免自动化生产线的低效率运行，防止安全事故的发生。
45.综上所述，本发明涉及图像处理技术领域。该方法首先获取生产线工作运行过程中设备的表面图像；根据表面图像中各像素点的拉普拉斯算子值，构建自适应正则限定因子；根据所述自适应正则限定因子修正引导滤波中的线性代价系数，得到对应的修正后的代价函数；基于所述修正后的代价函数，对表面图像进行滤波分层，得到基础层图像和对应的细节层图像；基于所述细节层图像中像素点的灰度值拟合高斯混合模型，基于所述高斯混合模型构建结构纹理特征矩阵，作为第一矩阵；构建标准基础层图像对应的结构纹理特征矩阵，作为第二矩阵；根据所述第一矩阵和所述第二矩阵的相似程度得到相似系数；基于所述基础层图像对应的灰度共生矩阵的特征参数，构建特征向量，作为第一向量；构建标准
细节层图像的特征向量，作为第二向量；根据所述第一向量和所述第二向量的距离得到轮廓差异度；基于所述相似系数和所述轮廓差异度，得到设备表面渗油指标；基于所述设备表面渗油指标对生产线进行预警。本发明基于计算机视觉对自动化生产线运行过程中设备表面渗油异常状况进行监测，实现对自动化生产线异常的检测预警。
46.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
47.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。