一种液压泵漏油识别方法与流程

1.本发明涉及视觉识别方法领域，具体涉及一种液压泵漏油识别方法。


背景技术：

2.液压泵漏油是液压泵的常见故障之一。当液压泵出现漏油现象，会导致系统输出压力不稳，动力不稳，履行部位动力缺乏或者不稳，从而无法进行准确的操控；液压泵整机功率下降，且油温提高迅速。假如漏油程度严重时，会使操控阀门无法对电动液压泵进行操控，进而形成元件的损坏。此外液压油的走漏有可能会引发火灾，造成人员或产业的损失。为了解决该问题，在液压泵出厂前都会对其进行漏油检测。
3.现有的液压泵漏油检测多为人工检测，施工人员发现有漏油现象，需要立即停机进行检查，然后送到相关部门进行维修。
4.但是随着液压泵生产节奏的增加，液压泵的检测压力也越来越重，同时油液在金属表面呈现透明特征，漏油与不漏油的区分只有漏油区域呈现更多的镜面反射，不会有明显的颜色差异。因而进行漏油检测需耗费大量的检测人员的精力。此外，由于漏油现象是一个逐渐变化的缓慢过程，对于大量液压泵的检测过程中，小型渗漏肉眼难以及时发现，因此本发明设计一种应用电子设备对液压泵漏油现象进行识别的方法，该方法可有效提高识别效率和精度。


技术实现要素：

5.本发明提供一种液压泵漏油识别方法，包括：获取液压泵启动后每一时刻的明度差异图像；根据液压泵启动后每一时刻的明度差异图像中的异常像素点得到液压泵启动后每一时刻的漏油可能性；根据漏油可能性得到液压泵的漏油时刻；利用分水岭算法对漏油时刻及其之后时刻的明度差异图像进行图像分割，得到各明度差异图像中的所有子区域；利用漏油时刻及其之后时刻的明度差异图像中每个子区域的中心点坐标确定各明度差异图像中相互对应的子区域；根据连续时刻的明度差异图像中每个对应的子区域的面积是否变大判断该子区域是否为漏油区域，相比于现有技术，本发明基于计算机视觉，使用概率分水岭算法，根据液压油会增加金属表面光亮度的特点，对图像中各个像素点属于漏油区域的概率进行分割，提取漏油区域，对液压泵漏油现象进行识别，再根据液压油从漏油点流动方向确定漏油位置。本发明提供了一种应用电子设备对液压泵漏油现象进行识别的方法，可有效提高识别效率和精度。
6.为达到上述目的，本发明采用以下技术方案，一种液压泵漏油识别方法，包括：获取待检测液压泵启动后每一时刻的明度差异图像。
7.将液压泵启动后每一时刻的明度差异图像中存在明度差异值的像素点作为异常像素点，根据异常像素点的明度值及其八邻域内像素点的明度值均值计算得到各异常像素点的异常程度。
8.根据异常像素点到油管接口的距离、异常像素点及其八邻域内像素点的明度值均
值计算异常像素点对漏油判断的贡献量；基于各异常像素点的贡献量计算液压泵启动后每个时刻的漏油可能性。
9.根据液压泵启动后每一时刻的漏油可能性得到液压泵的漏油时刻。
10.利用分水岭算法对液压泵漏油时刻及其之后时刻的明度差异图像进行图像分割，得到各明度差异图像中的所有子区域。
11.利用液压泵漏油时刻及其之后时刻的明度差异图像中每个子区域的中心点坐标确定出各明度差异图像中相互对应的子区域。
12.根据连续时刻的明度差异图像中每一个对应的子区域的面积是否变大判断该子区域是否为漏油区域。
13.进一步的，所述一种液压泵漏油识别方法，所述待检测液压泵启动后每一时刻的明度差异图像是按照如下方式获取：采集待检测液压泵启动前后的油管接口处图像。
14.对油管接口处图像进行语义分割，获取待检测液压泵启动前后的油管接口区域图像。
15.将油管接口区域图像转换为hsv空间，获取待检测液压泵启动前后的明度图像。
16.将待检测液压泵启动前的明度图像与启动后的明度图像中对应位置的明度值进行作差，获取待检测液压泵启动后每一时刻的明度差异图像。
17.进一步的，所述一种液压泵漏油识别方法，所述根据异常像素点到油管接口的距离、异常像素点及其八邻域内像素点的明度值均值计算异常像素点对漏油判断的贡献量，包括：所述贡献量的计算公式为：式中，表示第个异常像素点的异常程度对漏油判断的贡献量，为第个异常像素点的明度值，为以第个异常像素点为中心的八邻域内的各个像素点的明度值均值，为第个异常像素点到油管接口的距离。
18.进一步的，所述一种液压泵漏油识别方法，所述液压泵的漏油时刻是按照如下方式得到：设置阈值，对液压泵启动后每一时刻的漏油可能性进行判断：当液压泵启动后每一时刻的漏油可能性小于阈值时，则该时刻不存在漏油，无需进行漏油区域识别；当液压泵启动后每一时刻的漏油可能性大于等于阈值时，则该时刻存在漏油需要进行漏油区域识别。
19.进一步的，所述一种液压泵漏油识别方法，所述判断该子区域是否为漏油区域的过程具体如下：将液压泵漏油时刻的明度差异图像中各个子区域内所有像素点对应的漏油判断贡献量均值作为各个对应子区域属于漏油区域的第一疑似概率。
20.根据连续时刻的明度差异图像中各个对应子区域之间的面积差对各个对应子区
域属于漏油区域的第一疑似概率进行迭代修正，得到各个对应子区域属于漏油区域的最终疑似概率。
21.设置阈值，对各个对应子区域属于漏油区域的最终疑似概率进行判断：当对应子区域属于漏油区域的最终疑似概率大于阈值时，则该对应子区域为漏油区域，得到待检测液压泵的漏油区域并确定漏油位置。
22.进一步的，所述一种液压泵漏油识别方法，所述对各个对应子区域属于漏油区域的第一疑似概率进行迭代修正的表达式如下：式中，表示修正后的第帧图像对应第j子区域属于漏油区域的疑似概率，表示修正前的第帧图像对应第j子区域属于漏油区域的疑似概率，表示第帧图像与第帧图像中对应第j子区域的面积差。
23.进一步的，所述一种液压泵漏油识别方法，所述漏油位置是按照如下方式确定：获取待检测液压泵漏油时刻及其之后时刻的明度差异图像中的各个对应子区域中心点的位置变化序列。
24.从位置变化序列中选取包含漏油区域中心点的变化序列，得到漏油区域中心点的初始位置。
25.将漏油区域中心点的初始位置确定为待检测液压泵的漏油位置。
26.进一步的，所述一种液压泵漏油识别方法，所述基于各异常像素点的贡献量计算液压泵启动后每个时刻的漏油可能性，包括：所述漏油可能性的计算公式为：其中，为液压泵启动后每一时刻的漏油可能性；表示第个异常像素点的异常程度对漏油判断的贡献量；为液压泵启动后每一时刻的明度差异图像中异常像素点的个数；为以自然常数为底数的指数函数。
27.本发明的有益效果在于：本发明基于计算机视觉，使用概率分水岭算法，根据液压油会增加金属表面光亮度的特点，对图像中各个像素点属于漏油区域的概率进行分割，提取漏油区域，对液压泵漏油现象进行识别，再根据液压油从漏油点流动方向确定漏油位置。本发明提供了一种应用电子设备对液压泵漏油现象进行识别的方法，可有效提高识别效率和精度。
附图说明
28.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
29.图1为本发明实施例1提供的一种液压泵漏油识别方法流程示意图；图2为本发明实施例2提供的一种液压泵漏油识别方法流程示意图。
具体实施方式
30.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.实施例1本发明实施例提供一种液压泵漏油识别方法，如图1所示，包括：s101、获取待检测液压泵启动后每一时刻的明度差异图像。
32.其中，将当前时刻图像与参照图像所对应明度图像中各个像素点的明度值作差，得到明度差异图像。
33.s102、将液压泵启动后每一时刻的明度差异图像中存在明度差异值的像素点作为异常像素点，根据异常像素点的明度值及其八邻域内像素点的明度值均值计算得到各异常像素点的异常程度。
34.其中，异常程度值越大，该异常像素点属于漏油区域的概率越大。
35.s103、利用各异常像素点的异常程度及其与油管接口的距离计算得到液压泵启动后每一时刻的漏油可能性。
36.其中，距离油管接口越近发生漏油的可能性越大。
37.s104、根据液压泵启动后每一时刻的漏油可能性得到液压泵的漏油时刻。
38.其中，设置阈值得到漏油时刻。
39.s105、利用分水岭算法对液压泵漏油时刻及其之后时刻的明度差异图像进行图像分割，得到各明度差异图像中的所有子区域。
40.其中，分水岭算法根据局部极小值进行图像分割，在分割的过程中，它会把临近像素间的相似性作为重要的参考依据，从而将在空间位置上相近并且灰度值相近的像素点互相连接起来构成一个封闭的轮廓。
41.s106、利用液压泵漏油时刻及其之后时刻的明度差异图像中每个子区域的中心点坐标确定出各明度差异图像中相互对应的子区域。
42.其中，根据第帧中各个子区域的中心点在上一帧（第帧）图像中所在的子区域为同一个子区域。
43.s107、根据连续时刻的明度差异图像中每一个对应的子区域的面积是否变大判断该子区域是否为漏油区域。
44.其中，对应子区域面积增大，使得该子区域的疑似概率增大。
45.本实施例的有益效果在于：本实施例基于计算机视觉，使用概率分水岭算法，根据液压油会增加金属表面光
亮度的特点，对图像中各个像素点属于漏油区域的概率进行分割，提取漏油区域，对液压泵漏油现象进行识别，再根据液压油从漏油点流动方向确定漏油位置。本实施例提供了一种应用电子设备对液压泵漏油现象进行识别的方法，可有效提高识别效率和精度。
46.实施例2本实施例的主要目的是：利用计算机视觉，通过金属表面的光亮程度变化情况，判断漏油现象存在的可能性；对存在漏油可能性较大的图像进一步分析，确定漏油位置，从而实现液压泵漏油现象的自动识别以及漏油点的自动定位。
47.本发明实施例提供一种液压泵漏油识别方法，如图2所示，包括：s201、采集液压泵表面图像。
48.在液压泵容易出现漏油位置，如油管接口处,设置相机1，相机2，相机3，每个相机之间的间隔角度为120
°
，其中相机1放置在接口的正上方，相机2，3分别放置在接口左右两侧，使三个相机均正对油管接口处，采集图像，由于自然光照下液压泵存在背光区，导致采集的图像较暗，影响识别效果，因此本实施例中的各个相机结合led补光灯进行识别，采集油管接口区域图像，对图像进行处理，根据图像中的特征信息实现漏油识别以及漏油点的位置确定。
49.本实施例设计了一种漏油识别以及漏油点定位装置，所需电子识别设备为包含相机，led光源以及嵌入式控制系统，使用rgb相机采集油管接口区域图像，使用嵌入式系统读取图像，识别出图像中的漏油区域，并根据各个区域的变化情况确定漏油点位置。
50.s202、获取液压泵接口区域图像。
51.本步骤的具体过程如下：1. 由于液压泵内部较为复杂，相机采集的图像中还包含其他部件，为了获取接口区域，本实施例使用dnn语义分割网络对目标区域进行识别；具体过程如下：1) 网络结构为encoder-decoder结构，使用的数据集为各个角度的油管接口图像数据集；2) 需要分割的像素共分为两类，即训练集对应标签标注过程为：单通道的语义标签，对应位置像素属于背景类的标注为0，属于接口区域的标注为1。
52.3) 网络的任务是分类，所有使用的loss函数为交叉熵损失函数。
53.2. 在液压泵放置好后，相机初次采集图像，对所有相机采集的图像，分别使用dnn网络进行接口区域识别，获取各自的接口区域的遮罩图像，对所得遮罩图像分别进行连通域分析，则所得连通区域即为各个角度相机所采集的接口区域，以初次采集的接口区域图像作为后续操作的参照图像；3. 启动液压泵后，相机对接口区域进行实时图像采集，对后续采集的图像进行分析。
54.4. 以图像中心点为坐标原点建立直角坐标系；至此，得到液压泵接口区域范围。
55.s203、初步判断漏油存在可能性。
56.由于并非所有液压泵上的各个容易漏油的位置都会发生漏油现象，为避免不必要的运算，本实施例首先对图像中是否存在漏油现象进行初步判断；由于存在液压油的区域变成镜面反射，使得该区域相对正常情况的光亮程度增
大，因此当图像中的光亮程度发生变化时，图像中存在漏油的可能性较大。考虑到油管接口也存在金属反光，再加上设置的光源为点光源，使得漏油区域的各个位置反光程度存在差异，导致正对相机的位置上虽然存在亮度变化，但是变化程度较小，因而无法使用阈值分割对其进行直接提取，即无法直接根据亮度的变化程度确定漏油区域。
57.具体过程如下：1. 由于液压泵漏油会造成亮度改变，因此将参照图像与当前时刻采集的rgb图像分别转换到hsv空间下，并获取各自对应的v通道图像，即明度图像；2. 将当前时刻图像与参照图像所对应明度图像中各个像素点的明度值作差，得到明度差异图像，图像中存在明度差异值的像素点为异常像素点；3. 根据异常像素点的明度值与周边像素点的明度均值大小初步判断图像中漏油存在可能性，具体过程如下：1) 由于图像中存在噪声，即出现个别异常像素点本身明度值与周边像素点的明度值差异较大，而漏油区域为一个异常像素点集中分布的区域，因此根据各个异常像素点的明度值大小以及各个异常像素点八邻域内像素点的明度均值计算得到各个异常像素点的异常程度，异常程度值越大，该异常像素点属于漏油区域的概率越大；2) 由于发生漏油的位置为油管与液压泵接头的位置，距离该位置越近发生漏油的可能性越大，因此在对整个图像的漏油存在可能性进行评估时，还需要结合到接头位置的距离，距离越近，漏油评估时的参考程度越大。进一步的，根据异常像素点到油管接口的距离、异常像素点及其八邻域内像素点的明度值均值计算异常像素点对漏油判断的贡献量；基于各异常像素点的贡献量计算液压泵启动后每个时刻的漏油可能性。因此漏油存在可能性可表示为：可表示为：其中表征第个异常像素点的异常程度；表示第个异常像素点的异常程度对漏油判断的贡献量；为图像中异常像素点的个数；为第个异常像素点到原点的距离，本式中用于表示该异常像素点的参考权重；为第个异常像素点的明度值；为以第个异常像素点为中心的八邻域内的各个像素点的明度均值；为以自然常数为底数的指数函数。
58.3) 当时，认为图像中存在漏油的可能性较大，需要对漏油区域进行识别，并进行漏油点的位置确定，记录当前相机的初始采集时间。
59.s204、获取漏油区域。
60.本实施例使用分水岭算法对图像中的异常像素点进行分割，分水岭算法根据局部极小值进行图像分割，在分割的过程中，它会把临近像素间的相似性作为重要的参考依据，
从而将在空间位置上相近并且灰度值相近的像素点互相连接起来构成一个封闭的轮廓。其基本思想是把图像看作是测地学上的拓扑地貌，图像中每一点像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭。
61.但是考虑到传统的分水岭算法对图像中的噪声以及数据的细微变化较为敏感，容易产生过度分割的现象，而前面得到的各个像素点的异常程度不仅结合了像素点本身的异常明度值，还结合了周边像素点的明度值，因此所述异常像素点的异常程度可以认为是结合周边像素点的明度值对当前像素点的明度值进行了修正，对各个像素点的异常程度值进行分水岭分割，可以消除噪声点，从而避免过分割现象。
62.由于液压油流动性，其在泄露过程中会进行延展，因此本实施例根据液压油的变化特征对连续帧图像进行分析，具体过程如下：1. 对第帧图像的分析过程如下：1) 对所得明度差异图像使用分水岭算法进行图像分割，得到多个子区域，每个子区域对应一种相似明度区域；2) 由于无油区域内像素点的明度值也具有一定的相似性，因此上述所得各个子区域中包含无油的正常区域，需要计算各个子区域属于漏油区域的概率，则第帧图像的第个子区域属于漏油区域的疑似概率可表示为，第个子区域内的各个像素点所对应的漏油判断贡献量的平均值，并进行归一化后的结果；3) 对各个子区域作最小包围框，以包围框对角线的交点为各个子区域的中心点坐标，结合各个子区域的面积以及属于漏油区域的疑似概率，得到描述各个子区域的特征的三元组，则第个子区域所对应的特征三元组可表示为，其中为第帧图像中的第个子区域的中心点坐标，分别为第个子区域的面积以及属于漏油区域的疑似概率；2. 由于液压油的流动性，液压油会受重力影响向下延展，导致漏油区域的面积增大，而随着液压油的流动，正常区域的面积会减小，因此使用上述方法对后续获取的连续帧图像所对应的明度差异图像进行异常亮度子区域，根据相邻帧图像各个子区域的面积变化对该区域属于漏油区域的疑似概率进行修正，具体过程如下：1)根据第帧中各个子区域的中心点在上一帧（第帧）图像中所在的子区域为同一个子区域；2)计算相邻帧的图像中各个对应子区域之间的面积差，根据面积差的变化情况修正，修正过程如下：其中表示当前帧（第帧）与上一帧（第帧）图像中对应子区域的面积差；
当大于0时，表示该子区域面积增大，对应的取值范围为(0,1)，且随着的增大而增大，使得该子区域的疑似概率增大；当小于0时，表示该子区域面积增大，对应的取值范围为(-1,0)，且随着的增大而减小，使得该子区域的疑似概率减小。
63.3)当时，表示第帧中的第个子区域的面积发生了变化，将其中心点更新为当前第帧中的该子区域的中心点坐标。
64.4)依次处理各个子区域，直到处理完所有子区域；3. 对所得连续帧图像重复上述操作，得到各个子区域的最终疑似概率，根据最后一帧图像中各个子区域的疑似概率进行漏油区域的判断，设置阈值，当各个子区域的疑似概率大于阈值时，认为该区域为漏油区域。
65.至此，得到漏油区域。
66.s205、根据漏油区域的分布情况，进一步判断漏油位置。
67.为了确定漏油是否为同一漏油位置产生，对漏油区域中的漏油位置进行进一步的确定。
68.上述步骤提取的漏油区域根据液压油扩展区域的分布情况以及各个扩展区域的灰度特征确定漏油位置；由于两侧相机采集图像中的漏油现象可能是漏油点位于相机采集区域的上方，向下流动产生的，因此需要对三个相机分别进行判断。
69.具体过程如下：1. 获取所述连续n帧图像中的各个子区域中心点的位置变化序列，选取包含最终漏油区域中心点的变化序列，确定对应的相机采集范围内的初始漏油位置；2. 对于相机1所采集的图像范围内，初始漏油位置即为漏油点；3. 对于相机2，3所采集的图像：当各个初始漏油位置所对应的初始子区域中不包含整个图像的纵坐标最大的像素点（即不包含图像上边缘）时，每个初始漏油位置对应一个漏油点；对于初始漏油位置所对应的初始子区域中，根据三个相机的初始采集时间，分别记为,当相机2满足，相机3满足时，各个初始漏油位置均对应一个漏油点；否则认为所述初始漏油位置为非漏油点，对其进行剔除。
70.本实施例的有益效果在于：本实施例基于计算机视觉，使用概率分水岭算法，根据液压油会增加金属表面光亮度的特点，对图像中各个像素点属于漏油区域的概率进行分割，提取漏油区域，对液压泵漏油现象进行识别，再根据液压油从漏油点流动方向确定漏油位置。本实施例提供了一种应用电子设备对液压泵漏油现象进行识别的方法，可有效提高识别效率和精度。
71.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精
神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。