滚轮罐耳运行状态检测方法、装置、计算机设备及介质

1.本发明属于滚轮罐耳检测技术领域，特别涉及一种滚轮罐耳运行状态检测方法、装置、计算机设备及介质。


背景技术：

2.煤炭作为我国的主要能源之一，其开采的安全问题对煤矿的经济效益有直接影响。在煤炭开采过程中，矿井提升系统扮演着运输煤炭、设备和人员等重要角色。
3.滚轮罐耳是安设在立井提升容器上的导向装置，它沿着刚性罐道上下运行工作，其作用是保障提升器的安全平稳运行。一旦滚轮罐耳出现故障，轻则提升系统不能正常工作，影响煤矿的经济效益，重则危及到人员安全。因此研究滚轮罐耳的运行状态具有重要意义。
4.在长期工作过程中，滚轮罐耳会出现轴承损坏、缓冲器损坏、胶轮磨损以及零部件损坏等问题。《煤矿安全规程》中规定，当滚轮罐耳的胶轮磨损程度超过一定阈值时，就必须及时更换，因此，本发明主要是针对胶轮的磨损问题。
5.在胶轮磨损检测中，厚度是最基本和最主要的测量参数，也是本发明的一个重点检测对象。随着各种测量方式的涌现，厚度测量技术因为其高精度、高效率、高自动化而被广泛应用，促进了工业检测技术的发展。而机器视觉测量技术能够在非接触情况下，可以对被测物体进行快速、精准、实时地测量，因而该测量技术在现代的工业领域中被广泛使用。


技术实现要素：

6.本发明的目的在于提出一种基于机器视觉的滚轮罐耳运行状态检测方法，该检测方法能够准确检测滚轮罐耳的运行状态，从而保障矿井提升系统的正常运行。
7.本发明为了实现上述目的，采用如下技术方案：基于机器视觉的滚轮罐耳运行状态检测方法，包括如下步骤：步骤1. 首先对采集的滚轮罐耳图像进行图像增强以及滤波预处理；步骤2. 对预处理后的图像进行投影变换处理转换成正视拍摄视角下的滚轮罐耳图像；步骤3. 对投影变换后的图像进行裁剪，提取滚轮图像；步骤4. 使用otsu阈值分割与连通域结合的方法对滚轮图像进行处理，提取胶轮图像；步骤5. 从胶轮图像中提取并分离出胶轮的内圈边缘和外圈边缘，并通过拟合的方式分别补全胶轮的内圈边缘轮廓和外圈边缘轮廓；进一步基于补全后的内圈边缘轮廓和外圈边缘轮廓图得到完整的胶轮图像；步骤6. 在完整的胶轮图像中以胶轮内圈圆心为坐标原点向外发射多条射线，通过抽样测量获得胶轮的多个厚度值，通过计算得到厚度的平均值；然后根据该厚度的平均值与预设胶轮磨损阈值的大小比较判断胶轮的磨损情况，
进一步根据胶轮的磨损情况判断出当前滚轮罐耳的运行状态。
8.此外，本发明还提出了一种与上述基于机器视觉的滚轮罐耳运行状态检测方法相对应的基于机器视觉的滚轮罐耳运行状态检测装置，其技术方案如下：基于机器视觉的滚轮罐耳运行状态检测装置，包括：预处理模块，用于对采集的滚轮罐耳图像进行图像增强以及滤波预处理；投影变换处理模块，用于对预处理后的图像进行投影变换处理，转换成正视拍摄视角下的滚轮罐耳图像；滚轮图像提取模块，用于对投影变换后的图像进行裁剪，提取滚轮图像；胶轮图像提取模块. 用于对提取的滚轮图像使用otsu阈值分割与连通域结合的方法进行处理，从而提取出胶轮图像；完整的胶轮图像生成模块，用于从胶轮图像中提取并分离出胶轮的内圈边缘和外圈边缘，并通过拟合的方式分别补全胶轮的内圈边缘轮廓和外圈边缘轮廓；进一步基于补全后的内圈边缘轮廓和外圈边缘轮廓图得到完整的胶轮图像；以及胶轮磨损判断模块，用于在完整的胶轮图像中以胶轮内圈圆心为坐标原点向外发射多条射线，通过抽样测量获得胶轮的多个厚度值，通过计算得到厚度的平均值；然后根据该厚度的平均值与预设胶轮磨损阈值的大小比较判断胶轮的磨损情况，进一步根据胶轮的磨损情况判断出当前滚轮罐耳的运行状态。
9.此外，本发明还提出了一种与上述基于机器视觉的滚轮罐耳运行状态检测方法相对应的计算机设备，该计算机设备包括存储器和一个或多个处理器。
10.所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上面述及的基于机器视觉的滚轮罐耳运行状态检测方法。
11.此外，本发明还提出了一种与上述基于机器视觉的滚轮罐耳运行状态检测方法相对应的计算机可读存储介质，其上存储有程序。
12.该程序被处理器执行时，实现上面述及的基于机器视觉的滚轮罐耳运行状态检测方法。
13.本发明具有如下优点：如上所述，本发明述及了一种基于机器视觉的滚轮罐耳运行状态检测方法，该检测方法基于运行中采集的滚轮罐耳图像，依次对该滚轮罐耳图像进行图像增强以滤波预处理，投影变换处理，roi提取滚轮图像，基于otsu阈值分割与连通域结合的方法提取胶轮图像，从胶轮图像中提取并分离出胶轮的内圈和外圈，并通过拟合的方式补全胶轮的内圈和外圈边缘轮廓，进而获得完整的胶轮图像，进一步在完整的胶轮图像中通过抽样测量获得胶轮的多个厚度值，并通过计算得到厚度的平均值，最后基于该厚度的平均值与预设胶轮磨损阈值的大小比较判断胶轮磨损的情况，实现对滚轮罐耳运行状态的检测。本发明检测方法测量精度高，能够很好地判断罐耳的运行状态，有效地保障了矿井提升系统的正常运行。
附图说明
14.图1为本发明实施例中基于机器视觉的滚轮罐耳运行状态检测方法的流程示意图。
15.图2为本发明实施例中滚轮罐耳图像的采集装置安装示意图。
16.图3为本发明实施例中投影坐标变换示意图。
17.图4为本发明实施例中投影示意图。
18.图5为本发明实施例中经过孔洞填充与数学形态处理后的胶轮图像示意图。
19.图6为本发明实施例中经过最小二乘法分离出的外圈边缘轮廓图。
20.图7为本发明实施例中经过最小二乘法分离出的内圈边缘轮廓图。
21.图8为本发明实施例中通过边缘拟合得到胶轮的外圈边缘轮廓示意图。
22.图9为本发明实施例中通过边缘拟合得到胶轮的内圈边缘轮廓示意图。
23.图10为本发明实施例中得到的完整的胶轮图。
24.图11为本发明实施例中胶轮厚度的测量示意图。
具体实施方式
25.下面结合附图以及具体实施方式对本发明作进一步详细说明：本实施例述及了一种基于机器视觉的滚轮罐耳运行状态检测方法，以实现对滚轮罐耳的运行状态的检测（磨损检测），进而保障矿井提升系统的正常运行如图1所示，该滚轮罐耳运行状态检测方法包括如下步骤：步骤1.首先对采集的滚轮罐耳图像进行图像增强以及滤波预处理。
26.矿井的提升系统运行过程中，当箕斗运行至井口位置时，其运行速度较慢，此时拍摄的滚轮罐耳图像较清晰，因此将摄像机安装在井口附近，进行滚轮罐耳的图像采集。
27.箕斗共有四组滚轮罐耳，有两组位于图2中左侧，两组位于图2中右侧，每组滚轮罐耳有三个，因此，本实施例在井口的左侧和右侧分别安装一组摄像机。图2中标记1表示摄像机，标记2表示箕斗，标记3表示滚轮罐耳，标记4表示罐道，标记5表示钢丝绳。
28.每组摄像机有三个，且每个摄像机分别对准每组滚轮罐耳中的一个滚轮罐耳。
29.摄像机将采集到的图像以视频流的形式通过无线传输至上位机，进行后续的图像处理。
30.图2为滚轮罐耳图像采集装置安装示意图。经过对相机参数的研究，并结合监测系统实际工作位置，最终选择筒形网络摄像机，其最大分辨率为3840
×
2160。
31.在用摄像机对滚轮罐耳运行状况进行拍摄时，由于井口环境的光照不均、亮度较暗和高矿尘等特点，拍摄画面会存在清晰度差、噪声干扰等问题，从而影响图像的质量。
32.因此，本实施例需要首先对滚轮罐耳图像进行图像增强、滤波等预处理操作，以提高图像质量，使监测目标物体与参照物的特征更加明显，易于与背景分离。
33.为了解决滚轮罐耳图像光照不均的问题，本实施例使用retinex算法进行图像增强处理，利用retinex算法对采集的滚轮罐耳图像进行图像增强的过程如下：对采集的滚轮罐耳图像进行如下公式的变换：r(x,y)=wk*{logs(x,y)-log[fk(x,y)*s(x,y)]}（1）其中，(x,y)表示滚轮罐耳图像的像素坐标，r(x,y)为输出图像即图像增强后的图像；s(x,y)为原始图像；n为尺度数目，取值为3。
[0034]
wk表示每个尺度对应的权重因子，取值为w1= w2= w3=1/3。
[0035]
f(x,y)为环绕函数，fk(x,y)为第k个环绕函数，其表达式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）其中，σk为尺度参数，λk为尺度因子，k=1,2,3，σ1=15，σ2=80，σ3=250。
[0036]
λk的取值满足fk(x,y)=1。
[0037]
通过对采集的滚轮罐耳图像利用retinex算法进行处理，能够有效地降低入射图像的影响，尽量保留反射图像，以达到图像增强的效果。在图像增强后使用中值滤波去除图像中的噪声。中值滤波能有效的保留图像的细节部分，同时能去除图像中的噪声。
[0038]
通过利用retinex算法以及中值滤波分别对采集的滚轮罐耳图像进行图像增强以及滤波处理，因而能够得到光照均匀、对比度清晰的滚轮罐耳图像，便于后续处理。
[0039]
步骤2. 对预处理后的图像进行投影变换处理转换成正视拍摄视角下的滚轮罐耳图像。
[0040]
由于提升系统在井口位置的罐道与罐道梁错综复杂、空间狭小，导致采集装置无法安装在滚轮罐耳的正视位置，因而，摄像机无法拍摄正视视角下的滚轮罐耳图像。
[0041]
为了获得准确的测量数据，必须对滚轮罐耳图像进行投影变换，使其转换成正视拍摄视角下的滚轮罐耳图像，以消除摄像机由于无法正视拍摄引起的胶轮厚度计算误差问题。
[0042]
该步骤2具体为：对经过步骤1预处理后的图像进行投影变换矫正时，给出如下公式（3）至公式（5）。
[0043]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）x= x’/ w’=(a
11
u+a
12
v+a
13
)/(a
31 u+a
32
v+a
33
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）y= y’/ w’=(a
21
u+a
22
v+a
23
)/(a
31 u+a
32
v+a
33
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）其中，(u,v)为预处理后的图像的像素坐标，(x,y)为投影变换之后的图像的像素坐标； (x’,y’,w’)为投影变换后的齐次坐标，a
ij
表示变换参数，i=1,2,3，j=1,2,3。
[0044]
在预处理后的图像中通过椭圆检测提取胶轮的内圈轮廓，并在胶轮的内圈轮廓上提取以椭圆中心o为坐标原点建立的xoy坐标系与x轴、y轴相交的4个坐标点的坐标。
[0045]
然后求得当内圈轮廓转换成以椭圆长轴为半径的正圆时4个坐标点对应点的坐标。
[0046]
将以上4个坐标点在变换前、后的坐标值，分别代入上述公式（3）中建立方程组，通过解方程组得到投影变换矩阵tr。
[0047]
进一步将该投影变换矩阵tr与预处理后的图像相乘，将预处理后的图像中的每一个像素点都还原到正视拍摄视角下的场景中，得到正视拍摄视角下的滚轮罐耳图像。
[0048]
本发明以胶轮内圈为基准，通过将胶轮内圈转换成一个正圆时求出所对应的变换关系，并以该变换关系得到的变换矩阵进行投影变换处理。具体过程如下：由于胶轮内圈轮廓是一个正圆，因为拍摄角度原因，胶轮的内圈轮廓会成为一个椭圆，在胶轮内圈轮廓以及与将其转换成以椭圆长轴为半径得到的正圆上取四组对应的点。
[0049]
将四组对应的坐标值分别代入上述公式（3）即可得到投影变换矩阵tr，进而利用该对投影变换矩阵tr对整张图像进行投影变换处理，得到正视拍摄视角下的滚轮罐耳图像。
[0050]
如图3和图4所示，投影变换的原理如下：从原图像平面中取四个点6、7、8、9，它们的坐标已知，在新图像平面中取四个点10、11、12、13，它们的坐标已知。
[0051]
其中，原图像平面14中取的点与新图像平面15中取的点的坐标一一对应。
[0052]
将上述四组对应的坐标值，分别代入公式（3），通过求得原图像平面以及新图像平面之间的投影变换矩阵，进一步将该投影变换矩阵，即可实现原图像的投影变换。
[0053]
步骤3. 对投影变换后的图像进行裁剪，提取滚轮图像。
[0054]
本实施例利用roi提取的方法，对步骤2经过投影变换处理后的图像进行边缘粗提取，确定滚轮位置进行裁剪，提取滚轮部分，消除阴影部分，减少计算量。
[0055]
步骤4. 使用otsu阈值分割与连通域结合的方法对滚轮图像进行处理，提取胶轮图像。
[0056]
由于滚轮罐耳运行至井口处的背景环境复杂，只用采用阈值分割难以分离出胶轮图像，通过阈值分割与连通域相结合的方法，能够将复杂背景下的罐耳图像分离。
[0057]
在处理过程中需要识别出所有的轮廓，对非胶轮区域进行填充，从而提取胶轮图像。
[0058]
该步骤4具体为：步骤4.1. 分别计算滚轮图像中胶轮区域和非胶轮区域的灰度均值，得到胶轮区域的像素均值ua以及非胶轮区域的像素均值ub，并代入下述公式（6）。
[0059]
ua=1/na*∑
(i,j)∈a
f(i,j)，ub=1/nb*∑
(i,j)∈b
f(i,j)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6）其中，a表示胶轮区域，b表示非胶轮区域，(i,j)表示滚轮图像中的像素坐标；na和nb分别表示胶轮区域和非胶轮区域的像素个数。
[0060]
定义o(t)表示类间方差，如公式（7）所示。
[0061]
o(t)=na(t) *nb(t) *[ua(t)
‑ꢀ
ub(t)]
2 ꢀꢀꢀꢀꢀ
（7）其中，t表示分割阈值。
[0062]
na(t)、nb(t)表示分割阈值为t时对应的胶轮区域和非胶轮区域的像素个数；ua(t)、ub(t)表示分割阈值为t时对应的胶轮区域和非胶轮区域的像素均值。
[0063]
当o(t)取最大值时对应的分割阈值t，作为最佳分割阈值t
max
。
[0064]
步骤4.2. 将最佳分割阈值t
max
代入到公式（8），将步骤3提取的滚轮图像中像素点灰度值大于t
max
的设为1，即为胶轮区，非胶轮区域的灰度值设为0，进行阈值分割。
[0065]
当f(i,j)》t
max
时，g(i,j)=1，f(i,j) ≤t
max
时，g(i,j)=0
ꢀꢀꢀꢀꢀꢀ
（8）其中，f(i,j)表示分割前的滚轮图像像素值，g(i,j)表示分割后的图像像素值。
[0066]
步骤4.3. 经过阈值分割后胶轮图像的连通域最大，因此，将滚轮图像中其他较小
的连通域像素值取0，以实现胶轮区域的提取，通过提取得到胶轮图像。
[0067]
步骤4.4. 使用数字形态学对经过步骤4.3提取得到的胶轮图像进行细化，去除胶轮图像中的边缘毛刺和孤立斑点，最终得到较为光滑的胶轮图像，如图5所示。
[0068]
步骤5. 针对滚轮罐耳在运行过程中其表面可能存在污渍，而使得步骤4提取的胶轮图像不完整的情况，本实施例提供了一种基于边缘拟合进行补全胶轮图像的方法。
[0069]
其大致过程如下：首先从步骤4得到的胶轮图像中提取并分离出胶轮的内圈边缘和外圈边缘，并通过拟合的方式分别补全胶轮的内圈边缘轮廓和外圈边缘轮廓。
[0070]
进一步基于补全后的内圈边缘轮廓和外圈边缘轮廓图得到完整的胶轮图像。
[0071]
该步骤5具体为：步骤5.1. 先进行canny边缘检测，从胶轮图像中提取出胶轮的边缘得到胶轮边缘图像。
[0072]
步骤5.2. 使用最小二乘法圆拟合，从胶轮边缘图像中分离出胶轮内圈边缘与外圈边缘。
[0073]
该步骤5.2具体为：首先对步骤5.1处理后的胶轮边缘图像进行最小二乘法圆拟合。
[0074]
其中，拟合出来的圆位于胶轮内圈边缘轮廓与外圈边缘轮廓之间，通过拟合的圆建立掩膜与胶轮边缘图像进行逻辑运算，即可将胶轮的内圈边缘和外圈边缘轮廓分割出来。
[0075]
经过最小二乘法分离出的外圈以及内圈边缘轮廓图分别如图6和图7所示。
[0076]
步骤5.3. 分别对胶轮的内圈边缘图像以及外圈边缘图像进行亚像素点提取。
[0077]
步骤5.4. 对提取的亚像素点进行3次b样条曲线拟合，弥补缺失的边缘部分，通过拟合得到胶轮的内圈边缘轮廓和外圈边缘轮廓，如图8和图9所示。
[0078]
进一步基于补全后的胶轮内圈边缘轮廓图和外圈边缘轮廓图得到完整的胶轮图像。
[0079]
该步骤5.4具体为：由于胶轮图像信息的缺失，曲线拟合的方法能够通过缺失区域附近的像素点信息对缺失区域进行拟合，进而实现对缺失区域的补全。
[0080]
由于样条曲线易出现过拟合的现象，而三次b样条曲线具有局部性、凸包性等性质，可以通过4个点拟合一段曲线，且不会出现过拟合现象。
[0081]
在对胶轮边缘提取的亚像素点进行拟合时，设置三次b样条曲线方程的基函数为：f
0,3
(t)=1/6(-t3+3t
2-t+1),f
1,3
(t)=1/6(3t
3-6t2+4),f
2,3
(t)=1/6(-3t3+3t2+3t+1), f
2,3
(t)= 1/6 t
3 （9）其中，t为参数，t∈(0,1)，f
i,3
(t)表示第i个3次b样条基函数，i =0,1,2,3。
[0082]
基于公式（9）中的基函数，得到三次b样条曲线方程，如公式（10）所示：p(t)=p0f
0,3
(t)+ p1f
1,3
(t)+ p2f
2,3
(t)+ p3f
3,3
(t)
ꢀꢀꢀꢀꢀ
（10）式中，pi为控制曲线的特征点，i =0,1,2,3，p(t)表示三次b样条曲线方程。
[0083]
对拟合的外圈边缘轮廓图与内圈边缘轮廓图分别进行连通域填充，将填充后的外圈边缘轮廓图减去填充后的内圈边缘轮廓图得到胶轮掩膜。
[0084]
将胶轮掩膜与上述滚轮图像进行逻辑与运算得到完整的胶轮图像，如图10所示。
[0085]
步骤6. 在步骤5得到的完整的胶轮图像中以胶轮内圈圆心为坐标原点向外发射多条射线，进行抽样测量获得胶轮的多个厚度值，通过计算得到厚度的平均值。
[0086]
然后根据该厚度的平均值与预设胶轮磨损阈值的大小比较判断胶轮的磨损情况，进一步根据胶轮的磨损情况判断出当前滚轮罐耳的运行状态。
[0087]
该步骤6具体为：由于采用聚氨酯材料的胶轮在高硬度下仍具有高弹性的特点，其内圈在运行过程中一般是紧贴着胶轮轴不会产生形变，因此以胶轮的内圈轮廓圆心为中心。
[0088]
在完整的胶轮图像以胶轮的内圈轮廓圆心为坐标原点，向外发射将胶轮的内圈轮廓8等分的等分线，每条等分线的延长线即以胶轮的内圈轮廓圆心为中心建立的一条射线。
[0089]
各射线与x轴的夹角分别为0
°
、45
°
、90
°
、135
°
、180
°
、225
°
、270
°
、315
°
、360
°
。通过以上方式可建立8条射线，如图11所示。
[0090]
当然，以上射线的数量仅仅是示例性的，例如还可以有16条射线，32条射线，64条射线等，此处不再详细赘述。分别求取以上各条射线与外圈的交点到中心的距离值。
[0091]
将以上各个距离值分别减去胶轮内圈的半径值得到胶轮的多个厚度值；将各个厚度值取平均得到厚度的平均值；进一步基于该厚度的平均值与预设胶轮磨损阈值进行比较：若厚度的平均值小于胶轮磨损阈值，则胶轮磨损严重，则当前滚轮罐耳的运行状态不良，需要及时检修；否则认为胶轮磨损在正常范围，此时滚轮罐耳的运行状态良好。
[0092]
基于同样的发明构思，本发明实施例还提供了一种用于实现上述基于机器视觉的滚轮罐耳运行状态检测方法的检测装置，该检测装置包括如下几个模块：预处理模块，用于对采集的滚轮罐耳图像进行图像增强以及滤波预处理；投影变换处理模块，用于对预处理后的图像进行投影变换处理，转换成正视拍摄视角下的滚轮罐耳图像；滚轮图像提取模块，用于对投影变换后的图像进行裁剪，提取滚轮图像；胶轮图像提取模块. 用于对提取的滚轮图像使用otsu阈值分割与连通域结合的方法进行处理，从而提取出胶轮图像；完整的胶轮图像生成模块，用于从胶轮图像中提取并分离出胶轮的内圈边缘和外圈边缘，并通过拟合的方式分别补全胶轮的内圈边缘轮廓和外圈边缘轮廓；进一步基于补全后的内圈边缘轮廓和外圈边缘轮廓图得到完整的胶轮图像；以及胶轮磨损判断模块，用于在完整的胶轮图像中以胶轮的内圈轮廓圆心为坐标原点向外发射多条射线，进行抽样测量胶轮的多个厚度值，并通过计算得到厚度的平均值；然后根据该厚度的平均值与预设胶轮磨损阈值的大小比较判断胶轮的磨损情况，进一步根据胶轮的磨损情况判断出当前滚轮罐耳的运行状态。
[0093]
上述基于机器视觉的滚轮罐耳运行状态检测装置中，各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
[0094]
此外，本发明还提出了一种用于实现上述滚轮罐耳运行状态检测方法的计算机设备。
[0095]
该计算机设备包括存储器和一个或多个处理器。其中，在存储器中存储有可执行代码，处理器执行可执行代码时，用于实现上述滚轮罐耳运行状态检测方法。
[0096]
本实施例中计算机设备为任意具备数据数据处理能力的设备或装置，此处不再赘述。
[0097]
此外，本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，用于实现上述基于机器视觉的滚轮罐耳运行状态检测方法。
[0098]
该计算机可读存储介质可以是任意具备数据处理能力的设备或装置的内部存储单元，例如硬盘或内存，也可以是任意具备数据处理能力的设备的外部存储设备，例如设备上配备的插接式硬盘、智能存储卡（smart media card，smc）、sd卡、闪存卡（flash card）等。
[0099]
当然，以上说明仅仅为本发明的较佳实施例，本发明并不限于列举上述实施例，应当说明的是，任何熟悉本领域的技术人员在本说明书的教导下，所做出的所有等同替代、明显变形形式，均落在本说明书的实质范围之内，理应受到本发明的保护。