一种炉口图像识别方法、装置、设备及存储介质与流程

1.本发明涉及图像识别领域，特别是涉及一种炉口图像识别方法、装置、设备及存储介质。


背景技术：

2.转炉炼钢是当前主流的炼钢方式，在转炉炼钢的过程中，炼钢工一般通过人眼观察炉口渣子和火焰的状态来进行枪位和加辅料的控制，从而吹炼好一炉钢达到出钢标准。
3.但是，通过人眼来识别炉口的喷溅和预喷溅的渣子状态，是依靠操作工的人为经验判断，存在操作上的差异性，预报准确率低，处理速度慢。
4.因此，如何解决炉口喷溅和预喷溅识别的预报准确率低、处理速度慢等问题，是本领域技术人员亟待解决的技术问题。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种炉口图像识别方法、装置、设备及存储介质，可以达到自动化炼钢的目的，对预喷溅和喷溅识别的预报准确率高，处理速度快。其具体方案如下：
6.一种炉口图像识别方法，包括：
7.实时采集炉口图像；
8.对所述炉口图像进行预处理，得到所述炉口图像的炉口区域；
9.获取所述炉口区域内渣片面积和个数，根据第一设定时间段内的渣片面积和个数得到预喷溅识别结果；
10.沿着所述炉口区域的高度上下平移得到两个喷溅检测区域，将两个所述喷溅检测区域的图像进行阈值处理后，获取相应的面积并分别与对应的设定面积阈值进行比较，根据第二设定时间段内的比较结果得到喷溅识别结果。
11.优选地，在本发明实施例提供的上述炉口图像识别方法中，对所述炉口图像进行预处理，得到所述炉口图像的炉口区域，具体包括：
12.利用中值滤波对所述炉口图像进行去燥处理；
13.对所述炉口图像进行尺度变换，通过尺度变换因子增强所述炉口图像的亮度；
14.通过otsu自动阈值算法对所述炉口图像进行分割并获取分割阈值；
15.根据分割后的所述炉口图像的均值，对所述分割阈值进行调整并对所述炉口图像进行二值化，得到所述炉口图像的炉口区域。
16.优选地，在本发明实施例提供的上述炉口图像识别方法中，获取所述炉口区域内渣片面积和个数，具体包括：
17.通过canny边缘算子对所述炉口区域进行边缘检测，得到边缘检测结果的渣片面积和个数；
18.通过高斯衍生矩阵对所述炉口图像进行转换得到海森规则的派生图，提取派生图
的特征并处理，得到派生图中渣片面积和个数；
19.将得到的边缘检测结果的渣片面积和个数、派生图中渣片面积和个数进行取并集操作，获取所述炉口区域内渣片面积和个数。
20.优选地，在本发明实施例提供的上述炉口图像识别方法中，通过canny边缘算子对所述炉口区域进行边缘检测，得到边缘检测结果的渣片面积和个数，具体包括：
21.通过canny边缘算子提取所述炉口区域内渣片的轮廓线；
22.对提取的轮廓线进行圆度筛选；
23.将筛选出的轮廓线转换成区域并填充；
24.对填充后的区域进行面积筛选，选出面积在设定区间的区域，将该区域标识到所述炉口图像中，获得识别出的渣片，并获取该渣片的面积和个数。
25.优选地，在本发明实施例提供的上述炉口图像识别方法中，对提取的轮廓线进行圆度筛选，具体包括：
26.将提取的轮廓线中非圆弧状的边缘去除掉；
27.对剩余的轮廓线进行闭合轮廓筛选，得到起始点和终止点之间的距离小于设定距离阈值的轮廓线。
28.优选地，在本发明实施例提供的上述炉口图像识别方法中，提取派生图的特征并处理，得到派生图中渣片面积和个数，具体包括：
29.对派生图进行去背景处理；
30.筛选出像素值大于设定像素阈值的区域；
31.对筛选出的区域进行去炉口边框以及面积筛选，获得识别出的渣片，并获取该渣片的面积和个数。
32.优选地，在本发明实施例提供的上述炉口图像识别方法中，根据第二设定时间段内的比较结果得到喷溅识别结果，具体包括：
33.当下移得到的所述喷溅检测区域在阈值处理后获取的面积大于第一设定面积阈值，以及上移得到的所述喷溅检测区域在阈值处理后获取的面积小于第二设定面积阈值时，且在第二设定时间段内满足该情况的所述炉口图像的数量大于设定数量阈值时，则判定所述炉口图像包含喷溅现象；或，
34.当下移得到的所述喷溅检测区域在阈值处理后获取的面积大于所述炉口区域总面积的一半，以及上移得到的所述喷溅检测区域在阈值处理后获取的面积小于所述第二设定面积阈值时，则判定所述炉口图像包含喷溅现象。
35.本发明实施例还提供了一种炉口图像识别装置，包括：
36.图像采集模块，用于实时采集炉口图像；
37.图像处理模块，用于对所述炉口图像进行预处理，得到所述炉口图像的炉口区域；
38.预喷溅识别模块，用于获取所述炉口区域内渣片面积和个数，根据第一设定时间段内的渣片面积和个数得到预喷溅识别结果；
39.喷溅识别模块，用于沿着所述炉口区域的高度上下平移得到两个喷溅检测区域，将两个所述喷溅检测区域的图像进行阈值处理后，获取相应的面积并分别与对应的面积阈值进行比较，根据第二设定时间段内的比较结果得到喷溅识别结果。
40.本发明实施例还提供了一种炉口图像识别设备，包括处理器和存储器，其中，所述
处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述炉口图像识别方法。
41.本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述炉口图像识别方法。
42.从上述技术方案可以看出，本发明所提供的一种炉口图像识别方法，包括：实时采集炉口图像；对炉口图像进行预处理，得到炉口图像的炉口区域；获取炉口区域内渣片面积和个数，根据第一设定时间段内的渣片面积和个数得到预喷溅识别结果；沿着炉口区域的高度上下平移得到两个喷溅检测区域，将两个喷溅检测区域的图像进行阈值处理后，获取相应的面积并分别与对应的设定面积阈值进行比较，根据第二设定时间段内的比较结果得到喷溅识别结果。
43.本发明通过对炉口图像所含的信息以及特征进行提取分析和判断，从而得出预喷溅和喷溅的状态，这样通过对炉口图像的预喷溅和喷溅识别能够很好的用于控制冶炼过程中的加料方式和氧枪调节方式，来代替操作工通过视觉观察而进行的操作，从而达到自动化炼钢的目的，该方法具有预报准确，处理速度快的特点。此外，本发明还针对炉口图像识别方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
附图说明
44.为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
45.图1为本发明实施例提供的炉口图像识别方法的流程图；
46.图2为本发明实施例提供的炉口图像识别方法的具体流程图；
47.图3为本发明实施例提供的尺度变换前的炉口图像；
48.图4为本发明实施例提供的尺度变换后的炉口图像；
49.图5为本发明实施例提供的自动阈值分割后的炉口图像；
50.图6为本发明实施例提供的二值化后的炉口图像；
51.图7为本发明实施例提供的炉口预喷溅对应的原始炉口图像；
52.图8为本发明实施例提供的canny亚像素边缘提取后的图像；
53.图9为本发明实施例提供的圆度筛选后的图像；
54.图10为本发明实施例提供的筛选出闭合轮廓后的图像；
55.图11为本发明实施例提供的canny边缘算子处理识别出的渣片图像；
56.图12为本发明实施例提供的转换为hessian矩阵后的图像；
57.图13为本发明实施例提供的去背景处理后具有凸出区域的图像；
58.图14为本发明实施例提供的面积筛选后具有凸出区域的图像；
59.图15为本发明实施例提供的总体预喷溅识别后的炉口图像；
60.图16为本发明实施例提供的炉口区域经上下平移后获取的识别区域图；
61.图17为本发明实施例提供的炉口喷火的基本情况图；
62.图18为本发明实施例提供的炉口积渣情况下的喷溅图像；
63.图19为本发明实施例提供的积渣并喷溅情况下获取喷溅检测区域的图像；
64.图20为本发明实施例提供的正常情况下的预喷溅识别结果；
65.图21为本发明实施例提供的炉口积渣情况下的预喷溅识别结果；
66.图22为本发明实施例提供的受到烟雾干扰情况下的预喷溅识别结果；
67.图23为本发明实施例提供的正常情况下的喷溅识别结果；
68.图24为本发明实施例提供的受到烟雾干扰情况下的喷溅识别结果；
69.图25为本发明实施例提供的炉口积渣情况下的喷溅识别结果；
70.图26为本发明实施例提供的炉口图像识别装置的结构示意图。
具体实施方式
71.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
72.本发明提供一种炉口图像识别方法，如图1所示，包括以下步骤：
73.s101、实时采集炉口图像。
74.s102、对炉口图像进行预处理，得到炉口图像的炉口区域。
75.需要说明的是，由于吹炼的环境相对恶劣，采集的炉口图像受到的干扰因素会较多，为了准确地得到炉口区域，需要对图像进行一些预处理。
76.s103、获取炉口区域内渣片面积和个数，根据第一设定时间段内的渣片面积和个数得到预喷溅识别结果。
77.在实际应用中，预喷溅其实在转炉冶炼的过程中属于炉口视野甩渣片的情况，为了更加准确的提取炉口甩出来的渣片，本发明可以将canny边缘检测算子和高斯衍生矩阵处理这两种方式处理结果进行综合特征提取和判断，以识别出预喷溅现象。这里的第一设定时间段可以设置为当前2秒内。
78.s104、沿着炉口区域的高度上下平移得到两个喷溅检测区域，将两个喷溅检测区域的图像进行阈值处理后，获取相应的面积并分别与对应的设定面积阈值进行比较，根据第二设定时间段内的比较结果得到喷溅识别结果。这里的第二设定时间段可以设置为当前1秒内。
79.在本发明实施例提供的上述炉口图像识别方法中，通过对炉口图像所含的信息以及特征进行提取分析和判断，从而得出预喷溅和喷溅的状态，这样通过对炉口图像的预喷溅和喷溅识别能够很好的用于控制冶炼过程中的加料方式和氧枪调节方式，来代替操作工通过视觉观察而进行的操作，从而达到自动化炼钢的目的，该方法具有预报准确，处理速度快的特点。
80.进一步地，在具体实施时，在本发明实施例提供的上述炉口图像识别方法中，如图2所示，步骤s102对炉口图像进行预处理，得到炉口图像的炉口区域，具体可以包括：首先利用中值滤波对炉口图像进行去燥处理；然后对炉口图像进行尺度变换，通过尺度变换因子增强炉口图像的亮度；之后通过otsu自动阈值算法对炉口图像进行分割并获取分割阈值；
最后根据分割后的炉口图像的均值，对分割阈值进行调整并对炉口图像进行二值化，得到炉口图像的炉口区域。为了使处理效果更佳，在得到炉口图像的炉口区域后，还可以根据炉口区域的均值和方差，对炉口图像进行均衡化处理，准确获得炉口的宽高等基本特征。
81.具体地，以图3至图6为例，首先将图3示出的变换前的i_i图像通过获取图4示出的变换后的图像i_o，通过尺度变换因子num_scale增强图像的亮度。然后通过otsu自动阈值算法获取图5示出的分割后的图像和分割阈值，根据图5的图像的均值对分割阈值进行调整并二值化取炉口，从而获得图6示出的炉口图像的炉口区域。
82.进一步地，在具体实施时，在本发明实施例提供的上述炉口图像识别方法中，步骤s103获取炉口区域内渣片面积和个数，具体可以包括以下步骤：
83.步骤一、通过canny边缘算子对炉口区域进行边缘检测，得到边缘检测结果的渣片面积和个数。
84.具体地，可以首先通过canny边缘算子提取炉口区域内渣片的轮廓线；然后对提取的轮廓线进行圆度筛选；之后将筛选出的轮廓线转换成区域并填充；最后对填充后的区域进行面积筛选，选出面积在设定区间的区域，将该区域标识到炉口图像中，获得识别出的渣片，并获取该渣片的面积和个数。
85.图7示出了实际中含甩渣片的炉口图像。图8示出了通过设定相应的参数获得的canny边缘亚像素提取的轮廓线。所提取的轮廓线进行圆度筛选圆度值可以为[0.04559,1]，其圆度num_r的获取方式为f为轮廓的区域，m_dis为该区域的中心到各个边界的像素距离。如图9和图10所示，圆度筛选可以将轮廓线中那些非圆弧状的边缘去除掉，再对剩余的轮廓线进行闭合轮廓筛选，所谓的闭合轮廓是通过计算一条轮廓线的起始点和终止点之间的距离并将距离大于设定距离阈值的点筛除掉，从而得到相对较为闭合的轮廓，通过轮廓线转换成区域并填充，然后进行面积筛选，选出面积在一定阈值区间的区域，如图11所示，将该区域标识到图像中获得识别出的渣片。
[0086]
步骤二、通过高斯衍生矩阵对炉口图像进行转换得到海森规则的派生图，提取派生图的特征并处理，得到派生图中渣片面积和个数。
[0087]
具体地，首先将获取的炉口区域从炉口图像上截取出来，然后如图12所示，以sigma＝2的高斯滤波后图像通过将其图像转换为派生图(即hessian矩阵图像)，派生图中的像素变换较为明显的区域便能够更加清晰直观的显现。接下来在对派生图的处理过程中，可以先对派生图进行去背景处理；如图13所示，该矩阵图像的背景像素是在0左右，越突兀的地方像素值越大，此时筛选出像素值大于设定像素阈值的区域，如图14所示，可以通过选择大于2的阈值获得图像中的凸出区域；最后对筛选出的区域进行去炉口边框以及面积筛选，获得识别出的渣片，并获取该渣片的面积和个数。
[0088]
步骤三、将得到的边缘检测结果的渣片面积和个数、派生图中渣片面积和个数进行取并集操作，获取炉口区域内渣片面积和个数。
[0089]
具体地，将canny边缘算子处理的结果与高斯衍生矩阵处理结果结合，将两种方式获取的区域取并操作，从而得到如图15所示的预喷溅识别块在炉口图像中的状态和位置。
[0090]
进一步地，在具体实施时，在本发明实施例提供的上述炉口图像识别方法中，在执行步骤s104的过程中，通过预处理获取的炉口区域进行上下平移后获得如图16所示的喷溅检测区域1和喷溅检测区域2，由于炉口吹炼的过程中存在如图17所示的喷火情况，喷火的情况会严重影响炉口的判断和喷溅的判断，但是喷火与喷溅最大的特征区别是火焰具有向上的趋势，因此可以通过上移获得的喷溅检测区域2对喷火进行过滤筛选，此外火焰的收缩速度非常快，喷溅出来的液体冷却速度要慢得多，也利用这一点对其符合条件的喷溅图像存储在数组内用于综合判断，从而做到喷溅识别。
[0091]
需要说明的是，当存在炉口具有较多积渣使炉口区域变得很小难以识别的情况时，这种情况下的喷溅如图18所示，通过阈值和坐标特征的筛选取出图像中的黑色椭圆状区域(若无明显炉口，也不存在黑色椭圆状区域则取图像中的下1/3区域作为喷溅检测区域3)，并以最靠上的行坐标为起始行坐标如图19中的白色圆点位置进行高度为200像素的固定喷溅检测区域3规划，从固定喷溅检测区域3中获取像素值大于阈值30的部分，并对其面积进行计算和存储，其综合判断可以为
[0092][0093]
其中，area1，area2和area3分别为喷溅检测区域1，喷溅检测区域2，喷溅检测区域3中符合情况的阈值面积，th_area1，th_area2，th_area3分别为喷溅检测区域1对应的第一设定面积阈值、喷溅检测区域2对应的第二设定面积阈值、喷溅检测区域3对应的第三面积阈值，num为符合在当前1s内(area1＞th_area1)&&(area2＜th_area2)或(area3＞th_area3)&&(area2＜th_area2)这种情况的图像数量，th_num为设定数量阈值，th_area_all为炉口区域的总面积。当满足以上三个条件的其中之一则认为是喷溅现象。
[0094]
也就是说，步骤s104根据第二设定时间段内的比较结果得到喷溅识别结果，具体可以包括：当下移得到的喷溅检测区域1在阈值处理后获取的面积area1大于第一设定面积阈值th_area1，以及上移得到的喷溅检测区域2在阈值处理后获取的面积area2小于第二设定面积阈值th_area2时，且在第二设定时间段内满足该情况的炉口图像的数量大于设定数量阈值th_num时，则判定炉口图像包含喷溅现象；或，当喷溅检测区域3在阈值处理后获取的面积area3大于第三设定面积阈值th_area3，以及上移得到的喷溅检测区域2在阈值处理后获取的area2小于第二设定面积阈值th_area2时，且在第二设定时间段内满足该情况的炉口图像的数量大于设定数量阈值th_num时，则判定炉口图像包含喷溅现象；或，当下移得到的喷溅检测区域1在阈值处理后获取的面积area1大于炉口区域总面积th_area_all的一半，以及上移得到的喷溅检测区域2在阈值处理后获取的面积area2小于第二设定面积阈值th_area2时，则判定炉口图像包含喷溅现象。
[0095]
经试验后，无论是正常情况下的预喷溅，还是炉口具有一定积渣情况下的预喷溅，或者是受到较大烟雾干扰情况下的预喷溅，都能够准确的识别，识别结果如图20，图21和图22所示。同样地，无论是正常情况下的喷溅，还是受到烟雾干扰情况下的喷溅，或者是炉口积渣情况下的喷溅，都能够准确的识别，识别结果分别如图23，图24和图25所示。因此，通过
实施例提供的上述炉口图像识别方法可以在各种情况下都能够较为准确的识别出来预喷溅或喷溅的结果。
[0096]
基于同一发明构思，本发明实施例还提供了一种炉口图像识别装置，由于该装置解决问题的原理与前述一种炉口图像识别方法相似，因此该装置的实施可以参见炉口图像识别方法的实施，重复之处不再赘述。
[0097]
在具体实施时，本发明实施例提供的炉口图像识别装置，如图26所示，具体包括：
[0098]
图像采集模块11，用于实时采集炉口图像；
[0099]
图像处理模块12，用于对炉口图像进行预处理，得到炉口图像的炉口区域；
[0100]
预喷溅识别模块13，用于获取炉口区域内渣片面积和个数，根据第一设定时间段内的渣片面积和个数得到预喷溅识别结果；
[0101]
喷溅识别模块14，用于沿着炉口区域的高度上下平移得到两个喷溅检测区域，将两个喷溅检测区域的图像进行阈值处理后，获取相应的面积并分别与对应的面积阈值进行比较，根据第二设定时间段内的比较结果得到喷溅识别结果。
[0102]
在本发明实施例提供的上述炉口图像识别装置中，可以通过上述四个模块的相互作用，得出预喷溅和喷溅的状态，进而能够很好的用于控制冶炼过程中的加料方式和氧枪调节方式，来代替操作工通过视觉观察而进行的操作，达到自动化炼钢的目的，具有预报准确，处理速度快的特点。
[0103]
关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
[0104]
相应的，本发明实施例还公开了一种炉口图像识别设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的炉口图像识别方法。
[0105]
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
[0106]
进一步的，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的炉口图像识别方法。
[0107]
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
[0108]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0109]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
[0110]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存
储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd
‑
rom、或技术领域内所公知的任意其它形式的存储介质中。
[0111]
本发明实施例提供的一种炉口图像识别方法，包括：实时采集炉口图像；对炉口图像进行预处理，得到炉口图像的炉口区域；获取炉口区域内渣片面积和个数，根据第一设定时间段内的渣片面积和个数得到预喷溅识别结果；沿着炉口区域的高度上下平移得到两个喷溅检测区域，将两个喷溅检测区域的图像进行阈值处理后，获取相应的面积并分别与对应的设定面积阈值进行比较，根据第二设定时间段内的比较结果得到喷溅识别结果。这样通过对炉口图像所含的信息以及特征进行提取分析和判断，从而识别出预喷溅和喷溅的状态，能够很好的用于控制冶炼过程中的加料方式和氧枪调节方式，来代替操作工通过视觉观察而进行的操作，从而达到自动化炼钢的目的，该方法具有预报准确，处理速度快的特点。此外，本发明还针对炉口图像识别方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
[0112]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0113]
以上对本发明所提供的炉口图像识别方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。