基于视频流的指示灯状态检测方法与流程

本发明属于机房电力设备运行状态巡检，具体涉及一种基于视频流的指示灯状态检测方法，可以应用于机房巡检机器人。

背景技术：

1、为了便于对工厂设备运行状态的监测，通过将各生产设备运行状态信号集中到相应的状态显示设备——机柜，通过在机柜上的指示灯信号状态来表征各个设备的运行状态。在机房中对电力设备运行状态的监测中，巡检工程师观察指示灯的状态变化，是根据其亮度和颜色信息来判断的，为了实现对指示灯状态的自动化识别，根据巡检工程师的工作原理设计指示灯的状态识别算法来获取指示灯的状态信息。指示灯的状态为常亮、常灭、频闪以及颜色变化等，其中按频闪的频率不同也分为不同的状态，常见的分为快闪和慢闪，因此系统将指示灯的状态一般分为四类，即常亮、常灭、快闪和慢闪，在通信设备上还包括指示灯的颜色变化。系统将根据检测到指示灯的状态信息来判断设备运行的状态是否正常。

2、目前针对状态指示灯检测的现有相关方案和技术，如申请号：cn201510220629.1(工业现场指示灯状态的视频监测方法)所述。该方案采用双目网络摄像机进行监测，通过对视频图像和背景图像求差分图像，再对差分图像做形态学处理和二值化处理，并以图像扫描的方式确定图像中处于点亮或熄灭两种状态的指示灯位置及个数。该方案的检测需要用到的双目相机，且检测过程主要依赖于传统视觉检测中的形态学处理，该方法对检测对象存在较大的局限性。

3、如申请号：cn201710898861.x(一种基于视频的设备led指示灯状态监测方法及系统)所述。该方案是通过统计图像在色彩空间的特征分布以及形状特征实现对led指示灯的信息提取。主要利用led指示灯与设备背板在色彩空间特征的差异，分离出指示灯的位置信息，但是为了得到指示灯准确的位置信息，需要结合grabcut算法和基于rgb颜色空间的自适应阈值算法分割指示灯位置区域。通过对比相邻两帧图像中各指示灯的位置信息来判断指示灯的状态为点亮或者熄灭，最后通过统计检测周期内指示灯点亮和熄灭的次数以得到指示灯的闪烁频率。该检测方案的检测结果与前一帧图像的检测结果关联性较高，受前一帧图像检测结果影响较大，且对位置区域的分割效果受指示灯光晕的影响较大。

4、以上两种方案技术均属于基于传统机器视觉检测方案。两种方案的检测方法都涉及较为严格、精确的规则设计，对复杂的状态指示灯面板的检测效果有限，易出现漏检以及错检等问题。且方案二(如申请号：cn201710898861.x)中对指示灯位置的分割效果受指示灯光晕的影响较大。影响对指示灯位置的精确定位。

技术实现思路

1、有鉴于此，为了克服现有技术的缺陷和不足，本发明的目的在于提供一种基于视频流的指示灯状态检测方法，可在满足检测精度需求的同时实现多状态的监测(常亮、常灭、闪烁的频率以及颜色变化)，大大扩大了检测算法对指示灯状态多样性的监测范围。本发明用于机房电力设备运行状态监测，主要用于巡检机器人对电力设备运行状态的监测。

2、本发明是通过采集、收集各种状态下的指示灯面板图像数据，通过(人工)标注图像中各指示灯的位置；再通过搭建改进的yolov4深度学习模型对标注的数据集进行学习，得到检测模型。其中为了增强模型yolov4模型对小目标检测的效果通过在cspdarknet53模块中的每两个resblock_body之间加入psa模块(pyramid split attention,psa)以实现对细微特征的检测，进而提高模型对小目标检测的效果和精度。在基于深度学习模型检测获得各指示灯的位置区域，并截取各指示灯的位置区域为roi区域，通过将各指示灯的roi区域从rgb颜色空间转换到hsv颜色空间，并在hsv颜色空间进行通道分离，分别获取h和v通道；根据指示灯处于点亮和熄灭两种状态下在v通道图像中像素值的差异，通过设置v通道的像素值的阈值以判断指示灯的状态；在确定指示灯为点亮的状态下根据各种颜色在h通道的像素值范围的差异确定该指示灯颜色；最后按时间序列统计视频段内每帧图像指示灯的状态。

3、本发明通过采用改进的yolov4深度学习模型检测定位指示灯的位置区域，不仅增强了对小目标检测的准确性和精度，还扩大了算法对指示灯状态的检测适用范围，由于深度学习较强的特征学习能力因此该算法对比传统的视觉检测方法针对复杂的检测环境有更好的适应能力。最后确定指示灯状态部分通过将截取的指示灯roi区域变换到hsv颜色空间，基于v通道和h通道对不同亮度和色彩的表现出的差异性以确定待检测指示灯的准确状态。该方法不仅可以检测指示灯是否处于点亮状态，而且还能判断指示灯的具体颜色，以获取当前指示灯更准确的状态。

4、本发明具体采用以下技术方案：

5、一种基于视频流的指示灯状态检测方法，其特征在于：

6、基于各种状态下的指示灯面板图像数据，通过标注图像中各指示灯的位置形成数据集，再通过搭建改进的yolov4深度学习模型对标注的数据集进行学习，以获得指示灯状态检测模型；

7、利用训练好的模型对视频流进行检测以获得各指示灯的位置区域，并截取各指示灯的位置区域为roi区域，通过将各指示灯的roi区域从rgb颜色空间转换到hsv颜色空间，并在hsv颜色空间进行通道分离，分别获取h和v通道；根据指示灯处于点亮和熄灭两种状态下在v通道图像中像素值的差异，通过设置v通道的像素值的阈值以判断指示灯的状态；在确定指示灯为点亮的状态下根据各种颜色在h通道的像素值范围的差异确定该指示灯颜色；最后按时间序列统计视频段内每帧图像指示灯的状态；

8、所述改进的yolov4深度学习模型具体为：在cspdarknet53模块中的每两个resblock_body之间加入psa模块以实现对细微特征的检测。

9、进一步地，所述基于各种状态下的指示灯面板图像数据，通过标注图像中各指示灯的位置形成数据集具体包括以下步骤：

10、步骤s11：通过到检测现场采集部分指示灯面板图像，其中所采集的图像应包含多种指示灯工作状态，同时通过互联网收集相关指示灯面板图像，以扩充样本的多样性；

11、步骤s12：标记指示灯面板数据集，按数据库管理列表的顺序标记图像中各指示灯的位置区域，作为指示灯的roi区域，并保存成训练数据文件。

12、进一步地，所述改进的yolov4深度学习模型中：通过在yolov4模型中的cspdarknet53模块中的每两个resblock_body的结构之间加入一个psa模块，以获取多尺度特征图；

13、再由seweight模块提取不同尺度的特征图注意力，得到channel-wiseattention；进一步经过softmax重新修正channel-wise attention已得到多尺度通道的修正权重；将多尺度通道的修正权重与多尺度特征图进行乘积操作，最后输出多尺度特征信息的细化特征图。

14、进一步地，模型训练的损失函数包括：根据指示灯的位置和数据管理列表的分类损失函数和指示灯位置的区域回归损失函数。

15、进一步地，在进行视频流的指示灯状态检测过程中，对巡检机器人上所集成的相机的帧率要求，需要满足被检设备上状态指示灯的闪烁频率，即相机帧率要大于指示灯闪烁频率；且采集指示灯面板状态视频时，可根据各指示灯的闪烁频率进行，视频时长应不小于频闪周期的3～5倍。。

16、进一步地，需要对视频分解到的图像进行预处理，通过对图像进行滤波和均衡化处理以提高图像的质量；其中，滤波用于去除部分采样噪声，均衡化用于提高像素对比度以实现图像增强的目的；利用训练好的检测模型对状态指示灯面板进行目标检测，分别定位各个指示灯的位置；并通过截取检测的锚框位置区域作为指示灯状态识别处理的roi区域。

17、进一步地，对图像的单一通道进行处理，根据先验知识预先设定不同颜色在通的像素范围，对roi区域平均灰度进行比较，以确定对应指示灯的颜色状态，具体包括以下步骤：

18、步骤s71：对图像在hsv颜色空间提取到的v通道图像像素值进行处理，由于在v通道图像中指示灯的点亮和熄灭两种状态所对应的像素值范围存在较大的差异，因此通过对v通道图像设置像素值阈值进行指示灯状态的判断，如下式：

19、

20、步骤s72：对指示灯roi区域h通道的图像进行处理，在该检测项目中指示灯的状态包括黄、绿、红三色；通过对h通道的像素值进行阈值划分以实现对其中三种状态指示灯的判断，按下式处理：

21、

22、进一步地，指示灯数据管理列表的顺序统计各指示灯的状态变化，以获取各指示灯的工作状态，包括常亮、常灭以及快闪和慢闪的闪烁频率。

23、本发明及其优选方案相较于传统的视觉检测算法本发明避免了针对不同状态面板的规则算法设计，并且还能更好的适应复杂的状态面板的指示灯位置区域的检测；同时对颜色变换的指示灯状态有更好更准确的识别指示灯颜色的变换。

24、其关键设计至少包括：

25、(1)通过增加psa模块改进yolov4模型中的cspdarknet53模块以增强模型对小目标的检测效果；

26、(2)处理指示灯roi区域图像时，在hsv颜色空间结合v通道和h通道的处理实现对指示灯的亮度和颜色状态准确识别。