一种基于深度学习的指示灯识别方法与流程

1.本发明涉及变电站控制柜的监控方法技术领域，尤其是涉及一种基于深度学习的指示灯识别方法。


背景技术：

2.指示灯是用灯光监视电路和电气设备工作或位置状态的器件，常用于反映电路的工作状态、电气设备的工作状态和位置状态等。
3.变电站控制室内的关键设备通常使用指示灯的颜色和亮度来监控设备的运行情况，指示灯状态识别是保证变电站电气设备稳定运行的重要判断标准。目前变电站控制柜的指示灯状态识别主要有以下几种方法：(1)人工巡检方法，(2)传统图像处理方法，(3)神经网络识别方法。
4.人工巡检方法依靠作业人员巡检判断，无法全天候监控各个指示灯的突发变化情况；传统图像处理方法受到光照和姿态变化的影响，算法无法自适应更新和适配；神经网络识别方法简单粗暴，容易出现漏报和误报现象。
5.因此有必要予以改进。


技术实现要素：

6.针对现有技术存在的不足，本发明的目的是提供一种基于深度学习的指示灯识别方法，经过深度学习状态识别ai模型自动化识别指示灯状态，自动判断电气设备的工作状态或位置状态。
7.为了实现上述目的，本发明所采用的技术方案是：首先采用深度学习区域定位ai模型，在采集的电气设备的控制柜原图中准确找到指示灯的位置，获取指示灯区域坐标并截取成指示灯显示区域，通过设置感兴趣区域的个数对指示灯显示区域进行分割，获取单个指示灯的状态图片，再经过深度学习状态识别ai模型依次对单个指示灯状态进行判断，最后整合状态输出判断结果进行上传和保存，实现指示灯的自动识别。若后续出现识别错误的情况，可以快速的进行模型优化和更新，在不同类型的指示灯识别时可通过迁移学习的方法进行模型优化，实用性高，适配性好。
8.具体的，1.一种基于深度学习的指示灯识别方法，其特征在于：
9.步骤1，通过区域定位模块截取得到指示灯区域，
10.建立深度学习区域定位ai模型，使用摄像头监控含有指示灯的变电站控制柜并得到监控视频，通过视频抽帧得到含有指示灯的控制柜指示灯图片，通过区域定位模型对摄像头采集的控制柜指示灯图片进行推理，从控制柜指示灯图片整图中准确检测得到指示灯所在的区域位置，截取得到指示灯区域，便于后续的区域分割处理；
11.步骤2，通过区域分割模块分割并得到指示灯单张分割图片，
12.对截取到的指示灯区域进行分析，按照先验知识设置感兴趣区域的个数并进行自动分割并得到多张指示灯单张分割图片，且每一张指示灯单张分割图片中仅包含一个指示
灯，按照指示灯的排列顺序或设定的排列规则自动排列所有的指示灯单张分割图片；
13.步骤3，通过状态识别模块输出所有指示灯状态的识别结果保存到txt，
14.建立深度学习状态识别ai分类模型，通过状态识别ai模型依次对各指示灯单张分割图片进行识别并分别判断出各指示灯的颜色和亮灭，输出所有指示灯状态的识别结果保存到txt中；
15.步骤4，通过结果输出模块输出全部识别结果到监控界面，
16.按行读取状态识别保存在txt中的识别结果，与先验知识比对后进行结合再分别增加指示灯文字说明，保存所有指示灯的全部识别结果保存到txt并输出到监控界面；
17.步骤5，通过模型优化模块优化准确度，
18.通过模型优化模块对区域定位ai模型和状态识别ai模型在推理中出现的错误情况进行收集，通过模型优化模块自动优化状态识别ai模型的准确度；
19.先通过摄像头拍摄指示灯再分析指示灯的灯光，最后自动判断变电站控制柜的工作状态。
20.本发明和现有技术相比所具有的优点是：本发明是利用摄像头实现对变电站控制柜的指示灯的自动化识别，采用深度学习区域定位ai模型，先依次对单个指示灯状态进行判断，最后整合状态输出判断结果进行上传和保存，实现指示灯的自动识别，并实现自适应更新和和自动适配，消除传统神经网络识别方法中出现的漏报和误报现象，极大的降低值班人员的劳动强度，使运维检修流程更高效、更便捷、更安全。
附图说明
21.图1是本发明的工作流程图。
22.图2是本发明用于检测指示灯位置的区域定位网络结构图。
23.图3是本发明用于识别指示灯状态的状态识别网络结构图。
24.图4是本发明用于反映识别情况状态识别ai模型在验证集上的混淆矩阵图。
具体实施方式
25.一种基于深度学习的指示灯识别方法，图1至4所示，
26.步骤1，通过区域定位模块截取得到指示灯区域，
27.建立深度学习区域定位ai模型，使用摄像头监控含有指示灯的变电站控制柜并得到监控视频，通过视频抽帧得到含有指示灯的控制柜指示灯图片，通过区域定位模型对摄像头采集的控制柜指示灯图片进行推理，从控制柜指示灯图片整图中准确检测得到指示灯所在的区域位置，截取得到指示灯区域，便于后续的区域分割处理。
28.步骤1包括以下子步骤，
29.步骤11，使用摄像头拍摄并监控变电站控制柜，获取变电站控制柜的全天候监控视频，通过视频抽帧组成控制柜指示灯图片数据集，将数据集重命名后按照10:1:1的比例随机划分训练集，验证集和测试集，得到数据集文件夹；
30.步骤12，使用labellmg标注工具打开数据集文件夹，设置好区域类型名称，选择矩形框工具，在控制柜指示灯图片中准确的框出指示灯的区域，选择yolo模式进行txt保存，txt名称与图片名称对应，
31.txt中记录了指示灯的标签信息，标签信息包含类型序号和归一化后的矩形框坐标，
32.将控制柜指示灯图片中不包含指示灯区域的情况做为负样本，在标注完成后挑选出来，单独生成负样本标签，txt中无内容记录，表示整张图中没有检测到指示灯区域，全部图片均有对应的txt文件后完成标注；
33.步骤13，在darknet框架下搭建23层的目标检测模型，包含conv层、maxpool层、特征融合层与输出检测层，设置conv层1*1和3*3的卷积核搭配使用，maxpool层步长设置为2，设置2个特征融合层分别位于网络结构的高层，分别结合前面低层的网络层，提供更丰富的感受野，本发明中的conv层、maxpool层、anchor和模型输入设置等的参数单位均为默认单位。
34.在输出检测层设置6对符合指示灯区域坐标框长宽尺寸的anchor，分别为(155,100)、(162,99)、(157,104)、(159,107)、(154,110)、(160,110)，模型输入设置为320*320，批处理量设置为64，每一千次保存一次模型并进行map计算，最大迭代次数为10万次，基础学习率为0.001，激活函数选择leaky和linear混合使用，学习率采用steps方式衰减，衰减权重为0.0005，动量为0.9，在gpu下开启训练，观察loss曲线趋于稳定时停止训练。
35.步骤14，对保存的模型权重测试准确率，选择准确率最高的权重作为区域检测的最终权重，模型权重设置为92000，在验证集上的map设置为99％。
36.步骤15，使用python编写推理代码，调用opencv模块，读取测试集图片地址，初始化参数后加载模型进行推理，过滤掉置信度较小的检测结果并进行极大值抑制，获取指示灯区域的坐标信息和概率信息，在原图中裁剪下来命名保存，至此区域定位模块完成。
37.步骤2，通过区域分割模块分割并得到指示灯单张分割图片，
38.对截取到的指示灯区域进行分析，按照先验知识设置感兴趣区域的个数并进行自动分割并得到多张指示灯单张分割图片，且每一张指示灯单张分割图片中仅包含一个指示灯，按照指示灯的排列顺序或设定的排列规则自动排列所有的指示灯单张分割图片；
39.步骤3，通过状态识别模块输出所有指示灯状态的识别结果保存到txt，
40.建立深度学习状态识别ai分类模型，通过状态识别ai模型依次对各指示灯单张分割图片进行识别并分别判断出各指示灯的颜色和亮灭，输出所有指示灯状态的识别结果保存到txt中。
41.步骤3包括以下子步骤，
42.步骤31，对步骤2裁剪下来的指示灯单张分割图片按照不同的类型进行分类放置，分别为红灯亮、红灯灭、绿灯亮和绿灯灭四种状态，对应得到4个类型的图片数据集，对4个类型的图片数据集分别进行重命名操作，把类型名称嵌入到图片名称中，图片名代表类型状态，汇总后按照9:1划分训练集和测试集，分别制作名称列表list文件，在名称列表list文件记录训练集和测试集的图片信息；
43.步骤32，在darknet框架下搭建25层的状态识别ai分类模型，包含第二conv层，第二maxpool层、avgpool层、softmax层，模型输入设置为224*224，批处理量为64，每一千次保存一次模型并进行准确率计算，最大迭代次数为10万次，基础学习率为0.01，激活函数选择leaky和linear混合使用，学习率采用poly方式衰减，衰减权重为0.0005，动量为0.9，在gpu下开启训练，观察loss曲线趋于稳定时停止训练；
44.步骤33，对保存的模型进行权重测试以测试准确率，选择准确率最高的权重作为区域检测的最终权重，模型权重设置为96000，在验证集上的准确率为98％；
45.步骤34，修改darknet底层代码进行模型推理，依次读取各指示灯单张分割图片并依次输出相应的指示灯状态识别结果保存到txt中，至此状态识别模块完成。
46.步骤4，通过结果输出模块输出全部识别结果到监控界面，
47.按行读取状态识别保存在txt中的识别结果，与先验知识比对后进行结合再分别增加指示灯文字说明，保存所有指示灯的全部识别结果保存到txt并输出到监控界面；
48.步骤5，通过模型优化模块优化准确度，
49.通过模型优化模块对区域定位ai模型和状态识别ai模型在推理中出现的错误情况进行收集，通过模型优化模块自动优化状态识别ai模型的准确度；
50.先通过摄像头拍摄指示灯再分析指示灯的灯光，最后自动判断变电站控制柜的工作状态。
51.采用迁移学习的方法对新增的指示灯或其他类型的指示灯进行优化，降低模型训练代价。具体的包括迁移学习模块，在迁移学习模块中对新增的指示灯或其他类型的指示灯进行设置，在迁移学习模块中调用区域定位模块并手动执行步骤11-12，然后启动迁移学习模块的迁移学习程序并自动执行步骤2-4。新增的指示灯不经过训练、权重测试和验证即加入自动监控并与已有的指示灯的ai特征，降低模型训练代价。
52.具有指示灯智能识别方法的监控摄像机，监控摄像机设置有电路板及电连接于电路板的摄像头，电路板设置有ai芯片，ai芯片存储有用于实现本发明的一种基于深度学习的指示灯识别方法的程序，电路板将摄像头的视频发送给ai芯片，
53.ai芯片通过内置的区域定位模块截取得到指示灯区域，
54.ai芯片通过内置的区域分割模块分割并得到指示灯单张分割图片，
55.ai芯片通过内置的状态识别模块输出所有指示灯状态的识别结果保存到txt，
56.ai芯片通过内置的模型优化模块优化准确度，
57.通过ai芯片智能分析监控摄像机所监控的电气设备的各指示灯的灯光状态，监控摄像机自动监管变电站控制柜的工作状态，通过与监控摄像机建立通讯的终端设备或网络控制中心获得所有指示灯的全部识别结果，在终端设备或网络控制中心的监控界面显示所有指示灯的全部识别结果，在所有指示灯的全部识别结果中有任一指示灯的识别结果出现异常时自动报警，通过监控摄像机实现24小时实时无人自动监控变电站控制柜的工作状态。
58.在监控摄像机的ai芯片设置有报警推送模块，任一指示灯异常时通过报警推送模块向终端设备、网络控制中心或安装在监控摄像机的报警装置发送报警信号。
59.1、本发明中，采用了先区域定位后状态识别的方法，在检测到指示灯区域后才进行状态识别，能够有效降低误报率，提高了模型的抗干扰能力。
60.2、本发明中，对指示灯区域进行了分割，保证了单个指示灯的识别效果互不影响，有助于识别效果的提升。
61.3、本发明中，针对区域定位和状态识别分别设计了ai模型，消除光线的影响，网络结构更加合理，模型检测效果好。
62.4、本发明中，进行了先验知识的比对，能够及时发现指示灯识别错误的情况。
63.5、本发明中，模型优化模块采用迁移学习的方法，能够有效提升模型收敛速度，适用性更广。
64.6、本发明中，利用摄像头实现对变电站控制柜的指示灯的自动化识别，极大的降低值班人员的劳动强度，使运维检修流程更高效、更便捷、更安全。