嵌入式电力继电压板投退状态智能识别装置及实现方法与流程

本发明涉及一种智能图像识别技术，特别是针对电力继电压板采用图像识别和机器学习技术给出一种嵌入式继电压板投退状态智能识别装置及实现方法，属于图像处理技术和电力设备技术领域。

背景技术：

继电压板是继电保护装置或自动装置联系外部接线的桥梁和纽带，关系到保护功能的实现和动作出口能否正常发挥作用。这些压板一般安装在变电站的保护柜中，继电保护屏上的压板的开合决定了电路的通断，这就要求压板连接方式应该准确无误，否则会产生严重事故。目前，对继电压板投退状态的检查主要采用人工方式，一人读取压板的位置状态，另一人与所要求压板位置状态的原生库对应，决定压板实际位置状态是否正确。这种方式费时费力，且由于人会疲劳而带来检测的失误。

针对上述问题，除了采用严格规章制度，提高检测人员的责任心等管理措施外，常用的技术措施有两种：一种是从压板上设法引出开关量信息，通过开关量监测获取压板的投退状态，每一个压板设置一个开关信息量。这种方法使变电站增加了很多的开关量，需要大量的连接电缆，二次回路的复杂性增加，可靠性降低，实用上存在困难^[3]；另一种方法是采用图像处理的方法，通过遥视图像或现场拍摄图像进行自动判别^[1,2,4]，该方法采用不接触测量，不影响变电站系统的正常运行。

已有的基于图像的压板识别方法主要采用两类方法：一种是将前后拍摄的图像进行配准，在配准图像的基础上，对图像进行比对，通过寻找图像差异，判断压板是否有变化^[2]；另一种是通过图像分割技术来提取压板区域，并采用边缘、图像形状等特征进行基于规则的判别^[1,4,5]。前一类方法无法确切知道压板的闭合还是开启状态，且前后两次图像拍摄角度差异不能太大；后一类方法对光照、角度要求都很高，且检测准确性不太高。

综合来看，现有的基于图像的继电压板投退状态识别方法，对光照变化、拍摄角度等比较敏感，缺乏稳健性，难以应用到实际系统中，且技术上采用的仍然是传统的图像识别方法，没有利用先进的机器学习技术，同时，也未有采用嵌入式系统进行压板状态识别的报道。与本发明相关的专利为[5]的图像比对部分，该专利“图像识别模块用于将压板照片进行灰度化、去噪、二值化处理，转化为黑色或白色，然后通过灰度检测，将黑色像素值小于灰色检测平均值的压板位置记为0，否则记为1，形成压板实际位置的数字化文档”，本方法与之不同之处在于：1)本方法采用了机器学习技术进行压板定位和状态识别，其精确度会大大高于传统图像处理方法；2)本方法采用嵌入式设备，在未来应有的灵活性、便携性上都好于该专利方法。

[1]任俊杰，蒋岚.电力系统继电保护压板图像识别系统.北京联合大学学报.2004,18(2):60-64.

[2]夏志宏，罗毅，涂光瑜，龚超.基于视觉信息的继电保护压板投退位置的自动识别研究.2005,33(4):40-44.

[3]程传金.继电保护连片管理办法.电力安全技术.1999,1:1-4.

[4]邓应松，段秦刚，宋小松.基于图像识别的保护压板投退状态辨识方法.电网技术.2015,43(10):49-53,67.

[5]变电站设备压板快速校核系统及其校核方法.申请号:201510503128.4.

技术实现要素：

本发明的目的在于利用先进的计算机图像处理技术和机器学习技术提供一种稳健的继电压板投退状态智能识别技术，从而实现基于嵌入式平台的压板智能识别装置，提高继电压板识别的可靠性，实现压板投退状态的自动比对，辅助操作人员进行压板校核。

本发明所提供的嵌入式电力继电压板投退状态智能识别装置，包括压板图像标记和识别器训练的部件、嵌入式图像采集与处理识别部件；

压板图像标记和识别器训练部件与嵌入式图像采集和处理识别部件通过有线/无线网络交换数据。

所述的压板图像标记和识别器训练的部件包括两个基于机器学习的训练模块，其用于定位压板区域的目标检测器训练模块和用于压板投退状态识别的训练模块。

目标检测器训练模块，工作过程包括以下步骤：

步骤1：采集包含单个压板的灰度图像n幅，保证每个压板充满整幅图像。将这些图像归整为n×n的小图，作为正样本；

步骤2：收集不包括任何压板的灰度图像m幅，在这些图像上随机抽取n幅小图，并归整为n×n，作为负样本；

步骤3：分别对正、负样本提取图像特征；

步骤4：在正、负样本上训练级联分类器。

压板投退状态识别的训练模块具体工作过程包括以下步骤：

步骤1：采集包含单个开启状态压板的灰度图像n幅，保证每个压板充满整幅图像。将这些图像归整为n×n的小图，作为正样本；

步骤2：采集包含单个闭合状态压板的灰度图像n幅，保证每个压板充满整幅图像。将这些图像归整为n×n的小图，作为负样本；；

步骤3：分别对正、负样本提取结构化图像特征；

步骤4：在正、负样本上训练二值分类器。

嵌入式图像采集和处理识别部件包括彩色图像输入模块、图像去噪和光照均匀化模块、压板检测模块、图像配准模块、压板投退状态识别模块、压板状态校核模块和结果存储与输出模块；

彩色图像输入模块与图像去噪和光照均匀化模块相连，图像去噪和光照均匀化模块与压板检测模块相连，压板检测模块与图像配准模块相连，图像配准模块与压板投退状态识别模块相连，压板投退状态识别模块与压板状态校核模块相连，压板状态校核模块和结果存储与输出模块相连；

彩色图像经过图像输入模块转换成灰度图像后，传递给图像去噪和光照均匀化模块进行去噪和直方图均衡化处理；处理后的图像由压板检测模块提取出压板所在区域；对提取出的压板区域进行过滤，寻找到图像4个角上的压板块，根据前次图像上4个角的位置坐标，对图像进行配置操作，并进行几何纠正；纠正结果图像输入压板投退状态识别模块，由识别模块识别出压板状态；输出的压板识别状态由校核模块将之与前次记录的数据进行比对，最后将结果保存和输出。

一种基于图像处理和机器学习的继电压板投退状态识别与校核方法，其特征在于，包括以下步骤：

步骤1：采集图像数据，并将彩色图像转换为灰度图像及进行去噪、去光照影响；

步骤2：采用训练好的级联分类器对图像进行压板检测；

步骤3：根据前次记录结果与图像上4个角上的压板位置，对采集图像进行配准，并经过透视投影变换将图像纠正；

步骤4：对纠正完的结果图像进行分割，对每个分割出的图像，用训练好的压板投退状态识别器进行识别；

步骤5：将识别结果与前次记录结果进行比对，并输出比对结果，记录本次压板状态。

步骤2具体包含以下步骤：

步骤2-1：对输入灰度图像i进行伸缩，获得k尺度下图像ik，以m像素为步长，水平方向和垂直方向分别搜索各n×n窗口区域，判别是否为候选压板区域；

步骤2-2：对第j个搜索窗口，提取系列图像特征{hi}，每个特征对应一个训练好的分类器fi，综合该分类器结果获得该窗口的二值输出bk(j)；

步骤2-3：对灰度图像i进行k+1级伸缩，转步骤2-1；

步骤2-4：对第j个窗口，综合前l个窗口的检测结果{b1(j),b2(j),...,bl(j)}，获得最终检测结果。

步骤3中以前次压板位置和当前检测结果图像为输入，以几何纠正结果图像为输出，

由当前检测结果获得图像中4个角上的压板图像位置{p1,p2,p3,p4}，提取前次压板对应位置信息{s1,s2,s3,s4}，对此4对点进行配准。由此4对不共线的点可以求取出图像变换矩阵h，用h对灰度图像进行透视变换，得到几何纠正图像ic。

步骤4具体包含以下步骤：

步骤4-1：对输入候选压板图像块ib进行规整化，将之伸缩为n×n大小；

步骤4-2：对该压板图像，提取结构化特征fst；

步骤4-3：将特征fst输入训练好的二值分类器(压板投退状态识别器)，获得最终检测结果b。

本装置包括两个部件：用于图像标记和识别器训练的部件、用于图像采集与处理识别的部件；前一部件包括对继电压板图像检测模型、压板状态识别模型进行训练的模块；后一部件装载在一个嵌入式系统上，由单彩色摄像头、图像识别和处理模块、本地存储模块及网络通信模块组成。

本发明的核心为基于机器学习和图像处理的嵌入式继电压板投退状态识别方法，该方法体现于图像采集与处理识别部件中，它首先载入训练好的压板检测和压板状态识别模型；之后，利用摄像头采集继电压板图像，对图像进行降噪、平滑、光照均匀处理后，采用压板检测器检测出压板的位置；然后，对各个检测出的区域进行识别，以判断压板状态；最后，通过先验规则判定，确定最终压板状态并与前次状态进行校核，输出校核结果并通过本地存储模块进行保存。本部件具有无线通信功能，可以将识别结果传送给远程主控系统，以进行更高级的判别处理。

本发明与现有技术相比，其显著优点在于：

(1)基于先进的机器学习技术，能有效减少外界光照变化带来的影响，检测和识别结果稳健，识别率高于基于传统的图像压板状态识别装置和方法；

(2)基于嵌入式平台，可以利用手机、平板电脑等嵌入式移动设备，其便携性、灵活性好。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明的嵌入式电力继电压板投退状态智能识别装置结构框图。

图2为图1中图像处理与识别模块的内部结构框图。

图3为本发明的一个实施例示意图。

具体实施方式

结合附图1，本发明的嵌入式电力继电压板投退状态智能识别装置及实现方法，包括图像标记和识别器训练的部件、嵌入式图像采集与处理识别部件包括摄像头、图像处理与识别模块、本地存储模块和网络通信模块；

图像标记和识别器训练部件与嵌入式图像采集和处理识别部件在物理上可以分开，二者通过有线/无线网络交换数据。所述的摄像头与图像处理和识别模块相连，采集彩色图像数据，并将图像传送给图像处理和识别模块；图像处理与识别模块进行压板检测和分割，并对分割的每块压板子图进行压板状态识别，将本次识别结果与保存在本地的前次状态结果进行比对；比对结果保存在本地并根据需要通过网络上传给远程上位主控系统。

结合附图2，所述的嵌入式图像采集和处理识别部件包括彩色图像输入模块、图像去噪和光照均匀化模块、压板检测模块、图像配准模块、压板投退状态识别模块、压板状态校核模块和结果存储与输出模块。

所述的彩色图像输入模块与图像去噪和光照均匀化模块相连，图像去噪和光照均匀化模块与压板检测模块相连，压板检测模块与图像配准模块相连，图像配准模块与压板投退状态识别模块相连，压板投退状态识别模块与压板状态比对模块相连，压板状态比对模块和结果存储与输出模块相连；

所述的彩色图像经过图像输入模块转换成灰度图像，再传递给图像去噪和光照均匀化模块进行非线性平滑去噪和直方图均衡化处理；处理后的图像由压板检测模块提取出压板所在区域；对提取出的压板区域进行过滤，寻找到图像4个角上的压板区域，根据前次图像上4个角的位置坐标，对图像进行配置操作，并进行几何纠正；纠正结果图像输入到压板投退状态识别模块，由识别模块识别出压板状态；输出的压板识别状态由校核模块将之与前次记录的数据进行比对，最后将结果保存和输出。

所述的基于机器学习的继电压板投退状态识别方法，包括以下步骤：

步骤1：采集图像数据，并将彩色图像转换为灰度图像及进行去噪、去光照影响。

步骤2：采用训练好的级联分类器对图像进行压板检测；

步骤3：根据前次记录结果与图像中4个角上的压板位置，对采集图像进行配准，并经过透视投影变换p进行图像纠正；

步骤4：对纠正结果图像进行分割，对每个分割出的图像，用训练好的压板投退状态识别器进行识别；

步骤5：将识别结果与前次记录结果进行校核，并输出校核结果，记录本次压板状态。

所述的基于机器学习的继电压板检测以灰度图像为输入，检测出的压板位置为输出，具体步骤包括：

步骤1：对输入灰度图像i进行伸缩，获得k尺度下图像ik，以m像素为步长，水平方向和垂直方向分别搜索各n×n窗口区域，判别是非为候选压板区域；

步骤2：对第j个搜索窗口，提取系列图像特征{hi}，每个特征对应一个训练好的分类器fi，综合该分类器结果获得该窗口的二值输出bk(j)；

步骤3：对灰度图像i进行k+1级伸缩，转步骤1；

步骤4：对第j个窗口，综合前l个窗口的检测结果{b1(j),b2(j),...,bl(j)}，获得最终检测结果。

所述的基于机器学习的继电压板投退状态识别与校核方法，其输入为各候选压板图像块，输出为二值识别结果，0表示开启，1表示闭合。具体包含以下步骤：

步骤1：对输入候选压板图像块ib进行规整化，将之伸缩为n×n大小；

步骤2：对该压板图像，提取结构化图像特征fst；

步骤3：将特征fst输入训练好的二值分类器(压板投退状态识别器)，获得最终检测结果b。

所述的继电压板投退状态识别与比对方法中的图像配准与几何校正以前次压板位置和当前检测结果图像为输入，以几何纠正结果图像为输出，

由当前检测结果获得图像中4个角上的压板图像位置{p1,p2,p3,p4}，提取前次压板对应位置信息{s1,s2,s3,s4}，对此4对点进行配准。由此4对不共线的点可以求出投影变换矩阵h，对灰度图像根据投影变换矩阵h进行透视变换得到纠正后的图像ic。

设pi＝[ui,vi],i＝1,2,3,4，si＝[xi,yi],i＝1,2,3,4，则前向映射公式如下：

结合附图3，给出本发明的一个实施例——基于8寸平板电脑和pc机的压板投退状态智能识别装置。在硬件上，使用8寸平板电脑的前置800万像素摄像头作为图像采集器，以平板电脑的arm处理器作为核心处理平台构成图像采集与处理识别部件，使用平板电脑的sd卡作为本地存储设备，以平板电脑的wifi模块作为无线通信模块，使其与上位主控系统通信。

整个装置按如下流程运行：先使用平板电脑采集一定数量的变电柜中的压板图像，将这些图像传送到pc机，利用运行于pc上的压板图像标注程序分别标注压板/非压板图像和压板开启/闭合状态图像，并采用图像检测和图像识别样本训练程序进行训练，获得压板检测模型和压板识别模型，将这两个模型传送到平板电脑中。平板电脑作为手持式移动设备，可用于现场压板投退状态的识别。将平板电脑对准变电站中的待检继电保护柜，根据提示定位拍摄图像；获得的图像经过滤波、光照均匀化，送入压板检测器，压板检测器将压板区域提取出，并送入压板识别器；压板识别器自动识别出投退状态。