基于巡检机器人的避雷器识别方法与流程

本发明属于避雷器识别技术，具体涉及一种基于巡检机器人的避雷器识别方法。

背景技术：

避雷器已经广泛应用于变电站领域。但由于受成本因素、工作条件限制，很多避雷器并没有专门的通信接口，导致无法自动识别读数，需要靠人工录入仪表读数。但人工录入仪表读数往往需要消耗大量的人力和时间，在长时间、高频度的工作环境下容易出错。因此人工录入避雷器读数具有效率低、可靠性差、风险大、智能化水平低等缺点。在这种情况下，基于计算机视觉技术通过图像处理、图像识别后自动提取出数值信息就成为必然趋势。

近年来，随着巡检机器人的推广，仪表数据的记录工作逐渐向自动化方向发展。目前关于避雷器的识别方法较多，然而多数的特征提取与识别都是基于理想的光照环境，一旦脱离这个前提，识别效果难以保证。且多数识别方法都是处理单一形态的数字，无法有效处理变电站中多种形态的数字。常用的避雷器识别方法中，模板匹配方法虽然实现简单、运算速度快，但在噪声干扰严重、实时环境复杂的情况下，模板匹配有一定的局限性。尤其真实环境中，光照条件、数字形态、环境噪声等均会对识别的数值精度造成影响。新兴的神经网络算法虽然具有一定的自适应、自学习和容错能力，但收敛速度慢，目标函数复杂。

技术实现要素：

本发明的目的在于提出了一种基于巡检机器人的避雷器识别方法，解决现有避雷器识别方法识别能力与识别效率低的问题。

实现本发明的目的的技术方案为：一种基于巡检机器人的避雷器识别方法，包括以下步骤：

步骤1、利用避雷器仪表图像数据集训练adaboost分类器，并为每个巡检点选取一张在该巡检点拍摄的仪表居中的图像作为模板图像，巡检机器人通过定位导航到达指定巡检点，获取现场避雷器图像用于避雷器检测识别；

步骤2、对待检测的现场避雷器图像进行粗定位和精确定位，筛选目标候选区域得到避雷器图像；

步骤3、提取数字区域，并对数字区域进行倾斜校正，对矫正后的图像使用中值平滑滤波抑制其中的椒盐噪声，然后进行灰度值均衡化与局部自适应二值化，消除由于光照不均匀对图像产生的影响，使数字呈白色，背景呈黑色；

步骤4、采用双向投影法对目标区域进行分割操作，得到单个数字图像；

步骤5、提取单个数字图像中的图像特征，使用模板匹配的方法对单个数字图像进行识别，判断单个数字图像与数字模板的匹配率是否高于设定的阈值，若是，直接执行步骤8，若否，则执行步骤6；

步骤6、将步骤1避雷器仪表图像数据集中的数字部分裁剪出来，对人工神经网络进行训练；

步骤7、调用训练好的人工神经网络重新识别单个数字图像；

步骤8、根据单个数字在图像中的坐标对其进行排序，得到避雷器数字显示部分的读数。

优选地，步骤2中对待检测的现场避雷器图像进行粗定位和精确定位，筛选目标候选区域得到避雷器图像的具体步骤为：

步骤2-1、利用梅林傅里叶变换和相位相关技术对待检测图片中的目标避雷器区域进行粗定位；

步骤2-2、利用机器学习的方法对目标避雷器区域进行精确定位，将粗定位图像送入训练过的分类器，得到若干个目标候选区域；

步骤2-3、分别将每个目标候选区域与粗定位目标避雷器区域求交并比参数iou，将每个目标候选区域图像与模板图像中的避雷器区域图像做感知哈希计算，获得感知哈希指标，计算每个目标候选区域图像与模板图像的互信息指标，筛选目标候选区域得到避雷器。

优选地，步骤2-3感知哈希指标、交并比参数iou和互信息指标i(g(x),h(y))的具体计算方法分别为:

(1)将目标候选区域图像与模板图像缩放到同一大小，进行余弦变换，选取余弦变换后的图像左上角的低频区域，去除坐标(0,0)的直流分量得到特征向量，计算目标候选区域图像与模板图像的特征向量的汉明距离，作为感知哈希指标；

(2)交并比参数iou具体计算公式为：

式中，c为粗定位目标断路器区域，ni为目标候选区域；

(3)互信息指标i(g(x),h(y))的计算公式为：

g(x)、h(y)分别为模板图像与候选图像灰度像素的数目，w、h分别为候选区域图像宽、高。

优选地，步骤2-3中筛选目标候选区域得到避雷器的具体方法为：

将每一候选区域的交并比iou、互信息、感知哈希phash三种指标做加权求出该候选区域的置信度,其中d为一常数：

confidence＝1-(phash+1/i(g(x),h(y)))/(iou+d)(6)

按照所有候选区域的置信度从大到小排序，求出置信度最大的区域，该区域作为备选检测结果，若备选检测结果的iou满足同时小于设定阈值thresholdiou且(phash+1/i(g(x),h(y)))大于阈值thresholda时，将步骤2-2确定的粗定位目标避雷器区域作为最终目标，否则以备选检测结果作为最终目标。

优选地，步骤3中提取数字区域的具体方法为：

步骤3-1、对采集到的现场避雷器图像进行灰度化操作；

步骤3-2、利用大津算法对灰度图像进行二值化，使得原图像中颜色较深的部分呈黑色，其余部分呈白色；

步骤3-3、对二值化图像进行形态学闭操作，消除图像上黑色部分的间断与孔洞；

步骤3-4、对图像上的多个黑色部分进行轮廓检测并得到其最小外接矩形，根据矩形的大小、长宽比以及位置删除多余轮廓，剩下位于图像中心的矩形数字区域；

步骤3-5、记录数字区域轮廓的外接矩形的四个顶点坐标，根据坐标在原灰度图像上提取数字区域。

优选地，步骤3中数字区域倾斜矫正的具体方法为：

步骤3-6、对数字区域的灰度图像进行高斯滤波，消除图像上的高斯噪声；

步骤3-7、利用canny算子进行边缘检测，突出数字区域的直线边框；

步骤3-8、利用基于hough变换的直线检测算法找到包含图像像素点最多的直线，根据其与水平方向的夹角对高斯滤波前的数字区域灰度图像进行旋转，实现对数字区域的倾斜矫正。

优选地，步骤4中双向投影法的具体步骤为：

步骤4-1、计算图像中各行像素值的和，记录像素值发生突变的行位置；

步骤4-2、计算图像中各列像素值的和，记录像素值发生突变的列位置；

步骤4-3、步骤4-1与步骤4-2中像素值发生突变的位置即为数字区域开始或结束的位置，根据该位置从数字区域中将单个数字图像分别提取出来；

优选地，步骤5中模板匹配的具体步骤为：

步骤5-1、将单个数字的图像转化为宽m像素，高n像素；

步骤5-2、提取穿线特征与梯度分布特征；

步骤5-3、提取数字0-9的标准图像的穿线与梯度分布特征，以此为模板，与待识别的图像进行比较，得到相同特征占总特征数的百分比，即匹配率。

优选地，步骤6中人工神经网络训练的具体步骤为：

步骤6-1、构建神经网络，所述神经网络包括a个神经元的输入层、隐藏层以及b个神经元的输出层，并随机初始化权值wij和阈值θj；wij表示前一层第i个神经元与后一层第j个神经元之间的权值，θj表示神经元活性改变的阈值；

步骤6-2、根据下式计算训练样本隐藏层与输出层的输入与输出：

其中，ij与oj分别表示隐藏层与输出层第j个神经元的输入与输出，oi表示前一层第i个神经元的输出；

步骤6-3、反向传播计算误差，输出层每个神经元的误差计算方法为：

errj＝oj(1-oj)(tj-oj)(9)

其中，errj表示输出层第j个神经元的误差，tj表示输出层第j个神经元基于给定训练样本的已知类标号的真正输出；

隐藏层每个神经元的误差计算方法为：

errj＝oj(1-oj)∑kerrkwkj(10)

其中，errj表示隐藏层第j个神经元的误差，wij表示隐藏层第j个神经元与后一层第k个神经元之间的权值，errk表示后一层第k个神经元的误差；

步骤6-4、更新权值与阈值，新的权值相比于原权值的增量为δwij＝(l)errjoi，新的阈值相比于原阈值的增量为δθj＝(l)errj，其中(l)表示学习率，取值在0～1之间；

步骤6-5、不断重复步骤6-2至6-4直到神经网络的输出值和实际输出值的均方误差小于设定阈值。

本发明与现有技术相比，其显著优点为：(1)本发明融合机器人定位信息和机器学习，使得位置重复度高，尺度、旋转等变化较小；(2)本发明在不同光照、姿态条件下能有效完成避雷器检测识别任务，提高了复杂环境下图像的识别准确率，最大限度的减少了漏检、误检问题；(3)本发明将模板匹配和神经网络算法结合起来，既降低了算法的复杂度，又能提高在复杂的环境中识别避雷器信息的准确率。

附图说明

图1为本发明基于巡检机器人的避雷器识别方法流程图。

图2为本发明实施例提取出的数字区域的灰度图像。

具体实施方式

下面结合附图对本发明做进一步详细的描述。

如图1所示，一种基于巡检机器人的避雷器识别方法，具体步骤为：

步骤1、利用避雷器仪表图像数据集训练adaboost分类器，并为每个巡检点选取一张在该巡检点拍摄的仪表居中的图像作为模板图像，巡检机器人通过定位导航到达指定巡检点，获取现场避雷器图像用于避雷器检测识别；

步骤2、对待检测的现场避雷器图像进行粗定位和精确定位，筛选目标候选区域得到避雷器图像；

步骤3、提取数字区域，并对数字区域进行倾斜校正，对矫正后的图像使用中值平滑滤波抑制其中的椒盐噪声，然后进行灰度值均衡化与局部自适应二值化，消除由于光照不均匀对图像产生的影响，使数字呈白色，背景呈黑色；

步骤4、采用双向投影法对目标区域进行分割操作，得到单个数字图像；

步骤5、提取单个数字图像中的图像特征，使用模板匹配的方法对单个数字图像进行识别，判断单个数字图像与数字模板的匹配率是否高于设定的阈值，若是，直接执行步骤8，若否，则执行步骤6；

步骤6、将步骤一避雷器仪表图像数据集中的数字部分裁剪出来，对人工神经网络进行训练；

步骤7、调用训练好的人工神经网络重新识别单个数字图像；

步骤8、根据单个数字在图像中的坐标对其进行排序，得到避雷器数字显示部分的读数。

实施例1

一种基于巡检机器人的避雷器识别方法，具体步骤为：

步骤1、利用避雷器仪表图像数据集训练adaboost分类器，并为每个巡检点选取一张在该巡检点拍摄的仪表居中的图像作为模板图像，巡检机器人通过定位导航到达指定巡检点，获取现场避雷器图像用于避雷器检测识别；

步骤2、对待检测的目标区域进行粗定位和精确定位，筛选目标候选区域得到避雷器图像；

步骤2-1、利用梅林傅里叶变换和相位相关技术对待检测图片中的目标避雷器区域进行粗定位；

步骤2-2、利用提前训练好的机器学习adaboost分类器对待检测图像进行精确定位，得到若干个目标候选区域；

步骤2-3、分别将每个目标候选区域与粗定位目标避雷器区域求交并比参数iou；将每个目标候选区域图像与模板图像中的避雷器区域图像做感知哈希计算，获得感知哈希指标；计算每个目标候选区域图像与模板图像的互信息指标，筛选目标候选区域得到避雷器；

(1)计算感知哈希phash指标。分类器得到的候选区域图像与截取模板图像中避雷器区域图像做感知哈希phash计算。感知哈希phash计算是将两张图片缩放到32*32的大小，进行余弦变换，选取余弦变换后的图像左上角的8*8的区域，去除坐标(0,0)的直流分量得到63维特征向量，计算图像a和图像b的特征向量的汉明距离，作为感知哈希phash指标；

(2)利用公式(2)～(5)计算互信息指标；

(3)利用公式(1)计算交并比参数iou，分别得到三个交并比参数指标(0.7,0.0,0.0)；

(4)将每一候选区域的交并比iou、互信息、感知哈希phash三种指标按照公式(6)做加权求出该候选区域的置信度；按照所有候选区域的置信度从大到小排序，求出置信度最大的区域，作为最终区域。

步骤3、提取数字区域，并对数字区域进行倾斜校正，对矫正后的图像使用中值平滑滤波抑制其中的椒盐噪声，然后进行灰度值均衡化与局部自适应二值化，消除由于光照不均匀对图像产生的影响，使数字呈白色，背景呈黑色；

步骤3-1，对巡检机器人采集的仪表图像进行灰度化操作，将彩色图像转化为灰度图像；

步骤3-2、利用大津算法对灰度图像进行二值化，使得原图像中颜色较深的部分呈黑色，其余部分呈白色；

步骤3-3、对二值化图像进行形态学闭操作，利用3*3的核首先对图像进行3次腐蚀操作，然后是9次膨胀操作，最后再进行6次腐蚀操作，消除图像上黑色部分的间断与孔洞；

步骤3-4、对图像上的多个黑色部分进行轮廓检测并得到其最小外接矩形，根据矩形的大小、长宽比以及位置删除多余轮廓，剩下位于图像中心的矩形数字区域；

步骤3-5、记录数字区域轮廓的外接矩形的四个顶点坐标，根据坐标在原灰度图像上提取数字区域。

步骤3-6、对数字区域的灰度图像进行核为3*3的高斯滤波，消除图像上的高斯噪声；

步骤3-7、利用canny算子进行边缘检测，边缘检测的高阈值为40，低阈值为20，突出数字区域的直线边框；

步骤3-8、利用基于hough变换的直线检测算法找到包含图像像素点最多的直线，根据其与水平方向的夹角对高斯滤波前的数字区域灰度图像进行旋转，实现对数字区域的倾斜矫正，得到的结果如图2所示；

步骤4、采用双向投影法对目标区域进行分割操作，得到单个数字图像；

步骤4-1、计算图像中各行像素值的和，记录像素值发生突变的行位置；

步骤4-2、计算图像中各列像素值的和，记录像素值发生突变的列位置；

步骤4-3、步骤4-1与步骤4-2中像素值发生突变的位置即为数字区域开始或结束的位置，根据该位置从数字区域中将单个数字图像分别提取出来；

步骤5、提取单个数字图像中的图像特征，使用模板匹配的方法对单个数字图像进行识别，判断单个数字图像与数字模板的匹配率是否高于设定的阈值，若是，直接执行步骤8，若否，则执行步骤6；

步骤5-1、将单个数字的图像转化为宽8像素，高16像素；

步骤5-2、提取3个穿线特征与16个梯度分布特征；

步骤5-3、提取数字0-9的标准图像的穿线与梯度分布特征，以此为模板，与待识别的图像进行比较，得到匹配率；

步骤6、将步骤一避雷器仪表图像数据集中的数字部分裁剪出来，对人工神经网络进行训练；

步骤6-1、构建神经网络，包括128个神经元的输入层、隐藏层以及10个神经元的输出层，并随机初始化权值wij和阈值θj；

步骤6-2、根据式(7)、(8)计算训练样本隐藏层与输出层的输入与输出；

步骤6-3、反向传播计算误差。根据式(9)计算输出层每个神经元的误差，根据式(10)计算隐藏层每个神经元的误差；

步骤6-4、更新权值与阈值。新的权值相比于原权值的增量为δwij＝(l)errjoi，新的阈值相比于原阈值的增量为δθj＝(l)errj；

步骤6-5、不断重复步骤6-2至6-4直到神经网络的输出值和实际输出值的均方误差小于设定的阈值；

步骤7、调用训练好的人工神经网络重新识别单个数字图像；

步骤8、根据单个数字在图像中的坐标对其进行排序，得到避雷器数字显示部分的读数。