专利名称：一种基于图像的铁路接触网杆柱标识信息的识别方法
技术领域：
本发明属于计算机视觉领域，具体涉及一种基于图像的接触网支柱定位、杆号检测及识别、公里标检测及识别方法。
背景技术：
铁路接触网是为列车供电架设的特殊线路。截止2010年12月底，中国国内运营时速200公里以上的高速铁路里程已经达到8358公里，在建和即将兴建的高速铁路客运专线和城际铁路里程已达I. 7万公里。根据中国中长期铁路网规划方案，至2012年，中国将建成42条高速铁路客运专线，基本建成以“四纵四横”为骨架的全国快速客运网，总里程I. 3万公里；到2020年中国时速在200公里以上的高速铁路里程将会达到5万公里。为了保证高速列车的安全运营，接触网需要经常巡检，目前对350km/h的高速客·运专线接触网设备进行在线巡视的设备已经初步成型。然而，要对接触网的各种安全隐患进行有效检测，巡检设备需记录大量视频数据，面对海量的巡检视频数据，若仅靠人工判读工作量大、效率低、可靠性难以保障。对于出现安全隐患问题的接触网的具体位置我国铁路线路长、分布广、环境多样，如何准确高效地对巡检图像进行智能分析，降低巡检人员劳动强度、提高工作效率、保障铁路安全成为一个亟待解决的难题。
发明内容
本发明所要解决的技术问题是巡检视频图像中杆柱号及公里标的自动识别，该技术是实现铁路接触网杆柱视频图像自动检索的基础，可为日常巡检采集图像建立或更新杆柱信息管理档案，有效帮助巡检人员快速定位特定杆柱，减少人工需判读工作量、提高工作效率。为了实现杆柱号及公里标自动识别的目的，本发明采用技术方案为一种基于图像的铁路接触网杆柱标识信息的识别方法，对高速客运专线接触网设备进行在线巡视的连续视频图像中杆柱及其上的信息标识进行识别处理，其特征在于，包括以下处理步骤(I)杆柱粗定位。对相邻帧进行绝对差分后，用竖直结构核对差分图像滤波，将滤波后图像水平投影，以固定宽度统计计算出投影曲线峰值区域，此峰值区域即为杆柱物粗定位的区域Rl ；(2)杆柱精定位，提取原图Rl区域并进行去噪，对去噪后的图像进行二值化得到二值图像Bt (X，y)，然后利用一种动态匹配的快速直线检测算法定位杆柱边缘；(3)杆号检测及数字分割，对步骤(2)检测到杆柱左右边缘的平均斜率，对原图进行旋转得到校正后的图像，同时将检测到杆柱左右边缘进行重新定位；将重新定位的左右边缘延长至校正后原始图像的顶部和底部，杆柱左右边缘之间区域为杆柱精定位区域PKra，在此区域中利用一种纵向最长最近邻链筛选法检测杆号数字轮廓；数字轮廓的判定参数首先由人工进行初始化，之后根据数字检测和识别的情况，对其中部分参数进行动态更新；(4)公里标检测及数字分割，根据精定位杆柱两边平均斜率，在旋转后的原图中重新调整粗定位区域为R2，对R2进行高斯滤波和自适应二值化后得到二值图Bk2，在Bk2中利用动态匹配的快速直线检测算法进行公里标检测，之后利用自适应二值化和直接二值化数字轮廓检测双向验证方法对公里标数字精确定位和分割；(5)杆号及公里标数字的离线训练和在线识别。对分割的O 9数字二值图像进行归一化，然后分块统计前景像素个数并串联组成特征，利用多输出神经网络作为分类器进行数字训练和识别。采用本发明基于图像的铁路接触网杆柱号及公里标实时识别方法，能够实时地对铁路接触网巡检图像进行自动杆号及公里标识别，该技术是实现铁路接触网杆柱视频图像自动检索的基础，可有效帮助巡检人员快速定位特定杆柱，减少人工需判读的图像数量、提高工作效率。
图I铁路接触网巡视图像 图2本发明方法总体框3本发明杆柱粗定位算法流程4本发明杆柱精定位算法流程5本发明杆号定位及数字分割算法流程6本发明公里标定位及数字分割算法流程图。
具体实施例方式为便于对本发明的细节作更为清楚的介绍，对本发明主要步骤详述如下步骤I :杆柱粗定位。将视频序列中两帧图像It(x，y)和It_A (x,y)进行绝对值差分得差分图像Dt (X，y)，其中Λ e ζ，Λ彡I为预设的图像运动差分帧间隔。然后利用一个竖直结构的核对差分图像Dt (X，y)进行形态学操作，滤除垂直方向上较短的区域。将形态学操作后的图像在水平方向上进行投影，以AW宽度统计计算投影曲线峰值区域，此峰值区域即为杆柱物粗定位的区域R1。步骤2 :杆柱精定位。提取原图Rl区域并进行去噪，对去噪后的图像进行二值化得到二值图像Bt (X，y)，其中边缘等前景部分像素值为零；为了快速、有效地检测杆柱直线边缘，本发明提出了一套基于动态匹配的快速直线检测算法，具体实施步骤如下I)根据所巡检的铁路线路具体情况，设定Bt (X，y)中直线搜索区域ROI，选择ROI时应尽可能避免复杂背景区域，以减少对直线检测的干扰；2)在ROI区域的下I/η区域从左向右扫描，若P点的像素值为零则在其垂直方向再次遍历连续的m个像素，将满足m个点像素值都为零的所有P点保存为点集Pl ；3)在ROI区域的上I/η区域进行步骤2操作，将满足条件的所有点保存为点集P2 ；4)对于所有的点VftAlfjPlAeP2，计算连接Pi，Pj的线段Lij作为匹配模板。线段Lij在Bt(x，y)中对应区域黑色像素点个数与其长度之比大于阈值^。时，即认为检测到一条候选杆柱边缘；5)对候选直线在原图中相应位置利用一个Harr滤波器进一步判定，排除接触网图像中细线在检测中的干扰，进一步确保直线为杆柱左边缘；6)按照步骤2-2至2-5方法，从右向左扫描检测杆柱右侧边缘。经过以上过程，若只检测到一条满足要求的杆柱边缘，则根据此边缘在ROI中水平位置及斜率，对杆柱粗定位区域在原图中进行适当校正，然后再重复步骤2-1至2-6精定位过程。若仍然无法检测杆柱左右两侧边缘则停止，否则转至步骤3。步骤3 自适应的杆号检测及数字分割。根据步骤2检测到杆柱左右边缘的平均斜率，对原图进行旋转得到校正后的图像，同时将步骤2检测到杆柱左右边缘进行重新定位。将重新定位的左右边缘延长至校正后原始图像的顶部和底部，杆柱左右边缘之间区域为杆柱精定位区域PKra，在此区域中检测杆号数字轮廓。数字轮廓的判定参数首先由人工进行初始化，之后根据数字检测和识别的情况，对其中部分参数进行动态更新。动态更新的判定参数包括但不限于在特定水平位置上杆号数字的高度范围。满足所有判定条件的区域即 为疑似数字区域。通常此时检测出的疑似数字区域中会存在部分非数字区域，为排除非数字区域的干扰，本发明提出一种纵向最长最近邻链筛选法。假设检测到的疑似数字区域为Di (i = 1,2, . . . M),每个区域的中心坐标为(Xi, Yi),且对于V/，▽_/，/'</满足^ YjO令Di轮廓最小外接矩形的高度为故。纵向最长最近邻链法对疑似数字区域进行进一步筛选的步骤如下I)从疑似数字区域中心纵坐标最小的数字区域01开始扫描纵向最邻近链，令当前节点为D。,此时c = I,记录扫描的起始位置s = l;2)新建链表，并将D。作为其首节点。如果存在一个疑似数字区域Dp其中c
<j SM，满足下列条件(I) !Hj-HcI < ε i ;(2)丨.I’, I ￥ — (、— |< β mini H,, Hi);(3) I Xj-Xc I < ε 2·则认为DjS D。的纵向最近域，将Dj加入链的尾部，否则转至步骤3-4。ε i是一个高度波动值，一般设为5 8，条件(2)作为对相邻数字区域间的纵向间隔的约束，ε2表示数字区域水平位置的偏移，一般设定为5 10 ;3)若j <Μ则c = j，转步骤3-2继续搜索下一个纵向最邻近域；否则，转步骤3-4 ；4)若c < M则c = c+1，保存当前纵向最邻近链，转步骤3_2继续搜索下一个纵向最邻近链；否则，转步骤3-5;5)在所有组成的数字最近邻链中，求出元素最多的纵向最近邻链作为杆号数字链表。最长最近邻链法可很好地将接触网杆号区域与干扰区分开，并精确保留各数字区域，无需进一步分割。步骤4 :公里标检测及数字分割。根据精定位杆柱两边平均斜率，在旋转后的原图中重新调整粗定位区域为R2，对R2进行高斯滤波和自适应二值化后得到二值图Bk2，在Bk2中进行公里标检测。首先对公里标牌上下两条边进行精定位，具体步骤如下I)提取步骤2中PKra的左边界至Bk2左边线区域作为左ROI，提取PKra右边界至Bk2右边线区域作为右ROI，两个ROI都为Bk2中的部分，边缘前景像素值为零；2)在右ROI逐点进行扫描，若q点像素值为零，则以q点为起始点遍历其右邻域m个点，将满足m个点像素值都为零的所有q点保存为点集Ql ；3)在左ROI区域进行步骤4-2的操作，将满足条件的点保存为点集Q2 ；4)对于所有的点VU, I q, ^ QUj e Q2，计算连接Qi，q」的线段Lij作为匹配模板。线段Lu在Bk2中对应区域黑色像素点个数与其长度之比大于阈值a q且Lu与水平方向夹角小于Θ，则将Lu判为候选的边界，得到直线集L ;5)遍历L，将L中所有两直线距离d满足β i < d < β 2的直线对作为候选公里标上下边界；最后，取候选上下边界的延长线和R2左右边界的交点作为公里标牌粗定位区域 四个顶点，在此四顶点围成的区域Rkm进行公里标数字轮廓检测。提取满足公里标数字条件的区域，再按数字区域的水平坐标从左到右排列。为了同时减少公里标区域和公里标数字的误检，本发明对Rkm采用直接二值化和自适应二值化图对公里标识别双重验证，即当两个二值图中公里标数字轮廓检测出来的区域一致则认为是公里标，否则为误检的公里标。步骤5 :杆号及公里标数字离线训练和在线识别。I)杆号数字特征提取。首先将步骤3所检测的各杆号数字区域归一化mp*np的二值图像，再分为mps*nps像素大小的子块，统计各子块白色像素个数，作为杆号数字的特征向量。2)公里标数字特征提取。首先将步骤4所检测的各公里标数字区域归一化mk*nk的二值图像，然后将mk*nk的二值图像直接作为公里标数字的特征向量。3)杆号及公里标数字的离线训练。从接触网巡检序列中采集杆号及公里标区域图像样本，按照步骤5-1和5-2的方法提取相应的特征进行训练，可选择的分类器算法包括但不限于人工神经网络、SVM、KNN、贝叶斯分类器、决策树等。保存杆号分类器和公里标分类器训练结果。4)杆号数字和公里标数字在线识别。将待识别杆号和公里标图像按照步骤5-1和5-2的方法提取其特征向量并输入对应的分类器，得到该数字图像区域属于0-9的隶属度，取隶属度最大的数字作为识别结果，本发明方法将最大隶属度减去第二大隶属度作为识别结果的可信度，可信度越靠近I时表明该数字属于最大隶属度的数字风险越小，否则反之。下面结合附图介绍本发明具体实施方式
。图I为典型的铁路接触网巡检图像的示意图。图2为本发明方法总体框图，从文件中读取视频序列后，首先根据近景深物体及杆柱的运动特性对杆柱粗定位，然后利用本发明提出的直线提取方法对杆柱进行精确定位，精定位后利用轮廓检测方法分割杆号数字，再利用神经网络作为分类器识别分割的杆号数字；同样利用提出的直线检测方法对公里标进行定位，利用轮廓检测方法分割公里标数字，然后利用神经网络作为分类器识别分割的公里标数字。图3为杆柱粗定算法流程图。设t时刻和t-Ι时刻的接触网巡视图像为It(X，y)和Ux，y)，绝对差分图像为Dt (X，y)，利用竖直核对绝对差分图进行形态学腐蚀，滤除垂直方向上较短的区域，在灰度图上进行的腐蚀如公式(I)所示
权利要求
1.一种基于图像的铁路接触网杆柱标识信息的识别方法，对高速客运专线接触网设备进行在线巡视的连续视频图像中杆柱及其上的信息标识进行识别处理，其特征在于，包括以下处理步骤 (1)杆柱粗定位，对相邻帧进行绝对差分后，用竖直结构核对差分图像滤波，将滤波后图像水平投影，以固定宽度统计计算出投影曲线峰值区域，此峰值区域即为杆柱物粗定位的区域Rl ； (2)杆柱精定位，提取原图Rl区域并进行去噪，定位杆柱的左右边缘； (3)杆号检测及数字分割，对步骤(2)检测到杆柱左右边缘的平均斜率，对原图进行旋转得到校正后的图像，同时将检测到杆柱左右边缘进行重新定位；将重新定位的左右边缘延长至校正后原始图像的顶部和底部，杆柱左右边缘之间区域为杆柱精定位区域PKra，在此区域中利用一种纵向最长最近邻链筛选法检测杆号数字轮廓；数字轮廓的判定参数首先由人工进行初始化，之后根据数字检测和识别的情况，对其中部分参数进行动态更新； (4)公里标检测及数字分割，根据精定位杆柱两边平均斜率，在旋转后的原图中重新调整粗定位区域为R2，对R2进行高斯滤波和自适应二值化后得到二值图Bk2，在Bk2中利用动态匹配的快速直线检测算法进行公里标检测，之后利用自适应二值化和直接二值化数字轮廓检测双向验证方法对公里标数字精确定位和分割； (5)杆号及公里标数字的离线训练和在线识别，对分割的O 9数字二值图像进行归一化，然后分块统计前景像素个数并串联组成特征，利用多输出神经网络作为分类器进行数字训练和识别。
2.根据权利要求I的一种基于图像的铁路接触网杆柱标识信息的识别方法，其特征在于，所述步骤(2)为一种动态匹配的快速直线检测方法，其步骤为 (1)对粗定位区域进行两次不同块大小的自适应二值化，并用“与”操作合并两个二值图为 Bt (X，y)； (2)根据所巡检的铁路线路具体情况，设定Bt(X，y)中直线搜索区域ROI，选择ROI时应尽可能避免复杂背景区域，以减少对直线检测的干扰； (3)在ROI区域的下I/η区域从左向右扫描，若P点的像素值为零则在其垂直方向再次遍历连续的m个像素，将满足m个点像素值都为零的所有P点保存为点集Pl ； (4)在ROI区域的上I/η区域进行步骤2操作，将满足条件的所有点保存为点集P2； (5)对于所有的点\p,ePl,PjeP2，计算连接Pi，Pj的线段Lij作为匹配模板；线段Lij在Bt(x，y)中对应区域黑色像素点个数与其长度之比大于阈值^^时，即认为检测到一条候选杆柱边缘； (6)对候选直线在原图中相应位置xO利用一个Hart滤波器进一步判决，即满足下式则认为是杆柱边界
3.根据权利要求I的一种基于图像的铁路接触网杆柱标识信息的识别方法，其特征在于，所述步骤(3)中对杆号检测时，使用自适应数字轮廓判定方法。
4.根据权利要求I的一种基于图像的铁路接触网杆柱标识信息的识别方法，其特征在于，所述步骤(3)中采用纵向最长最近邻链筛选法精确提取杆号数字；假设检测到的疑似数字区域为Di (i = 1,2, ...Μ)，每个区域的中心坐标为(xi； yi)，且对于Yi (轮廓最小外接矩形的高度为Hi,纵向最长最近邻链法对疑似数字区域进行筛选的步骤如下 1)从疑似数字区域中心纵坐标最小的数字区域D1开始扫描纵向最邻近链，令当前节点为D。,此时c = I,记录扫描的起始位置s = l; 2)新建链表，并将D。作为其首节点，如果存在一个疑似数字区域Dp其中c< j <M，满足下列条件
5.根据权利要求I的一种基于图像的铁路接触网杆柱标识信息的识别方法，其特征在于所述步骤(4)中采用自适应二值化和直接二值化数字轮廓检测双向验证方法。
全文摘要
本发明公开了一种基于图像的铁路接触网杆柱标识信息的识别方法，采用数字图像处理的方法自动识别铁路接触网巡视图像中的杆柱号及公里标。主要步骤为1)杆柱粗定位；2)杆柱精定位；3)杆号检测及数字分割；4)公里标检测及数字分割；5)杆号及公里标数字的离线训练和在线识别。本发明方法可高效、自动地对铁路接触网进行杆号和公里标识别，可适用于高速铁路和普通铁路接触网巡检，能有效帮助巡检人员快速定位特定杆柱，减少人工需判读的图像数量、提高工作效率。
文档编号G06K9/54GK102902974SQ20121030244
公开日2013年1月30日 申请日期2012年8月23日 优先权日2012年8月23日
发明者陈俊周, 彭小江, 彭强, 袁萍 申请人:西南交通大学