专利名称：基于视频处理的信号灯状态检测方法及其系统的制作方法
技术领域：
本发明涉及智能交通领域，特别涉及一种电子警察信号灯状态检测技术。
背景技术：
作为智能交通系统的一个重要分支，电子警察系统综合利用数字图像处理、模式识别与人工智能等先进技术对闯红灯等交通违法现象进行抓拍和处理，为公安交通部门提供强有力的执法证据，对改善交通秩序、保障交通安全、提高道路交叉口通行能力和减少交通事故等方面都起到了重要作用。目前电子警察系统中信号灯状态主要是通过交通信号灯检测器获得的，交通信号灯检测器通过采集道路交叉路口信号灯状态，并将信号灯检测结果经输入输出口和串行数据通信接口输出给工控机用于电子警察的后续操作。本发明的发明人发现，交通信号灯检测器存在如下主要缺点1)安装过程较为复杂，需要额外接红绿灯电源线。2)增加了产品的硬件成本。针对交通信号灯检测器安装复杂、硬件成本高等缺点，本发明专门提出了一种安装简单、检测稳定性高的视频信号灯状态检测技术。
发明内容
本发明的目的在于提供一种基于视频处理的信号灯状态检测方法及其系统，该检测方法及其系统安全有效且复杂度小，可实时可靠地以较高精度检测出信号灯状态，为公安交通部门提供强有力的执法证据。为解决上述技术问题，本发明的实施方式公开了一种基于视频处理的信号灯状态检测方法，包括以下步骤在含有信号灯的视频帧图像中使用定位算法确定信号灯区域位置；分析经提取的信号灯区域位置内的色度、亮度和饱和度信息，根据该分析结果确定该信号灯的状态；对异常状态的信号灯异常报警。本发明的实施方式还公开了一种基于视频处理的信号灯状态检测系统，系统包括以下模块定位模块，用于在含有信号灯的视频帧图像中使用定位算法确定信号灯区域位置；状态判断模块，用于分析经提取的所述定位模块确定的信号灯区域位置内的色度、亮度和饱和度信息，根据该分析结果确定该信号灯的状态；报警模块，用于对所述状态判断模块判定为异常状态的信号灯进行异常报警。本发明实施方式与现有技术相比，主要区别及其效果在于通过信号灯区域定位，可以预防因摄像机抖动、杆件抖动或者其他原因而改变视频帧图像内信号灯区域位置的问题，异常报警处理可以及时调整信号灯的检测位置或进行其他调整处理，方法安全且复杂度小，可实时可靠地以较高精度检测出信号灯状态，为公安交通部门提供强有力的执法证据。通过判断信号灯状态是否异常并对异常状态的信号灯进行异常报警的处理，可以通知对信号灯的异常状态或其检测位置进行调整处理，以避免信号灯异常时一直出错的情况，精确检测出信号灯的状态。进一步地，通过颜色特征的提取和投影分析对候选信号灯区域位置进行定位，可以确保本信号灯状态检测方法长时间运行和抗干扰能力。进一步地，在信号灯区域位置确定之后和信号灯状态检测之前，根据信号灯的最大概率位置信息，对当前信号灯区域位置信息的准确性进行校验，进一步保证信号灯状态检测的精确度。进一步地，在信号灯区域定位之前进行视频帧图像区域分割处理，减少了后续状态检测时的计算量，并提高了实时性。进一步地，通过黄灯的亮度信息对信号灯的判定状态进行校验，进一步保证了信号灯状态检测的准确率。进一步地，考虑判定为红灯的信号灯区域位置内的红色像素点个数后，重新将该红灯状态改为暗，可以避免红灯检测出错，进一步提高了信号灯状态检测的准确率。进一步地，对信号灯应用场景的检测可以滤除影响信号灯状态检测因素，进一步提高了信号灯状态检测的准确率。进一步地，根据信号灯的周期和区域位置偏移标准差，进行周期正常情况处理，可以避免信号灯周期正常时其区域位置偏移较大所导致的信号灯状态检测风险，进一步保证信号灯状态检测的精确度。进一步地，若连续视频帧图像中的信号灯的周期异常且其区域位置偏移较大时， 则进行信号灯异常报警，以避免信号灯异常时一直出错的情况，进一步提高本信号灯检测方法的稳定性和可靠性。
图1是本发明第一实施方式中一种基于视频处理的信号灯状态检测方法的流程示意图；图2是本发明第二实施方式中一种基于视频处理的信号灯状态检测方法的流程示意图；图3是本发明第四实施方式中一种基于视频处理的信号灯状态检测方法的流程示意图；图4是本发明第四实施方式中一种基于视频处理的信号灯状态检测方法的流程示意图；图5是本发明第四实施方式中一种基于视频处理的信号灯状态检测方法的流程示意图；图6是本发明第五实施方式中一种基于视频处理的信号灯状态检测系统的结构示意图7是本发明第六实施方式中一种基于视频处理的信号灯状态检测系统的结构示意图；图8是本发明第八实施方式中一种基于视频处理的信号灯状态检测系统的结构示意图；图9是本发明第八实施方式中一种基于视频处理的信号灯状态检测系统的结构示意图；图10是本发明第八实施方式中一种基于视频处理的信号灯状态检测系统的结构示意图。
具体实施例方式在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。本发明第一实施方式涉及一种基于视频处理的信号灯状态检测方法。图1是该基于视频处理的信号灯状态检测方法的流程示意图。具体地说，如图1所示，该基于视频处理的信号灯状态检测方法，包括以下步骤在步骤101中，在含有信号灯的视频帧图像中使用定位算法确定信号灯区域位置。此后进入步骤102，分析经提取的信号灯区域位置内的色度、亮度和饱和度信息。此后进入步骤103，根据步骤102得到的分析结果确定该信号灯的状态。此后进入步骤104，对异常状态的信号灯异常报警，此后结束本流程。通过信号灯区域定位，可以预防因摄像机抖动、杆件抖动或者其他原因而改变视频帧图像内信号灯区域位置的问题，异常报警处理可以及时调整信号灯的检测位置或进行其他调整处理。该检测方法安全有效且复杂度小，可实时可靠地以较高精度检测出信号灯状态，为公安交通部门提供强有力的执法证据。通过判断信号灯状态是否异常并对异常状态的信号灯进行异常报警的处理，可以通知对信号灯的异常状态或其检测位置进行调整处理，以避免信号灯异常时一直出错的情况，进一步地精确检测出信号灯的状态。若信号灯异常，则通过异常报警通知调整信号灯为正常状态。本发明第二实施方式涉及一种基于视频处理的信号灯状态检测方法。图2是该基于视频处理的信号灯状态检测方法的流程示意图。第二实施方式在第一实施方式的基础上进行了改进，主要改进之处在于通过颜色特征的提取和投影分析对候选信号灯区域位置进行定位，可以确保本信号灯状态检测方法长时间运行和抗干扰能力。在信号灯区域位置确定之后和信号灯状态检测之前，根据信号灯的最大概率位置信息，对当前信号灯区域位置信息的准确性进行校验，进一步保证信号灯状态检测的精确度，其中信号灯的最大概率位置为信号灯经常在视频帧图像中出现的位置。
在信号灯区域定位之前进行视频帧图像区域分割处理，减少了后续状态检测时的计算量，并提高了实时性。具体地说，如图2所示，上文所述在含有信号灯的视频帧图像中使用定位算法确定信号灯区域位置的步骤101，包括以下子步骤在步骤201中，从视频帧图像中，提取满足色度、亮度和饱和度阈值范围的颜色前
； ο从视频帧图像中，提取满足色度、亮度和饱和度阈值范围的颜色前景点的步骤，包括以下子步骤提取(i，j)位置像素点的H(i，j)、V(i，j)和 S(i，j)，其中 H(i，j)、V(i，j)和 S(i，j)分别为该像素点的色度、亮度和饱和度信息。若H(i，j) > R_h_thl、H(i，j) < R_h_th2、S(i，j) > S_th 且 V(i，j) > V_th，贝丨J 认为当前像素点为红色。若H(i，j) > G_h_thl、H(i，j) < G_h_th2、S (i，j) >3_让且￥(士，]·) >V_th，贝丨J 认为当前像素点为绿色。将判定为红色或者绿色的像素点作为满足色度、亮度和饱和度阈值范围的(i，j) 位置上的颜色前景点。其中R_h_thl表示红色特征H的下限，R_h_th2表示红色特征H的上限，G_h_thl 表示绿色特征H的下限，G_h_th2表示绿色特征H的上限，S_th表示红、绿饱和度特征S的阈值，V_th表示红、绿亮度特征V的阈值。此后进入步骤202，投影分析经提取的颜色前景点，获取信号灯区域位置。投影分析颜色前景点，获取候选信号灯区域位置的步骤，包括以下子步骤计算视频帧图像中的列投影(01_ 1~0」( 1，？2，...，？11)，其中？士(士= 1,2,... ,η) 表示第i列红色或者绿色像素点个数的总和。获取列投影Col_proj (pi, p2，. . .，pn)最大波峰的起始像素点wColM和终止像素点 wColEnd。计算视频帧图像中的行投影row_proj (ql,q2, · · ·，qn)，其中 qj (j = 1，2，· · ·，η) 表示第j行红色或者绿色像素点个数的总和。获取行投影row_proj (ql，q2，. . .，qn)最大波峰的起始像素点wRoWt和终止像素点 wRowEnd。若矩形框DstRect (wColSt, wRowSt, wColEnd, wRowEnd)内的红色或者绿色像素点个数大于或等于第一阈值，则确定该矩形框DstRect为候选信号灯区域位置。此外，当系统初始化或者场景发生变化时，可以根据信号灯区域内的红色或绿色像素点经验个数或历史统计个数，设定第一阈值。此外，作为本发明的一个优选实施方式，在提取视频帧图像中的色度、亮度和饱和度的步骤之前，还包括分割视频帧图像以初步确定信号灯的亮灯信号区域的步骤，以缩小信号灯区域定位时的定位判断范围，减少系统工作量。此后进入步骤203，确定当前候选信号灯区域位置的偏移标准差。此后进入步骤204，根据当前信号灯的最大概率区域位置和偏移标准差，对候选信号灯区域位置信息进行校验，此后进入上述步骤102。
综上所述，即在投影分析颜色前景点，获取候选信号灯区域位置的步骤之后，还包括以下步骤根据当前信号灯的最大概率区域位置和偏移标准差，对候选信号灯区域位置信息进行校验。作为本发明的一个优选实施例，投影分析颜色前景点，获取候选信号灯区域位置的步骤203，可通过以下方式实现对视频帧图像中的信号灯区域位置中的第k个信号灯区域位置 DstRectk(wColStkl,wRowStkl,wColEndkl,wRowEndkl)分别进行 X 方向和 Y 方向的偏移校验，其中，k为正整数。预先设置的第k个信号灯的初始区域位置为OriRectkO (wColStkO，wRowStkO, wCoIEndkO, wRowEndkO)。以进行X方向的偏移校验为例计算xBias = wColStkl-wColMkO，其中 xBias 表示 DstRectk 相对于 OriRectkO 的X方向上的偏移量。计算fXBiasAvg = thl * fXBiasAvg+(1-thl) * xBias,其中 fXBiasAvg 表示 DstRectk相对于OriRectkO的X方向上的偏移量期望。计算fXBiasMd = th2 * fXBiasStd+(l-th2) * abs (xBias-fXBiasAvg),其中 fXBiasStd表示DstRectk相对于OriRectkO的X方向上的偏移量标准差，thl和th2是迭代阈值，取值范围为
ο当视频帧图像中信号灯区域位置总数为1^且1^> ι时，计算
权利要求
1.一种基于视频处理的信号灯状态检测方法，其特征在于，包括以下步骤在含有信号灯的视频帧图像中使用定位算法确定信号灯区域位置；分析经提取的所述信号灯区域位置内的色度、亮度和饱和度信息，根据该分析结果确定该信号灯的状态；对异常状态的信号灯异常报警。
2.根据权利要求1所述的基于视频处理的信号灯状态检测方法，其特征在于，所述在含有信号灯的视频帧图像中使用定位算法确定信号灯区域位置的步骤，包括以下子步骤从所述视频帧图像中，提取满足色度、亮度和饱和度阈值范围的颜色前景点；投影分析所述颜色前景点，获取候选信号灯区域位置。
3.根据权利要求2所述的基于视频处理的信号灯状态检测方法，其特征在于，所述从视频帧图像中，提取满足色度、亮度和饱和度阈值范围的颜色前景点的步骤，包括以下子步骤提取(i，j)位置像素点的 H(i，j)、V(i，j)和 S(i，j)，其中 H(i，j)、V(i，j)和 S(i，j) 分别为该像素点的色度、亮度和饱和度信息；若 H(i，j) > R_h_thl、H(i，j) < R_h_th2、S(i，j) >3_让且￥(士，」)>V_th，则认为当前像素点为红色；若 H(i，j) > G_h_thl、H(i，j) < G_h_th2、S(i，j) >3_让且￥(士，」)>V_th，则认为当前像素点为绿色；将判定为红色或者绿色的像素点作为满足色度、亮度和饱和度阈值范围的(i，j)位置上的颜色前景点；其中R_h_thl表示红色特征H的下限，R_h_th2表示红色特征H的上限，G_h_thl表示绿色特征H的下限，G_h_th2表示绿色特征H的上限，S_th表示红、绿饱和度特征S的阈值， V_th表示红、绿亮度特征V的阈值。
4.根据权利要求2所述的基于视频处理的信号灯状态检测方法，其特征在于，所述投影分析颜色前景点，获取候选信号灯区域位置的步骤，包括以下子步骤计算所述视频帧图像中的列投影col_proj(pl，p2，...，pn)，其中pi(i = 1,2,... ,η) 表示第i列红色或者绿色像素点个数的总和；获取所述列投影col_pr0j (pi, p2, ... , pn)最大波峰的起始像素点wColM和终止像素点 wColEnd ；计算所述视频帧图像中的行投影r0W_pr0j(ql，q2，...，qn)，其中qj (j = 1,2,... ,η) 表示第j行红色或者绿色像素点个数的总和；获取所述行投影roW_proj (ql，q2，. . .，qn)最大波峰的起始像素点wRowM和终止像素点 wRowEnd ；若矩形框DstRect (wColSt, wRowSt, wColEnd, wRowEnd)内的红色或者绿色像素点个数大于或等于第一阈值，则矩形框DstRect为所述候选信号灯区域位置。
5.根据权利要求4所述的基于视频处理的信号灯状态检测方法，其特征在于，在所述投影分析颜色前景点，获取候选信号灯区域位置的步骤之后，还包括以下步骤根据当前信号灯的最大概率区域位置和偏移标准差，对所述候选信号灯区域位置信息进行校验。
6.根据权利要求1所述的基于视频处理的信号灯状态检测方法，其特征在于，在所述在含有信号灯的视频帧图像中使用定位算法确定信号灯区域位置的步骤之前，还包括以下步骤采集含有信号灯的视频帧图像；根据信号灯的颜色、方向类型和个数，对所述信号灯图像进行分割。
7.根据权利要求1所述的基于视频处理的信号灯状态检测方法，其特征在于，所述分析经提取的所述信号灯区域位置内的色度、亮度和饱和度信息，根据该分析结果确定该信号灯的状态的步骤，包括以下子步骤根据所述亮度信息判定最暗的信号灯； 根据色度信息，判定其他非最暗信号灯的状态； 对所述信号灯的判定状态进行校验。
8.根据权利要求7所述的基于视频处理的信号灯状态检测方法，其特征在于，所述对信号灯的判定状态进行校验的步骤，包括以下子步骤如果当前红灯亮，且黄灯亮度值> 1. 1 *红灯亮度值，则将红灯状态改为暗； 如果当前绿灯亮，且黄灯亮度值> 1. 绿灯亮度值，则将绿灯状态改为暗。
9.根据权利要求1至8中任一项所述的基于视频处理的信号灯状态检测方法，其特征在于，若当前被判定为红灯的信号灯区域位置内的红色像素点个数小于第二阈值，则将该红灯状态改为暗。
10.根据权利要求1所述的基于视频处理的信号灯状态检测方法，其特征在于，所述对异常状态的信号灯异常报警的步骤，包括以下子步骤检测所述视频帧图像中的信号灯应用场景是否符合要求； 若所述应用场景符合要求，则对信号灯的周期进行检测； 若所述周期正常，则进行周期正常情况处理； 若所述周期异常，则进行周期异常情况处理。
11.根据权利要求10所述的基于视频处理的信号灯状态检测方法，其特征在于，所述检测视频帧图像中的信号灯应用场景是否符合要求的步骤，包括以下子步骤判断当前时刻是否在预定的第一门限和第二门限之间，若在，则符合要求。
12.根据权利要求5或10所述的基于视频处理的信号灯状态检测方法，其特征在于，所述若周期正常，则进行周期正常情况处理的步骤，包括以下子步骤判断所述视频帧图像中的当前信号灯区域位置偏移标准差是否大于第三阈值； 若是，则修改信号灯区域位置；在所述信号灯区域位置修改后，判断信号灯的后续周期是正常还是异常； 若异常，则还原信号灯区域位置为修改前的信号灯区域位置。
13.根据权利要求10所述的基于视频处理的信号灯状态检测方法，其特征在于，所述若周期异常，则进行周期异常情况处理的步骤，包括以下子步骤判断连续视频帧图像中的信号灯周期是否都异常；若是，则检测在该连续视频帧图像中是否存在周期性变化且满足信号灯空间位置关系的红色团块和绿色团块；若在该连续视频帧图像中不存在周期性变化或不满足信号灯空间位置关系的红色团块和绿色团块，则搜索并判断周期性变化的红色团块和绿色团块的视频帧图像的帧数是否大于第四阈值，若大于，则异常报警，若小于，则继续搜索周期性变化的红色团块和绿色团块；若在该连续视频帧图像中存在周期性变化且满足信号灯空间位置关系的红色团块和绿色团块，则修改信号灯区域位置；所述信号灯区域位置修改后，判断信号灯的后续周期是正常还是异常； 若异常，则还原该修改的信号灯区域位置为初始信号灯区域位置。
14.一种基于视频处理的信号灯状态检测系统，其特征在于，所述系统包括以下模块 定位模块，用于在含有信号灯的视频帧图像中使用定位算法确定信号灯区域位置； 状态判断模块，用于分析经提取的所述定位模块确定的信号灯区域位置内的色度、亮度和饱和度信息，根据该分析结果确定该信号灯的状态；报警模块，用于对所述状态判断模块判定为异常状态的信号灯进行异常报警。
15.根据权利要求14所述的基于视频处理的信号灯状态检测系统，其特征在于，所述定位模块，还包括以下子模块提取子模块，用于从所述视频帧图像中，提取满足色度、亮度和饱和度阈值范围的颜色前景点；投影分析子模块，用于对所述提取子模块所提取的颜色前景点进行投影分析，获取候选信号灯区域位置；位置校验子模块，用于根据当前信号灯的最大概率区域位置和偏移标准差，对所述投影分析子模块获取的候选信号灯区域位置信息进行校验。
16.根据权利要求14所述的基于视频处理的信号灯状态检测系统，其特征在于，所述状态判断模块确定该信号灯的状态的具体确定方式如下根据所述亮度信息判定最暗的信号灯； 根据色度信息，判定其他非最暗信号灯的状态； 对所述信号灯的判定状态进行校验； 所述对信号灯的判定状态进行校验的步骤，包括以下子步骤 如果当前红灯亮，且黄灯亮度值> 1.广红灯亮度值，则将红灯状态改为暗； 如果当前绿灯亮，且黄灯亮度值> 1. 1 *绿灯亮度值，则将绿灯状态改为暗； 若当前被判定为红灯的信号灯区域位置内的红色像素点个数小于第二阈值，则将该红灯状态改为暗。
17.根据权利要求14所述的基于视频处理的信号灯状态检测系统，其特征在于，所述报警模块，包括以下子模块场景检测子模块，用于检测视频帧图像中的信号灯应用场景是否符合要求； 周期检测子模块，用于在所述场景检测子模块检测到应用场景符合要求时，对信号灯的周期进行检测；异常处理子模块，用于在所述周期检测子模块检测到周期异常时，进行周期异常情况处理；正常处理子模块，用于在所述周期检测子模块检测到周期正常时，进行周期正常情况处理。
18.根据权利要求14或15所述的基于视频处理的信号灯状态检测系统，其特征在于， 所述正常处理子模块，还包括以下子单元第一偏移判断子单元，用于判断所述视频帧图像中的当前信号灯区域位置偏移标准差是否大于第三阈值；第一位置修改子单元，用于在所述第一偏移判断子单元判定视频帧图像中的当前信号灯区域位置偏移标准差大于第三阈值时，修改信号灯区域位置；第一周期判断子单元，用于在所述第一位置修改子单元修改信号灯区域位置之后，判断信号灯的后续周期是正常还是异常；第一位置还原子单元，用于在所述第一周期判断子单元判定信号灯的周期异常时，还原信号灯区域位置为修改前的信号灯区域位置。
19.根据权利要求14所述的基于视频处理的信号灯状态检测系统，其特征在于，所述异常处理子模块，还包括以下子单元异常周期判断子单元，用于判断连续视频帧图像中的信号灯周期是否都异常； 团块检测子单元，用于在所述异常周期判断子单元判定连续视频帧图像中的信号灯周期都为异常时，检测在连续视频帧图像中是否存在周期性变化且满足信号灯空间位置关系的红色团块和绿色团块；帧搜索子单元，用于在所述团块检测子单元判定在连续视频帧图像中不存在周期性变化或不满足信号灯空间位置关系的红色团块和绿色团块时，搜索周期性变化的红色团块和绿色团块的视频帧图像的帧数；帧数判断子单元，用于判断所述帧搜索子单元搜索到的视频帧图像的帧数是否大于第四阈值；异常报警子单元，用于在所述帧数判断子单元判定帧数大于第四阈值时，异常报警； 第二位置修改子单元，用于在所述团块检测子单元判定在连续视频帧图像中存在周期性变化且满足信号灯空间位置关系的红色团块和绿色团块时，修改信号灯区域位置；第二周期判断子单元，用于在所述第二位置修改子单元修改信号灯区域位置之后，判断信号灯的后续周期是正常还是异常；第二位置还原子单元，用于在所述第二周期判断子单元判定信号灯的后续周期异常时，还原所修改的信号灯区域位置为初始信号灯区域位置。
全文摘要
本发明涉及智能交通领域，公开了一种基于视频处理的信号灯状态检测方法及其系统。该检测方法及其系统安全有效且复杂度小，可实时可靠地以较高精度检测出信号灯状态，为公安交通部门提供强有力的执法证据。本发明中，包括以下步骤在含有信号灯的视频帧图像中使用定位算法确定信号灯区域位置；分析经提取的信号灯区域位置内的色度、亮度和饱和度信息，根据该分析结果确定该信号灯的状态；对异常状态的信号灯异常报警。针对现有信号灯状态检测所使用的交通信号灯检测器安装过程较为复杂、需要额外接红绿灯电源线增加了产品的硬件成本的缺点，本发明具有安装简单、无需增加额外硬件成本且检测稳定性高精确度高的优点。
文档编号G08G1/097GK102568242SQ201210014269
公开日2012年7月11日 申请日期2012年1月17日 优先权日2012年1月17日
发明者邝宏武, 韦立庆 申请人:杭州海康威视系统技术有限公司