一种基于贝尔格式图像的红绿灯快速识别方法与流程

【技术领域】

本发明属于计算机视觉的模式识别和人工智能领域，涉及一种用于图像识别和目标信息提取的方法，特别涉及一种基于贝尔格式图像的红绿灯快速识别方法。

背景技术：

利用数字图像处理的方法实现目标分割、模式识别在计算机视觉领域是一种十分普遍的应用。近年来，无人驾驶汽车的研究和发展促使人们越来越关注城市交通环境中的红绿灯识别问题。

现有的红绿灯识别方法一般是从摄像头采集的彩色图像出发，使用合适的图像处理算法，提取图像中具体特征，进而实现红绿灯的识别。目前有两种常用的识别方法。其一，是基于颜色空间的识别方法，该方法从rgb、his、lab等颜色空间中提取像素特征，进而判断红绿灯的状态。其二，是基于机器学习的方法，如adaboost和神经网络。这种方法首先对大量的训练样本提取红绿灯的显著特征，进行模式分类，生成特定的判别准则，然后对相机采集得到的新的图像进行相应的判断。这种方法的准确度相对较高，但需要大量的训练样本和较长的时间的离线学习，且计算复杂。

因此，设计一种简单有效、鲁棒性较高的红绿灯识别算法十分重要。

技术实现要素：

本发明提供了一种基于贝尔格式图像的红绿灯快速识别方法，该方法在传统的图像处理基础上，基于贝尔格式图像设计识别算法，提高了红绿灯识别的准确度和速度。

本发明采用以下技术方案：

一种基于贝尔格式图像的红绿灯快速识别方法，包括以下步骤：

(1)固定、标定相机；

(2)采集图像，确定候选区域：

根据贝尔格式图像提取采集图像中的红色通道分量和绿色通道分量，提取图像中的连通域，以每个连通域作为候选区域，其他暗区视为背景区域；

(3)识别红绿灯：

首先排除掉图像中大部分的非红绿灯区域，对于剩下的候选区域采用占空比和圆度确定出近似原型的区域，最后通过红绿通道灰度值比确定红绿灯。

进一步，在步骤(2)中，提取红色通道分量和绿色通道分量后，提取图像中亮斑的部分，使用连通域算法，提取图像中连通域部分，作为候选区域。

进一步，步骤(3)中，根据红绿灯在图像中的像素面积或红绿灯的灯中心像素坐标位置排除掉大部分非红绿灯区域。

进一步，所述的红绿灯在图像中的像素面积根据以下计算：

红绿灯在图像中的直径d：

其中，d是红绿灯在图像中的直径，以像素为单位，f是相机的等效焦距，f0是相机镜头的实际焦距，dx是相机的尺寸；zc是相机与红绿灯之间的距离；

根据相机的参数，便可估算出相机在距离红绿灯zc时，红绿灯在图像中的外接矩形区域和面积大小。

进一步，所述的红绿灯的灯中心像素坐标位置根据以下计算：

红绿灯的灯中心像素坐标应满足以下约束：

其中，x，y为灯中心像素坐标，width，height分别为图像的宽和高。

进一步，步骤(3)中，

候选区域的占空比r为：

其中，s为候选区域，sr为候选区域的外接矩形的面积；

候选区域的圆度为c：

其中，l是候选区域的周长。

进一步，在步骤(3)中，候选区域红绿灯的灰度比为：

其中r为候选区域的r通道灰度值均值，g为候选区域的g通道灰度值均值；

当k远大于1时，认为候选区域为红灯；k远小于1时，认为候选区域为绿灯；k接近于1时，认为候选区域为黄灯。

相机的光轴与车身方向保持一致。

标定相机的参数后，调整好相机镜头的光圈和焦距，保证图像的清晰呈现。

标定相机的参数后，调整相机的成像参数，突出红绿灯，关闭相机的自动曝光和自动增益功能，减少相机的曝光时间和增益，使图像整体亮度大幅度下降。

与现有技术相比，本发明至少具有以下有益效果：本发明是一种基于贝尔格式图像分通道的、简单有效的红绿灯识别方法，具有以下特点：首先，分两通道单独识别，极大地减少了彩色图像中其他颜色的干扰，仅保留了强度较大的红色分量和绿色分量，对光照变化不敏感，便于快速准确的定位候选区域，而不用采用复杂的模式识别算法。

【附图说明】

图1为贝尔格式原始图像示意图；

图2为本发明的红绿灯识别流程图。

【具体实施方式】

本发明的目的在于设计一种基于贝尔格式图像的红绿灯识别算法，快速准确地识别现实交通环境中的红绿灯标识。

目前彩色图像传感器(cmos或ccd)在每一个像素上只能采集rgb颜色的一个分量，通过使用彩色滤波阵列实现，喷涂红色滤光材料的像素点只透过红光，喷涂绿色滤光材料的像素点只透过绿光。

根据上述特点，本发明提出以下技术方案：

首先，对本发明中采用的硬件进行简要说明。根据应用需求，选择合适的相机，相机的分辨率应保证分通道提取图像的清晰度，相机的光轴与车身方向保持一致，以降低计算复杂度。相机采集图像，传递给dsp芯片进行分析判断，输出最后结果。

以下描述本发明详细的实施步骤：

第一步，固定相机。

根据实际需求，选择合适的相机，要求相机具有较高的分辨率和数据传输速度，以确保检测的精度和实时性。然后固定相机，使其光轴平行于车身方向。

第二步，标定相机内外参数，调整相机成像参数。

使用棋盘格标定板，标定相机的内外参数，并且调整好相机镜头的光圈和焦距，保证图像的清晰呈现。然后调整相机的成像参数，以突出红绿灯，并且抑制其他干扰的目的。关闭相机的自动曝光和自动增益功能，尽量减少相机的曝光时间和增益，使图像整体亮度大幅度下降，由于红绿灯为人造光源，因此红灯的红色通道强度很大，绿灯的绿色通道强度很大，相比于场景中的红色背景和绿色背景，当图像的亮度整体下降时，强度较弱的红色背景干扰和绿色背景干扰就逐渐消失，而红灯和绿灯的亮度依然较强，这种现象在图像中表现为红绿灯的对应位置出现明显的亮斑，其他位置亮度较低，接近黑色。最后设定图像的采集帧率，帧率过高，增大了程序的冗余程度；帧率过低，减少了识别的灵敏度，实际中，帧率为10～20fps较为合适。

第三步，采集图像，提取红色通道分量和绿色通道分量，确定候选区域，初步判断。

1、识别红绿灯时，根据所采集的红绿灯图像，对于原始图像分别提取g通道分量和r通道分量，获得不同通道下的图像，提取图像中的连通域，以每个连通域作为候选区域进行红绿灯识别，然后根据两通道下的图像中所占像素面积的范围、红绿灯在图像中的位置以及候选区域的占空比和圆度进行红绿灯的判断。提取红色通道分量和绿色通道分量

coms或ccd获取的贝尔格式的原始图像，如图1所示。对于g1、r2、b6、g7四个像素点，r2表示r通道像素点，g1、g7表示g通道像素点，获取分辨率为原始图像四分之一r通道图像和g通道图像。

2、确定候选区域

首先，对于提取的图片使用均值滤波进行去噪处理。然后对图像进行二值化，之后提取图像中亮斑的部分，使用连通域算法，提取图像中连通域部分，以其为候选区域，而其他暗区被视为背景区域。分通道获取候选区域时，直接通过贝尔格式图像分离出红绿通道，而非经插值得到红绿通道。对于g1、r2、b6、g7四个像素点，以r2值表征其r通道，以g1或g7值表征其g通道，获取分辨率为原始图像四分之一r通道图像和g通道图像。

3、红绿灯初步判断

分别对每一个候选区域进行分析，综合多种判别标准，给出当前图像是否存在红绿灯的最终判断。根据红绿灯在城市场景中的一些先验知识，可以得到以下几种判定准则：

1)根据面积识别红绿灯

城市交通中，红绿灯的标准直径d是20cm左右，红绿灯的标准识别距离约为20m至80m，则根据以下公式，求得红绿灯在图像中的像素面积：

其中，d是红绿灯在图像中的直径，以像素为单位，f是相机的等效焦距，f0是相机镜头的实际焦距，dx是相机cmos或ccd的尺寸；根据相机的参数，便可估算出相机在距离红绿灯zc时，红绿灯在图像中的外接矩形区域和面积大小。根据此面积，可排除过大或过小区域。

2)根据红绿灯的位置识别红绿灯

红绿灯在城市的位置一般处于道路两旁，并且有特定的高度。行车过程拍摄时，红绿灯处于图像的上方，即红绿灯的灯中心像素坐标应满足以下约束：

其中x,y为灯中心像素坐标，width，height为图像的宽和高。

对提取的候选区域，分别使用面积和位置进行判定，滤除不满足面积和位置的候选区域，保留满足的区域，作为红绿灯判定的初步结果。

4、综合判定输出结果

经过简单的初步判定后，大部分非红绿灯区域被排除，剩余的区域较少，对这些候选区域进行最终的精细的计算和分析，最终给出红绿灯的识别结果。

1)占空比和圆度

圆形的红绿灯，经相机成像之后，由于存在透视变换，在图像中为椭圆形，但是由于在实际道路上，相机一般是以正视红绿灯的角度拍摄，透视现象不明显，因此红绿灯在图像中对应的区域近似为圆形。

定义候选区域的占空比为：

其中s为候选区域，sr为候选区域的外接矩形的面积；

定义候选区域的圆度为：其中，l是候选区域的周长。

理论上，圆形区域的占空比r和圆度c均为1，但是由于受噪声、失真、图像算法的影响，r和c会在1附近波动。通过这两个参数，便可确定近似原型的区域。

2)红绿通道灰度值比

对于候选区域的红绿灯，灰度值比为：其中r为候选区域的r通道灰度值均值，g为候选区域的g通道灰度值均值。当k远大于1时，认为候选区域为红灯；k远小于1时，认为候选区域为绿灯；k接近于1时，认为候选区域为黄灯。

由于红色光和绿色光颜色差异较大，因此红灯不会在绿色通道图像上的对应区域出现高强度亮斑，同理绿灯也不会在红色通道图像的对应区域出现高强度亮斑，可根据亮斑出现的通道判断红绿灯，同时出现在两个通道的亮斑可能是亮度较大的路灯、探照灯等，而不是红绿灯。

综合以上的判别标准，便可准确的判断出图像中是否有红绿灯，为决策提供判据。由于本发明是通过贝尔彩色格式图像分通道获得候选区域，从而使检测部分仅采用了简单的图像处理算法，如滤波、连通域等，并未涉及较为复杂的模式识别算法，而判定部分也没有涉及复杂的数学运算，因此具有较强的实时性。

以上所述仅为本发明的一种实施方法，不是全部或唯一的实施方式，本领域技术人员通过阅读本发明说明书而对本发明技术方案采取的任何等效的变换，均为本发明的权利要求所涵盖。