为机动车检测交通灯阶段的设备和方法与流程

本发明涉及一种机动车中的图像获取和图像处理系统。

本发明尤其涉及一种用于借助摄像机为机动车检测交通灯阶段的设备和方法。

背景技术：

公开文本de102015003847a1描述一种用于获取变光信号系统的至少一个光信号设备的光信号，以及用于将光信号通知给车辆驾驶员的方法。其方法步骤设置如下：

1.借助车辆的至少一个图像获取装置对车辆前方周围环境的区域进行光学获取；

2.通过图像分析装置对车辆的至少一个图像获取装置所获取的图像数据进行分析，所述图像分析装置对所获取的图像数据分析是否存在变光信号系统的至少一个光信号设备的红色光信号；

3.借助车辆的显示装置显示在已分析的图像数据中识别到的至少一个光信号设备的红色光信号。

对于步骤2，在该公开文本中论述道：“这种的图像分析装置和图像分析的方法同样也是现有技术中已知的，因此这里无需对其更详细讨论”。

通过在交通场景中在危险识别和场景识别的范围内对之前检测的交通灯进行由计算机支持的光学图像识别的方法来确定当前所切换交通灯阶段，例如是红灯、黄灯还是绿灯，但这因下列因素而较为困难：

i)所拍摄的图像出现眩光或过度曝光；

ii)在所拍摄图像中在交通灯玻璃上的不是源于交通灯、而是例如由环境光引起的反射；

iii)图像拍摄时对比度不佳，例如在架空交通灯前直接在停车线处以明亮背景(天空)拍摄交通灯；

iv)陡峭/过高的视角，例如同样在架空交通灯前直接在停车线处拍摄交通灯；或

v)交通灯的灯罩部分地遮盖红灯、绿灯或黄灯的区域，例如在侧向拍摄时，例如在直接停在停车线处时侧向地拍摄设置在右侧车道边缘的交通灯。

技术实现要素：

本发明的一项任务是，提供对交通信号灯的交通灯阶段的经改进的光学图像识别。

该任务通过独立权利要求的主题解决。其他改进方案和实施方式请参见从属权利要求、说明以及附图。

本发明的第一方面涉及一种用于为机动车检测交通灯阶段的设备。

该设备包括图像传感器装置，该图像传感器装置被设置用于，拍摄交通灯图像并将图像以图像数据的形式提供。

该设备还包括分区装置，该分区装置被设置用于，规定所拍摄的图像的至少一个子区域，并且将该至少一个子区域分配给交通灯的多种交通灯光中的至少一种交通灯光。

该设备还包括缩放装置，该缩放装置被设置用于，确定在所述至少一个子区域中的最大色彩饱和度和/或最大亮度。这尤其是指在该子区域中对像素或相关联的小像素区域确定最大色彩饱和度或亮度。

该设备还包括计算装置，该计算装置被设置用于，基于所确定的最大色彩饱和度和/或所确定的最大亮度来确定交通灯的交通灯状态。

换句话说，本发明能以有益的方式确保对交通灯及其相应交通灯阶段的识别。

本发明还能以有益的方式以广角镜头确保从直接停在停车线处的车辆出发——也就是在看向交通灯的视角不利、过高的情况下——对架空交通灯进行识别。

本发明有益的设计方案请参见从属权利要求。

根据一优选实施方式，分区装置被设置用于，为所检测的交通灯的每种交通灯光，这里指每种交通灯颜色，规定所拍摄的图像的一个子区域，并将该子区域分配给(相应的)交通灯光。缩放装置优选被设置用于，为每个子区域确定最大色彩饱和度和平均色彩饱和度和/或最大亮度和平均亮度。计算装置优选被设置用于，通过对交通灯的所有子区域的最大色彩饱和度与平均色彩饱和度(或最大亮度与平均亮度)的比较，确定交通灯的交通灯状态。

换句话说，在每种交通灯光(分成红色、黄色和绿色)中，寻找具有最大亮度和/或色彩饱和度的中心区域，并与在该相应交通灯光的其余区域中的亮度进行比较。根据在该相应交通灯光的区域中的最大值和平均值的比例计算交通灯阶段。

在大部分情况下，使用“仅只是亮度”来识别各相应交通灯光并不足以确定交通灯阶段，因为大部分情况下交通灯光例如由于环境光原因而“仅”明亮地反射。

在本发明一有益实施方式中，计算装置被设置用于，基于：

i)所拍摄的图像的对比度值；

ii)在拍摄图像时的主要光线条件；或

iii)所使用的摄像机的性能参数

以及

i)仅借助所确定的最大色彩饱和度；

ii)仅借助所确定最大亮度；或

iii)不仅借助所确定的最大色彩饱和度、还借助所确定的最大亮度

来确定交通灯的交通灯状态：

在本发明一有益的实施方式中规定，缩放装置被设置用于，基于对图像的hsv(色相、饱和度、明度)色彩空间的分析来确定在至少一个子区域中的最大色彩饱和度和最大亮度。在此，对hsv色彩空间的分析也可以局限于子区域。

在本发明一有益的实施方式中规定，分区装置被设置用于，基于对交通灯的信号灯玻璃的光学图像识别来分配交通灯的交通灯光的子区域。

在本发明一有益的实施方式中规定，图像传感器装置包括广角镜头。

在此，本发明所使用的术语“广角镜头”是指具有比普通镜头更大视角的镜头，例如视角大于40度或大于50度或大于60度。

在本发明一有益的实施方式中规定，图像传感器装置具有向上的视线方向，并被设置用于，拍摄架空交通灯的图像。这能以有益的方式补偿过高视角以及由此造成的所拍摄图像对比度质量的降低。

所述实施方式和其他改进方案相互之间可任意组合。

本发明其他的可能设计方案、其他改进方案和实施方式也包括在之前或之后对实施方式所述的本发明特征的未明确说明的组合。

附图旨在帮助进一步理解本发明实施方式。

附图对实施方式进行了说明，并与说明一起用于解释本发明的理念。

参照附图得出其他实施方式和许多所述优点。附图的所示各元素并不必须按相互比例显示。

附图说明

其中：

图1：根据本发明一实施例以示意图方式展示借助用于机动车的摄像机检测交通灯阶段的设备，以及

图2：根据本发明另一实施例以示意图方式展示借助用于机动车的摄像机检测交通灯阶段的方法的流程图；

图3：根据本发明另一实施例以示意图方式展示被分区的架空交通灯；以及

图4：根据本发明另一实施例以示意图方式展示架空交通灯的图像。

具体实施方式

在附图中，除非另有说明，相同的附图标记表示相同的或功能相同的元素、部件、组件或方法步骤。

机动车或车辆是指例如机动车或混合动力车辆，例如具有航行功能的混合动力车辆，例如摩托车、巴士或载重汽车或自行车。

本发明所述交通灯或交通信号灯是指道路交通中的灯光信号系统(lsa)的信号发生器。

这些光信号发生器以照明信号的形式根据形状和颜色构成不同交通标志，分别具有不同含义，并仅对迎面而来的行驶方向发挥交通管理作用。

驾驶员辅助系统需要分析交通灯或交通信号灯的各相应状况，即评估交通灯阶段，这通常通过光学图像识别和处理来进行。

本发明中所使用的术语“hsv色彩空间”是指一种基于色彩模型的色彩空间，在该色彩空间中，人们基于色彩值(英语为“hue”)、色彩饱和度(英语为“saturation”)以及亮度值(英语“value”)来定义色彩。

在本发明一实施方式中，也可使用具有相对亮度(英语为“lightness)的hsl色彩空间或使用具有绝对亮度(英语为“brightness”)的hsb色彩空间或使用具有光强度(英语“intensity”)的hsi色彩空间。

图1以示意图的方式说明根据本发明一实施例的、用于对机动车的交通灯阶段进行检测的设备。

所述设备1包括：图像传感器装置10、分区装置20、缩放装置30以及计算装置40。

图像传感器装置10被设置用于，拍摄交通灯图像并以图像数据的形式提供图像。

分区装置20被设置用于，规定所拍摄图像的子区域，并将该子区域分配给交通灯多种交通灯光中的至少一种交通灯光。

缩放装置30被设置用于，确定在子区域中的最大色彩饱和度和/或最大亮度。

计算装置40被设置用于，基于所确定的最大色彩饱和度和/或所确定的最大亮度来确定交通灯的交通灯状态。

图2以一示意图方式展示根据本发明另一实施例所述的、借助用于机动车的摄像机检测交通灯阶段的方法的流程图。

借助用于机动车的摄像机检测交通灯阶段的方法包括以下方法步骤：

作为第一方法步骤，借助图像传感器装置10拍摄s1交通灯的图像，并将图像以图像数据的形式提供。图像数据例如是电子形式的二进制编码数据，用于再现图像信息。

作为第二方法步骤，借助分区装置20规定s2以及划分所拍摄图像的至少一个子区域，以及借助分区装置20将该至少一个子区域分配给交通灯的至少一种交通灯光。

作为第三方法步骤，借助缩放装置30确定s3在所述至少一个子区域中的最大色彩饱和度和/或最大亮度。

作为第四方法步骤，借助计算装置40，基于所确定的最大色彩饱和度和/或所确定的最大亮度来确定s4交通灯的交通灯状态。

图3为阐明本发明以一示意图方式展示根据图像传感器装置所拍摄的交通灯图像对已分区的架空交通灯的选择。

对所示的七个交通灯进行分区，即，例如由分区装置20规定了所拍摄图像的子区域sm1-1、......、sm7-3，并将子区域分配给交通灯的交通灯光，即，红色(例如sm1-1、sm2-1、......、sm7-1)，黄色(sm1-2、......、sm7-2)，绿色(sm1-3、......、sm7-3)。

在此，图3所示交通灯是例如在距离减小和视角增大情况下经分区的架空交通灯，其中，视角从1增加到7。

圆圈表示子区域sm1-1、......、sm7-3，缩放装置30分别确定在各子区域中的最大色彩饱和度和平均色彩饱和度以及最大亮度和平均亮度，在此，在视角增加情况下，从左到右，即从1向7，与子区域sm1-1、……、sm7-3的总亮度相比，最大亮度或多或少是恒定的。在五个在前所示的交通灯sm1-...、......、sm5-...)中，各相应最下方的子区域(sm1-3、......、sm5-3)分别示出了最高平均色彩饱和度和最高平均亮度(与两个上面的子区域相比)。与此相比，第六个交通灯(sm6-......)在最上面的子区域(sm6-1)中示出最高的平均色彩饱和度和最高的平均亮度。因此，根据现有技术的交通灯识别得出结论，该交通灯发送红灯信号。与此相比，最大色彩饱和度和亮度也在第六个交通灯处在最下面的子区域(sm6-3)中最高。与此相比，在第七个交通灯(sm7-......)处，平均色彩饱和度和亮度在中间子区域(sm7-2)中最高。根据现有技术的交通灯识别得出结论，该交通灯发送黄灯信号。与此相比，最大色彩饱和度和亮度也在此在第六个交通灯处在最下面的子区域(sm7-3)中最高。因此，借助所述设备可始终正确识别出：所有七个交通灯发送绿灯信号。

在一特别优选的实施方式中，通过确定最大亮度与平均亮度以及最大色彩饱和度与平均色彩饱和度的比例可更清楚地确定，经分区的交通灯显示的是哪种交通灯信号：所显示的是具有最高比值的交通灯信号。

图4以一示意图方式展示根据本发明另一实施例所述的架空交通灯的图像。

图4展示困难条件下检测交通灯阶段的实施例。左侧交通灯显示红色交通灯光的最高平均值和绿色交通灯光的最低平均值。在形成最大值时显示，红色和黄色具有相似的亮度和色彩饱和度。即交通灯显示的是黄红色。

从图4中可见，右边交通灯的黄色交通灯光所形成的平均值明显低于红色和绿色交通灯光的近似相同的平均值。但交通灯识别必须做出决定，因为红绿色交通灯阶段不存在。在最大值形成中表明，与绿色交通灯光相比，红色交通灯光具有较低的最大亮度或色彩饱和度。

尤其是，现代交通灯光具有用于发光二极管(led)光源的分束器或自由曲面反射器，以及多级式反射器。在特定的、不利的高视角情况下，分束器只允许照明一小部分的照射面积，由此，交通灯光的所分区的子区域仅有部分从高(例如大于30度)视角被照明，即，不在交通灯光的整个面积上以全色彩饱和度/最大色彩饱和度和全亮度/最大亮度成像。

但如在图4中也可看到的是，在各相应交通灯光区域中的最大亮度或最大亮度值几乎不受高视角的影响，并右边交通灯的黄色交通灯光和红色交通灯光具有大致相同低的最大亮度或最大亮度值。右侧交通灯因而显示绿色。

这以有益的方式表明，基于最大色彩饱和度和/或最大亮度的图像数据分析在不同视角拍摄方面不易受到干扰，因此，总体上更为可靠。

虽然本发明已根据优选实施例作了如上说明，但它并不局限于此，还可以许多方式进行修改。尤其是，本发明可在不脱离本发明实质前提下以许多方式进行更改和改进。

在此需要补充指出的是，“包含”和“具有”不排除其他元素或步骤，“一”不排除多数。

此外还应指出，引用上述实施例之一所述的特征或步骤也可与上述其他实施例的其他特征或步骤组合使用。权利要求中的附图标记不得被视为限制。