信号识别装置的制作方法

1.本发明涉及从图像识别信号机的信号识别装置的技术领域。


背景技术：

2.作为这种装置，例如提出了将对信号机进行拍摄而得到的图像和与信号机相关的灯光模式信息进行比较来识别信号机的点亮状态的装置(参照专利文献1)。
3.【现有技术文献】
4.【专利文献】
5.专利文献1：日本特开2021-002275号公报


技术实现要素：

6.【发明要解决的课题】
7.专利文献1中记载的技术存在改善的余地。
8.本发明是鉴于上述情形而做出的，其课题在于，提供能够识别信号机的点亮状态的信号识别装置。
9.【用于解决课题的技术方案】
10.本发明的一方案所涉及的信号识别装置，具备：检测单元，从示出自身车辆的周围的图像检测对象信号机，生成包含示出所述对象信号机的外观的信号机图像的信号机检测信息；和识别单元，将所述信号机检测信息和与所述对象信号机相关的灯光模式信息进行比较来识别所述对象信号机的点亮状态，该信号识别装置中，还具备：确定单元，基于与所述自身车辆相关的位置信息及所述信号机检测信息，确定所述自身车辆与所述对象信号机的位置关系；判定单元，判定所述信号机图像中的、相当于所述对象信号机的点亮部分的点亮区域的中心；以及图像变换单元，为了与所述灯光模式信息进行比较，基于所述位置关系，对所述信号机图像实施预定的变换处理，所述识别单元，将被实施了所述预定的变换处理的信号机图像中的所述点亮区域的中心与所述灯光模式信息进行比较来识别所述点亮状态。
附图说明
11.图1是示出实施方式所涉及的车辆的构成的图。
12.图2是示出实施方式所涉及的识别处理部的动作的流程图。
13.图3是示出灯光模式信息的一例的图。
14.图4是用于说明实施方式所涉及的图像变换处理的概念的图。
具体实施方式
15.参照图1至图3来说明信号识别装置涉及的实施方式。在此，对已搭载于车辆1的信号识别装置进行说明。在图1中，车辆1具备摄像头10、记录装置20、自身位置传感器30及识
别处理部100。识别处理部100相当于实施方式所涉及的信号识别装置的一具体例。
16.摄像头10例如配置成，能够隔着前窗对车辆1的前方进行拍摄。记录装置20例如可以由非易失性存储器、硬盘驱动器等构成。自身位置传感器30构成为，能够取得示出车辆1的位置及朝向的位置信息。此外，对于摄像头10、记录装置20及自身位置传感器30，能够适用现存的各种方案，所以，省略对其详情的说明。
17.识别处理部100具有检测部110、确定部120、判定部130、图像变换部140及识别部150。检测部110、确定部120、判定部130、图像变换部140及识别部150例如可以作为逻辑块而在逻辑上实现。或者，检测部110、确定部120、判定部130、图像变换部140及识别部150例如可以作为处理电路而在物理上实现。
18.除了图1之外还参照图2的流程图，来对识别处理部100进行说明。在图2中，识别处理部100取得由摄像头10拍摄到的图像(步骤s101)。
19.接着，识别处理部100的检测部110从由摄像头10拍摄到的图像，检测车辆1的周围的信号机。在此，关于从图像检测信号机的方法，能够适用现存的各种方案，所以，省略对其详情的说明。以下，将由检测部110检测到的信号机称为“对象信号机”。此外，在从图像检测到多个信号机的情况下，检测部110例如可以将存在于车辆1的行进方向前方且离车辆1最近的信号机作为对象信号机。
20.检测部110生成包含示出对象信号机的外观的图像的信号机检测信息。其结果是，识别处理部100取得信号机检测信息(步骤s102)。在信号机检测信息中，例如也可以包含示出对象信号机的类别、形状的信息。在信号机检测信息中，例如也可以包含示出对象信号机的灯光的颜色的信息。在信号机检测信息中，例如也可以包含示出对象信号机相对于车辆1的位置的信息。
21.识别处理部100的识别部150选择灯光模式信息(步骤s103)。例如可以在记录装置20中记录有灯光模式信息。在该情况下，识别部150可以从记录装置20取得灯光模式信息。例如可以在车辆1的外部的装置中记录有灯光模式信息。在该情况下，识别部150可以从外部的装置取得灯光模式信息。
22.在此，灯光模式信息是示出信号机的灯光部分的模式的信息。“灯光部分”指的是信号机的发光部分。信号机具有多个灯光部分。各灯光部分根据信号机的动作状态而点亮或熄灭。
23.灯光模式信息可以包含示出多个灯光部分的配置的信息。灯光模式信息可以包含示出多个灯光部分各自的外观的信息。在该示出外观的信息中，可以包含示出各灯光部分的颜色及形状(例如圆、箭头等)的信息。灯光模式信息可以包含示出多个灯光部分间的相对位置关系的信息。
24.参照图3，对灯光模式信息的一具体例进行说明。图3示出了具有6个灯光部分的信号机的灯光模式信息。灯光部分l1～l3是相当于圆形信号的部分。灯光部分l1～l3在上段在水平方向上配置。灯光部分l4～l6是相当于箭头信号的部分。灯光部分l4～l6在下段在水平方向上配置。如图3所示，灯光部分l1与l4在上下方向上相邻。灯光部分l2与l5在上下方向上相邻。灯光部分l3与l6在上下方向上相邻。
25.灯光部分l1的点亮时的外观是绿色的圆。灯光部分l2的点亮时的外观是黄色的圆。灯光部分l3的点亮时的外观是红色的圆。灯光部分l4的点亮时的外观是绿色的左箭头。
灯光部分l5的点亮时的外观是绿色的上箭头。灯光部分l6的点亮时的外观是绿色的右箭头。灯光部分l1～l6各自的非点亮时的颜色是黑色。此外，灯光部分的非点亮时的颜色可以不明记(载明)于灯光模式信息。
26.关于灯光模式信息，可以预先准备多个种类的灯光模式信息以能够应对各种形式的信号机。例如可以准备：相当于圆形信号的灯光部分在垂直方向上配置着的灯光模式信息。例如可以准备：仅仅具有右箭头信号(相当于图3的灯光部分l6)作为相当于箭头信号的灯光部分的灯光模式信息。
27.与步骤s103的处理并行地，进行以下说明的步骤s104的处理。识别处理部100的确定部120确定车辆1与对象信号机的位置关系。具体地说，确定部120首先取得由自身位置传感器30取得了的位置信息和地图信息。在此，地图信息既可以是示出平面的(即2维的)地图的地图信息，也可以是高精度的3维地图信息。在地图信息是高精度的3维地图信息的情况下，确定部120也可以例如经由网络从外部的装置取得地图信息。
28.确定部120接着根据由位置信息所示的车辆1的位置和地图信息来确定(或推定)对象信号机的位置。此时所确定的对象信号机的位置可以是绝对位置(或绝对坐标)。确定部120根据由位置信息所示的车辆1的位置及朝向、和确定出的对象信号机的位置，确定(或推定)包含对象信号机的灯光部分(或发光部分)的面相对于车辆1的倾斜。
29.识别处理部100的判定部130从信号机检测信息所包含的示出对象信号机的外观的图像，检测相当于对象信号机的灯光部分中的点亮着的部分(以下，适当称为“点亮部分”)的点亮区域。判定部130判定检测到的点亮区域的中心。在此，判定部130在存在多个点亮区域的情况下，判定各点亮区域的中心。判定部130例如可以基于与点亮区域相关的辉度值来判定点亮区域的中心。在该情况下，判定部130可以将辉度值最大的像素作为点亮区域的中心。或者，判定部130例如可以基于点亮区域的大小(例如宽度及高度)来判定点亮区域的中心。
30.在此，参照图3，对判定部130的动作加以说明。例如在夜间，当通过摄像头10拍摄信号机时，信号机的光(即，点亮着的灯光部分的光)比较强，所以，有时会发生眩光。于是，有时例如如图4的(a)所示，在图像中相当于信号机的光的区域(参照网格(阴影)部分)比点亮着的灯光部分的大小大。
31.判定部130例如为了减低眩光的影响，判定上述的点亮区域的中心。例如图4的(b)所示的图像中的网格部分相当于由判定部130判定出的点亮区域的中心。
32.识别处理部100的图像变换部140基于由确定部120确定出的包含对象信号机的灯光部分的面相对于车辆1的倾斜等，对示出对象信号机的外观的图像实施图像变换处理。具体地说，图像变换部140进行例如示出对象信号机的外观的图像的角度变换来作为图像变换处理，以使得能够将示出对象信号机的外观的图像与灯光模式进行比较。
33.其结果是，能够将从相对于对象信号机的正面倾斜的位置拍摄到的图像(参照图4的(c))变换为例如从正面对对象信号机进行拍摄而得到的图像(参照图4的(d))。此外，对图像变换处理，能够使用现存的各种方案，所以，省略对其详情的说明。
34.之后，识别部150识别对象信号机的点亮状态(步骤s105)。具体地说，识别部150从在步骤s104的处理中实施了图像变换处理的图像，提取包含对象信号机的预定的区域(例如图4的(e)的虚线框包围的区域)。识别部150将该提取出的区域中的点亮区域的中心与在
步骤s103的处理中选择出的灯光模式信息进行比较。
35.识别部150例如关于图4所示的图像，识别为灯光部分l3及l4(参照图3)点亮着，灯光部分l1、l2、l5及l6(参照图3)熄灭着。也就是说，识别部150识别为，“红色的圆形信号”及“绿色的左箭头信号”点亮着。
36.之后，识别处理部100生成示出由识别部150识别出的点亮状态的识别结果信息(步骤s106)。该识别结果信息例如可以在向车辆1的驾驶员报知是红色信号的红色信号注意提醒功能、在是红色信号的情况下使车辆1自动地减速的减速辅助功能等中利用。
37.(技术效果)
38.例如在从由摄像头10等摄像头拍摄到的图像识别信号机的点亮状态的情况下，有时产生如下的问题。信号机的点亮状态的识别结果例如可以在驾驶辅助等中利用。为了合适地实施驾驶辅助等，需要从在距离对象信号机几十米的位置拍摄到的图像识别对象信号机的点亮状态。另一方面，在距离对象信号机比较远的位置拍摄到的图像中，例如可能无法正确识别箭头信号的点亮状态。对此，可以考虑使摄像头的分辨率提高这一方法。然而，若使摄像头的分辨率提高，则会产生产品成本增加这一新的问题。
39.上述的识别处理部100，通过将拍摄对象信号机而得到的图像与点亮模式信息进行比较，来识别对象信号机的点亮状态。根据该方法，即便是无法从由摄像头10拍摄到的图像识别例如箭头信号的箭头的朝向的情况下，也能够合适地识别对象信号机的点亮状态。也就是说，该识别处理部100即便是从利用分辨率比较低的摄像头拍摄到的图像，也能够合适地识别对象信号机的点亮状态。
40.而且，有时产生如下的问题。例如在车辆行驶于存在多个车道的道路的情况下，在车辆的正面不一定配置有信号机。也就是说，不一定能够从其正面对对象信号机进行拍摄。另外，例如在夜间，也可能因对象信号机的光而发生眩光。因而，有时难以将拍摄对象信号机而得到的图像与点亮模式信息合适地进行比较。
41.相对于此，在上述的识别处理部100中，由判定部130判定点亮区域的中心，并且由图像变换部140进行图像变换处理。因而，根据该识别处理部100，即便是无法从其正面对对象信号机进行拍摄的情况、发生了眩光的情况下，也能够将由摄像头10拍摄到的图像与点亮模式合适地进行比较。其结果是，该识别处理部100能够合适地识别对象信号机的点亮状态。
42.以下对从以上所说明的实施方式导出的发明的方案进行说明。
43.发明的一方案所涉及的信号机识别装置，具备：检测单元，从示出自身车辆的周围的图像检测对象信号机，生成包含示出所述对象信号机的外观的信号机图像的信号机检测信息；和识别单元，将所述信号机检测信息和与所述对象信号机相关的灯光模式信息进行比较来识别所述对象信号机的点亮状态，该信号机识别装置中，还具备：确定单元，基于与所述自身车辆相关的位置信息及所述信号机检测信息，确定所述自身车辆与所述对象信号机的位置关系；判定单元，判定所述信号机图像中的、相当于所述对象信号机的点亮部分的点亮区域的中心；以及图像变换单元，为了与所述灯光模式信息进行比较，基于所述位置关系，对所述信号机图像实施预定的变换处理，所述识别单元，将被实施了所述预定的变换处理的信号机图像中的所述点亮区域的中心与所述灯光模式信息进行比较来识别所述点亮状态。
44.在上述的实施方式中，“识别处理部100”相当于“信号机识别装置”的一例，“检测部110”相当于“检测单元”的一例，“识别部150”相当于“识别单元”的一例，“确定部120”相当于“确定单元”的一例，“判定部130”相当于“判定单元”的一例，“图像变换部140”相当于“图像变换单元”的一例。
45.在该信号机识别装置中，所述判定单元可以基于与所述点亮区域相关的辉度值，来判定所述点亮区域的中心。或者，在该信号机识别装置中，所述判定单元可以基于所述点亮区域的大小，来判定所述点亮区域的中心。
46.在该信号机识别装置中，所述预定的变换处理可以包括：基于由所述位置关系所示的所述自身车辆与所述对象信号机的相对角度的角度变换处理。
47.本发明不限于上述的实施方式，能够在不违背从权利要求书及说明书整体领会到的发明的要旨或者思想的范围内适当变更，伴有这样的变更的信号识别装置也包含于本发明的技术的范围中。
48.标号说明
[0049]1…
车辆，10
…
摄像头，20
…
记录装置，30
…
自身位置传感器，100
…
识别处理部，110
…
检测部，120
…
确定部，130
…
判定部，140
…
图像变换部，150
…
识别部