曝光控制装置的制作方法

1.本发明涉及车载摄像头的曝光控制装置的技术领域。


背景技术：

2.搭载有曝光控制装置的车辆中例如具有前照灯(head lamp)的光量以比较短的周期(例如几十毫秒～几百毫秒等)进行变化的车辆。车载摄像头以预定的帧速率逐次拍摄图像。在帧速率例如为30fps(frames per second，帧/秒)的情况下，1帧期间大约为33.3毫秒，因此，当前照灯的光量以比较短的周期变化时，各帧期间的光量会变化。已知：通过前照灯的光量按各帧期间而变化，能够根据由车载摄像头拍摄到的图像来检测例如有无发光、昼夜差异等不同场景中的不同的检测对象物，由此，能够提高车载摄像头的物标识别精度。
3.例如日本特开2017-193239提出了如下技术：在通过1帧期间中的曝光时间与非曝光时间之比固定的车载摄像头对车辆的周边空间进行拍摄时，对前照灯的点亮状态进行控制，以使得曝光时间中的脉冲光的平均的大小大于非曝光时间中的脉冲光的平均的大小(参照日本特开2017-193239)。


技术实现要素：

4.日本特开2017-193239所记载的技术存在如下技术问题：为了使周期性地变化的前照灯的光量变化与摄像头的帧期间中的曝光时间相匹配、具体而言为了设置与前照灯的光量大的期间对应的曝光时间和与前照灯的光量小的期间对应的曝光时间，必须进行同步处理，该同步处理是用于取得作为互不相同的部件的前照灯与车载摄像头之间的同步的处理。
5.本发明是鉴于上述问题而完成的，课题在于提供一种曝光控制装置，该曝光控制装置例如即使前照灯等灯具的光量周期性地进行了变化，也能够不进行同步处理地拍摄适当的曝光时间的图像。
6.本发明的一个技术方案涉及的曝光控制装置，是在具备光量在点亮时周期性地变化的灯具的车辆中对所述车辆的周围进行拍摄的摄像头的曝光控制装置，其特征在于，所述曝光控制装置具备：曝光设定单元，其按各帧期间设定所述摄像头的曝光时间，并且按各预定期间使所述摄像头的曝光时间周期性地变化，所述预定期间是与所述灯具的所述光量的变化周期相同或者其整数倍的长度的期间、且是包含多个帧期间的期间；和调整单元，其设置校准期间，所述校准期间是用于设定曝光时间的期间，所述曝光设定单元在所述校准期间中将所述多个帧期间中的曝光时间设定为恒定，基于在所述校准期间中通过所述摄像头拍摄到的多个图像各自的明亮度的程度，设定所述多个帧期间各自中的曝光时间。
7.由于曝光时间是恒定的，因此，在校准期间拍摄到的多个图像各自的明亮度的程度反映了灯具的光量的变化。因此，若参照该多个图像各自的明亮度的程度，则例如不取得灯具的控制信息(光量变化模式等)、即不进行灯具与摄像头的同步处理，就能够推定灯具的光量变化模式。因此，该曝光控制装置能够基于在校准期间拍摄到的多个图像各自的明
亮度的程度，设定多个帧期间各自中的曝光时间。因此，根据该曝光控制装置，即使灯具的光量周期性地进行了变化，也能够不进行同步处理地拍摄适当的曝光时间的图像。
附图说明
8.下文将参照附图说明本发明示例性实施例的特征、优点以及技术和产业上的意义，其中相同的标号表示同样的要素，并且，其中：
9.图1是表示第1实施方式涉及的曝光控制装置的构成的框图。
10.图2是表示拍摄周期与光量变化周期的关系的一个例子的图。
11.图3a是表示校准期间中的曝光时间的一个例子的图。
12.图3b是表示校准期间拍摄到的图像的一个例子的图。
13.图4是表示通过第1实施方式的曝光控制装置设定的曝光时间的一个例子的图。
14.图5是表示第1实施方式的曝光控制装置的动作的流程图。
具体实施方式
15.参照图1～图5对曝光控制装置涉及的实施方式进行说明。
16.实施方式涉及的曝光控制装置是在具备灯具的车辆中对该车辆的周围进行拍摄的摄像头的曝光控制装置，该灯具的光量在点亮时周期性地变化。该曝光控制装置具备：曝光设定单元，其按各帧期间设定摄像头的曝光时间，并且按各预定期间使摄像头的曝光时间周期性地变化，所述预定期间是与灯具的光量的变化周期相同或者其整数倍的长度的期间、且是包含多个帧期间的期间；和调整单元，其设置校准期间，所述校准期间是用于设定曝光时间的期间。
17.曝光设定单元按各帧期间设定曝光时间。其理由例如为如下那样。即，摄像头的拍摄对象例如包括信号灯、对向车的前照灯等发光的对象，另一方面，例如也包括存在于车辆、构造物投下影子的部分等比较暗的场所的对象。此时，当将全部帧期间中的曝光时间设定为比较短以使得例如能够适当地拍摄信号灯时，图像中的比较暗的部分有可能会过暗而看起来像全黑。另一方面，当将全部帧期间中的曝光时间设定为比较长以使得例如能够适当地拍摄比较暗的场所时，图像中的比较亮的部分有可能过亮而看起来像全白。于是，通过将一帧期间中的曝光时间设定为比较短，并且将接着该一帧期间的其他帧期间中的曝光时间设定为比较长，来谋求取得适当地拍摄到比较亮的部分的图像和适当地拍摄到比较暗的部分的图像。
[0018]“灯具”典型地意味着前照灯，但只要光量在点亮时周期性地变化，例如也可以是尾灯等。在此，灯具的光量周期性地变化的理由例如为如下那样。即，对能够在道路上进行照射的光量确定了上限。因此，在灯具的光量与时间无关而为恒定的情况下，灯具的光量的最大值在某种程度上被抑制，在夜间通过车载摄像头拍摄到的图像大多会成为比较暗的图像。于是，在比较短的一个期间使灯具的光量比较大(例如设为超过光量与时间无关而为恒定的情况下的光量的最大值的光量)，并且在接着该一个期间的其他期间使灯具的光量比较小，谋求在夜间也能够拍摄比较亮的图像。
[0019]
但是，灯具和摄像头是互不相同的部件，因此，若任何对策都不采用，则会无法拍摄到所期待的图像。于是，在该曝光控制装置中，通过调整单元设置校准期间，该校准期间
是用于设定曝光时间的期间。该校准期间例如可以设置在车辆刚启动之后(即刚成为准备就绪(ready on)状态之后)、灯具刚点亮之后等。
[0020]
曝光设定单元首先在校准期间中将全部帧期间中的曝光时间设定为恒定。然后，曝光设定单元基于在校准期间中通过摄像头拍摄到的多个图像各自的明亮度的程度(例如辉度值)，设定上述预定期间所包含的多个帧期间各自中的曝光时间。
[0021]
在校准期间中，全部帧期间中的曝光时间为恒定，因此，多个图像各自的明亮度的程度的不同可视为与灯具的光量变化对应。因此，曝光设定单元能够基于多个图像各自的明亮度的程度，推定灯具的光量变化模式。其结果，曝光设定单元能够考虑灯具的光量变化，设定多个帧期间各自中的曝光时间。
[0022]
特别是，该曝光控制装置不取得灯具涉及的控制信息(换言之，不进行灯具与摄像头的同步处理)，就能够设定多个帧期间各自的曝光时间。
[0023]
＜第1实施方式＞
[0024]
在图1中，作为该曝光控制装置的一个具体例的曝光控制装置10对搭载于车辆1的摄像头20的曝光进行控制。在车辆1具备相当于上述“灯具”的一个例子的前照灯单元30(以后适当地称为“前照灯30”)。摄像头20例如以能够对车辆1前方的场景进行拍摄的方式安装于车辆1。
[0025]
曝光控制装置10具备图像取得部11、校准期间设定部12以及曝光时间设定部13来构成。“校准期间设定部12”以及“曝光时间设定部13”分别相当于上述“调整单元”以及“曝光设定单元”的一个例子。此外，曝光控制装置10可以与摄像头20构成为一体。
[0026]
在此设为：曝光控制装置10将摄像头20涉及的曝光时间例如设定为比较长的曝光时间、比较短的曝光时、该比较长的曝光时间与比较短的曝光时间的中间的曝光时间中的某一个。以后，将设定为比较长的曝光时间的情况适当地称为“夜间高辉度模式”。以后，将设定为比较短的曝光时间的情况适当地称为“发光物用模式”。以后，将设定为中间的曝光时间的情况适当地称为“夜间通常模式”。
[0027]“夜间高辉度模式”是以适当地拍摄存在于比较暗的场所的物体为目的的曝光模式。在该夜间高辉度模式下拍摄到的图像的平均辉度值比较高。“发光物用模式”例如是以适当地拍摄信号灯、对向车的前照灯、反射板等发光的物体或者容易反射光的物体为目的的曝光模式。“夜间通常模式”例如可以是以适当地拍摄其他车辆、自行车、行人等移动障碍物、车道为目的的曝光模式。在该情况下，上述中间的曝光时间可以被设定为能在图像中抑制像偏移的产生的时间。
[0028]
曝光控制装置10例如可以使曝光模式按夜间高辉度模式、夜间通常模式、发光物用模式、夜间通常模式、夜间高辉度模式的顺序变化，对摄像头20涉及的曝光时间进行控制，以使得曝光模式在4帧期间轮换一遍。以后，将曝光模式轮换一遍的期间适当地称为“拍摄周期”。此外，“拍摄周期”相当于上述的“预定期间”的一个例子。
[0029]
在本实施方式中设为：例如如图2所示，拍摄周期的1个周期相当于前照灯30的光量变化的1个周期。在该前提下，对曝光控制装置10的、拍摄周期所包含的4个帧期间(i)～(iv)各自的曝光模式的决定方法(即曝光时间的设定方法)进行说明。
[0030]
曝光控制装置10的校准期间设定部12例如以车辆1被启动、或者前照灯30被点亮为条件，设定校准期间。该校准期间为相当于拍摄周期的1个周期的期间以上。校准期间的
上限值例如被设定为对障碍物识别功能、白线识别功能等的利用通过摄像头20拍摄到的图像的功能不产生影响的值。
[0031]
曝光控制装置10的曝光时间设定部13在校准期间中首先例如如图3a所示那样将全部帧期间中的曝光时间设定为恒定。此时的曝光时间的长度可以是任意的。但是，优选曝光时间被设定得比较长，以使得在各帧期间中拍摄到的多个图像间的明亮度的程度的差异变得明确。
[0032]
曝光时间设定部13在曝光时间被设为了恒定之后，经由图像取得部11取得通过摄像头20拍摄到的在时间上连续的多个图像。此时，在帧期间(i)～(iv)各自中，例如拍摄到如图3b所示的图像。接着，曝光时间设定部13算出上述多个图像各自的平均辉度值。在图3b所示的例子中，根据前照灯30的光量变化与各曝光时间的关系，在帧期间(iii)拍摄到的图像的平均辉度值最高，在帧期间(i)和(iv)拍摄到的图像的平均辉度值最低。
[0033]
曝光时间设定部13基于各图像的平均辉度值，将拍摄到最高的平均辉度值的图像的帧期间涉及的曝光模式设定为夜间高辉度模式。在图3a和图3b所示的例子中，曝光时间设定部13将帧期间(iii)涉及的曝光模式设定为夜间高辉度模式。
[0034]
接着，曝光时间设定部13对被设定为夜间高辉度模式的帧期间以外的各帧期间涉及的曝光模式进行设定，以使得曝光模式例如按夜间高辉度模式、夜间通常模式、发光物用模式、夜间通常模式的顺序变化。在图3a和图3b所示的例子中，曝光时间设定部13将帧期间(ii)和(iv)涉及的曝光模式设定为夜间通常模式，并且，将帧期间(i)涉及的曝光模式设定为发光物用模式。其结果，例如如图4的上部所示那样设定各帧期间中的曝光时间。这样，曝光时间设定部13可以将拍摄到平均辉度值高的图像的帧期间中的曝光时间设定为比拍摄到平均辉度值低的图像的帧期间中的曝光时间长。
[0035]
参照图5的流程图对校准期间中的曝光控制装置10的动作进行说明。
[0036]
在通过校准期间设定部12设定的校准期间中，首先，曝光时间设定部13将全部帧期间中的曝光时间设定为恒定(步骤s101)。然后，通过摄像头20拍摄车辆1的前方的场景(步骤s102)。此时，图像取得部11取得通过摄像头20拍摄到的在时间上连续的多个图像。
[0037]
接着，曝光时间设定部13算出上述多个图像各自的平均辉度值(步骤s103)。接着，曝光时间设定部13将拍摄到最高的平均辉度值的图像的帧期间涉及的曝光模式设定为夜间高辉度模式(步骤s104)。然后，曝光时间设定部13对被设定为夜间高辉度模式的帧期间以外的各帧期间涉及的曝光模式进行设定(步骤s105)。
[0038]
(技术效果)
[0039]
在曝光控制装置10中，在校准期间中，各帧期间中的曝光时间被设定为恒定，因此，能够根据在校准期间拍摄到的在时间上连续的多个图像来推定前照灯30的光量变化模式。也即是，曝光控制装置10不从该前照灯30取得前照灯30涉及的控制信息(例如光量变化模式)，即不进行摄像头20与前照灯30的同步处理，就能够推定前照灯30的光量变化模式。
[0040]
根据曝光控制装置10，考虑如上述那样推定的光量变化模式来设定各帧期间涉及的曝光模式(即曝光时间)，因此，尽管不进行上述同步处理，也能够取得摄像头20与前照灯30的同步。因此，能够在前照灯30的光量比较大的帧期间中，适当地拍摄存在于比较暗的场所的物体，并且，能够在前照灯30的光量比较小的帧期间中，适当地拍摄发光的物体或者容易反射光的物体。
[0041]
此外，在设定为夜间高辉度模式的帧期间拍摄到的图像例如可以在障碍物识别功能中用于距车辆1比较远的场所的远方落下物等的检测。在被设定为夜间通常模式的帧期间中拍摄到的图像既可以例如在障碍物识别功能中用于例如其他车辆等的移动障碍物的检测，也可以例如在白线识别功能中用于白线(车道)的检测。通过在拍摄周期的1个周期中包含比较多的夜间通常模式的帧期间，能够使移动障碍物、白线(车道)等的检测频度提高。在被设定为夜间高辉度模式的帧期间拍摄到的图像也可以用于移动障碍物、白线(车道)等的检测。通过这样构成，能够使移动障碍物、白线(车道)等的检测频度进一步提高。
[0042]
＜第2实施方式＞
[0043]
在上述的第1实施方式中，设定拍摄周期的1个周期所包含的各帧期间的曝光时间，以使得曝光模式按夜间高辉度模式、夜间通常模式、发光物用模式、夜间通常模式的顺序变化。
[0044]
在第2实施方式中，曝光控制装置10可以不预先决定曝光模式的变化顺序。在该情况下，曝光时间设定部13可以基于在校准期间拍摄到的多个图像各自的平均辉度值，在拍摄周期的1个周期中以越是在时间上远离拍摄到平均辉度值最大的图像的帧期间的帧期间、则曝光时间越短的方式设定拍摄周期的1个周期所包含的各帧期间的曝光时间(或者曝光模式)。
[0045]
具体而言，曝光时间设定部13在校准期间中首先例如如图3a所示那样将全部帧期间中的曝光时间设定为恒定。此时设为：在图3a的帧期间(i)～(iv)各自中，拍摄到例如如图3b所示的图像。
[0046]
接着，曝光时间设定部13算出上述多个图像各自的平均辉度值。在图3b所示的例子中，根据前照灯30的光量变化与各曝光时间的关系，在图3a的帧期间(iii)拍摄到的图像的平均辉度值最高，在帧期间(i)和(iv)拍摄到的图像的平均辉度值最低。
[0047]
曝光时间设定部13基于各图像的平均辉度值，将拍摄到最高的平均辉度值的图像的帧期间涉及的曝光时间设定为最长。在图3a和图3b所示的例子中，曝光时间设定部13将帧期间(iii)涉及的曝光时间设定为最长。
[0048]
然后，在拍摄周期的1个周期中，越是在时间上远离帧期间(iii)的帧期间，曝光时间设定部13使曝光时间越短。其结果，帧期间(i)涉及的曝光时间被设定为最短。帧期间(ii)和(iv)涉及的曝光时间被设定为比帧期间(iii)涉及的曝光时间短、且比帧期间(i)涉及的曝光时间长的曝光时间。也即是，例如如图4的上部所示那样设定各帧期间中的曝光时间。
[0049]
＜第3实施方式＞
[0050]
在第3实施方式中，与上述的第2实施方式同样地，可以不预先决定曝光模式的变化顺序。在该情况下，曝光时间设定部13可以基于在校准期间拍摄到的多个图像各自的平均辉度值，以越是平均辉度值大的帧期间、则曝光时间越长的方式设定拍摄周期的1个周期所包含的各帧期间的曝光时间(或者曝光模式)。
[0051]
在校准期间中，设为例如拍摄到如图3b所示的图像。在图3b所示的例子中，根据前照灯30的光量变化与各曝光时间的关系，在帧期间(iii)拍摄到的图像的平均辉度值最高，在帧期间(i)和(iv)拍摄到的图像的平均辉度值最低。
[0052]
此时，曝光时间设定部13将平均辉度值最高的帧期间(iii)涉及的曝光时间设定
为最长。曝光时间设定部13将平均辉度值最低的帧期间(i)以及(iv)涉及的曝光时间设定为最短。曝光时间设定部13将平均辉度值为中程度的帧期间(ii)涉及的曝光时间设定为比帧期间(iii)涉及的曝光时间短、且比帧期间(i)涉及的曝光时间长的曝光时间。
[0053]
＜变形例＞
[0054]
(1)曝光模式不限于上述的“夜间高辉度模式”、“夜间通常模式”以及“发光物用模式”。具体而言，例如“发光物用模式”也可以细分化为能够适当地拍摄信号灯等的光源的“光源用模式”和能够适当地拍摄反射板等的容易反射光的物体的“高反射模式”。此外，光源用模式涉及的曝光时间被设定为比高反射模式涉及的曝光时间短。
[0055]
(2)例如为了应对由led(light emitting diode)信号灯等的人工光引起的闪烁现象，可以在拍摄周期的1个周期中，连续地配置有多个设定为发光物模式的帧期间。
[0056]
(3)拍摄周期的1个周期也可以相当于前照灯30的光量变化的1个周期的整数倍(即2倍、3倍、4倍、
……
)。通过这样构成，例如能够比较容易地实现上述(1)、(2)的构成。
[0057]
(4)根据车辆1周围的光量(即环境光量)，即使为前照灯30的光量进行了变化，也有可能在校准期间拍摄到的多个图像间的平均辉度值(换言之为明亮度的程度)中不产生有意为之的差异。于是，曝光时间设定部13也可以在校准期间拍摄到的多个图像中的平均辉度值最大的图像与平均辉度值最小的图像的平均辉度值的差分小于预定值的情况下，中止曝光时间的设定(例如由图5的流程图表示的处理)。
[0058]
以下，对根据以上说明的实施方式以及变形例导出的发明的各种技术方案进行说明。
[0059]
发明的一个技术方案涉及的曝光控制装置是在具备光量在点亮时周期性地变化的灯具的车辆中对所述车辆的周围进行拍摄的摄像头的曝光控制装置，其特征在于，所述曝光控制装置具备：曝光设定单元，其按各帧期间设定所述摄像头的曝光时间，并且按各预定期间使所述摄像头的曝光时间周期性地变化，所述预定期间是与所述灯具的所述光量的变化周期相同或者其整数倍的长度的期间、且是包含多个帧期间的期间；和调整单元，其设置校准期间，所述校准期间是用于设定曝光时间的期间，所述曝光设定单元在所述校准期间中将所述多个帧期间中的曝光时间设定为恒定，基于在所述校准期间中通过所述摄像头拍摄到的多个图像各自的明亮度的程度，设定所述多个帧期间各自中的曝光时间。
[0060]
在该曝光控制装置的一个技术方案中，所述曝光设定单元将拍摄到所述明亮度的程度大的图像的帧期间中的曝光时间设定为比拍摄到所述明亮度的程度小的图像的帧期间中的曝光时间长。
[0061]
在该曝光控制装置的其他技术方案中，所述曝光设定单元以越是拍摄到所述明亮度的程度大的图像的帧期间则曝光时间越长的方式设定曝光时间。
[0062]
在该曝光控制装置的其他技术方案中，所述曝光设定单元以越是所述多个帧期间中的在时间上远离拍摄到所述明亮度的程度最大的图像的帧期间的帧期间则曝光时间越短的方式设定曝光时间。
[0063]
本发明并不限于上述的实施方式，可以在不违反从权利要求书以及说明书整体读取的发明的宗旨或者思想的范围内适宜地进行变更，另外，伴随着那样的变更的曝光控制装置也包含在本发明的技术范围内。