立体摄像头、车辆驾驶辅助装置及车辆的制作方法
【技术领域】
[0001]本发明涉及立体摄像头、具有该立体摄像头的车辆驾驶辅助装置及车辆，更详细地涉及能够取得视差图及RGB (红、绿、蓝)图像的立体摄像头、具有该立体摄像头的车辆驾驶辅助装置及车辆。
【背景技术】
[0002]车辆为搭乘的使用人员向所需的方向进行移动的装置。代表性地，可例举汽车。
[0003]另一方面，为了利用车辆的使用人员的便利，正处于设置各种传感器和电子装置等的趋势。尤其，为了使用人员的驾驶的便利，正开发出多种装置。
[0004]尤其，一直以来，在车辆运行时为了防止事故发生而进行车辆的安全控制的行为都是驾驶员的职责。但是，在各种运行条件下，仅以人类的认知能力，在对车辆进行安全控制方面存在局限性。尤其，在高速行驶的情况下，一旦稍晚发现前方的障碍物，也会导致大型事故的发生，即便在低速行驶的情况下，对于突然出现的障碍物，也会来不及躲避。为了应对这种问题，并制造出更加安全的车辆，一直以来做出了不懈的努力，其中，具有代表性的就是利用视频的障碍物检测方法。
[0005]利用视频的障碍物检测方法有2D摄像头技术，根据2D摄像头技术，利用仅一个视频，来检测事物的形状，并与车辆的安全控制联动，但是根据这种技术，无法取得对事物距离的正确的信息，因此，在高速行驶的情况下，很难应用于车辆的安全控制。
【发明内容】
[0006]本发明的目的在于，提供能够取得视差图及RGB图像的立体摄像头、具有该立体摄像头的车辆驾驶辅助装置及车辆。
[0007]为了实现上述目的的本发明的实施例的立体摄像头包括:第一图像传感器，用于取得与至少一个曝光时间相对应的图像；第二图像传感器，用于取得与多个曝光时间相对应的多个图像；以及处理器，基于由上述第一图像传感器和第二图像传感器取得的图像来生成视差图及RGB图像。
[0008]—方面，为了实现上述目的的本发明的实施例的车辆包括:传感部，用于取得车辆状态；转向驱动部，用于驱动转向装置；制动器驱动部，用于驱动制动装置；动力源驱动部，用于驱动动力源；悬架驱动部，用于驱动悬挂装置；第一图像传感器，用于取得与至少一个曝光时间相对应的图像；第二图像传感器，用于取得与多个曝光时间相对应的图像；处理器，基于上述第一图像传感器及第二图像传感器来生成视差图及RGB图像；以及控制部，基于上述视差图及上述RGB图像来生成用于控制车辆的转向驱动部、制动器驱动部、动力源驱动部、悬架驱动部中的至少一种的控制信号。
[0009]根据本发明的实施例的立体摄像头、具有该立体摄像头的车辆驾驶辅助装置及车辆包括:第一图像传感器，用于取得与至少一个曝光时间相对应的图像；第二图像传感器，用于取得与多个曝光时间相对应的图像；以及处理器，基于由上述第一图像传感器和第二图像传感器取得的图像来生成视差图及RGB图像。由此，能够简单地生成视差图及RGB图像。
[0010]通过利用与互不相同的曝光时间相对应的图像，可取得感光度损失和生成物(Artifact)降低的视差图及鲜明的RGB图像。尤其，可取得能够实现反差(Contrast)和动态范围(dynamic range)的高动态范围图像。
【附图说明】
[0011]图1为示出本发明的一实施例的设有立体摄像头的车辆外观的图。
[0012]图2为示出附着于图1的车辆的立体摄像头的外观的图。
[0013]图3a至图3b例示本发明一实施例的车辆驾驶辅助装置的内部框图的多种例。
[0014]图4a至图4b例示图3a至图3b的处理器的内部框图的多种例。
[0015]图5a至图5b为图4a至图4b的处理器的工作说明所参照的图。
[0016]图6a至图6b为图3a至图3b的车辆驾驶辅助装置的工作说明所参照的图。
[0017]图7为图1的车辆内部的电子控制装置的内部框图的一例。
[0018]图8a至图8b例示图2的立体摄像头的内部框图。
[0019]图9a至图9d以及图10为图8a或图8b的立体摄像头的工作说明所参照的图。
[0020]图1la至图18c为图8a或图8b的图像处理器的工作说明所参照的图。
【具体实施方式】
[0021 ] 以下，参照附图对本发明进行详细说明。
[0022]对于在以下说明中使用的结构要素的词尾“模块”及“部”仅是考虑本说明书的制作便利性而赋予的词，其本并不赋予特别重要的意义或作用。因此，也能以相互混用的方式使用上述“模块”及“部”。
[0023]在本说明书中记述的车辆可为包括汽车、摩托车的概念。以下，以汽车作为主要的车辆进行记述。
[0024]另一方面，在本说明书中记述的车辆可为包括具有引擎的车辆、具有引擎和电机的混合动力车辆、具有电机的电动车辆等的概念。以下，以具有引擎的车辆为主进行记述。
[0025]另一方面，在本说明书中记述的车辆驾驶辅助装置可以被称为先进驾驶辅助系统(ADAS，Advanced Driver Assistance Systems)或先进驾驶辅助装置(ADAA，AdvancedDriver Assistance Apparatus)。以下，对本发明的多种实施例的车辆的车辆驾驶辅助装置及具有该车辆驾驶辅助装置的车辆进行记述。
[0026]图1为示出本发明一实施例的设有立体摄像头的车辆外观的图。
[0027]参照图，车辆200可包括:轮胎103FR、103FL、103RL...，借助动力源来进行旋转；方向盘150，用于调整车辆200的前进方向；以及立体摄像头195，设置于车辆200的内部。
[0028]立体摄像头195可具有多个摄像头，而通过多个摄像头来获得的立体图像可在车辆驾驶辅助装置(图3的100)内得到信号处理。
[0029]另一方面，附图例示出立体摄像头195具有两个摄像头。
[0030]图2为示出附着于图1的车辆的立体摄像头的外观的图。
[0031]参照图，立体摄像头模块I95可包括:第一摄像头195a，设有第一镜头193a ;以及第二摄像头195b，设有第二镜头193b。
[0032]另一方面，立体摄像头模块195可包括分别用于遮蔽向第一镜头193a和第二镜头193b入射的光的第一光遮蔽部(light shield) 192a、第二光遮蔽部192b。
[0033]图中的立体摄像头模块195可以为能够在顶部或前表面玻璃进行装拆的结构。
[0034]具有这种立体摄像头模块195的车辆驾驶辅助装置(图3中的100)可从立体摄像头模块195获得车辆前方的立体图像，基于立体图像来执行视差(disparity)检测，并基于视差信息来执行对至少一个立体图像的目标检测，在完成目标检测之后，继续跟踪目标的移动。
[0035]图3a至图3b例示本发明一实施例的车辆驾驶辅助装置的内部框图的多种例。
[0036]图3a至图3b的车辆驾驶辅助装置100能够基于计算机视觉(computer vis1n)来对从立体摄像头195接收的立体图像进行信号处理，从而生成与车辆相关的信息。其中，与车辆相关的信息可包括用于直接控制车辆的车辆控制信息或用于引导车辆驾驶人员进行驾驶的车辆驾驶辅助信息。
[0037]首先，参照图3a，图3a中的车辆驾驶辅助装置100可包括通信部120、接口部130、存储器140、处理器170、供电部190及立体摄像头195。
[0038]通信部120能够以无线(wireless)方式与移动终端600或服务器500进行数据交换。尤其，通信部120能够以无线方式与车辆驾驶人员的移动终端进行数据交换。作为无线数据通信方式，可进行蓝牙(Bluetooth)、WiFi Direct、WiF1、APIX等多种数据通信方式。
[0039]通信部120可从移动终端600或服务器500接收天气信息、道路交通情况信息，例如传输协议专家组(TPEG，Transport Protocol Expert Group)信息。另一方面，可向移动终端600或服务器500传输基于立体图像来从车辆驾驶辅助装置100来掌握的实时交通信息。
[0040]另一方面，在使用人员搭乘车辆的情况下，使用人员的移动终端600和车辆驾驶辅助装置100能够自动或借助使用人员的应用执行来执行相互配对(pairing)。
[0041]接口部130可接收与车辆相关的数据或向外部传输在处理器170中处理或生成的信号。为此，接口部130可借助有线通信或无线通信的方式来与车辆的电子控制单元(ECU) 770、音视频导航(AVN，Aud1 Video Navigat1n)装置400、传感部760等执行数据通信。
[0042]接口部130科借助与音视频导航装置400之间的数据通信来接收与车辆的行驶相关的图像(map)信息。
[0043]另一方面，接口部130可从电子控制单元770或传感部760接收传感器信息。
[0044]在此，传感器信息可包括车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息中的至少一种。
[0045]这种传感器信息可从航向传感器(heading sensor)、偏航传感器(yaw sensor)、陀螺传感器(gyro sensor)、定位模块(posit1n module)、车辆前进/后退传感器、车轮传感器(wheel sensor)、车辆速度传感器、自身倾斜检测传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘旋转的方向盘传感器、车辆内部温度传感器及车辆内部湿度传感器等获得。另一方面，定位模块可包括用于接收GPS信息的GPS模块。
[0046]另一方面，在传感器信息中，可将与车辆行驶相关的车辆方向信息、车辆位置信息、车辆角度信息、车辆速度信息、车辆倾斜度信息等命名为车辆行驶信息。
[0047]存储器140可存储用于处理或控制处理器170的程序等、用于车辆驾驶辅助装置100的整个动作的多种数据。
[0048]音频输出部(未图示)将从处理器170接收的电信号转换为音频信号并输出。为此，可设置扬声器等。音频输出部(未图示)可输出与输入部110，即，按钮的工作相对应的声音。
[0049]音频输入部(为图示)可接收使用人员的语音信息。为此，可设置麦克风。所接收的语音信息能够变换为电信号来向处理器170传递。
[0050]处理器170控制车辆驾驶辅助装置100的各单元的整个动作。
[0051]尤其，处理器170执行基于计算机视觉(computer vis1n)的信号处理。由此，处理器170可从立体摄像头195获得车辆前方的立体图像，基于立体图像来执行对车辆前方的视差计算，并基于所计算的视差信息来执行对立体图像中的至少一个的目标检测，在完成目标检测后，继续跟踪目标的移动。
[0052]尤其，当进行目标检测时，处理器170可执行车道检测(LD，Lane Detect1n)、周边车辆检测(VD, Vehicle Detect1n)、行人检测(PD，Pedestrian Detect1n)、灯光检测(BD, Brightspot Detect1n)、交通标志牌检测(TSR，Traffic Sign Recognit1n)及路面检测等。
[0053]并且，处理器170可执行对所检测的周边车辆距离的计算、对所检测的周边车辆的速度的计算及对与所检测的周