用于提供完整的车辆周围环境图像的车辆摄像机系统和方法
【专利摘要】本发明涉及一种借助于至少一个摄像机提供车辆周围环境的完整的图像的车辆摄像机系统，所述至少一个摄像机构造用于提供车辆周围环境的图像。根据本发明的车辆摄像机系统包括至少一个本地图像处理单元，其分配给所述至少一个摄像机并且构造用于实施从车辆周围环境的至少一个由摄像机拍摄的图像到至少一个部分图像的非线性转换，所述至少一个部分图像相应于车辆周围环境的图像的预定义的图像区段。根据本发明的车辆摄像机系统还包括中央图像处理单元，其构造用于接收由至少一个本地图像处理单元借助于非线性转换产生的部分图像并且将其添加到车辆周围环境的图像中，以便产生车辆周围环境的至少一个区域的完整的图像。
【专利说明】用于提供完整的车辆周围环境图像的车辆摄像机系统和方法
【技术领域】
[0001]本发明涉及一种用于借助于至少一个摄像机提供车辆周围环境的图像的车辆摄像机系统和方法。特别地，本发明涉及一种车辆摄像机系统和一种方法，其中提供车辆周围环境的至少一个区域的组合的、完整的图像。本发明还涉及一种具有这样的车辆摄像机系统的车辆。
【背景技术】
[0002]由现有技术已知了用于环视(Rundumsicht)显示或者俯视显示(Surround-View-Darstellung 或者 Τορ-View-Darstellung)的多摄像机系统，其包括基于四个广角摄像机模块和一个用于图像合成的中央计算单元的成像系统。图1示出具有这样的用于环视显示的多摄像机系统20的车辆10，所述多摄像机系统具有四个摄像机30、40、50,60和一个中央计算单元(控制设备)90。通常，为此一个前端摄像机30集成在散热器格栅中，各一个侧面摄像机40、50集成在两个外后视镜中以及一个后端摄像机60在车辆尾部集成在行李箱盖的把手槽的区域中。
[0003]为了从车辆上方的虚拟摄像机的视角(鸟瞰视角)合成车辆周围环境的成像，车辆周围环境的四个不同部分35、45、55、65的各个摄像机图像传输至中央计算单元(图像处理单元)90、以适合的成像模型转换并且组合为总图像以及在显示器70上显示，所述总图像包含自身车辆10作为中央图像元素。摄像机30、40、50、60和中央计算单元90借助于视频线路80相互连接。
[0004]摄像机模块30、40、50、60分别装配有光学器件，所述光学器件能够实现大于180°的水平视野(鱼眼光学器件)，从而借助所述四个摄像机30、40、50、60可以实现整个车
辆周围环境的完整覆盖。
[0005]可以例如通过NTSC(NationalTelevision Systems Committee:国家电视系统委
员会)模拟地、数字地借助有损编码-例如借助于MJPEG (Moving Joint Photographic
Expert Group:移动式连续图像专家组)或 MPEG4 (Moving Picture Experts oder
H.264Group:动态图像专家或H.264组)或者数字地无数据压缩地——例如借助于LVDS(Low Voltage Differential Signaling:低压差分信号)传输摄像机信号。
[0006]模拟的环视系统(Surround-View-Systeme:环视系统)具有有限的分辨率和信号动态性并且因此仅仅提供有限的图像质量。
[0007]在具有有损图像编码的数字环视系统的情形中，在动态场景内容中出现编码伪像(块伪像，时间变化的图像分辨率，等等)。
[0008]在没有图像数据补偿的环视系统(Surround-View-System)的情形中，用于将数字摄像机模块连接到中央计算单元上的组件是成本密集的。
[0009]此外明显的是，已知的进行显示的环视系统到具有用于目标识别的图像解释的智能周围环境检测系统的可扩展性是缺失或者不足的。[0010]此外明显的是，已知的环视系统在所使用的摄像机模块的数量包括智能倒车摄像机形式的基本特征方面的可缩放性是缺失或者不足的。
[0011]由文献DE10164516A1已知一种车辆后视系统，其中通过至少两个摄像机产生向后的全景视野，其视频图像借助于中央数字图形单元拼接。借助于单独的图像处理单元对于不同的摄像机同时对视频图像进行数字预处理。所述预处理也包含视频图像的重合部分和视频图像的非重合部分的辨识。为了可以辨识视频图像的重叠部分，需要图像处理单元相互通信。然后通过固定校正分别借助于相应的图像处理单元在其图像位置方面移动对于每个摄像机单独检测的、不重合的视频图像区域并且在移动之后在存储器中提供用于显示。重叠的图像区域随后借助于由中央图形单元提供的计算密集的处理进行相关、通过三角测量法进行插值，进行分配以及进行偏差校正以及进行拼接，随后在图像显示单元上显示所产生的总图像。为了可以满足例如在道路交通中对视频图像的可用性和显示速度的必要要求，必须在各个组件之间通过高速总线进行信号传送。
[0012]在此不利的是，图像处理单元在辨识重叠的图像区域时必须相互通信并且必须在最短的时间中相互交换以及预处理非常大的数据量。为了可以实现图像处理单元之间的大数据量的快速数据交换，图像处理单元必须借助于成本密集的高速总线相互连接。在此不利的是，图像处理单元必须在最短的时间中也与图形单元交换非常大的数据量，由此图像处理单元将关于重叠的图像区域的数据传送给图形单元用于相关和再处理。重叠的图像区域的借助于图形单元实施的相关和再处理伴随着非常大的计算开销。为了可以实现图像处理单元与图形单元之间的大的数据量的快速数据交换，图像处理单元必须也借助于成本密集的高速总线与图形单元连接。
【发明内容】
[0013]根据本发明的用于提供车辆周围环境的完整图像的车辆摄像机系统包括至少一个摄像机，其构造用于提供车辆周围环境的图像。此外，根据本发明的车辆摄像机系统包括本地的图像处理单元，其分配给所述至少一个摄像机并且构造用于实施车辆周围环境的至少一个由摄像机拍摄的图像到至少一个相应的部分图像的非线性转换，所述部分图像相应于车辆周围环境的图像的预定义的图像区段。此外，根据本发明的车辆摄像机系统包括中央图像处理单元，其构造用于接收由至少一个本地图像处理单元借助于非线性转换产生的部分图像并且将其添加到车辆周围环境的图像中，以便产生车辆周围环境的至少一个区域的完整的总图像。
[0014]根据本发明，此外实现一种用于提供车辆周围环境的完整的图像的方法，所述方法借助于根据本发明的车辆摄像机系统实施。在根据本发明的方法中，借助于至少一个摄像机拍摄车辆周围环境的至少一个图像。在此借助于非线性转换将至少一个所拍摄的图像转换为相应于车辆周围环境的图像的预定义的图像区段的至少一个部分图像。此外，将至少一个借助于非线性转换产生的部分图像添加到车辆周围环境的图像中，以便产生车辆周围环境的至少一个区域的完整的总图像。
[0015]从属权利要求示出本发明的优选扩展方案。
[0016]在根据本发明的车辆摄像机系统中，除中央计算单元(图像处理单元)以外也使用分配给摄像机的其他计算单元。特别地，使用具有集成的计算单元的智能摄像机模块。分散智能的方案能够在没有信息损失的情况下实现显著的数据减少，因为部分图像信号的所需非线性转换已经在相应的摄像机模块中进行，因为相应的摄像机模块设置用于确定的、预定义的图像区段。非线性转换尤其用于生成在一个显示装置、例如车辆显示器上待显示的总图像的部分图像，即将所拍摄的数据减少到待显示的数据。
[0017]通过本发明能够实现根据本发明的车辆摄像机系统从例如一个倒车摄像机到根据本发明具有优选四个或更多个单个摄像机的智能车辆摄像机系统的可缩放性。
[0018]在根据本发明的车辆摄像机系统的特别有利的实施形式中，所述至少一个本地图像处理单元构造用于借助于目标识别实施车辆周围环境的至少一个由所分配的摄像机拍摄的图像的图像解释。
[0019]因为图像信号的解释在根据本发明的智能车辆摄像机系统的情形中也借助目标识别导致数据减少至少一个数量级，所以整个系统的预期联网系统负荷同样比在由现有技术已知的具有中央计算单元和未编码的数据传输的多摄像机系统的情形中小大约一个数量级。
[0020]通过本发明能够实现具有高图像质量的根据本发明的车辆摄像机系统(例如，环视系统)的有效实现。
[0021]通过本发明还能够实现根据本发明的、进行显示的车辆多摄像机系统(例如，环视系统)在目标识别方面的模块化的可扩展性。
[0022]在根据本发明的车辆多摄像机系统的特别有利的实施形式中，所述至少一个本地图像处理单元与中央图像处理单元通过联网系统连接，所述联网系统包括具有尤其不超过100Mbit/s的传输数据率的总线系统和/或以太网系统。
[0023]因为通过本发明在没有信息损失的情况下实现显著的数据减少，所以能够实现成本优化的联网系统的应用，例如用于有线连接的局域网的通常的多媒体总线系统或通常的以太网连接。因为通过本发明实现的数据减少是巨大的，所以也可以使用成本非常有利的联网系统，其具有远低于lOOMbit/s的传输数据率。
[0024]通过本发明能够在没有否则通常的数据补偿或者数据压缩的情况下实现机动车中的简单的100Mbit/s以太网总线系统的利用，这在具有图像解释的功能的成本和可实现性方面是非常有利的。
[0025]特别地，根据本发明的车辆多摄像机系统的至少一个摄像机装配有光学器件，其能够实现大于180°的水平视野。
[0026]通过使用具有鱼眼光学器件的摄像机，借助四个摄像机能够实现车辆周围环境的完整的覆盖，所述鱼眼光学器件具有大于180°的水平视野。
[0027]有利地，根据本发明的车辆摄像机系统的中央图像处理单元构造用于将由至少四个本地的、分别分配给一个摄像机的不同图像处理单元借助于非线性转换产生的部分图像和具有所述车辆的俯视图的另一部分图像拼接成从鸟瞰视角的所述车辆及其整个车辆周围环境的完整的总图像。
[0028]通过根据本发明的车辆摄像机系统可以通过简单的方式从车辆上方的虚拟摄像机的视角(鸟瞰视角)提供车辆周围环境的高质量成像。
[0029]根据本发明，此外提供一种车辆，其装配有根据本发明的车辆摄像机系统。可以基于根据本发明的车辆摄像机系统在识别到障碍物时及早警告这样的车辆的驾驶员。特别地，根据本发明的车辆摄像机系统构造用于在识别到障碍物时干预车辆动态性。由此尤其在泊车时显著减少车辆的碰撞危险。
【专利附图】
【附图说明】
[0030]以下参照附图更详细地阐述本发明的实施例。附图示出:
[0031]图1:具有根据现有技术的车辆多摄像机系统的车辆；
[0032]图2:从鸟瞰视角的具有其整个车辆周围环境的车辆总图像，其借助于根据本发明的第一实施形式的根据本发明的车辆摄像机系统产生；
[0033]图3:根据本发明的第一实施形式的根据本发明的车辆摄像机系统的方框图；
[0034]图4:根据本发明的第二实施形式的根据本发明的车辆系统的方框图。
【具体实施方式】
[0035]图2示出鸟瞰视角的具有其整个车辆周围环境的车辆总图像71，其借助于根据本发明的第一实施形式的根据本发明的车辆摄像机系统(未示出)产生并且在显示器70上显
/Jn ο
[0036]根据本发明的第一实施形式的根据本发明的车辆摄像机系统包括多个智能摄像机模块，它们分别包括用于分散的图像处理和图像解释的高度集成的计算单元。计算单元或者直接集成在进行成像的成像器模块上或者作为单独的组件集成在成像器电路板或者成像器PCB (印刷电路板)上或者在一个或多个附加PCB上集成到摄像机模块中。计算单元可以例如实施为DSP (数字信号处理器)、FPGA (现场可编程门阵列)、μ C (微控制器)、ASSP(专用标准产品)、ASIC (专用集成电路)或者也实施为由两个或多个信号处理单元组成的SoC (片上系统)。
[0037]计算单元除图像解释以外尤其还承担输入图像的非线性转换以生成在车辆显示器70上待显示的环视示图(总图像)71的相应的部分图像或者区段36、46、56、66。
[0038]在此，在没有信息损失的情况下实现了显著的数据减少，从而为了各个智能摄像机模块与中央计算单元的联网可以动用相应简单且成本有利的解决方案。
[0039]图2示出根据本发明的环视系统(车辆摄像机系统)的显示器示图(总图像)71，其包括检测区域和基于超声波的泊车导航系统的目标探测的叠加。如在图2中示出的那样，待显示的图像信号由五个大致相同大小的组件形成，即由自身车辆的静止俯视图(Top-View)Il以及由当前情形中的四个摄像机模块的图像区段(片段)36、46、56、66形成。在假定显示器70的例如800X600像素的较高分辨率的情况下，由此得到仅仅96000像素的最大图像区段大小，这在25fps的图像重复率和16pp的颜色深度下导致38.4Mbit/s的传输率。所述数据率与机动车中的当今的多媒体总线系统(M0ST50、MOST 150)是兼容的并且也与广泛流行的并且因此成本有利的lOOMbit/s以太网和用于有线局域网的千兆以太网是兼容的。相反，图像区段(图像片段)36、46、56、66的生成可以在高分辨率的图像信号上实现，因为其不必传输到中央计算单元(图像处理单元)。这是本发明相对于传统的、由现有技术已知的用于环视显示的多摄像机系统的重要区别特征。
[0040]图3示出根据本发明的第一实施形式的根据本发明的智能车辆摄像机系统(多摄像机系统)20的方框图，其具有简单的、成本优化的联网系统80。车辆摄像机系统20包括四个智能摄像机模块30、40、50、60，它们分别具有一个(未示出的)集成计算单元(图像处理单元)。在图3中仅仅示出了四个摄像机模块30、40、50、60中的两个摄像机模块30、60。在根据本发明的第一实施形式的根据本发明的车辆摄像机系统20中，摄像机模块30...60通过以太网81连接。除已经阐明的图像区段(片段)无损耗传输到显示器70上的环视示图(总图像)以外，通道81也可以用于从中央计算单元(图像处理装置)90传输车辆数据或其他传感器数据至各个摄像机模块30…60。这尤其提供用于数据同步(例如，本地定时器的同步、摄像机同步)、传感器数据融合(例如，超声波目标假设的基于视频的验证)、诊断(例如，碰撞识别)和校准(几何结构、辐射)的可能性。
[0041]可以可选地通过连接82模拟地(NTSC)或数字地(LVDS)控制显示器70，其中所显示的图像信号在中央计算单元(图像处理单元)90中基于各个图像区段(片段)组合并且必要时附加其他信息(文字、数据、符号等等)。
[0042]根据本发明的车辆摄像机系统20也包括多个超声波传感器，仅仅示出了所述多个超声波传感器中的两个超声波传感器31、61。
[0043]根据本发明，尤其提供一种智能车辆摄像机系统20 (智能多摄像机系统)，其用于基于超声波传感机构31…61 (USS)和视频传感机构30…60 (sCam)的传感器数据融合有效地实现具有周围环境解释的环视显示。计算单元90通过CAN总线(汽车局域网总线)83访问车辆数据，如转向角、车轮转速和惯性传感机构。智能摄像机模块30…60的连接通过以太网81、例如通过UDP (用户数据协议)实现。
[0044]图4示出根据本发明的第二实施形式的根据本发明的车辆系统的方框图。
[0045]与根据本发明的第 一实施形式的根据本发明的车辆摄像机系统不同地，根据本发明的第二实施形式的根据本发明的车辆摄像机系统20的显示器70也可以通过以太网81连接到中央计算单元(图像处理单元)90上。
【权利要求】
1.一种车辆摄像机系统(20 )，其用于借助于至少一个摄像机(30、40、50、60 )提供车辆周围环境的图像，其特征在于， ?至少一个本地图像处理单元，其分配给所述至少一个摄像机(30、40、50、60)并且构造用于实施从所述车辆周围环境的至少一个由所述摄像机(30、40、50、60)拍摄的图像到至少一个部分图像(36、46、56、56)的非线性转换，所述至少一个部分图像相应于总图像(71)的预定义的图像区段； ?中央图像处理单元(90)，其构造用于接收由所述至少一个本地图像处理单元借助于所述非线性转换产生的部分图像(36、46、56、56)并且将其添加到所述总图像(71)中，以便产生所述车辆周围环境的至少一个区域(35、45、55、65)的完整的图像(71)。
2.根据权利要求1所述的车辆摄像机系统(20)，其特征在于，所述至少一个本地图像处理装置构造用于借助于目标识别实施所述车辆周围环境的至少一个由所分配的摄像机(30、40、50、60)拍摄的图像的图像解释。
3.根据以上权利要求中任一项所述的车辆摄像机系统(20)，其特征在于，所述至少一个本地图像处理单元与所述中央图像处理单元(90)通过具有尤其不超过lOOMbit/s的传输数据率的联网系统(80)连接，所述联网系统包括总线系统(83)和/或以太网系统(81)。
4.根据以上权利要求中任一项所述的车辆多摄像机系统(20)，其特征在于，所述至少一个摄像机(30、40、50、60)装配有光学器件，其能够实现大于180°的水平视野。
5.根据以上权利要求中任一项所述的车辆摄像机系统(20)，其特征在于，所述中央图像处理单元(90)构造用于将由至少四个本地的、分别分配给一个摄像机(30、40、50、60)的不同图像处理单元借助于所述非线性转换产生的部分图像(36、46、56、56)和具有所述车辆(10)的俯视图的另一部分图像(11)拼接成从鸟瞰视角的所述车辆(10)及其整个车辆周围环境的完整的总图像(71)。
6.一种用于提供车辆周围环境的图像的方法，所述方法借助于根据以上权利要求中至少一项所述的车辆摄像机系统(20)实施，其特征在于，在所述方法中，借助于至少一个摄像机(30、40、50、60)拍摄所述车辆周围环境的至少一个图像，借助于非线性转换将至少一个所拍摄的图像转换成相应于所述车辆周围环境的至少一部分的总图像(71)的预定义的图像区段的至少一个部分图像(36、46、56、56)，以及将至少一个借助于所述非线性转换产生的部分图像(36、46、56、56 )添加到所述车辆周围环境的总图像(71)中，以便产生所述车辆周围环境的至少一个区域(35、45、55、65)的完整的图像(71)。
7.根据权利要求6所述的方法，其特征在于，在其添加到车辆周围环境区域(36、46、56、66)的完整的总图像(71)中之前，根据目标识别借助于图像解释预处理所述车辆周围环境的至少一个借助于至少一个摄像机(30、40、50、60)拍摄的图像。
8.根据权利要求6或7所述的方法，其特征在于，借助于至少四个摄像机(30、40、50、60)拍摄所述车辆周围环境的至少四个不同的图像，以及将借助于所述非线性转换由所述车辆周围环境的四个不同的图像产生的部分图像(36、46、56、56)和具有所述车辆(10)的俯视图的另一部分图像(11)拼接成所述车辆(10)及其从鸟瞰视角的整个车辆周围环境的完整的总图像(71)。
9.一种车辆(10)，其具有根据权利要求1至5中至少一项所述的车辆摄像机系统(20)。
【文档编号】H04N7/18GK103583041SQ201280027697
【公开日】2014年2月12日 申请日期:2012年6月4日 优先权日:2011年6月7日
【发明者】W·尼森, T·恩格尔贝格 申请人:罗伯特·博世有限公司