专利名称：车辆周围监视装置及其调整方法
技术领域：
本发明涉及使用对车辆周围进行拍摄的多个摄像机的车辆周围监视装置，特别是关于通过把从各个摄像机的图像提取出的部分图像进行合成，而提供一种用户便于了解车辆周围状况的图像的技术。
文献1所记载的装置是把朝向后面地设置在车辆的后部中央的1台及左右车门反光镜附近的各1台摄像机的用于拼接的图像调整为在无穷远点形成一致，把宽视角的观察图像提供给司机。使用户能够通过1幅虚拟的图像获得车辆左右及后方的道路的状况信息，从而易于掌握全体的状况。
另外，在文献2公开了一种在车辆的周身设置8台用于提供车辆用影像的摄像机，通过对由各个摄像机拍摄的图像进行变形、合成处理作成新的图像并通过显示器进行显示的技术。尤其是在对多个摄像机的拍摄图像进行变形合成时，通过在被变形后的拼接图像的邻接边界部分上保持图像的连续性，可以向司机提供更接近实际的图像。
但是，在以往的技术中，在为了使边界部形成连续地衔接而对图像进行变形、合成时，原则上是应该对在原始的摄像机图像中所反映出的物体的形状和距离进行准确地进行实时计算，用此计算结果进行图像的变形处理。但是，由于进行这种计算所需的成本非常高，在现实阶段难于实施。因此，通常是采用不是对反映在边界部上的所有物体保持其连续性，而只使反映在图像中的一部分形成连续连接地进行图像变形的方法。例如，在拍摄对像在车辆周围的情况下，使用路面作为保持连续性的部分。即所谓的路面投影方法。
但是，当使用这种方法时，为了维持边界部分的连续性，不得不舍去原始的摄像机图像的一部分，因此，有可能发生在合成图像上不能显示摄像机所拍摄的物体的重大问题。下面参照附图对该问题进行说明。
图17是表示以往系统中的车载摄像机的配置典型例的示意图。在图17所示的实例中，在车辆的左右反光镜的一部分上分别配置摄像机CZ1、CA4，在车辆后端部的中央朝向左右后方分别配置摄像机CZ2、CZ3，两者包括了从车辆1的驾驶席向后方看去的摄像范围。P是柱桩、WL是表示停车区域的白线。
另外，图18表示一例如图17所配置的各个摄像机CZ1～CZ4的拍摄图像。图19是通过把图18的摄像机图像进行剪切、变形、进行连接，而合成为如同从车辆的上方向下看去的虚拟视角图像的示意图。在图19中，PIZ1～PIZ4分别是从摄像机CZ1～CZ4的拍摄图像中剪切出来的部分图像。在图19的实例中，各个摄像机图像的变形、剪切及连接至少要使路面上的景物(典型的为白线WL)在相互连接的部分图像PIZ1～PIZ4的边界部上形成一致。
这样的合成方法的问题是，由于舍去原始摄像机图像的一部分而导致的立体物(在图18中为立在车辆1右后侧的柱桩P)的消失。
即，在图19的合成图像中，属于摄像机CZ3的部分图像PIZ3与属于摄像机CZ4的部分图像PIZ4之间的边界BLZ34被设定为向车辆1的右斜后方延伸。而且，在为了使边界BLZ34两侧的路面形成一致对各个摄像机图像进行变形时，反映在摄像机CZ3上的柱桩P形成向右方延伸的倾斜(图像PA)，另一方面，反映在摄像机CZ4中的柱桩P则形成向延伸的倾斜(图像PB)。但是由于柱桩P的图像PA、PB都越过了边界BLZ34，所以在图像合成时被剪切掉。其结果，在合成图像上形成柱桩P的根部几乎不存在的图像，看起来好像柱桩已经消失。
为了避免这样的物体消失，如图20所示，可考虑在无论是由摄像机CZ3还是由摄像机CZ4所拍摄的区域OL上混合经过变形的各个摄像机图像。然而在这种情况下，由于同时显示图像PA、PB，所以在合成图像上，形成双重的柱桩P图像，从而形成了看上去非常不易识别的图像。
但是，即使在物体位于部分图像的边界附近的情况下，也有不发生如上述的在合成图像上的消失的情况下。
图21是表示在部分图像的边界部上的物体不消失的实例的示意图。在图21中，在边界BLZ23附近，无论是部分图像PIZ2所述的摄像机CZ2还是部分图像PIZ3所述的摄像机CZ3其拍摄方向与边界BLZ23的方向大致一致。另外，本说明书所称的“拍摄方向”不是指摄像机光轴的朝向，而是指从摄像机向对像景物(这里是边界部分)看去的方向，即，在合成图像中，是指连接摄像机的设置位置与边界部分的直线的方向。因此，直立在靠近一对摄像机CZ2、CZ3后部的柱桩P的图像无论是对摄像机CZ2、CZ3的任意图像进行变形都形成沿边界BLZ23延伸的倾斜。因此，在边界BLZ23附近对部分图像PIZ2和部分图像PIZ3进行混合处理，可防止柱桩P图像在合成图像中消失。
即，根据本发明者的分析研究，结果认为在一般的情况下，在满足下面的条件时，在合成图像上不会产生物体消失的现像。
条件关于相邻的2个部分图像，在个边界附近，拍摄该部分图像的摄像机的拍摄方向与该边界的方向大致一致；另外，相邻的部分图像也可以形成重叠，也可以是不重叠的对接。在边界附近存在相邻的部分图像形成重合的重合区域的情况下，此时的“边界的方向”是指该重合区域的长度方向上的中心线方向。
在满足该条件的情况下，由于在相邻的部分图像的边界附近的物体图像可通过转变视角使其沿着该边界延伸，所以在合成图像上边界附近的物体不会消失。本发明正是基于上述所观察到的原理而构成的。
即，为了解决上述的问题，本发明之1所构成的解决方法是提供一种车辆周围监视装置，具有对车辆周围进行拍摄的至少包括第1及第2摄像机的多台摄像机和把所述多台摄像机的摄像图像作为输入、对从这些摄像机图像中取出的部分图像进行合成，并把该合成图像通过显示装置进行显示的图像处理部，所述合成图像是把所述第1摄像机的第1部分图像与所述第2摄像机的第2部分图像相互邻接配置的图像，配置所述第1及第2摄像机，使其拍摄方向在所述第1部分图像和所述第2部分图像的边界附近分别与所述边界的方向基本一致。
根据本发明之1，配置所述第1及第2摄像机，使其拍摄方向在所述第1部分图像和所述第2部分图像的边界附近分别与所述边界的方向基本一致。因此，在进行图像合成时，存在于边界附近的物体的图像沿着摄像机的拍摄方向，即，与边界的方向基本一致的方向延伸变形。因此，该物体的图像不会被切割掉，从而不会在合成图像中消失。因此，能够把车辆周围的状况信息正确地传达给用户，从而可辅助驾驶员进行更安全的驾驶。
另外，本发明之2是在本发明之1所述的车辆周围监视装置中，使所述第1及第2摄像机的拍摄方向与所述边界方向所形成的角度分别小于10度。
另外，本发明之3是在本发明之1所述的车辆周围监视装置中，合成图像是在所述第1部分图像与所述第2部分图像的边界处配置混合所述第1及第2部分图像的混合图像。
另外，本发明之4是在本发明之1所述的车辆周围监视装置中，把所述第1摄像机配置在车辆前部的左或右端部上，并使其朝向右或左斜前方；把所述第2摄像机配置在车辆的左或右侧部上，并使其朝向左或右斜前方。
另外，本发明之5是在本发明之4所述的车辆周围监视装置中，所述多台摄像机包括配置在该车辆的左或右侧部上的朝向左或右斜后方的第3摄像机和配置在该车辆后部的左或右端部上的朝向右或左斜后方的第4摄像机。
另外，本发明之6是在本发明之1所述的车辆周围监视装置中，把所述第1摄像机配置在该车辆前部的右或左端部上，并使其朝向左或右斜前方；把所述第2摄像机配置在该车辆前部的左或右端部上，并使其朝向左或右斜后方。
另外，本发明之7是在本发明之6所述的车辆周围监视装置中，所述多台摄像机包括配置在该车辆后部的左或右侧部上的朝向右或左斜后方的第3摄像机和配置在该车辆后部的右或左端部上的朝向右或左斜前方的第4摄像机。
另外，本发明之8所构成的解决方法是一种对于具有对车辆周围进行拍摄的多台摄像机、和对从所述多台摄像机图像中取出的部分图像进行合成，并把该合成图像通过显示装置进行显示的图像处理部的车辆周围监视装置进行调整的方法，主要是配置所述多台摄像机中的分别用于拍摄在所述合成图像中被相互邻接配置的部分图像的第1及第2摄像机，使其拍摄区域相互部分重叠；对所述第1及第2摄像机以及所述图像处理部的其中至少任意一个进行调整，使所述第1及第2摄像机的拍摄方向在所述第1摄像机的部分图像与所述第2摄像机的部分图像的边界附近分别与所述边界的方向基本一致。
在以上的各项发明中，在摄像机配置的说明中的“或”表示监视范围包括以车辆右侧为中心的情况和以左侧为中心的情况。或者是在监视车辆周围全体的情况下，包括把摄像机向右旋转配置的情况和向左旋转配置的情况。这样的配置选择例如可根据车辆是右方向盘还是左方向盘来进行，也可以根据其他因素进行选择。或者也可以进行任意的选择。
另外，在“倾斜”设置摄像机的情况下，摄像机在上下方向上的拍摄角度增大，在视角内还包括摄像机的正下方的情况下，也可以把摄像机的光轴朝向设置为水平。不过在拍摄角度不充分大的情况下，为了减少摄像机正下方的死角，最好使摄像机朝向下方。在这种情况下，例如“右斜前方”是指使摄像机朝向右斜前方，相当于仰角进一步向下方改变。
图2是表示一例关于本发明的在车辆上的摄像机配置的示意图。
图3是表示如图2所配置的各个摄像机的图像实例的图例。
图4是表示使用图3的摄像机图像而生成的合成图像的实例。
图5是表示关于本发明的一例在车辆上的摄像机配置的示意图。
图6是表示如图5所配置的各个摄像机的图像实例的图例。
图7是表示使用图6的摄像机图像而生成的合成图像的实例。
图8是表示关于本发明的一例在车辆上的摄像机配置的示意图。
图9是表示由如图8配置的摄像机的图像而生成的合成图像的实例的图。
图10是表示关于本发明的一例在车辆上的摄像机配置的示意图。
图11是表示如图10所配置的各个摄像机的图像实例的图例。
图12是表示使用图11的摄像机图像而生成的合成图像的实例。
图13是表示关于本发明的一例在车辆上的摄像机配置的示意图。
图14是表示由如图13配置的摄像机的图像而生成的合成图像的实例的图。
图15是表示关于本发明的一例在车辆上的摄像机配置的示意图。
图16是表示由如图15配置的摄像机的图像而生成的合成图像的实例的图。
图17是表示以往的一例在驾驶辅助装置中的摄像机配置的示意图。
图18是表示一例如图17配置的各个摄像机的图像的图。
图19是表示以往的一例合成图像的部分图像的边界部上的物体消失的情况的图。
图20是表示以往的一例合成图像的部分图像的边界部上的物体形成重叠的情况的图。
图21是表示在部分图像的边界部上的物体既未消失、也未形成双重图像的情况的图。
图22是表示一例重复区域的图。
图23是用于说明几何变换的方位图。
图24是用于说明几何变换的方位图。
图25是用于说明几何变换的方位图。
图26是用于说明几何变换的方位图。
图1是表示本发明一实施例的车辆周围监视装置的方框图。在图1所示的装置中，图像处理部20把从具有多个摄像机11的摄像装置10输出的多个摄像机图像作为输入，通过对其进行变形、合成而生成新的合成图像。并把该合成图像通过显示装置30进行显示。
所谓合成图像，典型的是虚拟视角图像。所谓虚拟视角图像是指通过对实际摄像机的图像进行加工处理、并通过将其进行拼接等的合成而获得的如同通过虚拟摄像机所拍摄到的图像。作为更具体的一例，例如是如同从车辆的上方向正下方拍摄的图像(例如图4)，该虚拟视角图像是通过使用直接设置在车辆上的1个或多个摄像机(例如图2中的CA1～CA4)、分别对这些摄像机图像(例如图3)进行各自的加工处理及合成而生成。
本发明的显示装置30是典型的液晶显示器，但也可以使用等离子显示器等的其他显示装置。另外，这里所指的显示器也可以共用车载型GPS终端显示器(所谓车辆导航系统的显示器)，也可以是与其独立设置的显示器。
摄像装置10典型的是具有内部设有CCD、CMOS元件等的固体摄像元件的彩色或黑白数字摄像机11。而且，摄像装置10也可以例如由镜头、棱镜和反光镜的组合而构成，使射入镜头、棱镜和反光镜的入射光通过规定的光路被传导至位于与摄像装置分离的位置上的摄像元件上。
图像处理部20把多个摄像机11的摄像图像作为输入，对这些摄像图像进行加工。这里所说的加工包括1图像的剪切变形处理；2对变形后的部分图像的合成处理(包括边界处理)。对于处理1和处理2即可以分别进行，也可以通过1个工序进行其全部或其中的一部分的处理。在图1中，为了通过1个工序进行摄像图像的加工，采用具有图像变换表MPT的构成。
所谓图像变换表MPT是指记录有合成图像的像素与各个摄像机图像的像素数据的对应关系的数据表，用于高速地进行合成图像的生成处理。通过使用后述的几何变换等的计算或人工操作等预先作成这样的图像变换表，通过利用该图像变换表可高速地生成所需要的合成图像。
具体的是，把图像变换表MPT存储在例如ROM(包括EEPROM等的可擦写的ROM)、或RAM中。关于图像变换表MPT的存储，既可以例如通过把由图像处理部20内的处理器的计算而求出的图像测绘数据写入到ROM或RAM内来实现，也可以使用通信线路或磁盘驱动器等的数据转送装置把作为定形软件而提供的图像变换表数据写入到RAM或ROM内。
<摄像机的设置>
关于本发明的摄像机的设置，应注意以下的2点。
1.对于成为构成边界的2个部分图像的基础的摄像机必须使其拍摄边界附近的方向与边界方向一致。这是为了使其与要求项中所述的条件相同。
2.使相邻的摄像机图像在其边界部分相互存在重叠。这是为了在虚拟视角图像中，在相邻的摄像机图像的边界部分上不形成死角部分。
下面，结合
本实施例的摄像机设置的具体实例。另外，在以下的说明中，“左”及“右”是相对于车辆的前进方向而言。另外，是以方向盘右置的车辆，即，驾驶席位于右侧、副驾驶席位于左侧的车辆作为对像。因此，在把本发明应用于方向盘左置的车辆的情况下，只要是摄像机的设置为左右对称，则在以下的摄像机设置状态的说明中，把“左”和“右”倒置即可。
(第1例)图2表示本发明的摄像机配置的第1例、图3表示如图2配置的各个摄像机CA1～CA4的摄像图像的实例。在图2的配置例中，如下所述地配置4台摄像机CA1～CA4。
摄像机CA1 位置车辆1的前左端朝向右斜前方视野范围区域AA1
摄像机CA2 位置车辆1的左侧车门反光镜部朝向左斜前方视野范围区域AA2摄像机CA3 位置车辆1的左侧车门反光镜部朝向左斜后方视野范围区域AA3摄像机CA1 位置车辆1的后左端朝向右斜后方视野范围区域AA4即，在图2中，为了合成能够观察到在车辆1的4边中除了驾驶席1边的全周围的虚拟视角图像，如上述的那样设置了4台摄像机CA1～CA4。另外，P1～P4为柱桩、WL为白线。
另外，为了在车辆1的左侧获得相当于实际的180度视野，把摄像机CA2、CA3配置成一对。即，由于现阶段的摄像机，在单摄像机的情况下不容易实现既保持所要求的分辨率又确保180度的视野，所以，简易的办法是成对地配置2台画面视角约100度的摄像机。因此，如果具有可获得满意分辨率且可获得180度的视野的单一的摄像装置，则可使用其代替摄像机CA2～CA3。
图4是示意表示使用如图3所示的摄像机图像而合成的从上方向下观察车辆1周围的虚拟视角图像的结果的示意图。在图4中，PIA1～PIA4分别表示从摄像机CA1～CA4的拍摄图像剪切出的部分图像，BLA12是部分图像PIA1、PIA2的边界、BLA23是部分图像PIA2、PIA3的边界、BLA34是部分图像PIA3、PIA4的边界。另外，DA是任何摄像机CA1～CA4都拍摄不到的死角区域。
通过如本实例那样地配置各个摄像机CA1～CA4，可满足上述的2个条件。即，在图4的合成图像中，在相邻的部分图像间的边界附近，拍摄该部分图像的摄像机的拍摄方向与边界方向大致一致。例如，从图2及图4中可以看到，在作为第1部分图像的部分图像PIA1与作为第2部分图像的部分图像PIA2的边界BLA12附近，作为拍摄部分图像PIA1的第1摄像机的摄像机CA1与作为拍摄部分图像PIA2的第2摄像机的摄像机CA2的拍摄方向在边界BLA12的方向上基本一致。关于边界BLA23、BLA34也是同样。
另外，摄像机CA1的拍摄区域AA1与摄像机CA2的拍摄区域AA2相互形成边界超越，同样，摄像机CA2与摄像机CA3、摄像机CA3与摄像机CA4的拍摄区域形成相互的边界超越。
因此，在图4的合成图像中，通过保持反映在各个摄像机CA1～CA4中的物体的位置关系、保留使用户易于观察的虚拟视角图像的优点、同时满足本发明的摄像机的设置条件，有效地避免了物体消失的现像。这是由于，例如存在于车辆1左前角部和左后角部的柱桩P3、P4与是否位于边界BLA12、BLA34附近无关，而通过图像合成沿着边界延伸，被保留在合成图像上而不会消失。
根据本实例，通过使用4台摄像机CA1～CA4，能够把除了驾驶者可透过车窗观察到驾驶席一侧以外的区域的车辆周围状况以保持其位置关系且不存在死角的图像进行显示。
(第2实例)车辆前方及左侧前侧方的安全确认本发明的摄像机配置，根据对车辆周围的不同区域进行安全确认的需要，可以构成除第1实例以外的各种形式。近年来，随着客车向大型化的发展，对车辆的前方及左侧前侧方死角的安全确认技术的需求日益增加。第2实例就是用于对车辆的前方及左侧前侧方的安全确认。
图5是本发明的摄像机配置的第2实例，图6是如图5所配置的各个摄像机CB1、CB2的拍摄图像的实例。在图5的配置例中，如下地配置2台摄像机CB1、CB2。
摄像机CB1 位置车辆1的前左端朝向右斜前方视野范围区域AB1摄像机CB2 位置车辆1的左侧车门反光镜部朝向左斜前方视野范围区域AB2图7是表示使用图6的摄像机图像而合成的虚拟视角图像的实例的示意图。在图7中，PIB1、PIB2分别是从摄像机CB1、CB2的拍摄图像剪切出的部分图像，BLB12是部分图像PIB1、PIB2的边界，DB是任何摄像机CB1、CB2都拍摄不到的死角区域。
从图5及图7中可以看到，在作为第1部分图像的部分图像PIB1与作为第2部分图像的部分图像PIB2的边界BLB12附近，作为拍摄部分图像PIB1的第1摄像机的摄像机CB1与作为拍摄部分图像PIB2的第2摄像机的摄像机CB2的拍摄方向在边界BLB12的方向上基本一致。
图7的合成图像与图4相比，虽然扩大了死角区域，减小了可监视的范围，但达到了可充分确保车辆的前方及左侧前侧方的视野的目的。并且，通过满足了本发明的摄像机配置条件，例如位于车辆1左前角部的柱桩P3与是否存在于边界BLB12附近无关，通过图像合成而沿着边界延伸，保留在图像上而不消失。
图8表示本实例的其他形式的摄像机配置。在图8的配置例中，对2台摄像机CC1、CC2进行如下地配置。
摄像机CC1 位置车辆1的前右端朝向左斜前方视野范围区域AC1摄像机CC2 位置车辆1的前左端朝向左斜后方视野范围区域AC2图9是表示使用图8的摄像机图像而合成的虚拟视角图像的实例的示意图。虚拟视角的位置及朝向与图7相同。在图9中，PIC1、PIC2分别市从摄像机CC1、CC2的拍摄图像剪切出的部分图像，BLC12是部分图像PIC1、PIC2的边界，DC是任何摄像机CC1、CC2都拍摄不到的死角区域。
从图8及图9中可以看到，在作为第1部分图像的部分图像PIC1与作为第2部分图像的部分图像PIC2的边界BLC12附近，作为拍摄部分图像PIC1的第1摄像机的摄像机CC1与作为拍摄部分图像PIC2的第2摄像机的摄像机CC2的拍摄方向在边界BLC12的方向上基本一致。
这里，与图7相比应注意的点是，合成图像中的相邻的部分图像间的边界线的位置，由于摄像机的配置形式不同而发生改变。如果在图8的摄像机配置中，把属于摄像机CC1的部分图像PIC1与属于摄像机CC2的部分图像PIC2的边界BLC12设置在与图7的边界BLB12相同的位置，则柱桩P3的图像只能保留柱桩根部的很少部分，其他大部分将会被剪切掉(未图示)。
所以，必须要对应摄像机的配置状态而设定合成图像中的相邻的部分图像的边界。或者，必须考虑合成图像中的相邻的部分图像的边界的设定位置而确定各个摄像机的配置位置和朝向。因此，本发明在分别拍摄在合成图像中相邻配置的部分图像的各个摄像机、及图像处理部中，至少必须对其中任意一个进行调整。
即，本发明把分别拍摄合成图像中相邻配置的部分图像的2台摄像机配置成使其拍摄区域形成边界超越，对摄像机及图像处理部中的至少一个进行调整，在该相邻的部分图像的边界附近使各个摄像机的拍摄方向分别与边界方向基本一致。
这里，所谓拍摄方向与边界方向的“基本”一致是指只要达到满足下面的条件便可。即，只要满足人在通过该边界时基本能够反映出其全身，或物体移动到该边界附近时，尽管其中一部分消失，但该消失的程度不超出可确定该物体的范围的条件便可。具体的是，各个摄像机的拍摄方向与边界方向所成的角度应分别小于10度。
(第3实例)除了车辆前方以外的全周围，特别是对后方的安全确以如在第2实例中所述的那样，随着近年来车辆的大型化的趋势，对车辆前侧方的安全确认显得更为必要。关于与此对称的对于车辆后侧方的安全确认在以前已经进行过研究，最近，一种使用1台摄像机来监视后方死角部分的安全确认系统已经开始实际应用。然而，该系统还是不能充分地满足对车辆后侧方进行大范围、无死角监视的要求，因此，也研制出如图17所示的使用多个摄像机的系统，但是，正如前面所述的那样，存在着在相邻的摄像机图像的边界附近，物体的一部分消失的问题。
上述的第1实例是除了驾驶席的一侧能够无死角地监视到车辆的全周围，而在此第3实例中，通过把第1实例中的摄像机配置反时针旋转90度，由此解决以往技术的问题，从而可实现对除了车辆的前方的全周围、尤其是对后方的安全确认。
图10是本发明的摄像机配置的第3实例、图11是如图10所配置的各个摄像机CDA～CD4的拍摄图像实例。在图10的配置例中，对4台摄像机CD1～CD4进行如下的配置。
摄像机CD1 位置车辆1的后左端朝向左斜前方视野范围区域AD1摄像机CD2 位置车辆1的后部中心朝向左斜后方视野范围区域AD2摄像机CD3 位置车辆1的后部中心朝向右斜后方视野范围区域AD3摄像机CD1 位置车辆1的后右端朝向右斜前方视野范围区域AD4即，在图10中，为了合成能够观察到除了车辆1前方的全周围的虚拟视角图像，如上述的那样设置了4台摄像机CD1～CD4。
图12是示意表示使用如图11所示的摄像机图像而合成的从上方向下观察车辆1周围的虚拟视角图像的结果的示意图。在图12中，PID1～PID4分别表示从摄像机CD1～CD4的拍摄图像剪切出的部分图像，BLD12是部分图像PID1、PID2的边界、BLD23是部分图像PID2、PID3的边界、BLD34是部分图像PID3、PID4的边界。另外，DD是任何摄像机CD1～CD4都拍摄不到的死角区域。
通过如本实例那样地配置各个摄像机CD1～CD4，可满足上述的2个条件。即，在图12的合成图像中，在相邻的部分图像的边界附近，拍摄该部分图像的摄像机的拍摄方向与边界方向大致一致。例如，从图10及图12中可以看到，在作为第1部分图像的部分图像PID1与作为第2部分图像的部分图像PID2的边界BLD12附近，作为拍摄部分图像PID1的第1摄像机的摄像机CD1与作为拍摄部分图像PID2的第2摄像机的摄像机CD2的拍摄方向在边界BLD12的方向上基本一致。关于边界BLD23、BLD34也是同样。
另外，摄像机CD1的拍摄区域AD1与摄像机CD2的拍摄区域AD2相互形成边界超越，同样，摄像机CD2与摄像机CD3、摄像机CD3与摄像机CD4的拍摄区域形成相互的边界超越。
因此，在图12的合成图像中，通过保持反映在各个摄像机CD1～CD4中的物体的位置关系、保留使用户易于观察的虚拟视角图像的优点、同时满足本发明的摄像机的设置条件，有效地避免了物体消失的现像。这是由于，例如存在于车辆1左后角部和右后角部的柱桩P3、P4与是否位于边界BLD12、BLD34附近无关，而通过图像合成沿着边界延伸，被保留在合成图像上而不会消失。
根据本实例，通过使用4台摄像机CD1～CD4，能够把除了车辆前方的车辆周围状况以保持其位置关系且不存在死角的图像进行显示。
另外，在图12的合成图像中，部分图像PID1、PID2的边界BLD12、及部分图像PID3、PID4的边界BLD 34基本位于车辆1后端的延长线上。在虚拟视角图像中，由于对边界两侧的原始摄像机图像的变形方式不同，所以形成了跨越边界的物体为不连续的图像。该不连续性通常被认为是降低了合成图像的质量。但是，从另一方面考虑，例如当从后方接近的物体从部分图像PID3的区域进入到部分图像PID4的区域时，由于可观察到图像上的不连续性，此时能够判断出物体是从车辆1的后端向前移动。因此，如图12那样设定边界BLD12、BLD34具有特殊的意义。
(第4实例)车辆的全周围在以上所述的实例中，结果都是把摄像机并排设置在一条直线上。而本实例是一例不需把摄像机并排设置在一条直线上而满足上述的本发明的摄像机配置条件的实例。具体的是，一种使用4台摄像机能够无死角地监视到车辆全周围的摄像机配置的方式。
图13是表示本发明第4实例的摄像机配置的示意图。在图13的配置例中，对4台摄像机CE1～CE4进行如下的配置。
摄像机CE1 位置车辆1的前右端朝向右斜后方视野范围区域AE1摄像机CE2 位置车辆1的前左端朝向右斜前方视野范围区域AE2摄像机CE3 位置车辆1的后左端朝向左斜前方视野范围区域AE3摄像机CE1 位置车辆1的后右端朝向左斜后方视野范围区域AE4即，在图13中，为了合成能够观察到车辆1全周围的虚拟视角图像，如上述的那样设置了4台摄像机CE1～CE4。
图14是示意表示使用如图13所示的摄像机图像而合成的从上方向下观察车辆1周围的虚拟视角图像的结果的示意图。在图14中，PIE1～PIE4分别表示从摄像机CE1～CE4的拍摄图像剪切出的部分图像，BLE12是部分图像PIE1、PIE2的边界、BLE23是部分图像PIE2、PIE3的边界、BLE34是部分图像PIE3、PIE4的边界、BLE14是部分图像PIE4、PIE1的边界。
通过如本实例那样地配置各个摄像机CE1～CE4，可满足上述的2个条件。例如，从图13及图14中可以看到，在作为第1部分图像的部分图像PIE1与作为第2部分图像的部分图像PIE2的边界BLE12附近，作为拍摄部分图像PIE1的第1摄像机的摄像机CE1与作为拍摄部分图像PIE2的第2摄像机的摄像机CE2的拍摄方向在边界BLE12的方向上基本一致。关于边界BLE23、BLE34、BLE14也是同样。
另外，摄像机CE1的拍摄区域AE1与摄像机CE2的拍摄区域AE2相互形成边界超越，同样，摄像机CE2与摄像机CE3(第3摄像机)、摄像机CE3与摄像机CE4(第4摄像机)、摄像机CE4与摄像机CE1的拍摄区域形成相互的边界超越。
因此，在图14的合成图像中，通过保持反映在各个摄像机CE1～CE4中的物体的位置关系、保留使用户易于观察的虚拟视角图像的优点、同时满足本发明的摄像机的设置条件，有效地避免了物体消失的现像。这是由于，例如存在于车辆1四个角部上的柱桩P1～P4与是否位于边界BLE12、BLE23、BLE34、BLE14附近无关，而通过图像合成沿着边界延伸，被保留在合成图像上而不会消失。
图15是本实例的另一种摄像机配置的方式。图15的设置方式相当于把图13的配置方式中的各个摄像机的朝向改变180。在图15的配置例中，对4台摄像机CF1～CF4进行如下地配置。
摄像机CF1 位置车辆1的前右端朝向左斜前方视野范围区域AF1摄像机CF2 位置车辆1的前左端朝向左斜后方视野范围区域AF2摄像机CF3 位置车辆1的后左端朝向右斜后方视野范围区域AF3摄像机CF1 位置车辆1的后右端朝向右斜前方视野范围区域AF4图16是示意表示使用如图15所示的摄像机图像而合成的从上方向下观察车辆1周围的虚拟视角图像的结果的示意图。在图16中，PIF1～PIF4分别表示从摄像机CF1～CF4的拍摄图像剪切出的部分图像，BLF12是部分图像PIF1、PIF2的边界、BLF23是部分图像PIF2、PIF3的边界、BLF34是部分图像PIF3、PIF4的边界、BLF14是部分图像PIF4、PIF1的边界。
此例也可满足上述的2个条件。不过，与图14比较，由于各个摄像机的朝向相差180度，所以相邻的部分图像的边界被设定在不同的位置。但是，与图14同样，存在于车辆1四个角部上的柱桩P1～P4与是否位于边界BLE12、BLE23、BLE34、BLE14附近无关，而通过图像合成沿着边界延伸，被保留在合成图像上而不会消失。
上面，通过几个实例对构成本发明的发明点的摄像机配置方式进行了说明。在这些说明中，作为虚拟视角图像都是使用了从上方向下观察车辆周围的图像，但当然不仅限于此，例如为了对后方进行确认，也可以设定从车辆略前方的上方向斜后方的下方观察的虚拟视角。
另外，在合成图像中的相邻的部分图像的边界上，也可以配置通过混合该部分图像而形成的混合图像。在本说明书中，把在合成图像中的相邻的部分图像在其边界部分形成重叠的区域称为“重叠区域”。
图22是图17所示的车辆1后半部分的图，概念性地表示重叠区域的一例。在图22中，在车辆1后端的后背箱的上部中央设置一对摄像机CZ2、CZ3，摄像机CZ3拍摄车辆1的左后方(拍摄区域AR2)、摄像机CZ2拍摄车辆1的右后方(拍摄区域AR3)。而且，车辆1后方中央的区域同时被摄像机CZ2、CZ3所拍摄到。
另外，图22(a)～图22(c)分别表示以相同的摄像机设置条件设定重叠区域的设定例。OL是重叠区域、CL是在重叠区域OL的延长方向上的中心线、相当于本说明书中的“边界方向”。图22(a)是最大限度设定重叠区域OL的例。图22(b)是把重叠区域OL设定为使其宽度越接近车辆1越窄、越远离车辆1越宽的例。图22(c)是把重叠区域OL设定为使其宽度在接近车辆1的部分尽量的宽、而在离开一定程度至远方的部分基本保持不变的例。
可以使用图22(a)～图22(c)中的任意设定例，也可以通过与在此说明的方法不同的方法设定重叠区域OL。但是应按照如下的准则来设定重叠区域OL。
·为了避免由各个摄像机拍摄的物体形成重影图像使得不容易分辨，不应过宽。
·为了使在重叠区域OL中的物体形成不连续，不应过窄。
在同时兼顾到以上2点的情况下，可以认为图22(c)所示的例比较理想。另外，在图22中，重叠区域OL被设定为其中心与拍摄区域AR2、AR3的重叠部分的中心重合，但也可以不一定形成中心的重合。
另外，本发明不限于所例举的实施方式，可以在权利要求书中的各个权利要求项所述的范围内，对具体的构成进行变更和实施。
另外，在本发明中，所指的车辆包括普通汽车、轻型汽车、货车、大客车等。另外，如果说是可应用本发明的技术构思的车辆，本发明所指的车辆还可以包括吊车、铲车等的特殊车辆。
另外，在上述的实例中，是以临时设置用于获得合成图像的摄像机作为前提进行的说明。在此基础上，例如在由于通过已经设置好的摄像机不能获得充分的监视范围而进一步增加摄像机的情况下，也可以有效地利用本发明。即，对于·关于追加设置的摄像机的位置和朝向·关于在使用追加的摄像机的拍摄图像合成新的合成图像时，属于原始设置的摄像机的部分图像与属于追加摄像机的部分图像的边界的位置设定也可以应用已经说明过的方法。
例如，在新购买的车辆上，仅在车辆后端部中央设置有朝向后方的180度视角的摄像机，之后，有可能为了使其能够合并显示包括后方区域和副驾驶席一侧区域的合成图像，而新增加用于拍摄副驾驶席一侧区域的摄像机。在这个情况下，也可以应用本发明的车辆周围监视系统的调整方法。
<几何转换>
为了作成用于合成图像的图像变换表，必须要确定对应于从虚拟视角看去的合成图像的各个像素的各个摄像机图像的像素的坐标。
为此，为了便于理解，可分为2个步骤，即，首先要求出与从虚拟视角看去的合成图像的各个像素相对应的空间坐标系(Xw、Yw、Zw)，然后再求出与该空间坐标系的3维坐标相对应的摄像机图像的像素的坐标。
最终的必要关系只是虚拟视角的合成图像的各个像素与各个摄像机图像的像素的关系，并不限于经过该空间坐标系的图像变换表。但是经过该空间坐标系的图像变换表用成为合成图像的实际空间坐标系的空间坐标系来定义更为明确，所以在生成容易把周围状况与实际距离、位置关系对应结合的合成图像时具有重要的意义。
当作为表示虚拟视角的位置和朝向的参数，用位置向量Tv＝(Txv、Tyv、Tzv)表示视角在空间坐标系上的坐标、用表示旋转俯视坐标系，使其与空间坐标系的朝向形成一致的3行3列的旋转行列式Rv表示视线的朝向时，与合成图像的视角坐标(Vxe、Vye、Vze)对应的空间坐XwYwZw=RvVxeVyeVze+TV···(1)]]>其中Rv=rv11rv12rv13rv21rv22rv23rv31rv32rv33Tv=TxvTyvTzv]]>标(Xw、Yw、Zw)可通过式(1)求出。
图23是说明视角坐标系与空间坐标系的关系的图。
如图24所示，当对于虚拟视角的朝向，把视线相对空间坐标系的Y-Z平面进行水平旋转的角度(方位角)设为αv、把相对X-Z平面的倾角(仰角)设为βv、把摄像机的光轴旋转(Twist)设为γv时，则旋转行列式Rv为Rv=cosαv0-sinαv010sinαv0cosαv1000cosβv-sinβv0sinβvcosβvcosγvsinγv0-sinγvcosγv0001···(2)]]>另一方面，虚拟视角的视角坐标系(Vxe、Vye、Vze)的Vxe、Vye与投影面上的2维坐标Uv、Vv的关系，可通过透视投影转换，使用焦点距离fv，用下面的式(3)表示。uv=fvVZeVxe···(3)]]>vv=fvVZeyye]]>作为焦点距离的单位，虽然有在把投影面作为胶片或CCD、用与其大小对应的mm或英寸表示的情况和对应合成图像的尺寸用像素表示的情况等，但在此是采用以投影中心为中心、宽为2、高为2的标准化的投影面，考虑与其对应的焦点距离。
因此，对于投影面上的坐标与合成图像的像素的关系，即，与位于距离图像右上的(Sv、Tv)位置上的像素对应的投影面上的坐标(Uv、Vv)，如果把图像的横宽设定为Wv像素、把纵长设定为Hv像素，则可通过下式求出。
Uv＝2×Sv/Wv-1Vv＝2×Tv/Hv-1 …(4)至此，与合成图像的任意像素(Sv、Tv)对应的空间坐标系的3维坐标(Xw、Yw、Zw)可通过式(1)～(4)求出，而摄像机的位置Txv、Tyv、Tzv、摄像机的朝向αv、βv、γv、则可通过焦点距离用下面的式(5)求出。xwywzw=RvVzefvuvVzefvvvVze+Tv=(2Sv-Wvfv·Wvrv11+2Tv-Hvfv·Hvrv12+rv13)Vze+Txv(2Sv+Wvfv·Wvrv21+2Tv-Hvfv·Hvrv22+rv23)Vze+Tyv(2Sv-Wvfv·Wvrv31+2Tv-Hvfv·Hvrv32+rv33)Vze+Tzv···(5)]]>但是，在式(5)中，对应合成图像的坐标(Sv、Tv)的纵深Vze未确定。换言之，还需要确定各个像素距离反映在合成图像中的对像物的纵深距离值。
虽然只要知道从虚拟视角所看到的对像物的3维形状，便可求出各个像素的纵深距离值，但是在一般的情况下是困难的。因此，通过把从虚拟视角所看到的对像物的形状假定为某种模型，求出上述的Vze，从而求出合成图像的坐标与空间坐标系的3维坐标的关系。
—路面平面模型—作为其中一例，对于把对像物限定在车辆所接触的路面平面上的情况进行说明。
当假定为所有的对像物都存在于空间坐标系的平面(路面)上时，空间坐标系的3维坐标(Xw、Yw、Zw)满足以下的平面的方程式。
axw+byw+czw+d＝0 …(6)
然后，将式(6)代入式(5)，求出Vze时，则构成Vze=-fvaTxv+bTyv+cTzv+daQ1+bQ2+cQ3···(7)]]>其中Q1=rv112Sv-WvWv+rv122Tv-HvHv+rv13fv]]>Q2=rv212Sv-WvWv+rv222Tv-HvHv+rv23fv]]>Q3=rv312Sv-WvWv+rv322Tv-HvHv+rv33fv]]>然后，通过把式(7)代入式(5)，则可由虚拟视角的合成图像的像素的坐标(Sv、Tv)求出对应的空间坐标系的平面的3维坐标(Xw、Yw、Zw)。
对于与该空间坐标系的3维坐标(Xw、Yw、Zw)对应的各个摄像机图像的各个像素的坐标，可通过把对应于各个摄像机的位置、朝向的Tx、Ty、Tz、α、β、γ参数代入相同的关系式中进行计算而求出。
例如，把摄像机1的位置设为Tx1、Ty1、Tz1，把朝向设为α1、β1、γ1，则对应合成图像的像素(Sv、Tv)的摄像机1的摄像机坐标系Xe1、Ye1、Ze1可以通过下面的式(8)计算出。Xe1Ye1Ze1=R1-1(XwYwZw-Tx1Ty1Tz1)···(8)]]>其中R1-1=cosγ1-sinγ10sinγ1cosγ100011000cosβ1sinβ10-sinβ1cosβ1cosα10sinα1010-sinα10cosα1]]>对于该摄像机坐标系与摄像机图像的坐标系(U1、V1)的关系，通过把摄像机1的焦点距离作为f1，可通过式(3)，形成代入式U1＝f1/Ze1×Xe1V1＝f1/Ze1×Ye1 …(9)而计算出。对应的摄像机图像的像素，当把摄像机图像的尺寸设为纵向H1像素、横向W1像素、平面形状比为1∶1、摄像机的中心为图像的中心时，可通过下式(10)计算。
S1＝W1/2×(Uv+1)T1＝H1/2×(Vv+1) …(10)通过以上的计算，可求出与虚拟视角图像的像素(Sv、Tv)对应的摄像机1的图像的像素(S1、T1)。同样，对于摄像机1以外的一般的摄像机n也可以计算出与(Sv、Tv)对应的像素坐标(Sn、Tn)。实际上，在参数表中，根据(Sn、Tn)是否在实际的摄像机图像的范围内、像素的放大、缩小率是否大等的各种条件从中选出1个或多个最佳参数表，写入摄像机编号n和该坐标(Sn、Tn)。
—圆筒模型—在所述的路面平面模型的情况下，由于在摄像机图像中，反映在水平线之上的物体即使沿路面平面向无限远延伸，也不会落在路面平面上，所以不能从虚拟视角所观察到。
为了把这些物体反映在从虚拟视角观察的合成图像上，作为对像的3维形状可考虑采用如图25所示的圆筒模型。该模型可有效地应用在虚拟视角的朝向与路面接近平行的情况等。
为了简单起见，可考虑轴坐标位于X轴、Z轴上的圆筒模型，把椭圆圆筒的中心设为(Xc、Zc)，使用椭圆的参数(a、c)，该模型可通过下面的式(11)表示。另外，通过在XZ平面上进行旋转，可容易地扩张到具有位于X轴、Z轴以外的轴的模型。(Xw-Xc)2a2+(Zw-Zc)2c2=1···(11)]]>通过使用式(11)从式(5)中消去Vze，可求出对应虚拟视角的合成图像的坐标(Sv、Tv)的空间坐标系的3维坐标(Xw、Yw、Zw)。通过由该坐标与所述路面平面模型同样地计算出对应各个摄像机图像的像素，可求出虚拟视角图像的像素(Sv、Tv)与摄像机图像的像素(Sn、Tn)的关系，并作成图像变换表。
另外，也能够把路面平面模型与圆筒模型相组合。首先求出路面平面模型的空间坐标系的3维坐标，在该3维坐标在圆筒模型的外侧或不具有与平面的交点而没有解的情况下，然后求出圆筒模型的3维坐标。从而可进行路面平面模型与圆筒模型复合的合成。
—模拟圆筒模型—为了易于掌握路面平面模型周边远方的状况，而导入使周围形成碗状的模拟圆筒模型。模型的形状如图26所示。越是在远离虚拟视角图像的周边，越是把在远方的部分压缩，以此方式进行合成，从而可表示更宽的范围。该模拟圆筒的形状用式(12)表示。(Xw-Xc)2a2+(Yw-Yc)2b2+(Zw-Zc)2c2=1···(12)]]>碗的中心为(Xc、Yc、Zc)、具有在X轴、Y轴、Z轴方向(a、b、c)上的长度。与所述圆筒模型同样，通过式(12)及式(5)计算出对应虚拟视角的合成图像的坐标的空间坐标系的3维坐标(Xw、Yw、Zw)，从而可求出合成图像的各个像素与各个摄像机图像的像素的对应关系。
另外，与圆筒模型同样，也可以进行通过与路面平面模型的组合的复合模型的合成。
如上所述，根据本发明，由于存在于相邻的部分图像的边界附近的物体图像沿着该边界形成变形，所以在合成图像上不会消失。因此，可把车辆周围的信息正确地传达给驾驶员，可实现更安全的驾驶。
权利要求
1.一种车辆周围监视装置，具有对车辆周围进行拍摄的至少包括第1及第2摄像机的多台摄像机和把所述多台摄像机的摄像图像作为输入、对从这些摄像机图像中取出的部分图像进行合成，并把该合成图像通过显示装置进行显示的图像处理部，其特征在于所述合成图像是把所述第1摄像机的第1部分图像与所述第2摄像机的第2部分图像相互邻接配置的图像，配置所述第1及第2摄像机，使其拍摄方向在所述第1部分图像和所述第2部分图像的边界附近分别与所述边界的方向基本一致。
2.根据权利要求1所述的车辆周围监视装置，其特征在于所述第1及第2摄像机的拍摄方向与所述边界方向所形成的角度分别小于10度。
3.根据权利要求1所述的车辆周围监视装置，其特征在于所述合成图像是在所述第1部分图像与所述第2部分图像的边界处配置混合所述第1及第2部分图像的混合图像。
4.根据权利要求1所述的车辆周围监视装置，其特征在于把所述第1摄像机配置在车辆前部的左或右端部上，并使其朝向右或左斜前方；把所述第2摄像机配置在车辆的左或右侧部上，并使其朝向左或右斜前方。
5.根据权利要求4所述的车辆周围监视装置，其特征在于所述多台摄像机包括配置在该车辆的左或右侧部上的朝向左或右斜后方的第3摄像机和配置在该车辆后部的左或右端部上的朝向右或左斜后方的第4摄像机。
6.根据权利要求1所述的车辆周围监视装置，其特征在于把所述第1摄像机配置在该车辆前部的右或左端部上，并使其朝向左或右斜前方；把所述第2摄像机配置在该车辆前部的左或右端部上，并使其朝向左或右斜后方。
7.根据权利要求6所述的车辆周围监视装置，其特征在于所述多台摄像机包括配置在该车辆后部的左或右侧部上的朝向右或左斜后方的第3摄像机和配置在该车辆后部的右或左端部上的朝向右或左斜前方的第4摄像机。
8.一种车辆周围监视装置的调整方法，是对于具有对车辆周围进行拍摄的多台摄像机、和对从所述多台摄像机图像中取出的部分图像进行合成，并把该合成图像通过显示装置进行显示的图像处理部的车辆周围监视装置进行调整的方法，其特征在于配置所述多台摄像机中的分别用于拍摄在所述合成图像中被相互邻接配置的部分图像的第1及第2摄像机，使其拍摄区域相互部分重叠；对所述第1及第2摄像机以及所述图像处理部的其中至少任意一个进行调整，使所述第1及第2摄像机的拍摄方向在所述第1摄像机的部分图像与所述第2摄像机的部分图像的边界附近分别与所述边界的方向基本一致。
全文摘要
一种车辆周围监视装置，在合成图像上，由摄像机(CA1)拍摄的部分图像(PIA1)与由摄像机(CA2)拍摄的部分图像(PIA2)在边界(BLA12)处相邻接。在边界(BLA12)附近，摄像机(CA1、CA2)的拍摄方向与边界(BLA12)方向基本一致。由此使得位于边界(BLA12)附近的柱桩(P3)图像无论在摄像机(CA1)的图像上还是在摄像机(CA2)的图像上都是沿着边界(BLA12)延伸，而不会在合成图像上消失。在把多个摄像机的拍摄图像进行合成显示的车辆周围监视装置中，提供一种在相邻的部分图像的边界附近，比以往更为正确、且用户易于观察的图像。
文档编号H04N7/18GK1412047SQ02146840
公开日2003年4月23日 申请日期2002年10月15日 优先权日2001年10月15日
发明者冈本修作, 中川雅通, 森村淳, 水泽和史, 饭阪笃, 吉田崇 申请人:松下电器产业株式会社