专利名称：车辆附近图像处理设备和记录媒体的制作方法
技术领域：
本发明涉及一种用于拍摄并在监控器上显示例如车辆后面区域的图像的车辆附近图像处理设备和记录媒体。
背景技术：
作为用于显示车辆后面场景的设备，已知有一种显示设备，该装置以没有改变的方式向监控器输出来自于安装在车辆后部的摄像机(camera)的图像。根据该显示设备，尽管可在某种程度上了解车辆后面的情况，但是还存在这样的问题，即，难以了解车辆与在监控器上所显示的图像中的目标(例如停车位的标记)之间的相对位置。
与这样的显示设备不同的是，在日本未审定专利公开号No.H.1 0-211849中，提出了这样一种技术，即，将后部摄像机所拍摄的图像(后部摄像机图像)转换成鸟瞰像，并且在该鸟瞰像中显示其上安装有后部摄像机的车辆。在该技术的情况中，由于在鸟瞰像中示出了车辆，因此与只是按照原状在监控器上显示所拍摄图像的显示设备相比，更容易了解图像中所显示的目标与车辆之间的位置关系；然而，又出现了其他的问题，即，不能显示摄像机当前视野以外的物体。
因此，例如在将车辆倒入停车位中时，如前所述，由于不能显示出已离开摄像机视野的停车位标记，就存在这样一个问题，即，不容易进行将车辆倒入停车位的操作。
因此本发明的第一个目的是，提供一种车辆附近图像处理设备和记录媒体，所述设备和媒体能够推断并描绘出已离开例如摄像机的视野范围的场景的一部分。本发明的第二个目的是，提供一种车辆附近图像处理设备和记录媒体，使用所述设备和媒体可推断并描绘出已离开例如摄像机的视野范围的场景的一部分，并且还可减轻该计算处理负担。
发明概述为了实现上述第一目的，依照本发明的第一方面，在一种车辆附近图像处理设备中，在具有用于拍摄车辆附近的图像的图像拍摄装置(例如摄像机)和用于显示所述图像的显示装置(例如监控器)的车辆中，所述车辆附近图像处理设备处理由图像拍摄装置所拍摄的图像并将其显示在显示装置上，将由所述图像拍摄装置所拍摄的图像转换为以所述图像拍摄装置作为观察点投影的地面坐标系统的数据，以形成鸟瞰像。因此，该图像不是例如由像摄像机所拍摄的那样的变形图像，而是成为易于理解的鸟瞰像，正如从天空上所看到的地面上的情况一样。接着，将这样产生的第一鸟瞰像与其后产生的第二鸟瞰像进行比较，以便于辨别出其匹配区域和非匹配区域。将通过该辨别所获得的非匹配区域增加到第二鸟瞰像上以形成合成图像，并且处理该合成图像以使其可在显示装置上显示并且将其显示在显示装置上。
也就是说，当车辆移动时，由于例如摄像机的视野在第一鸟瞰像和第二鸟瞰像中(所述第一和第二鸟瞰像是在不同时间拍摄的)改变，因此自然地出现了非匹配区域(显示于第一鸟瞰像中但是没有在第二鸟瞰像中出现的部分)，所述非匹配区域为图像之间的差异。
在本发明的该方面中，检测第一鸟瞰像与第二鸟瞰像之间的图像差异，并且将该差异部分(之前显示的一个部分)的一个图像增加到第二鸟瞰像上，从而可更清楚地了解车辆周围的情况。以这种方式，在本发明的该方面中，由于可显示已离开例如摄像机的当前视野的区域，因此具有这样一个作用，即，例如当将车辆倒入停车位中时，使车辆的操作变得极为容易。
由图像拍摄装置所拍摄的图像例如可为，由安装于车辆后部上的摄像机所拍摄的车辆后面区域的图像。在这种情况下，例如当将车辆倒入停车位中时，由于可充分地了解停车位标记与车辆之间的位置关系，因此可产生这样的效果，即可容易地执行停车操作。当图像拍摄装置还可拍摄到车辆侧面的区域时，因为在倒车时进行侧向移动时，可充分地了解侧面的情况，所以可容易地执行侧向移动的操作。此外，除车辆后面的区域外，可由图像拍摄装置拍摄的图像的另一个例子是车辆前面的区域。在这种情况下，当也可拍摄出车辆侧面的区域的图像时，由于在向前时进行侧向移动时，可充分地了解侧面的情况，因此可容易地执行侧向移动的操作。
鸟瞰像产生装置可在形成鸟瞰像时选取显示车道标线(例如停车位的车道标线)的图像。也就是说，当产生鸟瞰像时，尽管可将整个的拍摄图像转换成鸟瞰像，但是也可选择性地例如通过二进制处理只选取并显示车道标线(例如用白线表示)。在这种情况下，由于只需要处理车道标线，因此具有减轻图像处理负担的作用。例如当将车辆驶入由车道标线所界定的停车位中时，只需要识别停车位的位置，并且由于当存在其他物体使得图像不够清晰的时，只选取车道标线具有使得车辆的操作更为容易的优点。
第一鸟瞰像与第二鸟瞰像可为按时间顺序连续的鸟瞰像。在这种情况中，由于第一鸟瞰像与第二鸟瞰像之间的差异是微小的，因此匹配区域与非匹配区域的检测是容易的。由于确保了在图像之间的接合处没有不适合的问题，因此当将非匹配区域增加到第二鸟瞰像上时这也是合乎需要的。
最好，显示处理装置执行坐标转换，以便于在显示装置上显示合成图像的图像数据。也就是说，为了在例如监控器上显示鸟瞰像，由于必须对其尺寸等进行调整，因此应执行必要的处理程序以使图像能最佳地显示在监控器上。
可将该合成图像与其后拍摄并产生的第三鸟瞰像进行比较，并辨别出非匹配区域，并将该非匹配区域增加到所述合成图像上以形成一个新的合成图像。通过以这种方式恰当地增加一个移动后的鸟瞰像，可连续地合成图像，从而可更清楚地了解车辆周围的环境。
为了实现上述本发明的第二个目的，依照本发明的第二个方面，在一种车辆附近图像处理设备中，在具有用于拍摄车辆附近的图像的图像拍摄装置(例如摄像机)和用于显示所述图像的显示装置(例如监控器)的车辆中，所述车辆附近图像处理设备处理由图像拍摄装置所拍摄的图像并将其显示在显示装置上，将由所述图像拍摄装置所拍摄的图像转换为例如以所述图像拍摄装置作为观察点投影的地面坐标系统的数据，以便于连续形成鸟瞰像的图像数据。也就是说，产生了第一鸟瞰像和作为在后图像的第二鸟瞰像的图像数据。因此，该图像不是例如由像摄像机所拍摄的那样的变形图像，而是变成易于理解的鸟瞰像，如从天空上所看到的地面上的情况一样。
此外，在本发明的这个方面中，根据从车辆中所获得的车辆信号(例如车辆速度信号和横向摆动率信号)来检测车辆的移动的量(移动量)。由于该检测的车辆移动的量对应于第一鸟瞰像所移动的量，因此，第一鸟瞰像移动与车辆移动量相对应，以形成移动后的鸟瞰像的图像数据。
接着，将新的第二鸟瞰像(比第一鸟瞰像新)的图像数据与移动后的鸟瞰像的图像数据相合成，以便于形成将被显示在显示装置上的合成鸟瞰像的图像数据。也就是说，当车辆移动时，由于(例如)摄像机的视野自然改变，因此在第一鸟瞰像和第二鸟瞰像之间出现了差异(存在于拍摄部分中的差异)。因此，在本发明的该方面中，通过适当地将与该差异部分(即，以前在视野中但是不在当前视野中的部分)相对应的移动后的鸟瞰像增加到第二鸟瞰像上，可将已离开摄像机视野的一部分显示在监控器上，从而可更清楚地了解车辆周围的环境。以这种方式，在本发明的该方面中，由于可显示出已离开(例如)摄像机当前视野的一个区域，因此具有这样的效果，即，例如当反向停车时，使该操作变得极为容易。
特别是，在本发明的该方面中，因为不是通过根据随时间变化的图像的的变化来计算车辆的移动而形成移动后的鸟瞰像，而是使用车辆信号形成移动后的鸟瞰像，因此存在这样的优点，即，可简化图像处理的计算。因此，由于减轻了微电脑等的负担，因此可在整体上提高设备处理速度。并且由于可用较低处理能力的微电脑执行所述程序处理，还可有助于成本的降低。
合成的鸟瞰像可以是一个将移动后的鸟瞰像增加到第二鸟瞰像所显示的显示区域以外的图像。这是形成合成的鸟瞰像的方法的一个例子，并且通过该方法可连续地显示车辆周围环境的图像。也就是说，如上所述，由于目前比如由摄像机所拍摄的图像可作为第二鸟瞰像被显示在监控器上，通过将即将从监控器中消失的更早的图像增加到显示出第二鸟瞰像的区域以外作为移动后的鸟瞰像，还可在监控器上显示出已离开摄像机视野的过去的周围环境的情况。
可使用最晚的鸟瞰像作为用在合成鸟瞰像中的第二鸟瞰像。当由摄像机等新近所拍摄的最晚的鸟瞰像用作第二鸟瞰像时，可更明确地了解车辆周围的情况。
鸟瞰像产生装置所形成的鸟瞰像可被储存在图像存储器A中，而合成鸟瞰像形成装置所形成的合成鸟瞰像可被储存在图像存储器B中。这是用于储存不同的鸟瞰像的存储器的例子。并且最好，将图像存储器B中所储存的合成鸟瞰像显示在显示装置上。以这种方式，可将合成鸟瞰像显示在监控器等上。
在上述本发明的第一和第二方面中，当合成鸟瞰像被显示在显示装置上时，可在其上增加车辆的图像。当以上述方式使表示车辆周围情况的合成图像显示出带有表示车辆的图像时，由于车辆与例如停车位标记之间的位置关系变得清楚，因此使车辆的操作变得容易。由于例如摄像机是安装在车辆上的预定位置中的，因此在例如监控器的屏幕上的车辆的位置总是一样的。因此，车辆可显示在监控器的屏幕上的固定位置中，并且甚至可通过打印等方法预先将车辆描绘在监控器的屏幕上。并且，由于摄像机的视野角度通常为恒定的，因此，在监控器的屏幕上不仅可显示出车辆而且还显示出摄像机的视野角度(其左-右范围)。
可将用于执行上述车辆附近图像处理设备的程序处理的方法作为程序储存在记录媒体上。该记录媒体可为各种记录媒体，并且可为例如微电脑形式的电子控制装置；微芯片；软盘、硬盘以及光盘。
附图的简要说明
图1是示出了本发明第一实施例所涉及的车辆附近图像处理设备的主要部分的示意图。
图2是示出了第一实施例的车辆附近图像处理设备的电子构造的框图。
图3A到图3C是示出了第一实施例的车辆附近图像处理设备所执行的处理程序的视图；图4是示出了由第一实施例的车辆附近图像处理设备所执行的座标变换中的位置关系的视图。
图5A到图5C是示出了第一实施例的车辆附近图像处理设备所执行的处理程序的视图。
图6A到图6B是示出了用于获得在第一实施例的车辆附近图像处理设备中的图像移动量的程序的视图。
图7是由第一实施例的车辆附近图像处理设备所执行的处理的流程图。
图8是由第二实施例的车辆附近图像处理设备所执行的处理的流程图。
图9是示出了第三实施例所涉及的车辆附近图像处理设备的主要部分的示意图。
图10是示出了第三实施例的车辆附近图像处理设备的电子构造的框图。
图11A和11B是示出了第三实施例的车辆附近图像处理设备所使用的图像的视图，其中图11A示出了由摄像机所拍摄的图像，而图11B示出了鸟瞰像。
图12是示出了由第三实施例的车辆附近图像处理设备所执行的座标变换中的位置关系的视图。
图13是由第三实施例的车辆附近图像处理设备所执行的处理的流程图。
图14是示出了第三实施例的车辆附近图像处理设备所执行的图象合成程序的视图。
图15A到15C是示出了由第三实施例的车辆附近图像处理设备显示在监控器上的图像的视图。
执行本发明的最佳模式下面将描述本发明所涉及的车辆附近图像处理设备和记录媒体的
(第一实施例)将使用图1和图2来解释本实施例的基本系统构造。
如图1中所示的，本实施例的车辆附近图像处理设备具有安装于汽车后部上的摄像机(例如CCD摄象机)1、安装于仪表板上的车内监控器(例如液晶显示器)3，以及用于执行图像处理的图像处理单元5。
如图2中所示的，图像处理单元5是电子装置，具有用作主要部分的微电脑，用于执行图像数据的处理，并且就其功能来说，它具有坐标转换部分11，用于执行摄像机1所拍摄的图像数据上的坐标转换，以产生鸟瞰像；比较部分13，用于接收按时间顺序连续的两个鸟瞰像并比较它们；区域推断部分15，用于从两个鸟瞰像的非匹配部分推断出已离开摄像机1的视界的区域；以及制图部分17，用于绘制显示于监控器3上的图像。可将图像处理单元5与摄像机1整体构成。
下面将根据图3A到图5C来描述本实施例的图像处理程序。在这里，将用使车辆后退(倒回)到停车位中的情况作为一个例子。
在图3A的左侧示出了从摄像机1中输出的图像(输出图像)。该图像是用摄像机1拍摄的画在地面上的停车位标记和停车位附近的图像；并且由于摄像机1被安装于车辆后部的顶部上，因此，与车辆(并且从而摄像机1)和停车位标记的直线的位置之间的距离等相对应地，实际上，矩形的停车位标记被变形显示。
接着，如随后将更详细描述的，将图3A的左侧上的图像坐标转换以形成鸟瞰像，然后将示出车辆的位置和摄像机1的视野角度的图像增加到该鸟瞰像上形成合成图像，并且如图3A的右侧所示的，将该合成图像显示在监控器3的屏幕上。也就是说，由于摄像机1的安装高度和它的安装角度以及视野角度是已知的，因此坐标转换部分11可使得摄像机1的输出图像被坐标转换(使用已知的鸟瞰图转换)，以获得如图3A的右侧中所示出的鸟瞰像。
如下文中将描述的，对于用于将摄像机1所拍摄的图像转换为鸟瞰像并将其显示在监控器3上的该程序，可使用相关技术工艺(例如日本未审定专利公开号No.H.10-211849)。这里，通过执行普通透视转换的逆处理，就获得了作为鸟瞰像的地面上的图像(例如停车位标记)的位置。更具体地说，如图4中所示的，以这样一种方式执行透视转换，即，地面上图像的位置数据被投影到屏幕面T上，所述屏幕面T与摄像机位置R之间具有焦距f。
具体地，假定摄像机1位于Z-轴上的点R(0，0，H)，以俯视角τ监控地平面(x-y坐标平面)上的图像。并且因此，这里，如下面的公式(1)所表示的，可将屏幕面T上的二维坐标(α，β)转换为地平面上的坐标(鸟瞰图坐标)(逆透视转换)。xy=H·α/(-βcosτ+fsinτ)H·(βsinτ+fcosτ)/(-βcosτ+fsinτ)---(1)]]>也就是说，通过使用上述公式(1)可将投影图像数据转换为用于监控器3(所述监控器3示出了鸟瞰像)屏幕的图像数据并将其显示在监控器3上。
接着，当车辆倒回到停车位时，如图3B的左侧和图3C的左侧中所示的，停车位标记靠近车辆的部分逐渐地离开摄像机1的视野；并且此时，比较部分13接收两个按时间顺序连续的鸟瞰像并比较它们。
在图5A和图5B中示出了连续的鸟瞰像(图像A变成图像B)的例子。如随后将进一步描述的，通过比较图像A和图像B，可选取在两个图像中完全匹配的区域(匹配区域)。在图像B中，由于车辆比图像A的情况更接近停车位标记，因此截去了停车位标记的一部分。因此，区域推断部分15推断，在不匹配的图像的区域(非匹配区域)中的靠近摄像机1的V形区域是由于车辆的移动而导致图像移动的区域(移动区域)。并且如图5C中所示的，通过将图像A的移动区域与图像B相合成，可以形成合成图像，在所述合成图像中还可显示摄像机1视野外的停车位标记的部分(移动区域)。
尽管在下文中将描述一种选取图像A和图像B的比较区域的方法，但是该图像处理可使用各种已知方法。例如，如图6A和6B中所示的，可将图像A和B的预定区域(用于比较)分成多个小区域(像素)；探知最大程度上相匹配的图像A和B的像素；那么根据匹配像素的位置关系中可获得图像A和图像B之间的位置关系(也就是说，图像A已移动多远)。
具体地，如图6A和6B中所示的，假定这样一种情况，即，例如每个像素中的图像亮度级(或者其颜色)都用一个数字表示，这里，图像A中像素的底部三排的亮度与图像B中像素的顶部三排的亮度相匹配。因此，在这种情况下，可假定通过沿图的上下方向移动一排像素的宽度，使图像A与图像B相匹配。在这种情况中，应该清楚的是，在图6A和6B中，由于车辆向下移动，图像B中的图形已向上移动。
也就是说，当比较图像A和图像B时，将两个图像都分成小区域，并且当图像的大多数所述小区域相匹配时(当匹配程度较高时)，就可认为匹配部分为相同的图像。因此，当在图像A和图像B中匹配部分错开时，由于图像已移动因此可推断它们已变得不同，并且还可获得所述移动的量和方向。同样的，还可获得沿左右方向和对角线方向的所述移动量。
如图3B的右侧和图3C的右侧中所示的，当将合成图像显示在监控器3上时，制图部分17绘制了合成图像，并且还绘制了显示车辆位置和摄像机1视野角度的图像。在这种情况中，由于摄像机1是以不变的位置固定于车辆上的，因此车辆的图像和摄像机1视野角度可一直显示在监控器3屏幕上的同一位置(例如显示屏中心的上部)。
下面将根据图7的流程图来描述由图像处理单元5等所执行的处理程序。
如图7中所示的，首先，在步骤100中，确定换挡位置是否是倒档的。当在这里作出肯定判断时程序进入到步骤110，而当作出否定判断时程序进入到步骤170。可根据来自于换挡位置检测传感器(未示出)的信号或来自于其他电子控制单元的信号确定换挡位置。
在步骤170中，抹去了先前所绘的摄像机视野外的区域的图像；也就是说，只显示了当前的摄像机图像(鸟瞰像)，然后程序返回到步骤100。
另一方面，在步骤110中，执行由摄像机1所拍摄的图像的坐标转换(上述鸟瞰像转换)，并获得一个鸟瞰像。在接下来的步骤120中，选取两个连续鸟瞰像的匹配区域。例如从图5A和5B的图像A和图像B中，选取匹配区域。在接下来的步骤130中，选取离开摄像机1当前视野的区域。
在步骤140中，鉴于图像A的移动区域在图像B中摄像机视野外被较晚绘制，在绘制其之前，使已绘制的图像B的移动相当于移动区域的量(在图像B中向下)，从而确定了绘制区域。
在接下来的步骤150中，例如图5C中所示的，在前述步骤140中所确定的绘制区域中绘出移动区域(形成了一个合成图像)。并且在接下来的步骤160中，例如图3C的右侧中所示的，绘制了车辆和表示视野角度的V形线，当前的程序结束了。
最好，当已构成并储存了一个合成图像时，将该合成图像与最晚的鸟瞰像相比较并确定其非匹配区域，并将该非匹配区域增加到所储存的合成图像上以形成一个新的合成图像。以这种方式，通过适当地将每个移动后的鸟瞰像增加到合成图像上可连续地合成图像，因此可更清楚地了解车辆周围的状况。
这样，在该实施例中，由摄像机所拍摄的图像转换为鸟瞰像；选取按时间顺序连续的鸟瞰像的匹配区域；并且检测作为所述两个鸟瞰像的不同部分的移动区域。接着，将该移动区域增加到示出当前图像的鸟瞰像上以形成合成图像，并且当将该合成图像显示在监控器3的屏幕上时，加入了车辆的图像和摄像机的视野角度。也就是说，在该实施例中，当车辆移动时，推断出已离开了摄像机视野的区域，并且该区域与当前摄像机图像相合成，从而可显示摄像机视野以外的通常不能显示出来的区域；因此，可清楚地了解车辆与停车位之间的位置关系。因此，具有这样的有价值的作用，即，诸如使得将车辆倒进停车位的操作上极为容易。
(第二实施例)下面描述本发明的第二实施例，然而在这里与第一实施例相同的部分将不再赘述。在该实施例中，只是选取并绘制了停车位标记和挡车器等的图像，而省略了背景的图像。
如图8的流程图所示的，首先，在步骤200中，确定换挡位置是否是倒车档。当在这里作出肯定判断时程序进入到步骤210，而当作出否定判断时程序进入到步骤280。
在步骤280中，抹去了先前所绘的摄像机视野外部的区域的图像。另一方面，在步骤210中，通过二进制程序从摄像机所拍摄的图像中选取并绘制停车位和挡车器等的图像。这里，假定停车位和挡车器是以白色画出的并且易于与黑色沥青的地面区别开。
在随后的步骤220中，二进制图像经受鸟瞰图转换以形成停车位和挡车器的鸟瞰像。这里，背景是单色的。接着在步骤230中，选取两个连续的鸟瞰像的匹配区域。在步骤240中，选取已离开了摄像机1当前视野的移动区域。
在接下来的步骤250中，在绘制移动区域之前，使得已绘制的图像B部分移动相当于移动区域的量(在图像B中向下)以便于确保绘制区域。那么在步骤260中，在步骤250中所确保的绘制区域中绘出移动区域的图像(形成了一个合成图像)。在步骤270中，绘制了车辆和表示摄像机视野角度的V形线，当前的处理程序结束了。
在该实施例中，也可实现与第一实施例相同的作用；此外，在该实施例中，无需将整个的拍摄图像转换成鸟瞰像并显示出来，而只是显示车辆和视野角度以及停车所必需的东西，例如停车位标记和挡车器。因此，减轻了图像处理负担；显示在监控器3上的图像易于观察；并且具有使车辆的操作变得容易的优点。(第三实施例)现在要描述第三实施例。首先将用参照图9和图10来描述本实施例的基本系统构成。
如图9中所示的，本实施例的车辆附近图像处理设备具有安装于车辆后部上的摄像机(例如CCD摄象机)21；安装于车辆仪表板上的车内监控器(例如液晶显示器)23；用于检测车辆速度的车辆速度传感器25；用于检测横向摆动率的横向摆动率传感器27；以及用于执行图像处理的图像处理单元29。
如图10中所示的，图像处理单元29是电子装置，具有用作主要部分的微电脑，所述微电脑用于执行图像数据的处理，所述图象处理单元29还具有坐标转换部分(鸟瞰像转换线路)31，用于执行摄像机21所拍摄的图像数据上的坐标转换；用于临时储存所形成的鸟瞰像的图像数据的图像存储器A；用于输入车辆速度信号的车辆速度信号输入线路33；用于输入横向摆动率信号的横向摆动率信号输入线路35；用于读入车辆速度信号和横向摆动率信号并执行诸如用于移动鸟瞰像(例如将其转向)的计算的CPU37；以及用于储存将被显示于监控器23上的鸟瞰像的数据的图像存储器B。
这里，如随后将进一步描述的，储存在图像存储器B中的鸟瞰像的图像数据为，通过将通过移动基于摄像机21在前期(例如在时间T)所拍摄的图像数据所产生的鸟瞰像(第一鸟瞰像)所获得的图像(移动后的鸟瞰像)与基于摄像机21新近(例如在时间T+1)拍摄的图像数据所产生的鸟瞰像(第二鸟瞰像)相合成所形成的鸟瞰像(合成鸟瞰像)的图像数据。图像处理单元29可与摄像机21一体构成，并且可用大规模集成电路(LSI)部分地或整体地构成图像处理单元29的组成部分。
现在将根据图11A、11B和图12来描述本实施例中的图像处理程序。将用使车辆倒回(返回)到停车位中的情况作为一个例子。
首先，将描述来自于摄像机21输入的图像转换为从上空看的鸟瞰像并储存在图像存储器A中的一个程序。在图11A中示出了从摄像机21中输出的未经处理的图像(输出图像)。因为该未经处理的图像是安装于车辆后部的顶部上的摄像机21所拍摄的绘制于地面上的停车位标记及其附近的图像，所以和车辆(进而摄像机21)与停车位标记每条线之间的距离等相应地，实际的矩形停车位标记被变形显示。
因此，通过与第一实施例中所述相同的方法，将未经处理的图像的图像数据进行坐标转换以便于产生如图11B中所示的没有变形的鸟瞰像，并将该鸟瞰像的图像数据储存在图像存储器A中。接着，将描述一个程序，通过该程序，利用车辆速度信号和横向摆动率信号，储存在图像存储器A中的鸟瞰像(例如转向)对应于车辆已移动的量(移动量)移动。这里，在图12中示出了在时间T时车辆的位置，到时间T+1时，车辆所移动的距离表示为L，到时间T+1时车辆所移动的角度表示为θ1(＝旋转中心处的角度θc)。
首先，当摄像机21的取样时间为100[ms]时，使用从车辆速度信号中所获得的车辆速度S[km/h]，可用以下公式(2)计算出车辆所移动的距离L[m]。
L[m]＝S[km/h]×1000[m/km]÷3600[S/h]×100[ms]÷1000[ms/s] … (2)并且，由于存在图1 2中所示的图形的关系，使用从横向摆动率信号中所获得的横向摆动率θ0[°/s]，可用以下公式(3)计算出车辆所移动的角度θ1。
θ1[°]＝θ0[°/s]×100[ms]÷1000[ms/s]… (3)而且在这里，由于假定车辆的旋转中心位于后轴的延伸线上，如果车辆向前的方向表示为Y，而与之垂直的方向表示为X，将摄像机位置作为X-方向原点处理，可用以下公式(4)计算出沿X方向的旋转中心位置XC[m]。
XC[m]＝L[m]÷TAN(θ1) … (4)另一方面，Y方向上的旋转中心位置位于后轴处，而从摄像机21到后轴之间的距离是YC[cm]。并且，从图12中所示的图形的关系中，旋转中心处的旋转角度θ1与车辆所移动的角度θ1是相同的。
接着，使用如上所述获得的旋转中心位置(XC，YC)和旋转角度θc，鸟瞰像作如下移动。
储存在图像存储器A中的鸟瞰像的图像数据也曾被储存在图像存储器B中。因此，这里，储存在图像存储器B中的鸟瞰像的图像数据被转移到CPU37的内存储器中，并且使用旋转中心位置(XC，YC)和旋转角度θc使得该鸟瞰像转向。
用于执行该转向移动的转换公式如下面公式(5)所示，并且使用该公式通过CPU37的内部处理，相对于以转角θ移动后的坐标(XB、YB)，计算相应的移动前的点(XA、YA)，并将(XA、YA)像素值存储在(XB、YB)地址存储器中。
XA＝XB·COSθ+YB·SINθYA＝YB·COSθ-XB·SINθ…(5)其中(XA，YA)为移动前坐标；(XB，YB)为移动后坐标；θ为旋转角度。
接着，通过执行所有这些坐标的计算，从储存在图像存储器A中的鸟瞰像(时间T时的第一鸟瞰像)中，产生了移动后的鸟瞰像(时间T时的移动后的鸟瞰像)。同时，根据摄像机21新近拍摄的图像所产生的鸟瞰像，也就是，当前鸟瞰像(时间T+1时的第二鸟瞰像)新近被从图像存储器A转移到CPU37中。
因此，在CPU37中，第二鸟瞰像被记录到一个其位置关系对应于时间T的位置(与移动后的鸟瞰像没有图像不重合的位置)并且通过该处理移动后的鸟瞰像与第二鸟瞰像相合成以产生合成鸟瞰像的图像数据，并且将该图像数据储存在图像存储器B中。
在合成鸟瞰像的产生过程中，虽然车辆的位置和摄像机21的视野角度的图像可被加入并储存在图像存储器B中，并且将该合成鸟瞰像显示在监控器23的屏幕上，做为选择，也可不将车辆的位置和摄像机21的视野角度的图像储存在图像存储器B中，而当储存在图像存储器B中的合成鸟瞰像被显示于监控器23时，可增加示出车辆的位置和摄像机21的视野角度的一个图像。
接着，将根据图13的流程图来描述图像处理单元29所执行的程序。
如图13中所示的，首先，在步骤300中，确定换挡位置是否是倒档。当在这里作出肯定判断时程序进入到步骤310，而当作出否定判断时程序进入到步骤390。可根据来自于换挡位置检测传感器(未示出)的信号或来自于其他电子控制单元的信号确定换挡位置。
在步骤390中，抹去了先前所绘的摄像机21视野外部的区域的图像；也就是说，只显示了来自于摄像机21的当前图像(鸟瞰像)；然后程序返回到步骤300。另一方面，在步骤310中，执行由摄像机21所拍摄的图像的坐标转换(鸟瞰图转换)，并形成一个鸟瞰像。
在步骤320中，该鸟瞰像被存储在图像存储器A中。此时，同一个相同的鸟瞰像还被存储在图像存储器B中。在步骤330中，根据车辆速度信号和横向摆动率信号，获得了由移动距离L和旋转角度θc所表示的车辆的移动的量(移动量)。
在接下来的步骤340中，储存在图像存储器B中的鸟瞰像(时间T时的第一鸟瞰像)根据车辆的移动量被移动，并且获得了移动后的鸟瞰像(从时间T处移动后的鸟瞰像)。
在步骤350中，新近拍摄并储存在图像存储器A中的第二鸟瞰像(在时间T+1时)从图像存储器A中被读入。并且在步骤360中，将移动后的鸟瞰像与第二鸟瞰像相合成以产生合成的鸟瞰像。具体地，如图14中所示的，通过写到摄像机新视野的外部(对应于第二鸟瞰像)一部分构成合成的鸟瞰像，所述部分由于车辆的最近的移动已离开了摄像机的视野；即，通过将第一鸟瞰像移动与车辆的移动相对应的量所形成的移动后的鸟瞰像的一部分(具体地，在除去和第二鸟瞰像重叠的部分)。在图14中，出于参考的目的示出了车辆；实际上，当在监控器的屏幕上绘出合成鸟瞰像时，只画出表示车辆的框等。
在接下来的步骤370中，将合成鸟瞰像储存在图像存储器B中。在步骤380中，增加了示出车辆的图像和示出视野角度的图像；储存在图像存储器B中的合成鸟瞰像被显示在监控器23上；当前的处理程序结束了。
在该实施例中，以这种方式，使得由摄像机21所拍摄的图像转换为鸟瞰像；根据车辆信号测定车辆所移动的量；并且鸟瞰图移动与车辆的移动量相对应的量以便于形成移动后的鸟瞰像。然后，使得所述移动后的鸟瞰像与新近读入的鸟瞰像相合成从而构成合成的鸟瞰像；加入车辆和视野角度的图像；并且将该合成的鸟瞰像显示在监控器23的屏幕上。
也就是说，在本实施例中，当车辆移动时，通过推断一个已离开摄像机视图的区域并将其与当前摄像机视图相合成，可显示摄像机视野外部的通常无法显示的部分；因此，如图15A、15B和15C中所示的，可清楚地了解车辆与停车位之间的位置关系。因此，具有这样的有价值的作用，即，诸如使车辆倒进停车位的操作变得极为容易。
在图15A、15B和15C中按次序地示出了本实施例的方法所产生的监控器23上的显示图片，按次序地示出了车辆首先转向而后笔直移动同时倒回到停车位中的情况。
具体地，在本实施例中，由于移动后的鸟瞰像是通过使用从车辆速度传感器25和横向摆动率传感器27中所获得的车辆信号而产生的，而不是例如通过从第一和第二鸟瞰像时间上的图像变化中计算车辆的移动所产生的，因此，具有这样的优点，即，简化了为此所需的计算过程。也就是说，由于省却了需要大量计算的图像处理(诸如图像的匹配)，因此减轻了处理负担，并且可即刻将所需的图像显示在监控器23上。
因此，减轻了微电脑等等上的负担，并且可在整体上增加设备的处理速度。由于可用低处理能力的微电脑执行所述程序处理，还有助于成本的降低。
本发明不局限于以上所述的实施例，毫无疑问，在不脱离本发明保护范围的条件下可作出各改变。
(1)例如，在第一实施例中，停车位标记和挡车器等的拍摄图像最好不是只被简单地坐标转换而显示，而是从摄像机所拍摄的图像中选取出来的用于引导车辆操作的停车位标记和挡车器的图像，并且在所述图像中停车位标记和挡车器在颜色和/或色调上被加强。
(2)在第三实施例中，仅管在以上叙述中，是当检测出换档位置是倒档的情况下开始所述程序的，或者为了当车辆在一段相反移动后已切换到向前移动状态时还能执行程序，可根据车辆速度信号交替地确定程序的开始和继续。例如，当车辆速度为10km/h时可开始程序，并且只要车辆速度保持在该速度以下程序就显示出鸟瞰像。在停车操作的过程中即使换档位置改变，通过这种方式也可连续地不用复位地显示鸟瞰像。
(3)此外，作为本发明的另一项应用，借助于观看车辆前面区域的摄像机，还可显示包括已从车辆前面离开摄像机视野的区域的车体附近的合成鸟瞰像，从而提供可判断出是否可勉强通过狭窄街道等等的信息。
(4)而且，鉴于在第一、第二和第三实施例中描述了车辆附近图像处理设备，本发明还提供了一种记录媒体，在所述记录媒体上具有用于执行所述设备的程序处理的记录方法。该记录媒体可为各种记录媒体，并且可为例如微电脑形式的电子控制单元；微芯片；软盘、硬盘以及光盘。也就是说，可为具有记录方法的任何记录媒体，所述记录方法为例如诸如能够执行上述车辆附近图像处理设备的程序处理的程序。
工业实用性如上所述，本发明所涉及的车辆附近图像处理设备和记录媒体可在监控器上绘出包括推断的已离开摄像机视野部分的车辆附近的图像，因此特别适用于例如帮助驾驶操作如停车的设备。
权利要求
1.一种车辆附近图像处理设备，所述设备适用于具有用于拍摄车辆附近图像的图像拍摄装置和用于显示图像的显示装置的车辆，并且所述车辆附近图像处理设备处理由图像拍摄装置所拍摄的图像并将所处理的图像显示在所述显示装置上，其特征在于，所述车辆附近图像处理设备包括鸟瞰像形成装置，用于通过将由所述图像拍摄装置所拍摄的图像转换为以所述图像拍摄装置作为观察点投影的地面坐标系统的数据而形成鸟瞰像；区域判别装置，用于将所述鸟瞰像形成装置所形成的第一鸟瞰像与其后拍摄并形成的第二鸟瞰像进行比较，以判别出其中的匹配区域和非匹配区域；合成图像形成装置，用于通过将所述区域判别装置所判定的非匹配区域加入到第二鸟瞰像而形成合成图像；以及显示处理装置，用于将所述合成图像显示在所述显示装置上。
2.如权利要求1所述的车辆附近图像处理设备，其特征在于，所述由所述图像拍摄装置所拍摄的图像为车辆后方区域的图像。
3.如权利要求1所述的车辆附近图像处理设备，其特征在于，所述鸟瞰像形成装置选取一个显示车道标线的图像，以便于形成鸟瞰像。
4.如权利要求1所述的车辆附近图像处理设备，其特征在于，所述第一鸟瞰像与第二鸟瞰像为按时间顺序连续的鸟瞰像。
5.如权利要求1所述的车辆附近图像处理设备，其特征在于，所述显示处理装置执行坐标转换，以便于将合成图像的图像数据显示在所述显示装置上。
6.如权利要求1所述的车辆附近图像处理设备，其特征在于，当将合成图像显示在所述显示装置上时，显示车辆的图像被增加到所述合成图像上。
7.如权利要求1所述的车辆附近图像处理设备，其特征在于，所述区域判别装置将所述合成图像形成装置所形成的合成图像与其后拍摄并形成的第三鸟瞰像进行比较，并判别出其中的匹配区域和非匹配区域，而且所述合成图像形成装置通过将判别出的非匹配区域增加到合成图像上而形成新的合成图像。
8.一种记录媒体存储装置，用于执行上述权利要求1到7中任何一项所述的车辆附近图像处理设备的处理。
9.一种车辆附近图像处理设备，所述设备适用于具有用于拍摄车辆附近图像的图像拍摄装置和用于显示图像的显示装置的车辆，并且所述车辆附近图像处理设备处理由图像拍摄装置所拍摄的图像并将所处理的图像显示在所述显示装置上，其特征在于，所述车辆附近图像处理设备包括鸟瞰像形成装置，用于根据由所述图像拍摄装置所拍摄的图像形成鸟瞰像；车辆移动量检测装置，用于根据从车辆中所获得的车辆信号检测车辆移动的量；鸟瞰像移动装置，用于将所述鸟瞰像形成装置所形成的第一鸟瞰像移动与车辆移动量相对应的量，从而形成移动后的鸟瞰像；合成鸟瞰像形成装置，用于通过将第二鸟瞰像与所述移动后的鸟瞰像相合成而形成将被显示在所述显示装置上的合成鸟瞰像，所述第二鸟瞰像是晚于第一鸟瞰像被拍摄和形成的。
10.如权利要求9所述的车辆附近图像处理设备，其特征在于，所述合成鸟瞰像是这样一个图像，即，其中移动后的鸟瞰像被增加到显示第二鸟瞰像的显示区域上。
11.如权利要求9所述的车辆附近图像处理设备，其特征在于，所述最晚的鸟瞰像被用作用于形成所述合成鸟瞰像的第二鸟瞰像。
12.如权利要求9所述的车辆附近图像处理设备，还包括存储器A，用于储存所述鸟瞰像形成装置所形成的鸟瞰像；以及存储器B，用于储存所述合成鸟瞰像形成装置所形成的合成鸟瞰像。
13.如权利要求12所述的车辆附近图像处理设备，其特征在于，储存在所述存储器B中的合成鸟瞰像被显示在所述显示装置上。
14.如权利要求9所述的车辆附近图像处理设备，其特征在于，当将合成鸟瞰像显示在所述显示装置上时，显示车辆的图像被增加到所述合成鸟瞰像上。
15.一种记录媒体存储装置，用于执行上述权利要求9到14中任何一项所述的车辆附近图像处理设备的处理。
全文摘要
本发明提供了一种车辆附近图像处理设备和记录媒体，所述设备和记录媒体能够推断出已离开安装于车辆后部上的摄像机视野的场景并能够画出包括该推断部分的车辆后面区域的图像。图像处理单元首先将拍摄的图像进行坐标转换以形成鸟瞰像。将两个在时间顺序上连续的两个鸟瞰像制成鸟瞰像，并选取这两个图像的匹配区域。根据该匹配区域，选取出已离开摄像机当前视野的移动区域。然后将匹配区域和移动区域的图像画在监控器上。通过这种方式，可画出包括已离开摄像机当前视野的场景的合成图像。
文档编号G06T1/00GK1473433SQ02802982
公开日2004年2月4日 申请日期2002年3月15日 优先权日2001年6月13日
发明者柳川博彦, 理, 石川哲理, 小木曾治比古, 治比古, 之, 今西胜之 申请人:株式会社电装