专利名称：图像处理系统及车辆控制系统的制作方法
技术领域：
本发明涉及一种图像处理系统，尤其涉及一种适于生成适于由导航设备所执行的风景图像识别的参考数据的系统，以及一种使用该系统的车辆控制系统。
背景技术：
在汽车导航的技术领域，采用如下方法作为计算车辆当前位置的方法使用了从传感器(如陀螺仪传感器和地磁传感器)所获得的信息的方法(自主导航方法)、使用了来自GPS卫星的信号的方法、或自主导航方法与使用了来自GPS卫星的信号的方法的组合。 此外，例如，将在日本专利申请公开第2007-108043号(JP-A-2007-108043)中所描述的位置测量设备被认为是配置成准确地计算当前位置的位置测量设备(参见第0009-0013段以及图1)。在该位置测量设备中，首先，使用来自导航卫星的信号等来获得暂定当前位置，接着，使用车辆前方的风景的拍摄图像来计算坐标系统(车辆坐标系统)中的道路标记的特征点(车辆坐标系统特征点)相对于暂定当前位置的坐标。接着，使用所计算的车辆坐标系统特征点和所存储的道路标记的特征点的坐标(即世界坐标系中所示出的坐标)来计算车辆的当前位置。在位置测量设备中，即使使用从导航卫星所发送的信号和/或从各传感器所发送的信号所测量的位置包括误差，也能够准确地计算当前位置。在汽车导航的技术领域中，例如，日本专利申请公开第2008-298699号 (JP-A-2008-298699)(参见第0007-0023段以及图9)提出了这样一种技术，其中基于包括与对象(其图像被摄像头所拍摄)的位置和形状相关的信息的对象信息，来获得测量点信息。测量点信息包括依据对象的类型而预先设定的关于测量点的形状信息和位置信息。在该技术中，基于测量点信息中所包括的形状信息来执行图像信息中所包括的对象中的测量点的图像识别。接着，基于图像识别的结果以及关于测量点的位置信息来校正车辆位置信息。日本专利申请公开第2008-298699号(JP-A_2008j98699)还提出了这样一种技术，其中基于校正后的车辆位置信息来控制车辆的行驶。根据该技术，当车辆在没有许多需要被识别的对象(例如交叉点标记)的高速道路(expressway)上行驶时，能够使用对象的图像识别的结果来校正车辆位置信息，并能够基于校正后的车辆位置信息来控制车辆的行驶。
发明内容
在日本专利申请公开第2007-108043号(JP-A-2007-108043)中所描述的位置测量设备中，使用立体图像来获得道路上的道路标记的特征点的空间坐标，并且从道路标记信息的数据库获得具有特征点的道路标记的纬度和经度。因而，使用通过利用道路标记的纬度和经度所获得的坐标来计算车辆的当前位置。因此，在没有道路标记的区域中不能使用位置测量设备。此外，在日本专利申请公开第2008-298699号(JP-A-2008498699)中所描述的技术中，在高速道路的连接部分(在该部分处主道路连接到另一道路)中的以一定间隔设置的部分(从该部分处分支出实线道路标记或在该部分处接合到虚线道路标记)上执行图像识别。因而，难以将该技术实施到除了高速道路之外的道路。鉴于上述情况，期望开发一种当车辆在包括高速道路和普通道路的各种车辆行驶道路上行驶时能够使用图像识别更准确地检测车辆位置的技术，还期望开发一种使用更准确的车辆位置检测技术的车辆控制系统。本发明的第一方案涉及一种图像处理系统，包括数据输入单元，拍摄图像与图像拍摄位置被输入到所述数据输入单元，其中通过拍摄在预定路段中从车辆所看到的风景的图像来获得所述拍摄图像，在所述图像拍摄位置处拍摄所述图像以获得所述拍摄图像；目标移动量设定单元，将所述预定路段中的给定位置用作特定位置，并设定用以通过所述预定路段、所述特定位置处的目标车辆移动量；参考图像数据生成单元，从在所述特定位置处获得的所述拍摄图像生成参考图像数据；以及参考数据数据库创建单元，通过将所述参考图像数据与所述特定位置及所述特定位置处的所述目标车辆移动量相关联，来生成当执行风景图像识别时所使用的参考数据，并生成作为所述参考数据的数据库的参考数据数据库。例如，当车辆在预定路段(如弯路或斜坡路)上行驶时，需要改变车辆的移动量以使车辆通过路段。根据本发明的第一方案，从预定路段中的特定位置处的拍摄图像创建参考图像数据。此外，通过将参考图像数据与特定位置及特定位置处的目标车辆移动量(其设定用以通过预定路段)相关联，来生成用于风景图像识别处理的参考数据。接着，生成参考数据的数据库。当在参考数据和车辆实际上行驶时所获得的拍摄图像之间顺序地重复匹配，并且与特定位置和目标车辆移动量相关联的参考数据与拍摄图像相匹配时，就能够识别特定位置处的车辆的适当目标车辆移动量。而且，由于基于普通风景的拍摄图像的图像识别来确定车辆位置，因此车辆位置的确定不受道路条件的影响。本发明的第二方案涉及一种车辆控制系统，包括由根据第一方案所述的图像处理系统所创建的所述参考数据数据库；拍摄图像处理单元，拍摄图像被输入到所述拍摄图像处理单元，所述拍摄图像处理单元基于所述拍摄图像输出用于匹配的数据，其中通过拍摄从车辆中设置的摄像头所看到的风景的图像来获得所述拍摄图像；车辆位置估测单元， 估测所述车辆的位置；参考数据提取单元，基于所述车辆的所述估测位置从所述参考数据数据库提取参考数据；匹配执行单元，执行所提取的参考数据与所述用于匹配的数据之间的匹配；目标车辆移动量取回单元，取回与所述用于匹配的数据相匹配的参考数据相关的目标车辆移动量；以及车辆移动量调节单元，基于所取回的目标车辆移动量来调节所述车辆的移动量。根据本发明的第二方案，不论道路条件如何，都能够通过执行风景图像识别来更准确地确定车辆位置。此外，由于所确定的车辆位置处的适当目标车辆移动量与参考数据相关联，从而能够取回目标车辆移动量，并能够基于所取回的目标车辆移动量来适当地调节车辆的移动量。
通过下述实例实施例的描述并参见附图，本发明的上述和其它对象、特征以及优点将会是显而易见的，其中相同的附图标记用于表示相同的元件，并且其中图1为一示意图，用于通过根据本发明实施例的图像处理系统来说明参考数据的创建，并说明通过使用参考数据的匹配处理来确定车辆位置并调节目标车辆移动量的技术的基本概念；图2为一功能框图，示出根据本发明实施例的图像处理系统的主要功能；图3为一示意图，示出在转弯(corner)之前发生减速行为的实例中的特定事件中的目标车辆移动量、特定位置以及参考图像数据之间的关系；图4为一示意图，示出在转弯过程中发生转向(steering)行为的实例中的特定事件中的目标车辆移动量、特定位置以及参考图像数据之间的关系；图5A-图5F为多个示意图，示意性示出使用调节系数的权重系数的调节；图6示出使用根据本发明实施例的图像处理系统所创建的参考数据库的汽车导航系统的功能框图；以及图7为一功能框图，示出根据本发明实施例的风景匹配单元的功能。
具体实施例方式在下文中，将参考附图详细描述本发明的实施例。图1示意性示出由根据本发明实施例的图像处理系统从风景图像创建参考数据。车载摄像头拍摄该风景图像。图1还示意性示出通过使用参考数据的匹配处理来确定车辆位置并调节目标车辆移动量的技术的基本概念。首先，将描述用于创建参考数据数据库(在下文中，简称为“参考数据DB”)92的步骤。如图1所示，首先，输入通过拍摄从行驶中的车辆所看到的风景的图像而获得的拍摄图像以及图像拍摄属性信息(步骤S01)。图像拍摄属性信息包括在图像拍摄时的拍摄图像的图像拍摄位置与拍摄图像的图像拍摄方向。术语“拍摄图像的图像拍摄位置”表示对图像进行拍摄以获得拍摄图像的位置。术语“拍摄图像的图像拍摄方向”表示对图像进行拍摄以获得拍摄图像的方向。接着，在输入的拍摄图像上执行用于检测图像特征点的特征点检测处理，如边缘检测处理(步骤S(^)。与一个或多个像素相应的边缘点构成了一个线段 (例如轮廓线)的部分被称为“线段边缘”。多个线段边缘彼此交叉处的交叉点被称为“角”。 构成线段边缘的边缘点被称为“线段边缘点”。在线段边缘点中，与角相应的边缘点被称为 “角边缘点”。线段边缘点与角边缘点为图像特征点的实例。从通过边缘检测处理所获得的边缘检测图像提取包括角边缘点的线段边缘点，作为图像特征点(步骤S03)。在与从步骤SOl到步骤S03的处理不同的处理(即，与从步骤SOl到步骤S03的处理并行执行的处理)中，获得图像拍摄情况(situation)信息(步骤S04)。图像拍摄情况信息表示特定目标包括在拍摄图像中的可能性。如在下文中详细描述的那样，图像拍摄情况信息用于在拍摄图像的各区域中分布的图像特征点，以使得位于其中包含有特定目标的区域中的图像特征点的重要程度与其它区域中的图像特征点的重要程度不同。通过降低不适于风景图像识别的图像特征点的重要程度，和/或增加对于风景图像识别来说重要的图像特征点的重要程度，最终能够通过使用图像拍摄情况信息来创建可靠参考数据DB 92。 基于图像拍摄情况信息来确定每个图像特征点的重要程度(步骤S05)。接着，生成权重系数矩阵(步骤S06)。权重系数矩阵保证了根据图像特征点的重要程度将权重系数分配到图像特征点。可通过图像识别处理从拍摄图像中检测到、或可通过处理来自各车载传感器 (距离传感器、障碍检测传感器等)的传感器信号检测到图像拍摄情况信息中所包括的目标。可替代地，可通过处理例如从车辆信息和通信系统(VICS)(在日本的注册商标)所获得的来自外部的信号，来检测图像拍摄情况信息中所包括的目标。接着，通过基于权重系数执行对图像特征点的处理，生成每个拍摄图像的图像特征点(步骤S07)。在生成图像特征点数据的处理期间，执行选择处理。即，丢弃权重系数等于或低于第一阈值的图像特征点，和/或丢弃除了权重系数等于或高于第二阈值的特征点和权重系数等于或高于第二阈值的特征点周边的特征点之外的图像特征点。当对风景图像识别采用图案匹配时，将本步骤中所生成的图像特征点数据用做图案。因此，为了达到高速性能和匹配的高准确性，图像特征点数据应仅包括对风景图像的图案匹配有用的图像特征点是很重要的。生成的图像特征点数据成为用于风景图像图案匹配的参考图像数据。参考图像数据(图像特征点数据)与相应于拍摄图像的图像拍摄位置和/或相应于拍摄图像的图像拍摄方向相关联。因而，生成数据库的数据，即参考数据，通过将图像拍摄位置和/或图像拍摄方向用作搜索条件，该数据库的数据是可搜索的(步骤S08)。即，参考图像数据存储在参考数据DB 92中作为用于风景图像识别的参考数据的一部分，例如，作为用于图案匹配的图案(步骤S09)。接着，将要描述将参考图像数据与目标车辆移动量(车辆速度、转向角度等)相关联的处理。在实施例的如下描述中，采用弯路作为预定路段。预定路段中的给定位置被称为“特定位置”。特定位置可被解释为车辆位置。在预定路段中的车辆中触发以通过预定路段的一个事件(如减速、加速或转向行为)被称为“特定事件”。将每个特定位置处的目标车辆移动量设定为与特定事件相关联。在步骤S08中的创建数据库的参考数据的处理期间，下文所描述的目标车辆移动量还与相应于拍摄风景图像的图像特征点数据相关联，该拍摄风景图像是在车辆中发生特定事件的过程中或在特定事件的准备过程中车辆移动量变化时所拍摄的。当识别出在车辆中发生特定事件(如转弯)时(步骤S101)，设定对于识别的特定事件预先确定的目标车辆移动量线。目标车辆移动量线限定了特定位置和目标车辆移动量之间的关系。换言之，设定了基于特定位置和目标车辆移动量来确定的一组特定的点或近似连接特定点的线(步骤S102)。目标车辆移动量线实质上是示出车辆位置和目标车辆移动量之间的关系的函数曲线。因此，通过指定由函数曲线所表示的目标车辆移动量线上的一个或多个期望特定点，获得特定位置(即车辆位置)以及目标车辆移动量(步骤S10;3)。基于特定点来确定特定位置和目标车辆移动量。在步骤S08中，从在步骤S103 中所获得的特定位置相应的图像拍摄位置处的拍摄图像所生成的参考图像数据与在步骤 S103中所获得的目标车辆移动量相关联。因而，参考图像数据成为与图像拍摄位置(即特定位置)和目标车辆移动量相关联的参考数据。参考数据存储在参考数据DB 92中(步骤S09)。在已经描述的步骤中，从根据通过拍摄预定距离的间隔或预定时间的间隔处的风景图像所获得的拍摄图像而生成的参考图像数据中提取根据图像拍摄位置与特定位置相匹配的拍摄图像所生成的参考图像数据，并且通过将提取的参考图像数据与特定位置和目标车辆移动量相关联来创建参考数据。代替该步骤，可采用如下步骤即，预先确定特定位置，通过将从特定位置处拍摄的风景图像所生成的参考图像数据与特定位置和目标车辆移动量相关联来创建参考数据。此外，将描述使用上述过程所创建的参考数据DB 92来确定当车辆实际行驶时车辆的位置(车辆位置)的步骤。如图1所示，首先，输入实际拍摄图像(通过使用车载摄像机拍摄风景图像所获得)与实际拍摄图像的图像拍摄位置和图像拍摄方向(用于从参考数据DB 92提取参考数据)(步骤Sll)。在这一步骤中输入的图像拍摄位置为使用如GPS测量单元所估测的估测车辆位置。通过上述步骤S02到步骤S07，从输入的拍摄图像生成用于匹配的数据(即图像特征点数据)(步骤S12)。同时，使用输入的图像拍摄位置和输入的图像拍摄方向来计算基于估测车辆位置的测量误差的估测车辆位置的误差范围(步骤 S13a)。通过将误差范围用作搜索条件，从参考数据DB 92中提取与误差范围内的图像拍摄位置(特定位置)相关联的一组参考数据作为匹配候选参考数据集(步骤Sl!3b)。接着，输出匹配候选参考数据集(步骤S13c)。将包括在所提取的匹配候选参考数据集中的每个参考数据设定为图案，并执行将每个图案和从实际拍摄图像所生成的用于匹配的数据之间的图案匹配的处理，作为风景图像识别(步骤S14)。当参考数据(被设定为图案)与用于匹配的数据相匹配时(步骤S15)， 取回与参考数据(与用于匹配的数据相匹配)相关联的图像拍摄位置。当参考数据与目标车辆移动量相关联时，也取回目标车辆移动量(步骤S16)。将所取回的图像拍摄位置确定为正式车辆位置，来代替估测车辆位置(步骤S17)。此外，当取回目标车辆移动量时，执行车辆控制以将车辆移动量调节成目标车辆移动量(步骤S18)。接着，将描述根据本发明实施例的图像处理系统，该图像处理系统基于上述位置测量技术的基本概念从拍摄图像生成参考数据。图2中的功能框图示意性示出图像处理系统的功能，其尤其涉及本发明的实施例。图像处理系统中的功能单元包括数据输入单元51、 参考图像数据生成单元50、特定事件处理单元70以及参考数据数据库创建单元57。将拍摄图像、包括图像拍摄位置和图像拍摄方向的图像拍摄属性信息、以及图像拍摄条件信息输入到数据输入单元51。参考图像数据生成单元50生成参考图像数据(即基于拍摄图像的图像特征点数据)。特定事件处理单元70输出包括关于上述目标车辆移动量的信息和关于特定位置的信息的特定点信息。参考数据数据库创建单元57通过将参考图像数据与特定位置、目标车辆移动量等相关联而生成将要被存储到参考数据DB 92中的参考数据，并创建参考数据的数据库。可通过硬件、软件或硬件和软件的组合来实施每个功能。特定事件处理单元70包括特定事件检测单元71、目标车辆移动量线设定单元72、 特定点设定单元73、以及特定点信息生成单元74。特定事件检测单元71基于图像拍摄位置上的道路地图信息以及图像拍摄位置处的目标车辆移动量，来确定图形拍摄位置是否位于发生特定事件的道路区域中。当特定事件检测单元71检测到拍摄图像(其图像拍摄位置位于发生特定事件的道路区域中)输入时，就开始关于特定事件的处理。目标车辆移动量线设定单元72设定了限定由特定事件检测单元71所检测到的特定事件中的车辆位置和目标车辆移动量之间的关系的目标车辆移动量线。目标车辆移动量线一般为示出车辆位置和目标车辆移动量之间关系的函数图。例如，当由变量P表示车辆位置，由变量Q表示目标车辆移动量，并由F表示函数，则由Q = F(P)表示车辆位置和目标车辆移动量之间的关系。制备了为每种类型的特定事件设定函数的表格。特定点设定单元 73设定了目标车辆移动量线上的特定点。特定点被用作用于特定事件中的车辆移动的向导。通过选择目标车辆移动量或特定位置来确定特定点。因此，特定点设定单元73还起到目标车辆移动量设定单元或特定位置设定单元的作用。通过设定特定点，获得限定特定点的目标车辆移动量和特定位置的组合。即，当由Qs表示目标车辆移动量，I^s表示特定位置， 则由Qs = F(Ps)表示目标车辆移动量和特定位置之间的关系。当设定了一个或多个特定点时，特定点信息生成单元74生成包括关于特定位置的信息和关于目标车辆移动量的信息的特定点信息，限定每个特定点。当特定点信息被提供给参考图像数据生成单元50时， 从图像拍摄位置与特定位置相匹配的拍摄图像生成图像特征点数据，并将所生成的图像特征点数据提供给参考数据数据库创建单元57作为参考图像数据。因此，除了图像拍摄位置 (特定位置)和图像拍摄方向之外，关于涉及特定事件的道路区域的参考数据(通过参考数据数据库创建单元57所创建)还与目标车辆移动量相关联。在下文中，将参考图3和图4示意性描述由目标车辆移动量线设定单元72、特定点设定单元73以及特定点信息生成单元74所执行的功能。图3为一示意图，示出在转弯之前发生减速行为的实例中的特定事件中的目标车辆移动量、特定位置以及参考图像数据之间的关系。该关于特定事件的图示出了车辆在转弯之前行驶的减速区域、以及发生转弯 (作为特定事件)的弯路区域。减速区域为特定事件准备区域。减速区域和弯路区域的每个区域为预定路段的实例。将道路上的转弯起始点(在该点处车辆开始转弯)示出作为点P0。此外，将点PI、P2、P3以及P4沿车辆移动的方向设定在点PO后。点PO到P4的每个点为特定位置的实例。特定事件中的目标车辆移动量线为示出以0. 2G进行减速的减速线。因此，减速区域中的目标车辆移动量为车速(km/h)。基本特定点MO处的目标车辆移动量为q0( = 30km/h)。车速q0 ( = 30km/h)为车开始转弯处的位置(点P0)处的优选车速。此外，除了特定点MO之外，还设定了特定点Ml、M2、M3以及M4。特定点M1、M2、M3以及M4的每个点处的目标车辆移动量与特定点MO处的目标车辆移动量不同。例如，设定了车速分别为 ql ( = 40km/h)、q2 ( = 50km/h)、q3 ( = 60km/h)、q4 ( = 70km/h)的特定点 Ml、 M2、M3以及M4。接着，基于特定点M0、M1、M2、M3以及M4来分别设定特定位置P0、PI、P2、 P3以及P4。从而，生成特定点信息。特定点信息为关于特定点的信息，由关于特定位置的信息和关于目标车辆移动量的信息来限定每个特定点信息。基于特定点信息，通过将图像特征点数据(即图像拍摄位置与每个特定位置相匹配的参考图像数据)与特定位置和目标车辆移动量相关联，来生成将要存储在参考数据DB 92中的参考图像数据。可如下使用以上述方式创建的参考数据。例如，在与车速60km/h(q;3)相关联的参考数据与实际拍摄图像 (实际上，基于实际拍摄图像的图像特征点数据)相匹配的情况下，当车辆在车速为60km/ h的时间点处行驶时，要求车辆在该时间点处开始减速，当车速高于60km/h时，需要更大的减速，并且当实际车速低于60km/h时，不需要减速。因而，关于涉及特定事件的道路区域的参考数据与适当的目标车辆移动量相关联。因此，能够在参考数据与拍摄图像匹配的时间点处执行涉及目标车辆移动量的各种适当控制。图4示出了另一实例。图4为一示意图，示出在转弯过程中发生转向行为的实例中的特定事件中的目标车辆移动量、特定位置以及参考图像数据之间的关系。涉及特定事件的图示出了回旋曲线区域，其为预定路段的实例。在回旋曲线区域中，需要在特定事件期间随时间改变转向角。沿车辆行驶的方向以一定顺序设定道路上的转向点P5、P4、P3、P2、Pl 以及P0。在这种情况下，目标车辆移动量为转向角。特定点MO (在该点处实现最终转向角)处的目标车辆移动量为转向角q0。除了特定点觀之外，还设定了特定点机』2、10、114以及M5。特定点Ml、M2、M3、M4以及M5的每个点处的目标车辆移动量与特定点MO处的目标车辆移动量不同。例如，设定了转向角分别为q I、q2、q3、q4以及q5的特定点Ml、M2、M3、 M4以及M5。接着，基于特定点觀、111、112、10、114以及M5来分别设定特定位置P0、PI、P2、 P3、P4以及P5。从而生成特定点信息。特定点信息包括限定了每个特定点的关于特定位置的信息和关于目标车辆移动量的信息。基于特定点信息，通过将图像特征点数据(即图像拍摄位置与每个特定位置相匹配的参考图像数据)与特定位置和目标车辆移动量相关联， 来生成将要存储在参考数据DB 92中的参考数据。在使用了以上述方式创建的参考数据的情况下，例如，当与转向角q3相关联的参考数据与实际拍摄图像(实际上，基于实际拍摄图像的图像特征点数据)相匹配，并且当该时间点处的车辆的转向角从转向角q3偏离时，可提供转向角应被调节的通知，或可调节转向角。将通过使用设置在车辆中的摄像头拍摄风景的图像所获得的拍摄图像、包括拍摄时的图像拍摄位置和图像拍摄方向的图像拍摄属性信息、以及图像拍摄情况信息输入到数据输入单元51。车辆可为以创建参考数据为目的来行驶的车辆。在图像处理系统设置在车辆中的实例中，将拍摄图像、图像拍摄属性信息以及图像拍摄情况信息实时输入到数据输入单元51。然而，在图像处理系统安装在数据处理中心中等的实例中，将拍摄图像、图像拍摄属性信息以及图像拍摄情况信息暂时存储在存储介质中，并且将这些数据以批处理方式输入到数据输入单元51中。由于生成拍摄图像和图像拍摄属性信息的方法是已知的，从而省略了对其描述。图像拍摄情况信息为表示特定目标包括在拍摄图像中的可能性的信息。特定目标的实例包括限定了车辆行驶的车道(traveling lane)的对象(如路肩处的导轨和凹槽)、 移动对象(如附近的行驶车辆、迎面而来的车辆、自行车、行人)、以及风景对象(为山区、郊区、市区、高层建筑区域等，如山和建筑的特征)。在实施例中，图像拍摄情况信息的内容包括车道数据队、移动对象数据^以及区域属性数据Da。车道数据队为示出拍摄图像中的车道的区域及道路外的区域的数据。基于白线、导轨以及安全地带(safetyzone)的识别结果来获得车道数据队。通过对拍摄图像执行的图像处理来识别白线、导轨以及安全地带。移动对象数据^为示出在拍摄图像中存在车辆附近的移动对象的区域的数据。通过检测障碍物的车载传感器(如雷达)来识别车辆附近的移动对象。区域属性数据Da*示出通过进行图像拍摄获得拍摄图像的图像拍摄区域的类型(即图像拍摄区域的区域属性)的数据。区域属性的实例包括山区、郊区、市区以及高层建筑区域。基于当通过进行图像拍摄获得拍摄图像时的车辆位置和地图数据来识别类型(即图像拍摄区域的区域属性)。参考图像数据生成单元50包括特征点提取单元52、特征点重要度确定单元53、权重单元55、调节系数设定单元M以及图像特征点数据生成单元56。特征点提取单元52使用适当算子从拍摄图像提取边缘点作为图像特征点。特征点重要度确定单元53基于包括在图像拍摄情况信息中的每个数据的内容，来确定由特征点提取单元52所提取的图像特征点的重要度。例如，当使用车道数据的内容时，相比于被分配给拍摄图像中的车道内的区域中的图像特征点的重要度，将高重要度分配给拍摄图像中的车道外部的路肩侧区域中的图像特征点。当使用移动对象数据^时，相比于被分配给在拍摄图像中不存在移动对象的区域中的图像特征点的重要度，将低重要度分配给在拍摄图像中存在移动对象的区域中的图像特征点。此外，当使用区域属性数据Da的内容时，根据上述区域属性来改变用于根据拍摄图像中的图像特征点的位置将重要度分配给图像特征点的规则。例如，在山区的拍摄图像中，由于很有可能在用于图像拍摄的中央光轴(central optical axis)上方具有天空，在用于拍摄的中央光轴的左右侧具有树木，从而相比于被分配给除了中央区域之外的区域中的图像特征点的重要度，将高重要度分配给用于图像拍摄的中央光轴周围的中央区域中的图像特征点。在郊区的拍摄图像中，由于没有很多交通量，并且具有结构对象(如周围的房子)，从而相比于被分配给用于图像拍摄的中央光轴上方的区域中的图像特征点的重要度，将高重要度分配给用于图像拍摄的中央光轴下方的区域中的图像特征点。在市区的拍摄图像中，由于有很多交通量，从而相比于用于图像拍摄的中央光轴下方的区域，将高重要度分配给用于图像拍摄的中央光轴上方的区域中的图像特征点。在高层建筑区域的拍摄图像中，由于有很多高架道路和高架桥，从而相比于用于图像拍摄的中央光轴下方的区域，将高重要度分配给用于图像拍摄的中央光轴上方的区域中的图像特征点。权重单元55根据由特征点重要度确定单元53所分配的重要度，将权重系数分配给图像特征点。由于将高重要度分配给了被认为对于执行准确图像识别(准确图案匹配) 是重要的图像特征点，从而将高权重系数分配给已经被分配了高重要度的图像特征点。另一方面，考虑到很有可能已经被分配了低重要度的图像特征点不用于实际图像识别，或从参考数据中删除，从而将低权重系数分配给已经被分配了低重要度的图像特征点，因此低权重系数用于确定是否选择或删除图像特征点。鉴于拍摄图像中的权重系数的分配状态，调节系数设定单元M计算用于改变由权重单元55所分配的权重系数的调节系数。已经基于图像拍摄情况信息被分配给由特征点提取单元52所提取的图像特征点的重要度包括某些误差。结果是，认为已经被分配了高重要度的图像特征点为随机分布是很有可能的。因此，当已经被分配了高重要度的图像特征点不是均勻地分布时，换言之，当已经由权重单元阳分配了高权重系数的图像特征点不是均勻地分布时，调节系数设定单元讨用于使得分配不那么不均勻。当通过计算处理所获得的图像特征点的散布(dispersion)表示已经被分配了高重要度的图像特征点不是均勻地分布时，将调节系数设定为增加已经被分配了高权重系数的图像特征点的密度较低的区域中的图像特征点的权重系数，以及将调节系数设定为降低已经被分配了高权重系数的图像特征点的密度较高的区域中的图像特征点的权重系数。图像特征点数据生成单元56通过基于由权重单元55所分配的权重系数(或在某些情况下基于权重系数和分配的调节系数)执行对图像特征点的处理，生成用于每个拍摄图像的图像特征点数据。当生成图像特征点数据时，通过删除权重系数等于或低于阈值的图像特征点，图像特征点的数量可减少以有效地执行匹配处理。而且，图像特征点数据可具有权重系数，从而该权重系数还与参考数据中的图像特征点相关联，并且当执行图案匹配处理时该权重系数用于计算权重相似性。将参考图5A-图5F所示的示意性说明图，描述使用上述调节系数来尽可能广地在拍摄图像的整个区域上分配图像特征点数据中的图像特征点的处理。通过从拍摄图像(图 5A)提取图像特征点，生成特征点图像(图5B)。将重要度分配给特征点图像中的每个图像特征点。图5C以相应于特征点图像的重要度层(layer)的形式，示出了相应于图像特征点的重要度，以便能够示意性地理解如何分配重要度。使用重要度层将权重系数分配给每个图像特征点。图5D以图像特征点的形式示出了已经被分配了权重系数的图像特征点，其中所述图像特征点的尺寸随着图像特征点的权重系数的增加而增加。如果对图像特征点执行处理，例如，用于删除已经被分配了等于或低于阈值的权重系数的图像特征点，即例如，如果删除了除了图5D中的大尺寸图像特征点之外的图像特征点，则去除位于特征点图像中的较低区域中的图像特征点。结果是，留下的图像特征点(即，图像特征点数据中的图像特征点)分布可能非常不均勻。为了避免图像特征点的不均勻分布，则计算特征点图像中的图像特征点的分布度，并且将调节系数设定为将留下的图像特征点的密度较低的区域中的图像特征点的权重系数增加，作为执行对图像特征点的处理的结果。为了能够示意性地理解以上述方式设定的调节系数，图5E以相应于特征点图像的调节系数层的形式示出了调节系数的组。在调节系数层中，以矩阵形式布置调节系数(即将调节系数分配给由多个像素区域组成的每个段)。图像特征点数据生成单元56使用权重系数以及基于调节系数而最终设定的权重系数来对图像特征点执行处理，从而对每个拍摄图像生成图5F所示的图像特征点数据。上文已经描述了确定每个图像特征点的重要度的实例，结果是，设定每个图像特征点的权重系数。然而，可对每个图像特征点组执行处理。在这种情况下，例如，可将拍摄图像的区域分为多个图像段，并且特征点重要度确定单元53可将图像特征点分成图像特征点组，从而每个图像特征点组包括同一图像段内的图像特征点，并可对每个图像特征点组执行处理。在这种情况下，特征点重要度确定单元53可将相同的重要度分配给包括在相同图像特征点组中的图像特征点。类似地，权重单元55可设定每个图像特征点组的权重系数。在这种情况下，可以一种方式设定图像段，使得每个图像段由包括在拍摄图像中的一个像素组成，或每个图像段由多个像素组成。接着，将描述车载汽车导航系统，该系统通过使用由上述图像处理系统所创建的参考数据DB 92执行风景图像识别(图像特征点图案匹配)来校正车辆位置，并输出涉及车辆控制的信息。图6示出车辆导航系统安装在车载LAN中的实例中的功能块。车辆导航系统包括输入操作模块21、导航控制模块3、车辆位置检测模块4、图像拍摄情况信息生成单元7、以及包括上述参考数据DB 92和其中存储有用于车辆导航的道路地图数据的道路地图数据库(在下文中，简称为“道路地图DB”)91的数据库9。 导航控制模块3包括路线设定单元31、路线搜索单元32、以及路线导航单元33。例如，路线设定单元31设定出发点(如当前车辆位置)、已经输入的目的地、通过点、以及行驶条件(例如，根据是否使用高速道路的条件)。路线搜索单元32为执行用于基于由路线设定单元31所设定的条件来搜索从出发点到目的地的导向路线的计算处理的处理单元。路线导向单元33为执行用于根据从出发点到目的地的路线向司机提供适当路线向导的计算处理的处理单元，其中所述适当路线向导由路线搜索单元32取回作为搜索结果。路线向导单元33使用监视器12的屏幕上所显示的向导、从扬声器13输出的语音向导等提供路线向导。 车辆位置检测模块4具有校正通过使用GPS执行传统位置计算和使用航位推测 (dead reckoning)导航执行传统位置计算所获得的估测车辆位置的功能。车辆位置检测模块4使用估测车辆位置基于通过风景图像识别所确定的车辆位置来校正估测车辆位置。 车辆位置检测模块4包括GPS处理单元41、航位推测导航处理单元42、车辆位置坐标计算单元43、地图匹配单元44、车辆位置确定单元45、拍摄图像处理单元5、以及风景匹配单元 6。GPS处理单元41连接到从GPS卫星接收GPS信号的GPS测量单元15。GPS处理单元41 分析来自由GPS测量单元15所接收的GPS卫星的信号，计算车辆的当前位置(即纬度和经度)，并将车辆的当前位置发送到车辆位置坐标计算单元43作为GPS位置坐标数据。航位推测导航处理单元42连接到距离传感器16和方向传感器17。距离传感器16为检测车辆的速度和移动距离的传感器。例如，距离传感器16包括每次车辆的驱动轴、车轮等以一定量旋转时输出脉冲信号的车速脉冲传感器、检测车辆加速度的偏航率(yaw rate)/加速度传感器、以及积分(integrate)加速度的检测值的电路。距离传感器16将关于车速的信息和关于车辆移动距离的信息(其为检测的结果)输出到航位推测导航处理单元42。例如， 方向传感器17包括陀螺仪传感器、地磁传感器、光学旋转传感器、附着到转向轮的旋转单元的旋转可变电阻器、以及附着到车轮单元的角度传感器。方向传感器17将关于方向的信息(其为检测的结果)输出到航位推测导航处理单元42。航位推测导航处理单元42基于被不断地发送到航位推测导航处理单元42的移动距离信息和方向信息来计算航位推测导航位置坐标，并将计算出的航位推测导航位置坐标发送到车辆位置坐标计算单元43作为航位推测导航位置坐标数据。车辆位置坐标计算单元43执行计算处理，以使用已知方法基于GPS位置坐标数据和航位推测导航位置坐标数据来确定车辆位置的坐标。计算出的车辆位置信息包括测量误差等。因此，在某些情况下，计算出的车辆位置可能偏离道路。因而， 地图匹配单元44调节车辆位置信息，使得车辆位于道路地图中所示的道路上。车辆位置的坐标被发送到车辆位置确定单元45，作为估测车辆位置。拍摄图像处理单元5实质上包括构成图2中所示出的图像处理系统的参考图像数据生成单元50的大多数功能单元。拍摄地图像处理单元5包括数据输入单元51、特征点提取单元52、特征点重要度确定单元53、权重单元55、调节系数设定单元M以及图像特征点数据生成单元56。当车辆前方的风景的拍摄图像(其为由车载摄像机14所拍摄的图像) 输入到数据输入单元51时，通过上述步骤从图像特征点数据生成单元56输出图像特征点数据。通过设置在车辆中的图像拍摄情况信息生成单元7，生成特征点重要度确定单元53 所使用的图像拍摄情况信息，并发送到拍摄图像处理单元5。图像拍摄情况信息生成单元7 连接到车载摄像机14以生成上述车道数据队，图像拍摄情况信息生成单元7接收拍摄图像 (与发送到拍摄图像处理单元5的拍摄图像相同)。通过使用已知算法执行对接收的拍摄图像的图像处理，创建车道数据队。图像拍摄情况信息生成单元7连接到用于检测障碍物的传感器组18，以创建上述移动对象数据队。图像拍摄情况信息生成单元7基于从传感器组18发送的传感器信息创建移动对象数据队。此外，图像拍摄情况信息生成单元7连接到车辆位置确定单元45和数据库9，以创建上述区域属性数据Da。图像拍摄情况信息生成单元7通过将从车辆位置确定单元45所发送的车辆位置的坐标用作搜索条件来搜索数据库 9，来获得车辆当前行驶的区域的区域属性。区域属性的实例包括山区和郊区。图像拍摄情况信息生成单元7基于获得的区域属性来创建区域属性数据Da。风景匹配单元6通过将基于从车辆位置确定单元45所发送的估测车辆位置从参考数据DB 92所提取的参考数据用作匹配图案，对用于匹配的数据(即从拍摄图像处理单元5所发送的图像特征点数据)执行图案匹配处理。当参考数据与用于匹配的数据匹配时， 取回与匹配参考数据相关联的图像拍摄位置。将取回的图像拍摄位置发送到车辆位置确定单元45作为车辆位置。车辆位置确定单元45校正车辆位置，即用发送的车辆位置来取代估测车辆位置。图7为功能框图，用于使用通过使用误差范围所提取的参考数据以及从拍摄图像所生成的用于匹配的数据，来说明包括在执行风景图像识别的风景匹配单元6中的功能单元。风景匹配单元6包括事件估测单元61、误差范围计算单元62、参考数据输出单元63、 匹配执行单元64、匹配图像拍摄位置取得(taking-out)单元65、匹配车辆移动量取得单元 66、以及目标车辆移动量输出单元67。事件估测单元61基于估测车辆位置来估测是否会发生上述特定事件。事件估测单元61 —表格，其中包括道路地图上的位置被关联到特定事件。当发生特定事件时，与用于匹配的数据相匹配的参考数据与目标车辆移动量相关联的可能性很高。因此，当事件估测单元61估测到可能发生特定事件时，事件估测单元61提供指示，以检测与用于匹配的数据相匹配的参考数据是否与目标车辆移动量相关联。参考数据输出单元63基于估测车辆位置从参考数据DB 92提取与特定位置相关联的一组参考数据。在实施例中，考虑到估测车辆位置中的误差，误差范围计算单元62基于估测车辆位置来计算误差范围。参考数据输出单元63确定存在于估测车辆位置的误差范围中的特定位置，并从参考数据DB92提取与存在于估测车辆位置的误差范围中的特定位置相应的一组参考数据。当事件估测单元61估测车辆可在预定路段(如弯路)行驶(即当可能发生特定事件时)时，就提取与特定位置相关联的一组参考数据。然而，事件估测单元61可具有与误差范围计算单元62所计算的误差范围相分离地创建用于提取参考数据的搜索条件的功能。例如，仅当估测到车辆可在预定路段行驶时，才从参考数据DB 92提取特定位置在估测误差范围内的一组参考数据。参考数据输出单元63将使用搜索条件从参考数据DB 92取得的参考数据发送到匹配执行单元64。当顺序地将提取的参考数据集中的每个参考数据设定为图案时，匹配执行单元64对用于匹配的数据执行图案匹配。当参考数据与用于匹配的数据相匹配时，匹配图像拍摄位置取得单元65取回与用于匹配的数据相匹配的参考数据相关联的图像拍摄位置(特定位置)，并将取回的图像拍摄位置发送到车辆位置确定单元45作为高度准确车辆位置。匹配车辆移动量取得单元(取回单元)66取回与用于匹配的数据相匹配的参考数据相关联的目标车辆移动量。目标车辆移动量输出单元 67将已经被匹配车辆移动量取得单元66所取回并发送到目标车辆移动量输出单元67的关于目标车辆移动量的数据的形式转换为内部可处理的格式，并将目标车辆移动量输出到通过车载LAN连接到目标车辆移动量输出单元67的车辆控制模块M。汽车导航系统还包括如外围设备、输入操作模块21、显示模块22、以及语音生成模块23。输入操作模块21包括输入设备11 (包括触摸板和开关)和操作输入估测单元 21a，其中所述操作输入估测单元21a通过输入设备11将操作输入转换成适当的操作信号并将操作信号发送到汽车导航系统。显示模块22使监视器12显示汽车导航所需要的图像信息。语音生成模块23使扬声器13和蜂鸣器输出汽车导航所需要的语音信息。从汽车导航系统的目标车辆移动量输出单元67所输出的目标车辆移动量表示车辆的当前位置处的适当目标车辆移动量，例如适当车速、适当转向角等。为了使用有用的目标车辆移动量，车辆控制模块M (通过车载LAN与车辆导航系统连接以从车辆导航系统和向车辆导航系统发送和接收数据)包括基于所接收的目标车辆移动量来调节车辆的移动量的车辆移动量调节单元Ma。在本发明的一个优选实施例中，目标车辆移动量可为特定位置处的车速，其为通过预定路段而设定。由于具有这种配置，当参考数据与通过拍摄从车辆所看到的图像所获得的拍摄图像相匹配时，将车速(车辆的重要移动特征)识别为特定位置处的目标值或优选值。例如，当预定路段为弯路时，在弯路的起始点之前需要将车辆减速。当车速为目标车辆移动量时，通过将基于特定位置处的拍摄图像的参考图像数据与特定位置和车速相关联，生成参考数据。因此，当在参考数据和当车辆实际行驶时所获得的拍摄图像之间顺序地重复匹配，并且参考数据与拍摄图像相匹配时，就能够基于与参考数据(其与拍摄图像相匹配)相关联的特定位置和车速来识别特定位置处的适当车速。在本发明的一个优选实施例中，预定路段可包括弯路，并且目标车辆移动量可为特定位置处的转向角，其为通过预定路段所设定。由于具有这种配置，当参考数据与通过拍摄从车辆所看到的图像所获得的拍摄图像相匹配时，将转向角(车辆的重要移动特征)识别为特定位置处的目标值或优选值。例如，当预定路段为弯路时，经常需要根据从弯路的起始点开始的一定距离的回旋曲线来调节转向角。当转向角为目标车辆移动量时，通过将基于特定位置处的拍摄图像的参考图像数据与特定位置和转向角相关联，生成参考数据。因此，当在参考数据和当车辆实际行驶时所获得的拍摄图像之间顺序地重复匹配，并且参考数据与拍摄图像相匹配时，就能够基于与参考数据(其与拍摄图像相匹配)相关联的特定位置和转向角来识别特定位置处的适当转向角。在本发明的一个优选实施例中，图像处理系统可进一步包括特征点提取单元，从拍摄图像提取图像特征点；以及图像特征点数据生成单元，使用图像特征点生成拍摄图像的图像特征点数据；并且参考图像数据可为图像特征点数据。由于具有这种配置，参考图像数据为包括图像特征点的图像特征点数据。因此，容易并有效地执行匹配处理。此外，与拍摄图像的数据量相比，大幅度减少了参考图像数据的数据量。优选地，图像特征点应为图像中可被稳定地检测到的点。因此，通常使用利用了边缘检测滤波器等进行检测的边缘点。 考虑到特征点在风景图像中，因此，构成示出建筑轮廓的线性边缘、建筑的窗户的轮廓以及各种布告板的轮廓的边缘点(即直线组件(component)边缘点)为用于发明的实施例的适当图像特征点。而且，通过使用角点(即，交叉边缘点，为直线组件边缘点中建筑、桥梁、布告板等中的最重要的特征点)，在保持图像识别的可靠性的同时，能够降低图像识别中的计算负载。交叉边缘点为两个直线组件的交叉点。使用如哈里斯算子(Harris operator)相对容易检测角点。在上述实施例中，在通过边缘检测处理作为图像特征点获得的边缘点中，尤其是构成一个线段的线段边缘点(直线组件边缘点)和角边缘点(交叉边缘点)，被视为有用的图像特征点。角边缘点(交叉边缘点)与线段彼此交叉处的交叉点(优选地，线段实质上正交)相应。然而，在本发明中使用的图像特征点不限于这种边缘点。对于风景有用的图像特征点即可使用。例如，可使用形成几何形状(如圆形或矩形)的典型边缘点(当几何形状为圆形时，典型边缘点可为圆的圆周上的三个点)，或可使用表示图像中几何形状的几何中心的几何形状的重心或点。此外，优选采用边缘亮度(intensity)作为用于计算重要度的因素。例如，当线段由具有高亮度的边缘组成时，与被分配给除了起始点和终点之外的边缘点的重要度相比，线段的起始点和终点可被视为分配有高重要度的图像特征点。此外，与被分配给除了终点之外的边缘点的重要度相比，特征几何形状中的特定点(如对称对象中的端点)可被视为分配有高重要度的图像特征点。此外，除了通过边缘检测处理所获得的边缘点之外，可采用拍摄图像中的色调和/ 或色度大幅度变化的点作为图像特征点。类似地，作为基于色彩信息的图像特征点，可将具有高色温的对象的端点视为具有高重要度的图像特征点。即，任何图像特征点，只要对于涉及参考数据和基于实际拍摄图像所生成的图像特征点数据之间的相似度的确定(例如图案匹配)是有用的，便可用于本发明的实施例。在上述实施例中，存储在参考数据DB 92中的参考数据与图像拍摄位置和图像拍摄方向(摄像头的光轴的方向)相关联。除了图像拍摄位置和图像拍摄方向之外，参考数据还可与上述图像拍摄情况信息、进行图像拍摄的日期、拍摄图像时的天气等相关联。需要通过至少二维数据(例如包括纬度和经度的数据)来表示图像拍摄位置。可通过三维数据(包括纬度、经度以及海拔)来表示图像拍摄位置。图像拍摄方向不一定需要与参考数据相关联。例如，在保证当创建参考数据时沿车辆行驶的道路的方向(其实质上与当使用参考数据执行风景图像识别时拍摄图像的方向相同)来拍摄图像的情况下，图像拍摄方向不就需要与参考数据相关联。在图像拍摄方向与参考数据相关联，并且可通过从一个基本图像拍摄方向适当改变图像拍摄方向来准备多个参考图像的情况下，车辆行驶的方向可基于从方向传感器等所发送的信息来计算，其图像拍摄方向与车辆行驶的方向一致(coincide)，可用于风景图像识别。因而，当图像拍摄属性信息如上所述包括图像拍摄方向时，能够通过指定图像拍摄方向来减少用于匹配的参考数据的量。用于本发明实施例的最适当的车载摄像头为沿车辆行驶方向拍摄车辆前方的风景图像的摄像头。然而，车载摄像头可为拍摄位于车辆斜前方位置处的风景图像的摄像头， 或拍摄车辆一侧的风景图像(或车辆后方的风景图像)的摄像头。即，本发明中所使用的拍摄图像不限于沿车辆行驶方向的车辆前方的风景图像。在用于描述上述实施例的功能框图中，各功能单元彼此分离，从而描述较为易懂。 然而，本发明不限于功能框图中所示出的各功能模块彼此分离的情况。至少两个功能单元可彼此自由地组合，和/或一个功能单元可进一步分割。根据本发明的技术可不仅应用于汽车导航，还可应用于通过风景图像识别测量当前位置和当前方向的技术领域，并可应用于其中基于车辆位置来控制车辆的技术领域。
权利要求
1.一种图像处理系统，包括数据输入单元，拍摄图像与图像拍摄位置被输入到所述数据输入单元，其中通过拍摄在预定路段中从车辆所看到的风景的图像来获得所述拍摄图像，在所述图像拍摄位置处拍摄所述图像以获得所述拍摄图像；目标移动量设定单元，将所述预定路段中的给定位置用作特定位置，并设定用以通过所述预定路段、所述特定位置处的目标车辆移动量；参考图像数据生成单元，从在所述特定位置处获得的所述拍摄图像生成参考图像数据；以及参考数据数据库创建单元，通过将所述参考图像数据与所述特定位置及所述特定位置处的所述目标车辆移动量相关联，来生成当执行风景图像识别时所使用的参考数据，并生成作为所述参考数据的数据库的参考数据数据库。
2.根据权利要求1所述的图像处理系统，其中所述目标车辆移动量为所述特定位置处的车辆速度，所述特定位置处的车辆速度被设定为用于通过所述预定路段。
3.根据权利要求1所述的图像处理系统，其中所述预定路段包括弯路；以及所述目标车辆移动量为所述特定位置处的转向角，所述特定位置处的转向角被设定为用于通过所述预定路段。
4.根据权利要求1所述的图像处理系统，还包括特征点提取单元，从所述拍摄图像提取图像特征点；以及图像特征点数据生成单元，使用所述图像特征点来生成所述拍摄图像的图像特征点数据，其中所述参考图像数据为所述图像特征点数据。
5.一种车辆控制系统，包括由根据权利要求1所述的图像处理系统所创建的所述参考数据数据库； 拍摄图像处理单元，拍摄图像被输入到所述拍摄图像处理单元，所述拍摄图像处理单元基于所述拍摄图像输出用于匹配的数据，其中通过拍摄从车辆中设置的摄像头所看到的风景的图像来获得所述拍摄图像；车辆位置估测单元，估测所述车辆的位置；参考数据提取单元，基于所述车辆的所述估测位置从所述参考数据数据库提取参考数据；匹配执行单元，执行所提取的参考数据与所述用于匹配的数据之间的匹配； 目标车辆移动量取回单元，取回与所述用于匹配的数据相匹配的参考数据相关的目标车辆移动量；以及车辆移动量调节单元，基于所取回的目标车辆移动量来调节所述车辆的移动量。
全文摘要
一种图像处理系统包括数据输入单元，拍摄图像与图像拍摄位置被输入到所述数据输入单元，其中通过拍摄在预定路段中从车辆所看到的风景的图像来获得所述拍摄图像，在所述图像拍摄位置处拍摄所述图像以获得所述拍摄图像；目标移动量设定单元，将所述预定路段中的给定位置用作特定位置，并设定用以通过所述预定路段、所述特定位置处的目标车辆移动量；参考图像数据生成单元，从在所述特定位置处获得的所述拍摄图像生成参考图像数据；以及参考数据数据库创建单元，通过将所述参考图像数据与所述特定位置及所述特定位置处的所述目标车辆移动量相关联，来生成当执行风景图像识别时所使用的参考数据，并生成作为所述参考数据的数据库的参考数据数据库。
文档编号G01C21/26GK102208011SQ201110056909
公开日2011年10月5日 申请日期2011年3月7日 优先权日2010年3月31日
发明者宫岛孝幸 申请人:爱信艾达株式会社