专利名称：立体摄影装置、校正方法和程序的制作方法
技术领域：
本发明涉及一种利用图像测量到物体的距离的测量技术，更尤其涉及一种立体摄影机、校正方法和有效地收集参数的程序。
背景技术：
已知一种所谓的立体摄影装置，通过设置多个诸如用于形成物体的图像的照相机的成像装置测量形成的图像和物体之间的距离。平行立体摄影机包括固定于不同的位置的两个照相机。平行立体摄影装置包括彼此分离了称为基线长度的预定距离的两个 固定的照相机。那两个照相机以照相机的光轴彼此平行的方式被固定。立体摄影装置被设置成通过利用光学系统中的特定参数将由第一照相机获得的物体图像和由第二照相机获得的物体图像之间的视差转换成距离来确定到物体的距离。图7图解传统的立体摄影装置的光学系统。如图7所示，立体摄影装置700包括两个照相机Ik和I。那两个照相机Ik和1被设置成彼此分离预定基线长度B。那些照相机Ik和^包括各自的图像传感器(成像装置)和成像透镜(成像光学系统)。图像传感器(成像装置)由CXD (电荷耦合器件)或CMOS (互补金属氧化物半导体)传感器等等制成。成像透镜(成像光学系统)被设置成用于在图像传感器的成像面上的成像域中形成物体的图像。参照图7描述利用两个并行设置的照相机测量距离的方法。在图7的立体摄影装置700中，假定具有焦距f、光学中心0,和成像面Sk的照相机Ik以照相机Ik的光轴在与图7的纸张的竖直方向平行的方向上延伸的方式被设置，并且具有焦距f、光学中心和成像面&的照相机k以照相机k平行于照相机Ik并且与照相机Ik分离距离B的方式被设置。通过具有这个构造，在光轴方向上距离照相机Ik的光学中心Ok为距离d的物体X的图像被形成在照相机Ik的成像面Sk上的位置Ρκ，位置Pk是穿过X和光学中心Ok的直线(以下称为直线X-Ok)之间的交点。另一方面，在照相机L中，物体X的图像被形成在照相机L的成像面上的位置Plo进一步说，穿过照相机k的光学中心并且平行于直线X-Ok的直线如图7的虚线表示。进一步地说，虚线和成像面&的交点被表示为位置P/，并且位置匕和位置P/之间的距离被表示为距离P。在这种情况下，照相机k中的位置P/对应于照相机Ik中的位置Ρκ，并且距离P表示相同物体X在两个照相机的成像面上的位置偏移量。当距离P被称为视差时，因为三角形X-0K-(\%三角形A-P/-匕相似，所以假如已知基线长度B和焦距f，那么从光学中心到物体X的距离d基于距离P通过利用公式d=BXf/p获得。在很多情况下，立体摄影装置被安装在诸如车辆的移动体中并且被用于测量距离。由于这个用法，立体摄影装置受到持续振荡和温度改变。如参照图7所描述的，为了正确地测量(计算)距离，假定在平行立体摄影装置中的两个照相机的光轴彼此平行。因此，当光轴的平行度失准(即，一个照相机的光轴相对于另一个照相机的光轴旋转，所以两个光轴彼此不平行)时，成像传感器在相对于光学中心的横向上的位置偏差可能会使将在视差方向上形成物体的图像的位置移位(偏移)。这种光学系统的偏差可能引起距离测量的严重误差。这个误差被称为“视差补偿(offset)”。如参照图7所描述的，视差补偿直接地影响视差并且降低距离测量的精度。为了防止距离测量的精度的降低，必须精确地调整制造过程的参数。然而，由于车辆移动期间的振动和车体变形方面的时间有关的变化、温度变化等等，可能发生偏差。为了克服该偏差，即为了维持立体摄影装置中的两个照相机的位置关系的精确度，有一种方法，在立体摄影装置的出货(销售)之后，通过利用离装置具有已知距离的图像的测试图调整(校正)装置。然而，在利用该测试图的调整(校正)期间，立体摄影装置可能不能使用。即，当使用这个方法时，可能大大降低立体摄影装置的可用性。为了克服该方法的不便，已提出几个方法，通过利用移动的同时景物中的物体而不利用测试图进行调整(校正)，该物体具有已知的特征(例如，具有已知距离的白色车道、交通信号和电线杆(utility pole)。例如，日本专利申请公开公报No. 10-341458 (专利文献I)公开一种技术，在该技术中，为了检测立体摄影装置在安装方向上的偏差，静态物体的形状被首先记住并且通过比较所记住的数据识别静态物体。然后，基于速度传感器等等测 (专利文献2)公开一种车载立体摄影装置，该立体摄影装置基于设置在多个位置的相同的静态物体的图像和多个位置之间的距离执行校正处理。进一步地说，日本专利申请公开公报No. 2009-176090 (专利文献3)描述一种环境识别装置，该环境识别装置基于所成像的图像检测物体和确定周围环境。进一步地说，日本专利申请公开公报No. 2009-288233 (专利文献4)描述校正通过照相机成像的图像的倾斜的方法。
发明内容
本发明所要解决的问题然而，在如上所述的技术中，仅仅可以识别诸如在高速公路上具有已知距离的白色车道、交通信号、电线杆等等的有限的物体。因此，当能够执行视差补偿时的地方和时间可能受到限制。进一步地说，景物在移动期间连续地变化，并且由于透镜畸变，视觉也取决于图像中的物体的位置而变化。因此，可能难以精确识别静态物体。进一步地说，该方法仅能用于具有已经被记住的轮廓的静态物体。本发明考虑到如上所述的相关技术的技术的上述不便，并且可以提供一种立体摄影装置、校正方法和程序，通过充分利用立体摄影装置的功能精确地校正视差补偿，而不管物体的形状、时间、地方并且不管物体是否移动。解决間题的方式根据本发明的实施例，一种立体摄影装置包括两个照相机和计算部件。两个照相机以两个照相机被彼此分离(预定)基线长度的方式被安装。计算部件包括图像处理部件、补偿值计算部件、统计处理部件和距离计算部件。图像处理部件搜索通过两个照相机获取的图像之间的对应点，计算视差并且将各个对应点的计算的视差输出到补偿值计算部件。补偿值计算部件计算各个对应点(1-N)的视差补偿值。视差补偿值是校正对应点的各个视差的补偿值。通过利用在不同的时间tQ和h的视差和立体摄影装置所安装的车辆等等的移动距离，而不需利用到物体的距离Z，计算视差补偿值。
计算的视差补偿值输出到统计处理部件。补偿值计算部件的计算结果被转变为视差补偿值的出现频率。对出现频率执行统计分析，以便确定将被用作校正参数的视差补偿值的最佳值。距离计算部件基于基线长度、照相机的焦距和通过统计处理部件确定的校正参数计算到要在视差图像中测量的物体的距离。进一步地说，根据本发明的实施例的立体摄影装置可以包括校正部件，校正部件基于视差补偿值的最佳值修正(校正)校正参数。校正参数被用于测量距离。在本实施例中的校正部件可以是马达站(motor stage)或NVRAM (非易失随机存取存储器)。进一步地说，根据本发明的实施例，提供一种校正方法和程序，该校正方法和程序使得计算部件获取校正参数q以便被用于随后的距离计算。
图I是图解根据本发明的实施例的立体摄影装置100的构造的示意图；图2是根据本发明的实施例的立体摄影装置100的详细功能方块图200 ；图3是图解根据本发明的实施例的对于对应点1 的视差Pktl的关系的图；图4是图解从时间h在已经度过适当的时间间隔之后获得的左右图像的图；图5是图解根据本发明的实施例的校正方法的详细流程图；图6是图解在从视差补偿值qk的最小值到最大值的范围内通过本实施例中的校正方法产生的频率矩阵的图表，该图表具有表示视差补偿值的横轴和表示频率A的纵轴；和图7是图解用于利用立体摄影装置的距离测量的光学关系的图。附图标记的描述100 :立体摄影装置102 :照相机102a :透镜102b:光电变换元件104:照相机106 :位置108 :物体110:光轴120 :计算部件200 :功能块202:图像处理部件204 :速度传感器206 :补偿值计算部件208 :距离计算部件210:接口230 :外部装置234 :非易失随机存取存储器NVRAM
240 :统计处理部件
具体实施例方式在下文中，参照附图描述本发明的实施例。然而，本发明不局限于实施例。图I示意地图解根据本发明的实施例的立体摄影装置100的构造。如图I所示，立体摄影装置100包括两个照相机102和104和计算部件120。照相机102和104输出数字数据。即，照相机102和104输出各自捕获(获得)图像到计算部件120。计算部件120基于从左右照相机(即照相机102和104)输出的图像执行距离计算，并且获得(计算)从照相机102和104的光学中心到物体108的距离Z (见图I)。计算部件120输出计算的距离Z到连接到计算部件120的外部装置230 (见图2)，以便输出装置230可以使用距离Z的值。包括计算部件120的立体摄影装置100通过在立体摄影装置100和用户界面与外部装置230之间执行I/O控制的控制器(未显示)执行距离计算、补偿值测量和参数校正。照相机102和104包括透镜102a和104a和光电变换元件102b和104b，以分别获得(获取)右(R)和左(L)图像。以照相机102和104在透镜102a和104a的中心之间彼此分离基线距离B并且照相机102的光轴110平行于照相机104的光轴112的方式设置照相机102和104。照相机102和104通过快门(未显示)对分别穿过透镜102a和104a并且形成在变换元件102b和104b上的光学图像执行光电变换，并且存储各自的光电变换图像作为数字数据。存储的(记录的)图像被输出到计算部件120，以便随后在距离计算和校正处理中使用。如上所述，以照相机102和104彼此分离基线距离B并且光轴110平行于光轴112的方式设置照相机102和104。进一步地说，照相机102和104的透镜102a和104a具有相同的焦距f。通过利用物体108在由左右照相机102和104获取的物体108的右(R)和左(L)图像中的视差p，由以下公式(I)给出光学中心和物体108之间(在与光轴110和112 平行的方向上)的距离Z。这里，视差P被称为通过照相机102和104获取的物体108的图像的位置差。Z=B X f/p (I)为了精确地测量距离Z，光轴110精确地平行于光轴112是必要的。然而，取决于在制造和安装期间照相机102和104的设定状态，可能难以维持光轴110和112之间的平行关系。为了克服这种不便，在很多情况下，在距离计算中，实际的立体摄影装置100使用包括校正参数q的下列公式(2)，以利用主要与平行度(平行关系)有关的参数精确地计算距离。Z=BX f / (p-q)(2)公式(2)中的参数q是称为视差补偿的校正参数。在本发明的这个实施例中，校正参数q在如下所述的方法中计算。即，在不同的时间点处的图像上确定对应点k。基于时间差或具有对应点k的立体摄影装置100的车辆的行驶距离，与对应点k有关的视差补偿值qk对整个图像被获得。然后，对视差补偿值qk执行统计处理，并且图像的视差补偿值qk的最佳值被确定为校正参数q。在自从安装立体摄影装置100以来已经度过一定的周期之后，由于因例如安装立体摄影装置100的车辆的振动所引起的照相机102和104之间的相对旋转，而可能导致削弱照相机102和104之间的平行度(平行关系)。图I示意地图解随着时间的过去照相机104相对于照相机102稍微旋转到位置(状态)106的情况。结果，光轴110和112之间的平行度(平行关系)被削弱(降低)。随时间的过去相同变化也同样发生在照相机102中。因此，在传统的立体摄影装置中，采用的方法为具有预定距离的测试图被定期读取以计算视差补偿值；先前的校正参数q被计算的视差补偿值替代；并且替换(更新)的校正参数q被存储在诸如NVRAM (非易失性随机存取存储器)的非易失性存储器中以便用于随后的距离计算。进一步地说，当立体摄影装置包括校正光轴的马达时，替换(更新)的校正参数q可以被用于控制数据以控制马达的驱动。图2是根据本发明的这个实施例的立体摄影装置100的功能方框图200。如图2所示，立体摄影装置100包括照相机102和104和计算部件120。计算部件120指示(使得)照相机102和104捕获图像，并且利用通过照相机102和104获取的图像执行距离测量计算和用于参数校正的计算。
·
计算部件120可以被实现作为单芯片微型计算机、ASIC (专用集成电路)、车载电脑、个人电脑等等。进一步地说，计算部件120执行与外部装置230的相互通信，以将通过计算部件120利用图像计算的距离测量计算的结果输出到外部装置230，以便外部装置230可以利用通过计算部件120计算的距离Z执行各种各样的控制。外部装置230可以不包括在利用CPU (中央处理器)、RAM (随机存取存储器)、R0M (只读存储器)及诸如USB存储器等其他存储器件执行存储器存取的计算部件120中。否则，外部装置230可以被集成到计算部件120中，作为信息处理装置。如图2所示，计算部件120包括图像处理部件202、补偿值计算部件206、距离计算部件208和统计处理部件240。在距离测量计算中，图像处理部件202在通过右(R)和左(L)照相机102和104获取的图像上执行图像分析，并且确定图像共有的对应点。然后，图像处理部件202确定右和左图像中物体的相同像素作为对应点，并且计算视差Pk作为图像关于对应点的位置坐标的差。在这个实施例中，对于图像处理部件202有必要对整个图像计算视差。为了改善在捕获的图像中搜索对应点和计算视差的精确度，可以使用已知的畸变校正处理(方法)。计算的视差pk被输出到补偿值计算部件206并且被进一步输出到距离计算部件208。在开始参数校正处理的时间或在收到外部中断信号以开始参数校正处理时，补偿值计算部件206开始参数校正处理。在除了执行参数校正处理的周期外的周期中，补偿值计算部件206只利用视差pk执行距离测量。通过使获得速度信息的速度传感器204和通过计算部件120获取图像的照相机102和104的时间同步执行参数校正处理。当补偿值计算部件206执行距离测量时，距离计算部件208接收由补偿值计算部件206接收到的视差pk，并且利用在那时是有效的校正参数q且基于公式(I)计算距离Z。计算的距离Z经由包括在计算部件120中的接口 210从计算部件120被输出到外部装置230。通过利用接收的距离Z，外部装置230执行控制其他的车载装置，例如报警装置、控制装置和发动机等的控制。如上所述，计算部件120包括统计处理部件240。图2的统计处理部件240与补偿值计算部件206和速度传感器204 —起组成根据本发明的这个实施例的参数收集单元。速度传感器204检测安装立体摄影装置100的车辆的移动速度。当立体摄影装置100被安装在车辆上时，速度传感器204可以是例如车辆速度传感器或基于纬度/经度坐标的差和时间(时间点)t0和h之间的时间差计算和输出速度的GPS (全球定位系统)装置。进一步地说，在本发明的另一个实施例中，速度传感器204可以被设置作为立体摄影装置100的计算部件120中的嵌入装置。接下来，描述根据本发明的这个实施例的特殊的参数校正处理。在根据本发明的这个实施例的参数校正处理中，首先，计算部件120指示照相机102和104在作为基准时间的时间h捕获(获取)图像并且同时地指示速度传感器204输出速度信息。在已经从时间h度过了预定周期的时间&处，计算部件120进一步指示照相机102和104捕获(获取)图像。结果，立体摄影装置100获取通过两个照相机102和104在 时间(时间点)h和^处捕获的图像。即，立体摄影装置100获取四个图像。然后，图像处 理部件202基于各自的照相机102和104在时间h的两个图像搜索对应点并且计算相应的视差图像。同样地，图像处理部件202基于各自的照相机102和104在时间&的两个图像搜索对应点并且计算相应的视差图像。那些视差图像被输入到补偿值计算部件206。进一步地说，为了计算(获取)视差图像在h和h的对应点，不仅视差图像而且已经被用于获取视差图像的图像被输入到补偿值计算部件206。另一方面，计算部件120设定从速度传感器204输出到补偿值计算部件206的速度信息，并且进一步设定视差值Po和P1,该视差值Po和P1与通过两个照相机102和104捕获的两个图像的各自设定共有的对应点有关。在这里，视差值Po指对应点k在时间h的视差。视差值P1指相同对应点k在时间^的视差。在下文描述中，为了清楚的目的，假定对应点已经被固定到对应点k。基于如上所述获取的视差值Ptl和P1，补偿值计算部件206获得表示在时间h和&时的距离Ztl和Z1以及在时间h和时的视差值Ptl和P1之间的关系的下列公式(3)。Z0=Bf/ {p0-qk}Z1=Bf/{p「qk} (3)当对应点的物体是静止物体时，距离Ztl和Z1和行驶距离D对应于移动的距离。另一方面，当对应点的物体是诸如车辆的移动物体时，距离Ztl和Z1和行驶距离D对应于基于相对速度计算的距离。进一步地说，当对应点的物体是移动物体时，对应于照相机102的相对速度可以不同于对应于照相机104的相对速度。在这种情况下,Z1的值分布在具有Ztl的中心的范围中。通过利用上述公式(3)，给出行驶距离D为D=Ztl-Z115进一步地说，给出行驶距离D为以下公式(4)，其中使用了基线距离B、焦距f、测量变量Pc^Pp1的视差值和对应点k的视差补偿值qk。Z0-Z1=Bf/{p0-qk} ~Bf/{p^qj (4)上述公式(4)可以被变成视差补偿值qk的二次方程。进一步地说，以公式(4)为基础，视差补偿值qk在以下公式(5)中给出作为二次方程的解(qk ^ O)。
Iβ (
权利要求
1.一种检测到物体的距离的立体摄影装置，其特征在于，所述立体摄影装置包括 两个照相机，所述两个照相机被安装并且被彼此分离基线长度；和 计算单元，基于通过所述两个照相机获取的图像，所述计算单元在图像上计算到所述物体的距离； 其中，所述计算单元包括图像处理单元、补偿值计算单元和统计处理单元， 其中，所述图像处理单元被配置成搜索通过所述两个照相机获取的所述图像的对应点并且基于所述图像上的所述对应点的位置坐标中的差计算两个视差， 其中，所述补偿值计算单元被配置成基于通过所述图像处理单元至少在两个时间点计算的两个视差，对整个所述图像计算视差补偿值，并且 其中，所述统计处理单元被配置成对所述视差补偿值的分布执行统计分析并且确定所述视差补偿值的最佳值，所述最佳值被用作校正参数。
2.如权利要求I所述的立体摄影装置，其特征在于， 所述统计处理单元被配置成产生所述视差补偿值的频率分布以确定所述最佳值。
3.如权利要求I或2所述的立体摄影装置，其特征在于，进一步包括 距离计算单元，所述距离计算单元通过利用所述校正参数计算到所述物体的距离。
4.如权利要求I至3中任意一项所述的立体摄影装置，其特征在于，进一步地包括 校正单元，所述校正单元通过利用所述视差补偿值的所述最佳值校正所述校正参数，所述校正参数被用于测量所述距离。
5.如权利要求I至4中任意一项所述的立体摄影装置，其特征在于， 所述校正单元是将数据写到马达站或NVRAM的存储器存取单元。
6.一种通过检测到物体的距离的立体摄影装置执行的校正方法，其特征在于，所述方法包括 通过使被安装并且被彼此分离基线长度的两个照相机同步而在不同的时间点获取图像； 基于在通过所述两个照相机获取的所述图像上的所述对应点的位置坐标中的差计算视差； 基于在两个不同的时间点获取的至少两个图像的视差并且通过利用所述基线长度、所述两个照相机的焦距和视差补偿值计算到相同的对应点的距离，所述相同的对应点在所述两个图像上； 基于到在不同的时间点获取的相同的对应点的距离差和所述两个图像的所述视差，整个所述图像计算所述相同的对应点的所述视差补偿值； 通过对所述视差补偿值的分布执行统计分析确定所述视差补偿值的最佳值；和 通过利用确定的所述最佳值对校正参数进行校正，所述校正参数被用于测量所述距离。
7.如权利要求6所述的校正方法，其特征在于，进一步包括 产生所述视差补偿值的频率分布以确定所述最佳值。
8.一种使得计算机用作权利要求I至5中任意一项所述的功能单元的计算机可读程序。
全文摘要
一种检测到物体的距离的立体摄影装置，包括两个照相机和计算单元，该计算单元基于通过两个照相机获取的图像计算到物体的距离。计算单元包括图像处理单元，图像处理单元搜索通过两个照相机获取的图像的对应点并且基于图像上的对应点的位置坐标中的差计算两个视差；补偿值计算单元，补偿值计算单元基于通过图像处理单元至少在两个时间点计算的两个视差，对图像计算视差补偿值；和统计处理单元，统计处理单元对视差补偿值的分布执行统计分析并且确定视差补偿值的最佳值，最佳值被用作校正参数。
文档编号G06T1/00GK102713509SQ201180004512
公开日2012年10月3日 申请日期2011年9月5日 优先权日2010年9月14日
发明者梅泽优子, 青木伸 申请人:株式会社理光