校准方法和校准设备与流程

本发明涉及校准方法和校准设备。

背景技术：

已经使用能够测量到对象的距离的立体相机。例如，通过使用车辆上所搭载的立体相机(此后称为“车载立体相机”)，通过测量到存在于车辆前方的对象的距离对车辆进行控制的技术已经投入实际使用。通过使用车载立体相机所测量的距离被用于警示驾驶员和控制刹车、方向盘等等，为了实现防止车辆碰撞、控制车辆之间的距离等目的。

通常的车载立体相机被安装在车辆的风挡里面，因为车辆外部所安装的车载立体相机需要更高的耐久性，尤其在防水和防尘方面。车辆内部所安装的立体相机透过风挡拍摄车辆外部的视图。但是，通常的风挡具有复杂弯曲的形状，而且该形状与相机中的例如透镜的光学部件相比是发生形变的。因此风挡导致透过风挡拍摄的图像的变形。

修正立体相机所拍摄的图像的技术是公知的技术。例如，日本专利No.4109077描述了一种设备，基于一个图像数据与另一个图像数据之间坐标上的偏差，该设备通过使用校准参数将从构成立体相机的一对相机输出的一对图像数据中的每一个图像数据进行变换，然后通过图像处理来调整立体相机中的光学畸变和位置偏差。

这样的现有技术能够正确校准一对图像数据上的对象图像之间的视差(相对位置)上的偏差(此后称为“相对位置偏差”)；但是，那些技术不能正确校准由于例如风挡的透明体而引起的图像数据上对象图像的坐标上的偏差(此后称为“绝对位置偏差”)。当由基于对象图像中的视差所计算出的到对象的距离和图像数据上的对象图像的坐标计算出三维坐标时，这种配置存在着导致指示对象位置的三维坐标出现错误的问题。

考虑到上述情况，需要提供一种校准方法和校准设备，它们能够准确校准由于透明体而引起的图像数据中的绝对位置偏差。

技术实现要素：

一种校准方法，该校准方法用于透过透明体拍摄对象的拍摄设备。该校准方法包括：通过不插入透明体拍摄对象来获取第一拍摄图像；通过透过透明体拍摄对象来获取第二拍摄图像；基于所述第一拍摄图像上所述对象的图像的坐标和所述第二拍摄图像上所述对象的图像的坐标，计算绝对位置偏差，所述绝对位置偏差指示由于透明体而引起的所述对象的图像的坐标上的偏差；计算用于校准绝对位置偏差的修正参数；以及将所述修正参数存储于所述拍摄设备中。

一种校准设备，所述校准设备校准透过透明体拍摄对象的拍摄设备。该校准设备包括：接收单元，用于接收第一拍摄图像和第二拍摄图像，所述第一拍摄图像是通过不插入透明体拍摄对象而获得的，而所述第二拍摄图像是通过透过透明体拍摄对象而获得的；基于所述第一拍摄图像上所述对象的图像的坐标和所述第二拍摄图像上所述对象的图像的坐标，所述绝对位置偏差计算单元计算绝对位置偏差，其中的绝对位置偏差指示由于透明体而引起的对象的图像的坐标上的偏差；修正参数计算单元，计算用于校准所述绝对位置偏差的修正参数；以及存储器控制单元，将所述修正参数存储于所述拍摄设备中。

附图说明

图1是表示使用立体相机测量距离的原理的示意图。

图2A是表示对象图像的理想检测位置的示意图。

图2B是表示对象图像的检测位置的偏差的示意图。

图3A是表示对象图像和视差的理想状况的示意图。

图3B是表示由于通过风挡所折射的光而引起的对象图像中绝对位置偏差的示意图。

图3C是表示基于图3B中的参考图像上图像的位置来计算视差的情况的示意图。

图3D是表示校准对比图像以便视差与理想视差D一致的情况的示意图。

图3E是表示未校准对象图像中的绝对位置偏差的状态的示意图。

图4是表示实施第一实施例中的校准方法的环境(无风挡)的示例的示意图。

图5是表示校准图表的图案的示例的示意图。

图6是表示实施第一实施例中校准方法的环境(有风挡)的示例的示意图。

图7是表示第一实施例中信息处理设备的配置的示例的示意图。

图8是表示第一实施例中的校准方法的示例的流程图。

图9是表示第二实施例中的信息处理设备的配置的示例的示意图。

图10是表示第二实施例中校准方法的示例的流程图。

图11是表示第三实施例中视差计算设备的配置的示例的示意图。

图12是表示第三实施例中计算视差的方法的示例的流程图。

图13是表示第四实施例中立体相机的配置的示例的示意图。

图14是表示将第四实施例中的立体相机用作车载立体相机的示例的示意图。

图15是表示信息处理设备和视差计算设备的硬件配置的示例的示意图。

具体实施方式

将参考附图对校准方法和校准设备的实施例进行详细描述。

第一实施例

利用待校准的拍摄设备是车载立体相机的情况的示例，对第一实施例进行描述。车载立体相机所拍摄的图像中的位置偏差包括绝对位置偏差和相对位置偏差。为了绝对位置偏差和相对位置偏差的描述，将首先对视差和使用视差测量距离的原理进行描述。通过使用立体相机所拍摄的图像来计算视差。图1是表示使用立体相机测量距离的原理的示意图。在图1的示例中，将Z轴作为光轴方向布置第一相机1(焦距f、光学中心O0、图像捕捉表面So)，而将Z轴作为光轴方向安置第二相机2(焦距f、光学中心O1、图像捕捉表面S1)。将第一相机1和第二相机2平行于X轴安置，并且它们所处的位置彼此相距距离B(基线长度)。

位于光轴方向距第一相机1的光学中心O0距离为d的位置处的对象A的图像形成于P0，其中P0是直线A-O0与图像捕捉表面S0的交点。利用第二相机2，同一对象A的图像形成于图像捕捉表面S1上的位置P1。从图像捕捉表面S0所获取的拍摄图像此后被称为“对比图像”，而从图像捕捉表面S1所获得的拍摄图像被称为“参考图像”。

将穿过第二相机2的光学中心O1且与直线A-O0平行的直线与图像捕捉表面S1相交的点定义为P0'。将P0'和P1之间的距离定义为D。距离D指示两个相机所拍摄的同一对象的图像之间的位置偏差量(视差)。三角形A–O0–O1和三角形O1–P0'–P1彼此相似，因此满足公式d＝B×f/D。换言之，能够由基线长度B、焦距f以及视差D算出到对象A的距离d。

上面是使用立体相机测量距离的原理。但是，在使用立体相机透过透明体拍摄对象(例如车载立体相机透过风挡拍摄对象)的过程中，透明体导致拍摄图像上的对象图像出现位置偏差(上述的绝对位置偏差)。

图2A是表示对象图像的理想检测位置的示意图。在图2A中，为了方便，将透镜11(光学系统)描述为针孔照相机。如果对象13在透镜11的光轴上，光束在与光轴14相同的方向上直线前进并且到达传感器12上的位置处。因此在与光轴的位置对应的位置处检测到对象13的图像。

图2B是表示对象图像的检测位置的偏差的示意图。图2B表示将风挡15安装在图2A所示的透镜11的前面的情况的示例。从对象13发出的光束在风挡15的前后表面被折射，最终到达与无风挡的情况下光束所到达的位置(见图2A)有ΔFr偏差的位置处。换言之，在与光轴位置对应的位置偏离ΔFr的位置处检测到对象13的图像。

偏差ΔFr发生在构成立体相机的两个相机的每个相机中。当基于理想视差和从立体相机所获取的一对图像数据获得的视差来校准图像数据时，能够将对象图像中视差上的偏差(相对位置偏差)校准为正确视差，但是无法校准对象图像的坐标上的偏差(作为绝对位置偏差的ΔFr)，下面是有关原因的描述。

图3A到图3E是校准原理的示意图，其中的校准能够将对象图像中视差上的偏差(上述相对位置偏差)校准为正确的视差，但是无法将对象图像中的位置偏差(上述绝对位置偏差)校准到正确的位置。图3A到图3E中的对比图像是通过第一相机1拍摄，而图3A到图3E中参考图像是通过第二相机2拍摄。

图3A是表示对象图像和视差的理想情况的示意图。对象的图像在对比图像上位于(5，7)。另一方面，对象的图像在参考图像上位于(5，4)。因此理想的视差D是3。

图3B是表示由于风挡所引起的光折射效应造成的对象图像中的绝对位置偏差的示意图。对象图像在对比图像上位于(7，9)。因此相对理想条件的偏差量在垂直方向是2，而在水平方向是2。对象图像在参考图像上位于(6，3)。因此相对理想条件的偏移量在垂直方向是1，而在水平方向是1。

图3C是表示基于图3B中的参考图像上的图像的位置计算视差的情况的示意图。在对比图像上，作为参考的图像位于(6，3)，即处于与对比图像上的图像的位置相同的位置处。图3C中的视差在垂直方向是1，而在水平方向是6，这意味着对象图像中的绝对位置偏差导致相对于理想视差发生偏移(相对位置偏差)，其中在垂直方向偏移1，而在水平方向偏移3。

图3D是表示以使得视差与理想视差D相一致的方式校准对比图像的情况的示意图。通过使用位于已知距离处的并且通过立体相机进行拍摄的校准图表，计算理想视差D。在现有的立体相机校准方法中，将参考图像上图像的位置(6，3)设置为参考，其中的参考图像包括作为拍摄对象的位于已知距离处的校准图表，而将对比图像上的图像的位置以视差变为3(理想视差D)的方式进行校准，其中对比图像包括作为拍摄对象的位于已知距离处的标准图表。换言之，这些公知的立体相机校准方法以将对比图像上图像的位置从(7，9)移动到(6，6)的方式校准对比图像。利用这种校准，基于对比图像和参考图像来计算理想视差D。

图3E是表示未校准对象图像中的绝对位置偏差的状态的示意图。对比图像上的图像的位置(6，6)仍然不同于理想条件下的位置(5，7)，在垂直方向上相差1，而在水平方向上相差1。参考图像上的图像的位置(6，3)也仍然不同于理想状态下的位置(5，4)，在垂直方向上相差1，而在水平方向上相差1。该结果表明即使通过使用一对图像数据校准图像数据，从而获取理想视差D，但是仍无法将对象图像的位置校准到正确的位置。

但是，利用下面的第一实施例中的校准方法，基本上将对象图像的位置校准到理想条件的位置。

第一实施例中的校准方法使用通过无风挡15下拍摄校准图表所获得的拍摄图像(对比图像和参考图像)和通过有风挡15下拍摄校准图表所获得的拍摄图像(对比图像和参考图像)。无风挡下所拍摄的对比图像称之为第一对比图像，而无风挡下所拍摄的参考图像称之为第一参考图像。有风挡下所拍摄的对比图像称之为第二对比图像，而有风挡下所拍摄的参考图像称之为第二参考图像。

图4是表示实施第一实施例中的校准方法的环境(无风挡15)的示例的示意图。将校准图表60(校准工具)安装在立体相机30的拍摄范围内。校准图表60具有图案等，该图案便于在参考图像上检测与对比图像上的点相对应的对应点。

图5是表示校准图表60的图案的示例的示意图。图5表示将方格图案作为校准图表60的图案。在图5中，方格图案上方格之间的间距越小，产生的特征点(对应点)越多，这些点使得后面所述的信息处理设备50能够正确地检测风挡15所导致的局部绝对位置偏差。但是，因为如此小的间距很可能在后面所述的对应点检测处理中导致对应点的检测错误，所以当减小晶格点之间的间距时，还可以使用不规则的精细图案。但是，精细图案的使用增加图像处理设备50所处理的信息量，因而增加信息处理设备50所执行的处理的负担。优选的是，校准图表60足够大被成像于整个拍摄图像上。如此大尺寸的校准图表60使得信息处理设备50能够使用存在于拍摄图像的整个区域的特征点(对应点)，从而能够正确地获得风挡15所导致的绝对位置偏差。除方格图案外的任何其他形状的图案均可应用于校准图表60。校准图表60的图案的示例可包括圆形图案。

返回到图4，立体相机30在无风挡下拍摄校准图表60，并且获取第一对比图像和第一参考图像。通过第一相机1拍摄第一对比图像(见图1)，通过第二相机2拍摄第一参考图像(见图1)。将第一对比图像和第一参考图像输入到作为校准设备的信息处理设备50。

图6是表示实施第一实施例中的校准方法的环境(有风挡15)的示例的示意图。图6中的实施环境是图4的实施环境中的车辆配备风挡15的情况。图4和图6的实施环境之间的不同之处仅在于是否包括风挡15。立体相机30在有风挡15下拍摄校准图表60，并且获取第二对比图像和第二参考图像。将第二对比图像和第二参考图像输入到作为校准设备的信息处理设备50。

信息处理设备50使用第一对比图像和第二对比图像来确定用于对立体相机30的第一相机1中的绝对位置偏差进行校准的修正参数，并且使用第一参考图像和第二参考图像来确定用于对立体相机30的第二相机2中的绝对位置偏差进行校准的修正参数。

图7是表示第一实施例中的信息处理设备50的配置的示例的示意图。第一实施例中的信息处理设备50包括接收单元51、确定单元52、绝对位置偏差计算单元53、修正参数计算单元54以及存储控制单元55。

接收单元51从立体相机30接收不插入风挡15下拍摄校准图表60所获得的第一拍摄图像(第一对比图像和第一参考图像)。接收单元51将第一拍摄图像(第一对比图像和第一参考图像)输入到确定单元52。而且，接收单元51从立体相机30接收透过风挡15拍摄校准图表60所获得的第二拍摄图像(第二对比图像和第二参考图像)。接收单元51将第二拍摄图像(第二对比图像和第二参考图像)输入到确定单元52。

确定单元52从接收单元51接收第一拍摄图像(第一对比图像和第一参考图像)。确定单元52确定第一拍摄图像是否是可靠的。例如，确定单元52提取第一拍摄图像中所包括的校准图表60的图案的图像的白色亮度。校准图表60上的图案的图像上不规则的亮度会影响后面所述的对应点检测处理的准确性。因此，确定单元52确定在第一拍摄图像的整个区域是否明显出现不规则的亮度。例如，如果在第一拍摄图像的整个区域没有明显出现不规则的亮度，确定单元52确定第一拍摄图像是可靠的。当第一拍摄图像被确定为可靠时，确定单元52将第一拍摄图像输入到绝对位置偏差计算单元53。

相似地，确定单元52从接收单元51接收第二拍摄图像(第二对比图像和第二参考图像)。确定单元52确定第二拍摄图像是否是可靠的。例如确定单元52确定第二拍摄图像上的亮度差异是否正常，并且指定灰尘附着到风挡15的情况等。灰尘等附着在风挡15影响后面所述的对应点检测处理的准确性。例如，如果第二拍摄图像上的亮度差异正常，第二拍摄图像被确定为是可靠的。当第二拍摄图像被确定为可靠时，确定单元52将第二拍摄图像输入到绝对位置偏差计算单元53。

绝对位置偏差计算单元53从确定单元52接收第一拍摄图像(第一对比图像和第一参考图像)和第二拍摄图像(第二对比图像和第二参考图像)。绝对位置偏差计算单元53计算第一相机1中的绝对位置偏差和第二相机2中的绝对位置偏差。使用相同的方法来计算第一相机1和第二相机2的绝对位置偏差，因此下面所描述的是用于使用第一对比图像和第二对比图像计算绝对位置偏差的方法。

基于第一对比图像上的校准图表60的图像的坐标和第二对比图像上的校准图表60的图像的坐标，绝对位置偏差计算单元53计算绝对位置偏差(由于风挡15引起的对象图像的坐标上的偏差)。具体地，绝对位置偏差计算单元53在第二对比图像上取回各个特征点(对应点)，这些特征点在二维方向，x方向和y方向上，与第一对比图像上的特征点对应(对应点取回处理)。绝对位置偏差计算单元53通过使用校准图表60上的图案的图像来确定这些特征点。绝对位置偏差计算单元53计算第一对比图像上的特征点的坐标(x1，y1)与第二对比图像上的特征点(对应点)的坐标(x2，y2)之间的坐标上的偏差(Δx,Δy)，将该偏差作为第一相机1的特征点附近的绝对位置偏差，其中第二对比图像上的特征点与第一图像上的特征点对应。绝对位置偏差计算单元53将第一相机1中的绝对位置偏差输入到修正参数计算单元54。

绝对位置偏差计算单元53以用于计算第一相机1中的绝对位置偏差相似的方法计算第二相机2中的绝对位置偏差，并将第二相机2的绝对位置偏差输入到修正参数计算单元54。

修正参数计算单元54从绝对位置偏差计算单元53接收第一相机1中的绝对位置偏差和第二相机2中的绝对位置偏差。修正参数计算单元54计算用于校准第一相机1中的绝对位置偏差的第一修正参数和用于校准第二相机2中的绝对位置偏差的第二修正参数。第一修正参数和第二修正参数的示例包括修正公式中所使用的系数，其中修正公式用于以一种消除绝对位置偏差的方式对坐标进行变换。例如，当指示绝对位置偏差为(1，2)时，修正公式对坐标进行在x方向-1且在y方向上-2的变换。修正参数计算单元54将第一修正参数和第二修正参数输入到存储器控制单元55。

存储器控制单元55从修正参数计算单元54接收第一修正参数和第二修正参数。存储器控制单元55将第一修正参数和第二修正参数存储于立体相机30中。例如，通过有线或无线通信将第一修正参数和第二修正参数发送到立体相机30，存储器控制单元55通过该方式将第一修正参数和第二修正参数存储于立体相机30中。第一修正参数和第二修正参数可以一次存储于可连接且可拆卸的存储器介质等中，并且通过存储器介质存储于立体相机30中。

现在将对第一实施例中的校准方法进行描述。图8是表示第一实施例中的校准方法的示例的流程图。立体相机30在无风挡15下(见图4)拍摄校准图表60，并且获得第一拍摄图像(第一对比图像和第一参考图像)(步骤S1)。信息处理设备50(确定单元52)确定在步骤S1中所获取的第一拍摄图像是否是可靠的(步骤S2)。例如，基于在第一拍摄图像的整个区域内是否明显出现不规则亮度，信息处理设备50确定第一拍摄图像的可靠性。

当第一拍摄图像被确定为不可靠时(步骤S2中的否)，调整实施环境(步骤S3)，处理回到步骤S1。针对实施环境的调整的示例包括针对校准图表60的位置和方向的调整。当第一拍摄图像被确定为可靠时(步骤S2中的是)，将风挡15安装在车辆上(步骤S4)。即，使得实施第一实施例中校准方法的环境进入图6所示的状态。

立体相机30在安装风挡15的情况(见图6)下拍摄校准图表60，并且获取第二拍摄图像(第二对比图像和第二参考图像)(步骤S5)。信息处理设备50(确定单元52)确定在步骤S5所获取的第二拍摄图像是否是可靠的(步骤S6)。例如，基于第二拍摄图像的亮度差异是否正常，信息处理设备50确定第二拍摄图像的可靠性。

当第二拍摄图像被确定不可靠时(步骤S6中的否)，调整实施环境(步骤S7)，处理返回到步骤S1。针对实施环境的调整的示例包括重新安装风挡15。如果针对实施环境的调整(步骤S7)很小，处理可以不返回到步骤S1，而是从步骤S4重新开始。

当第二拍摄图像被确定为可靠时(步骤S6中的是)，信息处理设备50(绝对位置偏差计算单元53)参考第一对比图像和第二对比图像，使用上述方法计算第一相机1中的绝对位置偏差，而且参考第一参考图像和第二参考图像，使用上述方法计算第二相机2的绝对位置偏差(步骤S8)。

信息处理设备50(修正参数计算单元54)计算用于校准第一相机1中的绝对位置偏差的第一修正参数和用于校准第二相机2中的绝对位置偏差的第二修正参数(步骤S9)。第一修正参数和第二修正参数的示例包括修正公式中所使用的系数，其中修正公式用于以一种消除绝对位置偏差的方式对坐标进行变换。

信息处理设备50(存储器控制单元55)将第一修正参数和第二修正参数存储于立体相机30中。例如，通过有线或无线通信将第一修正参数和第二修正参数发送到立体相机30，存储器控制单元55将第一修正参数和第二修正参数存储于立体相机30中(步骤S10)。

如上所述，第一实施例中的校准方法获取无风挡15下所拍摄的第一拍摄图像(第一对比图像和第一参考图像)和有风挡15下所拍摄的第二拍摄图像(第二对比图像和第二参考图像)。之后，第一实施例中的校准方法计算第一对比图像上的特征点与第二对比图像上的特征点(对应点)之间的差值，将其作为第一相机1的特征点附近的绝对位置偏差，其中第二对比图像上的特征点与第一对比图像上的特征点对应，相似地计算第一参考图像上的特征点与第二参考图像上的特征点(对应点)之间的差异，将其作为第二相机2的特征点附近的绝对位置偏差，其中第二参考图像上的特征点与第一参考图像上的特征点对应。基于以该方式计算出的第一相机1(第二相机2)中的绝对位置偏差，第一实施例中的校准方法计算第一修正参数(第二修正参数)。因此，通过使用第一修正参数(第二修正参数)，将由于风挡15引起的第一相机1(第二相机2)中的绝对位置偏差进行准确地校准。

在第一实施例的描述中，将车辆上所安装的立体相机30用作待校准的拍摄设备的示例，但是第一实施例中的校准方法能够分开地用于单个相机。因此，可以将任何数量的相机用作待校准的拍摄设备。待校准的拍摄设备的示例可以包括单眼相机。

第二实施例

现在将描述第二实施例。当将立体相机30用作待校准的拍摄设备时，由于例如对象上所安装的立体相机30的装配公差等因素，引起图3A到图3E所述的相对位置偏差。由于装配公差等引起的相对位置偏差能够通过以下方式进行校准：首先，使用第一修正参数(第二修正参数)修正第二对比图像(第二参考图像)中的绝对位置偏差，其中通过使用实施例中的校准方法计算第一修正参数(第二修正参数)；其次，更新立体相机30的第一修正参数从而执行图3D所述的校准。在第二实施例中，将描述的情况是对立体相机30中的绝对位置偏差和相对位置偏差进行校准。

图9是表示第二实施例中信息处理设备50的配置的示例的示意图。第二实施例中的信息处理设备50包括接收单元51、确定单元52、绝对位置偏差计算单元53、修正参数计算单元54、存储器控制单元55以及相对位置偏差计算单元56。与第一实施例中的信息处理设备50的配置相比，第二实施例中的信息处理设备50的配置另外包括相对位置偏差计算单元56。将从第二实施例的描述中省略与第一实施例相同的描述，在第二实施例中将描述用于校准由于例如对象上所安装的立体相机30的装配公差等因素引起的相对位置偏差的处理。

当使用绝对位置偏差计算单元53时的操作

为了由于风挡15引起的绝对位置偏差的校准，第二实施例中的信息处理设备50通过使用绝对位置偏差计算单元53和修正参数计算单元54计算第一修正参数和第二修正参数，然后通过使用存储器控制单元55将参数存储于立体相机30中(见图8)。当使用绝对位置偏差计算单元53时，信息处理设备50的操作与第一实施例中的操作相同，因此省略操作的描述。

当使用相对位置偏差计算单元56时的操作

第二实施例中的信息处理设备50从立体相机30接收已经校准由于风挡15引起的绝对位置偏差的拍摄图像，然后通过使用相对位置偏差计算单元56和修正参数计算单元54，计算用于校准由于例如立体相机30的装配公差等因素引起的相对位置偏差的参数(后面描述中的第三参数)。下面是有关当使用相对位置偏差计算单元56时信息处理设备50的操作的描述。

接收单元51从立体相机30接收已通过使用第一修正参数校准绝对位置偏差的第二对比图像(包括通过第一相机1透过风挡15所拍摄的校准图表60的对比图像)和已通过使用第二修正参数校准绝对位置偏差的第二参考图像(包括通过第二相机2透过风挡15所拍摄的校准图表60的参考图像)。

确定单元52确定已通过使用第一修正参数(第二修正参数)校准绝对位置偏差的第二对比图像(第二参考图像)是否是可靠的。用于确定可靠性的方法与第一实施例的方法相同，因此省略该方法的描述。如果确定第二对比图像(第二参考图像)是可靠的，确定单元52将第二对比图像(第二参考图像)输入到相对位置偏差计算单元56。

相对位置偏差计算单元56通过在第二参考图像上取回与第二对比图像上的特征点对应的各个特征点(对应点)计算视差(Dx，Dy)。之后，相对位置偏差计算单元56计算视差(Dx，Dy)与理想视差(D，0)之间的差值，将该差值作为相对位置偏差，并且将该相对位置偏差输入到修正参数计算单元54。

修正参数计算单元54计算用于校准第二对比图像与第二参考图像之间的相对位置偏差的第三修正参数。针对第二对比图像执行使用第三修正参数的校准(见图3D)。第三修正参数的示例包括修正公式中所使用的系数，其中的修正公式用于以消除相对位置偏差的方式对第二对比图像上的坐标进行变换。修正参数计算单元54通过将用于校准绝对位置偏差的第一修正参数与第三修正参数相结合对第一修正参数进行改进，求解出改进的第一修正参数。修正参数计算单元54将改进的第一修正参数输入到存储器控制单元55。

存储器控制单元55将改进的第一修正参数存储于立体相机30中，由此更新立体相机30中所存储的第一修正参数。

现在对第二实施例中的校准方法进行描述。图10是表示第二实施例中的校准方法的示例的流程图。信息处理设备50将通过使用第一实施例中的校准方法(见图8中的步骤S1到步骤S10)所计算的第一修正参数和第二修正参数存储于立体相机30(步骤S11)。

立体相机30透过风挡15拍摄作为对象的校准图表60，获得第二对比图像和第二参考图像(步骤S12)。立体相机30使用第一修正参数校准第二对比图像(步骤S13)。而且，立体相机30还使用第二修正参数校准第二参考图像(步骤S14)。

基于已校准的第二对比图像上的对象图像的坐标与已校准的第二参考图像上的对象图像的坐标之间的差值和理想视差D，信息处理设备50计算用于校准相对位置偏差的第三修正参数，其中的相对位置偏差指示已校准的第二对比图像上的对象图像与已校准的第二参考图像上的对象图像之间的视差上的偏差(步骤S15)。信息处理设备50使用第三修正参数改进第一修正参数，由此计算出改进的第一修正参数(步骤S16)。立体相机30在其中存储改进的第一修正参数(步骤S17)。

如上所述，第二实施例中的校准方法进一步提供对立体相机30的第一修正参数的改进，由此从通过立体相机30拍摄的拍摄图像中所包括的对象图像中，获得指示对象的更准确的位置的三维信息。

在上述描述中，信息处理设备50使用第三修正参数改进第一修正参数。在另一个情况中，信息处理设备50可以使用第三修正参数改进第二修正参数。

第三实施例

现在对第三实施例进行描述。第三实施例与其中存储修正参数的视差计算设备相关，其中的修正参数通过使用第二实施例中的校准方法计算。当处于操作中的视差计算设备使用修正参数时，使用术语“修正”而不是“校准”。图11是表示第三实施例中的视差计算设备20的配置的示例的示意图。第三实施例中的视差计算设备20包括接收单元21、第一修正单元22、第二修正单元23、存储器单元24、计算单元25以及修复单元26。

接收单元21接收第二对比图像(透过透明体所拍摄的对比图像)的输入，并且向第一修正单元22输出第二对比图像。接收单元21接收第二参考图像(透过透明体所拍摄的参考图像)的输入，并且向第二修正单元23输出第二参考图像。

第一修正单元22从接收单元21接收第二对比图像，使用上面描述中的改进的第一修正参数修正第二对比图像，并且向计算单元25和修复单元26输出修正的第二对比图像。

第二修正单元23从接收单元21接收第二参考图像，使用上面描述中的第二修正参数修正第二参考图像，并且向计算单元25和修复单元26输出所修正的第二参考图像。

存储器单元24在其中存储第一修正单元22所使用的改进的第一修正参数和第二修正单元23所使用的改进的第二修正参数。

计算单元25从第一修正单元22接收所修正的第二对比图像，并从第二修正单元23接收所修正的第二参考图像。基于修正的第二对比图像中所包括的对象图像和修正的第二参考图像中所包括的对象图像，计算单元25计算视差。计算单元25针对每个像素计算视差，并且生成通过密度值指示视差的视差图像。

修复单元26从第一修正单元22接收所修正的第二对比图像，并从第二修正单元23接收所修正的第二参考图像。修复单元26修复第二对比图像的调制传递函数(MTF)特征，该特征已经通过修正被降低。通过修复第二对比图像的MTF特征，修复单元26生成具有改善分辨率的第一相机1的亮度图像。相似地，修复单元26修复第二参考图像的MTF特征，该特征已经通过修正被降低。通过修复第二参考图像的MTF特征，修复单元26生成具有改善分辨率的第二相机2的亮度图像。

现在参考流程图描述第三实施例中用于计算视差的方法。图12是表示第三实施例中用于计算视差的方法的示例的流程图。接收单元21接收第二对比图像的输入(步骤S21)并且接收第二参考图像的输入(步骤S22)。

第一修正单元22使用改进的第一修正参数修正第二对比图像(步骤S23)。第二修正单元23使用第二修正参数修正第二参考图像(步骤S24)。

基于修正的第二对比图像中所包含的对象图像和修正的第二参考图像中所包括的对象图像，计算单元25计算视差(步骤S25)。计算单元25通过使用在步骤S25中所计算的视差(针对每个像素所计算的视差)，生成通过像素的密度值指示视差的视差图像(步骤S26)。

如前所述，在第三实施例的视差计算设备20中，第一修正单元22使用改进的第一修正参数修正第二对比图像，而第二修正单元23使用第二修正参数修正第二参考图像。而且，基于修正的第二对比图像中所包括的对象图像和修正的第二参考图像中所包括的对象图像，计算单元25计算视差。

除了由于透明体引起的图像数据上对象图像的坐标上的偏差以外，第三实施例中的视差计算设备20还能够修正由于装配公差等引起的图像数据上对象图像的视差上的偏差(相对位置差)。换言之，基于从对象图像的视差计算出的到对象的距离和图像数据上对象图像的坐标，第三实施例中的视差计算设备20能够更准确地计算指示对象位置的三维坐标。

第四实施例

现在将描述第四实施例。图13是表示第四实施例中的立体相机30的配置的示例的示意图。第四实施例中的立体相机30包括第一相机1、第二相机2以及视差计算设备20。视差计算设备20包括接收单元21、第一修正单元22、第二修正单元23、存储器单元24、计算单元25以及修复单元26。

第四实施例中的立体相机30包括第三实施例中的视差计算设备20。第四实施例中的立体相机30的应用的示例包括车载立体相机。图14是表示将第四实施例中的立体相机30用作车载立体相机的示例的示意图。将立体相机30安装在风挡15内侧，这种安排使得当汽车(车辆)正在行驶或处于停止状态时，除了图像数据上的对象图像中的视差上的偏差(相对位置偏差)之外，还能够修正图像数据上的对象图像中的坐标上的偏差(绝对位置偏差)。

除了图像数据上的对象图像中的视差上的偏差(相对位置偏差)之外，第四实施例中的立体相机30还能够在实时的基础上，修正图像数据上的对象图像中的坐标上的偏差(绝对位置偏差)。换言之，基于从对象图像的视差所计算出的到对象的距离和图像数据上对象图像的坐标，第四实施例中的立体相机30在实时的基础上，能够准确计算出指示对象位置的三维坐标。

下面是关于信息处理设备50和视差计算设备20的硬件配置的示例的描述。图15是表示信息处理设备50和视差计算设备20的硬件配置的示例的示意图。信息处理设备50和视差计算设备20包括控制设备41、主存储器设备42、辅助存储器设备43、外部接口44以及通信设备45。控制设备41、主存储器设备42、辅助存储器设备43、外部接口44以及通信设备45经由总线46相互连接。

控制设备41执行从辅助存储器设备43、在主存储器设备42上所读出的计算机程序。主存储器设备42的示例包括只读存储器(ROM)和随机存取存储器(RAM)。辅助存储器设备43的示例包括硬盘驱动器(HDD)和存储器卡。外部接口44是用于向其他设备发送数据和从其他设备接收数据的接口。通信设备45是用于与其他设备通过无线通信等方式进行通信的接口。

可以将信息处理设备50和视差计算设备20所执行的计算机程序作为可安装或可执行文件，存储于计算机可读存储器介质，例如光盘只读存储器(CD-ROM)、存储器卡、可读光盘(CD-R)以及数字多功能光盘(DVD)，并且可以作为计算机程序产品提供。

可将信息处理设备50和视差计算设备20所执行的程序存储于与例如因特网的网络进行连接的计算机中，并且可以经由网络通过下载提供程序。可以不用下载，而经由例如因特网的网络，提供信息处理设备50和视差计算设备20所执行的程序。

可将信息处理设备50和视差计算设备20所执行的程序预先嵌入到只读存储器(ROM)等，然后提供该程序。

信息处理设备50所执行的程序由包括上述功能块的模块(接收单元51、确定单元52、绝对位置偏差计算单元53、修正参数计算单元54、存储器控制单元55以及相对位置偏差计算单元56)组成。作为实际的硬件配置，控制设备41从存储器介质读取出程序并执行该程序，由此每个功能模块加载到主存储器设备42上。换言之，在主存储器设备42上生成每个功能块。

视差计算设备20所执行的程序由包括上述功能块的模块(接收单元21、第一修正单元22、第二修正单元23、计算单元25以及修复单元26)组成。作为实际的硬件配置，控制设备41从存储器介质读取程序并执行该程序，由此每个功能块加载到主存储器设备42上。换言之，在主存储器设备42上生成每个功能块。

信息处理设备50中所包括的上述功能块(接收单元51、确定单元52、绝对位置偏差计算单元53、修正参数计算单元54、存储器控制单元55以及相对位置偏差计算单元56)的一些或所有功能块以及视差计算设备20中所包括的上述功能块(接收单元21、第一修正单元22、第二修正单元23、计算单元25以及修复单元26)的一些或所有功能块可以不以软件方式进行实施，而是以例如集成电路(IC)的硬件方式来实施。

实施例提供了能够准确校准由于透明体而引起的图像数据中的绝对位置偏差的效果。

虽然为了完全和清楚地公开已经参考具体实施例对本发明进行描述，但是所附的权利要求不会因此受限，而应被解释为体现本领域技术人员可作出的所有改进和替换完全落入此公开的基本教导之内。

附图标记列表

1 第一相机

2 第二相机

11 透镜(光学系统)

12 传感器

13 对象

14 光轴

15 风挡

20 视差计算设备

21 接收单元

22 第一修正单元

23 第二修正单元

24 存储器单元

25 计算单元

26 修复单元

30 立体相机

41 控制设备

42 主存储器设备

43 辅助存储器设备

44 外部接口

45 通信设备

46 总线

50 信息处理设备(校准设备)

51 接收单元

52 确定单元

53 绝对位置偏差计算单元

54 修正参数计算单元

55 存储器控制单元

56 相对位置偏差计算单元

60 校准图表(校准工具)