专利名称：摄像机校准装置的制作方法
技术领域：
本发明的实施方式涉及一种摄像机校准装置。
背景技术：
在现有技术中，有如下车载摄像装置，S卩、在车辆上搭载多个摄像机并获取拍摄了车辆周围(前方、后方、左侧、右侧)的图像，生成将各图像的视点变换为车辆上方的视点后的图像(俯视图像)并合成，进而合成本车的图像(幻灯图像等)，并作为俯视图像显示出来。通过显示俯视图像，易于把握本车及周围的状况，在将车辆驶入例如停车场等情况下， 有助于驾驶员的驾驶。此外，俯视图像是从设定在本车的上方等假想视点来看的图像，通过改变假想视点的位置可改变俯视图像的观察方式。然而，在现有的车载摄像机装置中，虽然将摄像机安装时的安装位置、安装角度、 设置高度等设定为预先设计的值，但是，由于实际安装时产生误差，因而合成用各摄像机拍摄的图像时，合成图像的接合部分偏移，从而出现不连续。因此，出现了在拍摄区域内配置校正模式，并基于拍摄的校正模式来校正拍摄图像的坐标的校准(校正)装置。例如在四台摄像机的拍摄区域中配置四个一边长度为Im 1. 5m左右的正方形校正模式，在合成用各摄像机拍摄的图像时，利用各校正模式进行图像的位置调整的情况下， 需要在地面等配置校准用的特殊校正模式，另外，为了指定本车位置，需要在正确的位置上配置校正模式。另外，在检测由在停车场中画出的表示停车空间的白线相交而成的四个角(特征点)，并利用这四个特征点来计算摄像机参数(摄像机的安装位置、安装角度、焦距等)的校准装置的情况下，由于检测的特征点变多，因此，需要从偏离一定程度的位置进行检测。通过前后左右的摄像机检测特征点的情况下，为了改变车的朝向，移动量增多。另外，有必要手动调整本车位置或对车辆设定特征点。
发明内容
本发明要解决的课题是，提供一种可以利用停车场的白线并利用白线的两个特征点和交叉的两个方向的信息，进行各图像的位置调整的校准装置。本发明涉及一种摄像机校准装置，其包括摄像部，具有安装在车辆上的多个摄像机，通过所述多个摄像机拍摄所述车辆的周围；特征点检测部，从用所述多个摄像机拍摄的图像中识别表示停车框的直线图像，从各摄像机图像检测所述停车框的至少两个特征点； 视点变换部，基于所述特征点检测部检测的所述特征点和其交叉的两个方向的信息，合成所述各摄像机的图像，并生成变换为从正上方观看的视点的俯视图像；调整部，从所述俯视图像判别所述车辆与所述直线图像的边界位置，并确定车辆图像的显示范围，以使所述显示范围相对于所述俯视图像的比例及位置为预先指定的值的方式改变所述俯视图像；以及摄像机数据存储部，存储基于所述改变的俯视图像计算的表示所述各摄像机的特性的摄像机参数。根据上述构造的校准装置，由于利用了停车场的白线，因此，不必设定特殊的校正模式，另外，由于利用了白线的两个特征点和其交叉的双方向的信息，因此，不必为了校准而离开停车框进行拍摄。
图1是示出实施方式的摄像机校准装置的结构框图。图2是示出摄像机的配置的一例的平面图。图3是示出将车辆停在停车场的情况的平面图。图4A 图4C是示出拍摄停车场的白线时的三个模式的说明图。图5A 图5C是示出模式A中用前方、左、右的摄像机拍摄的图像的说明图。图6A 图6C是示出模式B中用后方、左、右的摄像机拍摄的图像的说明图。图7A 图7C是示出模式C中用后方、左、右的摄像机拍摄的图像的说明图。图8A 图8C是示出三维空间坐标系的定义的说明图。图9A 图9C是示出调整后的后方、左、右的摄像机的图像的说明图。图10是示出白线框的位置与车辆位置的偏移的说明图。图11是示出俯视图像的显示区域中的本车的显示范围的说明图。图12A 图12D是示出模式A、B的摄像机的调整图像的说明图。图13是使调整图像为长方形的说明图。图14是示出摄像机校准操作的流程图。图15A、图15B是说明本实施方式的变形例中的特征点与角度的检测的说明图。图16A 图16D是示出在模式D中用各摄像机拍摄的图像的说明图。图17A 图17D是示出在模式D中白线因本车而消失的边界的说明图。图18是示出模式F中的白线框的说明图。图19是示出模式G中的白线框的说明图。图20A 图20D是示出模式G中用各摄像机拍摄的图像的说明图。图21是越过直线(白线)调整绝对位置时的说明图。图22A 图22B是示出车辆是与白线或地面相同颜色的情况的说明图。图23A 图23C是说明检测本车与白线的边界的说明图。
具体实施例方式以下参考附图来说明实施方式的摄像机校准装置。(实施方式1)图1是示出本实施方式涉及的摄像机校准装置的结构框图。摄像机校准装置包括摄像部10、摄像机数据存储部20、特征点检测部21、空间重构部22、空间数据缓存器 23、视点变换部M、显示模式存储部30、图像合成部40及显示部50。
摄像部10具有拍摄本车周围的影像的例如四台摄像机11、12、13、14。四台摄像机11、12、13、14分别拍摄车辆的前方、后方、左侧、右侧。另外各摄像机11 14可使用鱼眼摄像机等广角摄像机。关于各摄像机11 14的位置将在后面记述。摄像机数据存储部20包含存储表示各摄像机(11 14)的特性的摄像机参数的摄像机参数表201。可以通过从用各摄像机11 14拍摄的图像中提取特征点，并基于特征点的信息计算获得摄像机参数。摄像机参数表示摄像机的安装位置、摄像机的安装角度、摄像机的镜头失真校正值、摄像机镜头的焦距等摄像机特性。如果获取用各摄像机(11 14) 拍摄的图像的多个特征点与这些特征点在三维坐标系内的位置的对应关系，则可通过计算近似地求出摄像机参数。此外，日本特开2002-135765号公报记载了通过计算求出摄像机参数的方法。特征点检测部21基于来自摄像机(11 14)的输入图像来检测车辆周围的例如路面上描画的停车场白线等路面上的特征点。空间重构部22基于摄像机参数生成映射到三维空间的空间模型的空间数据。另外，空间重构部22基于由特征点检测部21检测的路面上的特征点与车辆的当前位置来逐步改变空间模型。空间数据缓存器23临时存储空间重构部22中生成的空间数据。视点变换部M 设定假想视点，参考从空间数据缓存器23输出的空间数据生成从任意的假想视点看到的图像。显示模式存储部30包含图像存储部31与映射表32。图像存储部31存储从正上方看的俯视图像或从斜后方等看的俯视图像。也就是说，摄像机11 14分别拍摄本车的周围，并基于拍摄的图像生成本车的背景图像，但背景图像上显示的只有实景。因此，为了在背景图像的指定位置上合成本车的俯视图像，预先将从正上方拍摄本车的图像或从斜后方看到的图像作为俯视图像存储在图像存储部31中。或者，生成表示本车的幻灯图像，并将该幻灯图像存储为俯视图像。拍摄的图像或幻灯图像不限于一张，可以存储多种并任意选择。映射表32是存储用摄像机11 14拍摄的图像的像素数据与从假想视点观察本车的周边的背景图像的像素数据的对应关系的表，存储表示拍摄的图像的像素与背景图像的哪一像素对应的变换信息。图像合成部40合成由视点变换部M进行了视点变换的图像(俯视图像)以及对应于显示模式存储部30输出的假想视点的本车图像(幻灯图像等)，并在显示部50上进行显示。另外，图像合成部40也可选择拍摄部10拍摄的任意摄像机图像并显示在显示部50 上。接着，参考图2说明摄像机11 14的配置例。本实施方式中配置四台摄像机11 14。图2是从正上方观察车辆1的图，例如在车辆1的前方部配置摄像机11、在后方部配置摄像机12。另外，在车辆1的左侧后视镜处配置摄像机13、在右侧后视镜处配置摄像机 14。这样，各摄像机11 14被配置在车辆1的四边上。各摄像机11 14可以是用于拍摄车辆1的四周的鱼眼摄像机。此外，在以下的说明中，称摄像机11为前方摄像机、摄像机12为后方摄像机、摄像机13为左摄像机、摄像机14为右摄像机。另外，也称具有摄像机11 14的车辆1为本车1。
以下，说明本实施方式涉及的摄像机校准装置的主要部分(特征点检测部21、空间重构部22、视点变换部M、摄像机数据存储部20、空间数据缓存器2 的操作。摄像机校准所需要的镜头失真校正在日本特开2002-135765号公报中有所记载，例如设置温度传感器与温度校正表来校正随着气温的上升或下降而变化的镜头失真。另外，设摄像机设置在车辆1的前后左右四个地方。<相对位置调整>本实施方式中，首先，将多台摄像机(11 14)如图2中说明的那样安装在车辆的前后左右。然后，在进行镜头失真校正后，设定图像为进行了视点变换的图像，使得摄像机在一定程度上朝向地面。此时，存储视点对于该图像的面的位置。图3是示出将车辆1停在停车场的情况下的平面图。如图3所示，停车场的停车框设为表示停车空间的四个角的框和横向延伸的线，图像的获取模式设为三个模式。在停车场上画出表示停车框2的白线，停车框2包括前方的白线加、后方的白线2b、左侧的白线 2c、右侧的白线2d。接着，将车辆1几乎径直地停入停车场的停车框2内，并用多台摄像机 (11 14)拍摄停车场的白线( 2d)，从而获取三个模式(模式A、B、C)的白线图像。如图4A所示，模式A的图像表示使车辆1移动至偏离停车框2后方的位置，并用前方摄像机11、左摄像机13及右摄像机14拍摄停车框2的图像。如图4C所示，模式C的图像表示车辆1的前方移动至完全越过停车框2的白线加的位置而拍摄的图像。另外，如图4B所示，模式B的图像表示车辆1移动至模式A与模式C之间的位置并拍摄的图像。此外，在图4A 4C以后，为了方便，用黑粗线表示停车框2的白线。接着，通过从三个模式的图像中检测描画在地面上的白线(示出停车框的直线图像)来检测特征点。但检测特征点(白线)有各种方法。例如为了易于检测白线，将拍摄的图像数据转化为单色图像并输入，再通过图像处理器进行边缘提取处理。即将彩色图像数据变换为灰度数据(单色图像)，并设定灰度数据的亮度平均值或亮度的中央值等阈值。 然后，像素间的亮度梯度等小于阈值时，作为边缘不检测，而大于等于阈值时，作为边缘进行检测。或检测变换为灰度数据的图像数据的各像素的亮度和与各像素邻接的像素的像素值的差分，并作为边缘，检测差分大的像素。如上所述，计算边缘的坐标，通过上述方法检测描画在地面上的白线。图5(a)、(b)、(c)示出在模式A中用前方摄像机11、左摄像机13、右摄像机14拍摄的图像。图6(a)、(b)、(c)示出在模式B中用后方摄像机12、左摄像机13、右摄像机14 拍摄的图像。图7 (a)、(b)、(c)示出在模式C中用后方摄像机12、左摄像机13、右摄像机 14拍摄的图像。图5(a) 图7(c)中，在旁边停有其他车辆的情况下，也会获取相邻车辆的图像，但这并无大碍。从图5(a) (c)的模式A的图像检测用前方摄像机11拍摄的特征点Al、A2和其交叉的两个方向。即不仅检测特征点Al、A2，还检测在特征点中白线交叉的两个方向。另外，检测用左摄像机13拍摄的特征点Al与用右摄像机14拍摄的特征点A2。特征点Al相当于白线加与白线2c的交点，特征点A2相当于白线加与白线2d的交点。从图6(a) (c)的模式B的图像检测用后方摄像机12拍摄的特征点B1、B2。另外，基于模式B的图像，检测用左摄像机13拍摄的特征点Al和其交叉的两个方向以及特征点Bi，并检测用右摄像机14拍摄的特征点A2和交叉的两个方向以及特征点B2。特征点Bl相当于白线2b与白线2c的交点，特征点B2相当于白线2b与白线2d的交点。从图7(a) (c)的模式C的图像检测用后方摄像机12拍摄的特征点B1、B2和其交叉的两个方向。另外，基于模式C的图像检测用左摄像机13拍摄的特征点Al和其交叉的两个方向，并检测用右摄像机14拍摄的特征点A2和其交叉的两个方向。此外，在图5 (a) (c)中，分别用圆围住特征点来表示它，但粗圆意味着检测特征点和其交叉的双方向。细虚线圆只意味着检测特征点。另外，如模式A、B、C(图4)所示，车辆1移动之后，各摄像机的位置与各特征点的相对位置发生变化，故在检测特征点和其交叉的双方向的情况下，在没有过于离开特征点的位置即、易于感知交叉的双方向的位置进行检测。例如，在模式B(图6(a) (C))与模式 C(图7(a) (C))中分别检测出特征点B1、B2的情况下，由于模式C 一方易于把握交叉的两个方向，故不在模式B中检测特征点B1、B2的交叉的两个方向。此外，在检测特征点Al、 A2、Bi、B2的情况下，作为特征点，检测白线的中心线相交的点，但为了进一步提高精度，也可通过检测白线的端部，而不是白线的中心，并求出特征点或交叉的两个方向。接着，将用各摄像机(11 14)拍摄的图像变换到从正上方看的视点。以各角度变为直角的方式，由模式A的两个特征点Al、A2以及其交叉的两个方向来计算前方摄像机 11的图像。这里，定义三维空间坐标系。例如，定义如下的三维坐标系设与车辆1的后面平行的路面上的直线为X轴、设与车辆1的后面垂直的路面上的直线为y轴、设由路面向车辆方向垂直延伸的轴为ζ轴。在本坐标系中，将摄像机的位置设为(0，0，0)的情况下，关于摄像机的方向，将相对于χ轴旋转的角度设为α、将相对于y轴旋转的角度设为β、将相对于 ζ轴旋转的角度为Y。以下的三维空间坐标系或三维空间是指基于本定义的三维空间坐标系。在定义了如图8(a) (C)的坐标系的情况下，如下进行各轴的旋转计算。χ轴中心旋转χ' =χy' = y · cos(a )+z · sin(a )ζ' =-y · sin(a )+ζ · cos(a )y轴中心旋转χ' = χ · cos(3 )+ζ · sin(3 )y' = yζ' =-χ · sin (β)+ζ · cos (β)ζ轴中心旋转χ' = χ · cos(y)+y · sin(y)y ‘ = -χ · sin ( Y ) +y · cos ( γ )ζ' =ζ使图像为进行了视点变换的图像(地面为-ζ方向)，使摄像机某种程度上朝向地面。因此，检测的特征点交叉的两个方向在某种程度上为直角。将摄像机的朝向设为-ζ方向，并如图8(a) (C)所示的虚线那样进行图像的配置。图像相对于ζ轴垂直。由上述位置的图像，计算检测出特征点和其交叉的两个方向所得的坐标。使双方向为适当的长度并作为两个坐标，对准特征点形成三个坐标。计算χ轴旋转角度和y轴旋转角度，使得在-ζ方向看，各坐标的角度abc(b为特征点)为直角。根据上述的χ轴中心旋转和y轴中心旋转的计算式，旋转后的坐标变为χ ‘ = χ · cos ( β ) -y · sin ( α ) · sin ( β ) +ζ · cos ( α ) · sin ( β )y' = y · cos ( α )+ζ · sin ( α )ζ' = -χ · sin ( β ) -y · sin ( α ) · cos ( β ) +ζ · cos ( α ) · cos ( β )。为了使从摄像机视点向-ζ方向看时该坐标看似直角，只要变换为X = x/(-ζ)、Y = y/(-z)的坐标(X，Y)的直线ab与直线be变为直角即可，所以，直线ab与直线be相对于+X方向的倾角(二维直线的式子y = ax+b中的a)为直线ab (Y (a) -Y (b)) / (X (a) -X (b))直线be (Y (c) -Y (b)) / (X (c) -X (b))若该两个倾角相乘的值为-1则是直角。该计算式表示为f 1 ( α，β ) = 0，从另一个特征点导出的计算式表示为f2 ( α，β ) =0。然后，使用非线性联立方程式(牛顿法)等求出α与β的解。由于非线性联立方程式(牛顿法)是一般性的问题，只予以简单地说明。导出两个解的牛顿法的方程式如下。[公式1]
权利要求
1.一种摄像机校准装置，其特征在于，包括摄像部，具有安装在车辆上的多个摄像机，通过所述多个摄像机拍摄所述车辆的周围；特征点检测部，从用所述多个摄像机拍摄的图像中识别表示停车框的直线图像，并从各摄像机图像检测所述停车框的至少两个特征点；视点变换部，基于所述特征点检测部检测到的所述特征点和其交叉的双方向的信息， 合成所述各摄像机的图像，并生成变换为从正上方观看的视点的俯视图像；调整部，从所述俯视图像判别所述车辆与所述直线图像的边界位置，并确定车辆图像的显示范围，以所述显示范围相对于所述俯视图像的比例及位置为预先指定的值的方式改变所述俯视图像；以及摄像机数据存储部，存储基于所述改变的俯视图像计算的表示所述各摄像机的特性的摄像机参数。
2.根据权利要求1所述的摄像机校准装置，其特征在于，所述摄像部安装有用于拍摄所述车辆的前方、后方、左侧、右侧的四台摄像机。
3.根据权利要求1所述的摄像机校准装置，其特征在于，所述摄像部在移动所述车辆时在不同的位置上拍摄用白线区分的所述停车框，所述特征点检测部检测各位置上的所述特征点。
4.根据权利要求1所述的摄像机校准装置，其特征在于，所述摄像部在不同的位置拍摄用白线区分的所述停车框，所述特征点检测部检测所述白线交叉的两个特征点和其交叉的双方向。
5.根据权利要求1所述的摄像机校准装置，其特征在于，所述调整部基于所述车辆的四条边和所述直线图像的边界位置设定边界线，将由所述边界线的交点坐标的最小值与最大值规定的区域确定为所述车辆图像的显示范围。
6.根据权利要求5所述的摄像机校准装置，其特征在于，根据所述车辆的移动，所述调整部将所述直线图像因所述车辆而消失的位置或因所述车辆而出现的位置判别为所述边界位置。
7.根据权利要求6所述的摄像机校准装置，其特征在于，所述调整部基于所述车辆通过所述直线图像上时的所述直线图像的粗细变化判别所述边界位置。
全文摘要
本发明涉及一种摄像机校准装置，提供利用停车场的白线，并利用白线的两个特征点和其交叉的两个方向的信息，进行各图像的位置调整。该摄像机校准装置包括具有安装在车辆上的多个摄像机的摄像部；从各摄像机图像中检测停车框的两个特征点的特征点检测部；基于特征点和其交叉的两个方向的信息生成俯视图像的视点变换部；以及调整部，从俯视图像判别车辆与直线图像的边界位置并确定车辆图像的显示范围，改变俯视图像，使得显示范围的比例及位置为预先指定的值。
文档编号G06T7/00GK102194226SQ20111003448
公开日2011年9月21日 申请日期2011年2月1日 优先权日2010年3月2日
发明者小崎正宪 申请人:东芝阿尔派·汽车技术有限公司