用于车辆上摄像机的在线校准的系统、车辆和方法

用于车辆上摄像机的在线校准的系统、车辆和方法
【专利摘要】本发明涉及用于车辆上摄像机的在线校准的系统、车辆和方法。用于车辆(1)上摄像机(2、3、4)的在线校准的方法被提供。摄像机(2、3、4)在摄像机图像坐标系中具有摄像机旋转参数、θ、ψ与摄像机平移参数xc、yc、zc，并且车辆具有车辆坐标系。所述方法包括：在车辆(1)相对于地面移动的同时，使用平行几何方法校准摄像机旋转参数、θ、ψ，并独立于摄像机旋转参数、θ、ψ校准摄像机平移参数xc、yc。
【专利说明】用于车辆上摄像机的在线校准的系统、车辆和方法

【技术领域】
[0001] 本发明涉及用于车辆（vehicle)上摄像机（camera)的在线校准（calibration) 的系统、车辆和方法。

【背景技术】
[0002] -辆车可能包括一个或更多个用于捕获其周围环境的图像的摄像机。所述图像可 用于检测诸如路上的车道或交通标志的目标的存在，或可给驾驶员提供车辆的紧接附近的 视图（view)。车辆的紧接附近的视图可用于在停车时辅助驾驶员，或可用于提高安全性，因 为驾驶员能够观看到在正常驾驶位置中对他遮挡住的区域。还可从捕获的一张或多张图像 检测危险或隐患，并然后给驾驶员提供警告，或者可结合驾驶员辅助系统使用该信息，以有 效地控制车辆并避免危险。
[0003] 典型地，在车辆上提供几个摄像机，例如四个。来自每个摄像机的图像可被组合， 以提供顶视图（也称为鸟瞰图）或全景图的形式的360°图像。为了提供不间断的360° 视图，来自相邻摄像机（例如前摄像机和侧摄像机）的图像可彼此重叠。
[0004] 可对摄像机进行校准以确定摄像机相对于其周围环境的位置和取向。对车辆而 言，可确定摄像机相对于已知基准（datum)(例如前轴中心）的位置和取向，以便来自摄像 机的图像可被用于例如将多个摄像机视图准确组合成单个环绕视图并准确确定障碍物的 范围。
[0005] 可在车辆制造期间执行摄像机的校准。但是，已开发出了在车辆驾驶的同时自动 校准摄像机的系统，以补偿在车辆寿命内可能出现的未对准，或在其制造之后对安装在车 辆上的摄像机的位置进行校准。例如，DE 10 2009 057 996 Al公开了用于确定摄像机相 对于车辆位置的位置的系统。这样的在车辆移动的同时对摄像机进行校准的系统可被称为 在线校准系统。


【发明内容】

[0006] 本发明的目的是提供一种用于车辆上摄像机的在线校准的方法和系统，其使得能 够进行准确的校准，并且其可使用较少的处理资源被执行。
[0007] 通过独立权利要求的主题解决了这一目的。进一步的有利特征是从属权利要求的 主题。
[0008] -种用于车辆上摄像机的在线校准的方法被提供。摄像机在摄像机图像坐标系 中具有摄像机旋转参数9、θ、ψ以及摄像机平移参数 X、y、Z，并且车辆具有车辆坐标系。 所述方法包括：在车辆相对于地面移动的同时，使用平行几何方法校准摄像机旋转参数φ、 θ、v，并且独立于摄像机旋转参数φ、Θ、ψ校准摄像机平移参数Xe、y。。
[0009] 摄像机旋转参数通过欧拉角Φ、θ、ψ表示，而摄像机平移参数通过笛卡尔坐标系 x^y^z。表示,这里,z。是摄像机在地面之上的高度,X。表示汽车长度上的方向，而y。是汽车 宽度上的方向。可使用平行几何方法（诸如WO 2012/143036 Al中公开的平行几何方法） 确定摄像机旋转参数Φ、Θ、V，并且可选地，确定高度z。。
[0010] 根据本发明，在与摄像机旋转参数φ、θ、ψ分离的步骤中对摄像机的平移参 数xe、y。进行校准。这避免了由于试图同时求解多个独立变量而造成的数据模糊（data ambiguity)，其中，如果在单个方法中校准旋转参数和平移参数，则可能出现所述数据模 糊。
[0011] 在一个实施案例中，由于可在不知晓摄像机平移参数X。、y。的情况下实施平行几 何方法，因此在第一步骤中使用该方法来校准摄像机旋转参数以及摄像机高度Z。。因此，通 过首先校准旋转参数φ、θ、ψ和高度参数z。，并通过在第二独立阶段中校准平移参数X。、 y。，来将整个校准分为两个阶段。因此，避免了由于同时求解相互依赖的参数而造成的任何 准确度下降。
[0012] 摄像机可以是每秒捕获许多图像或帧的数字或模拟的视频摄像机。可在显示图 像的同时捕获图像并存储数据。可同时地或在收集数据集之后的后来时间执行对图像的 分析，以识别图像中的一个或更多个特征并跟踪特征的轨迹。还可收集多个数据集以进一 步提高校准的准确度。表示实际的车辆移动的数据（例如车辆速度和换向角（Steering angle))可同时被收集，并与图像和/或从图像获得的数据相关联。
[0013] 在一实施例中，通过确定相对于车辆坐标系的摄像机平移参数X。、y。的差，并将偏 移（offset)施加至摄像机图像坐标系中的平移参数X。、y。，来校准摄像机平移参数X。、y。。 计算该偏移以对该差进行补偿。
[0014] 可在车辆沿弯曲路径移动的同时对摄像机平移参数Xc;、y。进行校准。因此，在一实 施例中，所述方法包括确定车辆正沿弯曲路径移动，并在车辆沿弯曲路径移动的同时对摄 像机平移参数 Xc;、y。进行校准。换向盘的位置可从车辆控制单元获得，并被评估以确定车辆 正沿直线还是沿弯曲路径行驶。在一些实施例中，仅在车辆正沿弯曲路径移动的同时才可 发生对平移参数 Xc;、y。的校准。
[0015] 在一实施例中，通过确定摄像机图像坐标系中的车辆转向（turning)中心与车辆 坐标系中的车辆转向中心之间的差，来对摄像机平移参数X。、y。进行校准。
[0016] 特别地，可通过跟踪摄像机在一时间段上捕获的至少两个图像中的两个或更多个 特征，将所述两个或更多个特征映射到地平面，使弧与映射的特征拟合，并根据弧计算摄像 机图像坐标系中的车辆转向中心，来确定摄像机图像坐标系中的车辆转向中心。
[0017] 可通过测量车辆换向角，并根据车辆换向角计算车辆坐标系中的车辆转向中心， 来确定车辆坐标系中的车辆转向中心。
[0018] 如果摄像机图像坐标系中与车辆坐标系中的车辆转向中心的位置的差被确定，则 确定要添加至摄像机平移参数X。、y。的偏移，使得摄像机图像坐标系中的车辆转向中心的 位置与车辆坐标系中的车辆转向中心的位置对应。该偏移然后被施加至摄像机平移参数 xc、yc。
[0019] 为了进一步提高校准的准确度，可在车辆沿逆时针弯曲的弯曲路径和沿顺时针弯 曲的弯曲路径移动（即，驾驶员正换向至左面或至右面）的同时，对摄像机平移参数 Xc;、y。 进行校准。
[0020] 还可通过在车辆沿具有不同半径的弯曲路径移动的同时（即，在车辆正通过平缓 曲线或陡峭曲线移动至左面或至右面时）对摄像机平移参数x^y。进行校准，来提高校准的 准确度。
[0021] 典型地，用于校准摄像机旋转参数的平行几何方法仅在车辆正沿直线行驶的情况 下被执行。因此，在进一步的实施例中，所述方法包括确定车辆正沿直线行驶，并使用平行 几何方法校准摄像机旋转参数φ、θ、Ψ。例如，换向盘角度可被用于确定车辆正沿直线行 驶。基于平行几何原理的各种方法可被用于确定摄像机旋转参数，以及可选地，确定摄像机 1?度 zc。
[0022] 在一实施例中，平行几何方法包括：在车辆沿直线行驶的同时，对来自摄像机在一 时间段上捕获的至少两个图像的两个或更多个纵向特征进行跟踪，并且调整摄像机旋转， 使得从摄像机图像坐标系映射到车辆坐标系时所记录的轨迹平行。
[0023] 如果要确定摄像机的高度，则这可通过在跟踪纵向特征的同时记录车辆速度、并 确定特征在预定时间段中在摄像机图像中已移动的距离来执行。
[0024] 可通过确定根据摄像机图像测量的距离与根据车辆速度计算的预测距离之间的 差，根据该差计算摄像机的高度的偏移，并将该偏移添加至摄像机高度的存储值，来对摄像 机的高度进行校准。
[0025] 还提供了一种计算机程序产品，其包括其上有形地实施的代码，当在处理器上执 行所述代码时，使所述处理器执行上述实施例之一的方法。
[0026] 计算机程序产品可为诸如光驱动器、硬盘、闪存等的数据载体。如果计算机程序要 升级或增强现有系统，则该实施例可能是有用的。
[0027] 还可将计算机程序存储在用于图像捕获和/或图像处理的设备或系统中的存储 器中。如果设备和系统被提供以用于安装在车辆中，则可使用该实施例。
[0028] 提供了一种包括校准单元的系统，该校准单元包括：用于从至少一个摄像机接收 图像的第一输入装置；用于存储摄像机平移参数X^y。、％以及摄像机旋转参数φ、Θ、Ψ的 存储器；用于接收实际的车辆换向角的第二输入装置；用于接收实际的车辆速度的第三输 入装置；以及用于执行上述实施例之一的方法的处理装置。处理装置可包括存储器，该存储 器包括有形代码，当通过处理装置执行该有形代码时，使处理装置执行上述实施例之一的 方法。
[0029] 系统可进一步包括至少一个摄像机以及用于显示来自摄像机的图像的显示器。
[0030] 典型地，在车辆上设置几个摄像机，例如四个。来自每个摄像机的图像可被组合， 以提供顶视图（也称为鸟瞰图）或全景图的形式的360°图像。典型地，为了提供不间断的 360°视图，来自相邻摄像机（例如前摄像机和侧摄像机）的图像彼此重叠。可使用由处理 单元实施的另外方法对来自两个或更多个摄像机的图像进行组合。使用这里描述的方法之 一对摄像机的校准可被用于去除或减小由不同摄像机捕获的图像内的特征的位置差，以提 供"无缝"组合图像。
[0031] 提供了一种车辆，其包括安装在车辆上的至少一个摄像机和上述实施例之一的系 统。

【专利附图】

【附图说明】
[0032] 现在将参照附图对实施例进行描述。
[0033] 图1示出车辆和车辆坐标系的示意图。
[0034] 图2示出包括摄像机和用于校准摄像机的系统的车辆的示意图。
[0035] 图3示出用于车辆上摄像机的在线校准的方法的示意图。
[0036] 图4示出用于校准摄像机平移参数的方法的示意图。
[0037] 图5示出用于校准摄像机旋转参数的方法的示意图。

【具体实施方式】
[0038] 图1示出车辆1和车辆坐标系xv、yv、zv的示意图。车辆坐标系是具有基准的笛卡 尔坐标系，在本实施例中基准被取作前轴中心。在车辆坐标系中，方向X v在车辆长度方向 上延伸，方向yv在车辆宽度方向上，并且方向zv在车辆高度方向上。由于基准位于前轴中 心，因此，-y v延伸至车辆左面，+yv延伸至车辆右面，-χν为前轴的前面，+χν为前轴的后面， +z v在前轴上面，且-zv在前轴下面。
[0039] 图2示出包括四个摄像机的车辆1的示意侧视图，其中三个摄像机2、3、4示出在 车辆1的视图中。摄像机2被定位为捕获车辆前面的环境，摄像机3被定位为捕获面向车 辆左侧的环境，摄像机4被定位为捕获车辆后面的环境，并且未示出的摄像机被定位于车 辆右手侧以捕获车辆1右面的环境。
[0040] 摄像机具有广的视野，以便能捕获车辆1的紧接附近的完整360°图像。然而，这 里描述的方法可用于具有较小视野的摄像机，可用于包含仅单个摄像机或多于四个摄像机 的车辆。
[0041] 摄像机具有内在参数和外在参数。摄像机外在参数描述摄像机图像坐标系，该摄 像机图像坐标系包含三个旋转参数φ、θ、 Ψ和三个平移参数Xe、ye、z。。三个平移参数Xc、 yc;、z。在图2中示出。
[0042] 希望摄像机图像坐标系的这些参数与真实世界的那些参数对应，例如，与车辆坐 标系的那些参数对应，使得摄像机的图像中所捕获的特征的位置可准确映射到它们在真实 世界中的位置。该映射可用于检测车辆附近的目标，例如危险。该信息可用于警告车辆驾驶 员，或可被驾驶员辅助系统使用，使得车辆驾驶员辅助系统自动采取适当行动以避免危险。
[0043] 当在工厂中将摄像机安装在车辆上时，可对摄像机外在参数（extrinsics)的旋 转参数<Ρ、Θ、Ψ和平移参数x^y^z。进行校准。但是，摄像机外在参数可随时间变动，例 如因为摄像机在车辆上的位置稍微地变化，或者，由于摄像机在其制备之后被装配于车辆， 因此摄像机可能要求校准。校准摄像机的一种方式是使用在线校准方法在摄像机移动的同 时（并且由于摄像机安装在车辆上，因此在车辆移动的同时）对摄像机进行校准。
[0044] 车辆1包括含有校准单元6的系统5,该校准单元6具有耦接至摄像机以使其能接 收来自这些摄像机的图像的第一输入端7、以及用于显示来自摄像机的图像的显示器11。 校准单元6还包括用于接收实际车辆换向角的第二输入端8、以及用于接收实际车辆速度 的第三输入端9。校准单元6还包括用于安装在车辆1上的摄像机2、3、4中的至少一个的 在线校准的处理装置10。
[0045] 图3示出根据第一实施例的用于车辆上摄像机（诸如图2所示的安装在车辆1上 的摄像机2、3、4之一）的在线校准的方法20的示意图。
[0046] 在第一步骤中，在车辆相对于地面移动的同时，使用平行几何方法21 (诸如WO 2012/143036 Al中公开的平行几何方法）对摄像机旋转参数φ、θ、ψ进行校准。在第二 步骤22中独立于摄像机旋转参数φ、Θ、ψ并且独立于校准摄像机旋转参数的方法21对 摄像机平移参数X。、y。进行校准。
[0047] 可首先执行平行几何方法21，之后执行第二步骤22。因此，在对摄像机旋转参数 9、θ、Ψ进行校准后，执行进一步的校准以对摄像机平移参数Xc;、y。进行校准。
[0048] 在方法22中，通过确定相对于车辆坐标系（因此，相对于真实世界）的摄像机平 移参数之间的差来对摄像机平移参数 Xc;、y。进行校准。如果差被确定，则将偏移施加给摄像 机图像坐标系中的平移参数，以对该差进行补偿。
[0049] 在车辆沿弯曲路径移动的同时对摄像机平移参数X。、y。、Z。进行校准。因此，第二 步骤22包括接收来自车辆（例如来自车辆控制单元）的有关车辆速度和换向盘角度的数 据23,以便确定车辆正相对于地面沿弯曲路径移动。在步骤24中从摄像机接收图像，并且 在步骤25中记录来自车辆的图像和数据。在步骤26中，识别第一图像内的至少两个特征。 对同一摄像机收集的后续图像进一步分析，以确定所述两个或更多个特征的位置，并在摄 像机在一时间段上捕获的两个或更多个图像上对这些特征的位置进行跟踪。该数据被用于 识别摄像机图像坐标系中的车辆转向中心T。以及车辆坐标系中的车辆转向中心T v。
[0050] 图4示出用于确定摄像机图像坐标系中的车辆转向中心Τ。及车辆坐标系中的车 辆转向中心T v的方法的示意图。示出了具有后摄像机3的车辆1沿弯曲路径移动。在所 示的例子中，确定了针对五个图像的两个特征30、31相对于地面的位置，使弧32、33与图像 30、31形成的轨迹中的每一个拟合，并根据这些弧32、33计算车辆转向中心Τ。。
[0051] 来自车辆的有关换向盘角度的实际数据被用于计算车辆坐标系中的车辆转向中 心Tv。对摄像机图像坐标系中的车辆转向中心Τ。与车辆坐标系中的车辆转向中心T v之间的 位置进行比较，如果存在差34,则该差可被用于计算被施加给摄像机参数X。、y。的偏移35， 由此对摄像机平移参数X。、y。进行校准。
[0052] 回到图3,在用于校准摄像机旋转参数φ、θ、ψ的平行几何方法21中，在步骤24 中收集来自摄像机的数据，并且在步骤25中，在车辆沿直线行驶的同时收集来自车辆的数 据。
[0053] 如果车辆相对于地面沿直线移动，则可通过对摄像机在一时间段上捕获的至少两 个图像中的两个或更多个纵向特征进行跟踪，来执行摄像机旋转参数的在线校准。例如，可 使用WO 2012/143036 Al中公开的平行几何方法。
[0054] 调整摄像机旋转9、Θ、ψ，使得在从摄像机图像坐标系映射至车辆坐标系时，所 记录的纵向特征的轨迹平行。这在图5中示出。
[0055] 图5示出安装在车辆40上的两个摄像机所捕获的图像的示意图。在前摄像机45 捕获的图像41中，示出了两个纵向特征42、43,例如路上的车道标记。在后摄像机46捕获 的图像44中，捕获到相同的两个纵向特征42'、43'。可以看出，图像41中捕获的纵向特征 42、43与图像44中捕获的纵向特征42'、43'的位置之间存在偏移47。由于两个摄像机45、 46捕获相同的纵向特征，因此在两个图像41、44中纵向特征的位置应相同。因此，差47可 被用于调整摄像机旋转参数，使得在两个图像41、44中纵向特征42、43的位置相同。
[0056] 也通过在跟踪纵向特征的同时记录车辆速度来使用平行几何方法确定摄像机高 度z。。这使得能够确定特征在预定时间段中在摄像机图像中已移动的距离。通过使用三角 测量，可确定摄像机高度z。。
[0057] 也可通过确定从摄像机图像测量的距离与从车辆速度计算的预测距离之间的差， 来对摄像机高度z。进行校准。如果该差被确定，则这可被用于计算能添加至存储的摄像机 高度值的偏移。
[0058] 概括而言，在与摄像机旋转参数φ、Θ、ψ的校准分离的方法步骤中对摄像机 平移参数X。、y。进行校准，以便避免由于试图同时求解多个独立变量而造成的数据模糊， 其中，如果在单个方法中校准旋转参数和平移参数，则可能出现该数据模糊。诸如WO 2012/143036 Al中公开的方法的现有技术平行几何方法可被用于对摄像机旋转参数φ、 Θ、Ψ进行校准，并且，可选地，可被用于对高度ζ。进行校准。
【权利要求】
1. 一种用于车辆（1)上摄像机（2、3、4)的在线校准的方法，摄像机（2、3、4)在摄像机 图像坐标系中具有摄像机旋转参数φ、Θ、ψ和摄像机平移参数Xc;、yc;、z。，并且车辆具有车 辆坐标系，所述方法包括： 在车辆（1)相对于地面移动的同时，使用平行几何方法校准摄像机旋转参数9、Θ、V， 以及 独立于摄像机旋转参数<Ρ、θ、Ψ校准摄像机平移参数x^y。。
2. 根据权利要求1所述的方法，其特征在于，通过确定摄像机平移参数Xc;、y。相对于车 辆坐标系的差并将偏移施加至摄像机图像坐标系中的平移参数 Xc;、y。，来校准摄像机平移参 数 xc、yc。
3. 根据权利要求1或权利要求2所述的方法，其特征在于，在已校准摄像机旋转参数φ 、θ、Ψ后，对摄像机平移参数Xc;、y。进行校准。
4. 根据权利要求1至3之一所述的方法，还包括：确定车辆（1)正沿弯曲路径移动，并 在车辆沿弯曲路径移动的同时对摄像机平移参数X。、 y。进行校准。
5. 根据权利要求4所述的方法，其特征在于，通过以下步骤来校准摄像机平移参数X。、 Yc ： 跟踪摄像机（2、3、4)在一时间段上捕获的至少两个图像中的两个或更多个特征， 将所述两个或更多个特征映射到地平面， 使弧与映射的特征拟合， 根据弧计算摄像机图像坐标系中的车辆转向中心T。， 确定车辆换向角， 根据车辆换向角计算车辆坐标系中的车辆转向中心Tv， 确定摄像机图像坐标系中的车辆转向中心Τ。与车辆坐标系中的车辆转向中心Tv之间 的差， 确定要添加至摄像机平移参数Xc;、y。以使得摄像机图像坐标系中的车辆转向中心Τ。的 位置与车辆坐标系中的车辆转向中心Tv的位置对应的偏移，以及 将偏移施加至摄像机平移参数X。、y。。
6. 根据权利要求3至5之一所述的方法，其特征在于，在车辆沿逆时针弯曲的弯曲路径 和沿顺时针弯曲的弯曲路径移动的同时，对摄像机平移参数X。、y。进行校准。
7. 根据权利要求3至6之一所述的方法，其特征在于，当车辆沿具有不同半径的弯曲路 径移动的同时，对摄像机平移参数X。、y。进行校准。
8. 根据权利要求1至7之一所述的方法，还包括：确定车辆（1)正沿直线行驶，并使用 平行几何方法对摄像机旋转参数φ、Θ、Ψ进行校准。
9. 根据权利要求8所述的方法，其特征在于，所述平行几何方法包括： 在车辆（1)沿直线行驶的同时，对来自摄像机在一时间段上捕获的至少两个图像的两 个或更多个纵向特征进行跟踪， 调整摄像机旋转参数，使得当从摄像机图像坐标系映射至车辆坐标系时，所记录的轨 迹平行。
10. 据权利要求9所述的方法，还包括：通过在跟踪纵向特征的同时记录车辆（1)的速 度，并确定特征在预定时间段中在摄像机图像中已移动的距离，来确定摄像机（2、3、4)的 1?度 zc。
11. 根据权利要求10所述的方法，还包括：确定根据摄像机图像测量的距离与根据车 辆速度计算的预测距离之间的差，根据所述差计算摄像机的高度Z。的偏移，并将所述偏移 添加至摄像机的高度Z。的存储值。
12. -种计算机程序产品，包括其上有形地实施的代码，当在处理器上执行所述代码 时，使所述处理器执行权利要求1至11之一所述的方法。
13. -种包括校准单元的系统（5),所述校准单元包括： 第一输入装置（7)，用于从至少一个摄像机（2、3、4)接收图像， 存储器，用于存储摄像机平移参数x^y。、％和摄像机旋转参数9、Θ、V， 第二输入装置（8)，用于接收实际的车辆换向角， 第三输入装置（9)，用于接收实际的车辆速度， 处理装置（10)，用于执行权利要求1至11之一所述的方法。
14. 根据权利要求13所述的系统（5)，还包括至少一个摄像机和用于显示来自摄像机 的图像的显示器（11)。
15. -种车辆（1)，包括安装在车辆（1)上的至少一个摄像机（2、3、4)和权利要求13 或权利要求14所述的系统（5)。
【文档编号】G06T7/00GK104517283SQ201410496131
【公开日】2015年4月15日 申请日期:2014年9月25日 优先权日:2013年10月1日
【发明者】P·博尼, P·厄米勒斯, P·加尼翁, D·韦博勒 申请人:应用解决方案(电子及视频)有限公司