用于车辆摄像机的校准的制作方法

该技术领域通常涉及摄像机，并且更具体地，涉及用于校准车辆的摄像机的方法和系统。

背景技术：

许多车辆包括摄像机，包括用于检测车辆附近的物体的交叉交通摄像机。每个摄像机，当安装到车辆上时，都需要校准某些内部和外部参数。例如，内部参数包括摄像机的光学中心和焦距。在另一个示例中，外部参数包括摄像机在三维空间中相对于车辆的位置和取向。这些参数的正确校准可以将摄像机捕获的数据更准确地转换为现实世界坐标系。提供更准确的现实世界坐标数据可以改善对车辆的控制。

因此，期望提供用于校准在车辆中使用的摄像机的改进的方法和系统。此外，结合附图和本发明的背景技术，从本发明的随后的详细描述和所附的权利要求，本发明的其他期望的特征和特性将变得显而易见。

技术实现要素：

在各个实施例中，提供了用于校准车辆的摄像机的方法和系统。在一个实施例中，一种方法包括：基于位于相对于车辆的多个位置处的标靶(target)，从摄像机获得多个摄像机图像，其中，标靶包括根据随机间隔以行和列布置的多个点，其中，标靶还包括相对于标靶的中心以l形图案布置的多个放大点；通过处理器基于所述多个摄像机图像估计内部参数和外部参数中的至少一个；以及通过处理器并在数据存储设备中存储内部参数和外部参数中的至少一个，作为与摄像机相关联的校准参数。

在各个实施例中，多个放大点包括三个放大点。

在各个实施例中，三个放大点中的至少一个是空心点。

在各个实施例中，空心点在水平方向上布置成与三个放大点中的至少一个另一个点相邻。

在各个实施例中，多个点基于标靶的温度而间隔开。

在各个实施例中，多个位置包括与摄像机的中心视图相关联的位置、与摄像机的最右视图(far-rightview)相关联的位置以及与摄像机的最左视图(far-rightview)相关联的位置。

在各个实施例中，该方法还包括基于初始值和全局最小值来估计内部参数和外部参数中的至少一个，其中，初始值与多个其他摄像机中的参数的平均值相关联。

在各个实施例中，该方法还包括用三维处理工具处理多个摄像机图像，以确定与多个点相关联的多个参考点，并且其中，基于多个参考点估计内部参数和外部参数中的至少一个。

在各个实施例中，内部参数包括失真参数。该方法还包括基于分段线性失真模型来估计失真参数。

在另一个实施例中，提供了一种非暂时性计算机可读介质。非暂时性计算机可读介质包括图像模块，该图像模块被配置为基于位于相对于摄像机的多个位置处的标靶从摄像机获得多个摄像机图像，其中该标靶包括根据随机间隔以行和列布置的多个点，其中，标靶还包括相对于标靶的中心以l形图案布置的多个放大点；处理模块，其被配置为由处理器基于摄像机图像估计内部参数和外部参数中的至少一个；数据存储设备，其被配置为存储内部参数和外部参数中的至少一个，作为与摄像机相关联的校准参数。

在各个实施例中，多个放大点包括三个放大点。

在各个实施例中，三个放大的点之一是空心点。

在各个实施例中，空心点在水平方向上布置成与三个放大点中的至少一个另一个点相邻。

在各个实施例中，多个点中的每个基于标靶的温度而间隔开。

在各个实施例中，多个位置包括与摄像机的中心视图相关联的位置、与摄像机的最右视图相关联的位置以及与摄像机的最左视图相关联的位置。

在各个实施例中，处理模块还被配置为基于初始值和全局最小值来估计内部参数和外部参数中的至少一个，其中，初始值与来自多个其他摄像机的参数的平均值相关联。

在各个实施例中，处理模块还被配置为利用三维处理工具处理多个摄像机图像，以确定与多个点相关联的多个参考点，并基于多个参考点估计内部参数和外部参数中的至少一个。

在各个实施例中，内部参数包括失真参数。处理模块还被配置为基于分段线性失真模型来估计失真参数。

在另一个实施例中，提供了一种用于车辆的校准系统。该校准系统包括标靶，其包括根据随机间隔以行和列布置的多个点，其中，标靶还包括相对于标靶的中心以l形图案布置的多个放大点；摄像机，其布置在车辆上并被配置为生成所述标靶的多个摄像机图像；处理器，其被配置为接收所述多个摄像机图像并且基于该摄像机图像来估计内部参数和外部参数中的至少一个；数据存储设备，其被配置为存储内部参数和外部参数中的至少一个，作为与摄像机相关联的校准参数。

在各个实施例中，处理器被配置为基于初始值和全局最小值来估计内部参数和外部参数中的至少一个，其中，初始值与来自多个其他摄像机的参数的平均值相关联，其中处理器被配置为基于分段线性失真模型来估计内部参数的失真参数。

附图说明

在下文中，将结合以下附图描述本公开，其中，相同的附图标记表示相同的元件，并且在附图中：

图1是根据各个实施例的包括摄像机和用于校准摄像机的控制系统的车辆的功能框图；

图2是示出根据各个实施例的图1的控制系统的数据流程图；

图3是根据各个实施例的通过图1的控制系统用来捕获摄像机图像的标靶的图示；

图4是根据各个实施例的标靶放置的图示；

图5是根据各个实施例的用于校准车辆摄像机的过程的流程图，其可以结合车辆、摄像机、控制系统和图1，2和3的标靶来实现；

图6a和6b示出了从标靶相对于摄像机的位置获得的示例性摄像机图像；

图7是示出根据各个实施例的用于细化校准参数的值的图；和

图8是根据各个实施例的用于确定失真参数的方法的步骤的图示。

具体实施方式

以下详细描述本质上仅是示例性的，并且不旨在限制本公开或其应用和用途。此外，无意受到在先前背景或以下详细描述中提出的任何理论的约束。如本文所使用，术语模块是指任何硬件、软件、固件、电子控制组件、处理逻辑和/或处理器设备，单独地或以任何组合，包括但不限于：专用集成电路(asic)、电子电路、(共享，专用或成组的)处理器、执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所描述功能的其他合适组件。

图1示出了根据示例性实施例的车辆100。如下面进一步更详细描述的，车辆100包括摄像机102和控制系统104。在某些实施例中，摄像机102经由控制系统104来控制，如图1所示。控制系统104校准摄像机102，以用于将摄像机图像投影到三维空间上。

在各个实施例中，车辆100包括汽车。车辆100可以是一定数量的不同类型的汽车中的任何一种，例如轿车、货车、卡车或运动型多用途车(suv)，并且在某些实施例中，可以是两轮驱动(2wd)(即，后轮驱动或前轮驱动)、四轮驱动(4wd)或全轮驱动(awd)和/或各种其他类型的车辆。在某些实施例中，车辆100还可以包括摩托车或其他车辆，和/或一个或多个其他类型的移动平台(例如，机器人、轮船等)和/或其他系统，例如具有带固定参考点的摄像机图像。

车辆100包括布置在底盘108上的车身106。车身106基本包围车辆100的其他组件。车身106和底盘108可以共同形成框架。车辆100还包括多个轮110。轮110每个都在车身106的相应拐角附近旋转联接至底盘108，以促进车辆100的运动。在一个实施例中，车辆100包括四个轮110，尽管这在其他实施例中可能有所不同(例如，对于卡车和某些其他车辆)。

驱动系统112安装在底盘108上，并且例如经由轮轴114驱动轮110。驱动系统112优选地包括推进系统。在某些示例性实施例中，驱动系统112包括与其传动装置联接的内燃发动机和/或电马达/发电机。在某些实施例中，驱动系统112可以改变，和/或可以使用两个或更多个驱动系统112。举例来说，车辆100还可结合一定数量的不同类型的推进系统中的任何一种或组合，例如，汽油或柴油燃料的内燃机、“柔性燃料车辆”(ffv)发动机(即，使用汽油和酒精的混合物)、气态化合物(例如，氢气和/或天然气)为燃料的发动机、燃烧/电马达混合动力发动机和电马达。

如图1所描绘的，在某些实施例中，摄像机102包括后视摄像机，其安装在车辆100的后部；前视摄像机，其安装在车辆100的前部；驾驶员侧摄像机，其安装在车辆100的驾驶员侧；以及乘客侧摄像机，其安装在车辆100的乘客侧上。在各个实施例中，摄像机102捕获车辆100和/或车辆100的周围环境的图像，以用于例如，从车辆100的各个侧面(例如，前侧、后侧、乘客侧和驾驶员侧)检测其他车辆、其他物体、道路、道路特征等，例如以协助车辆100沿道路行驶(例如，避免与其他车辆和/或其他物体接触)。在各个实施例中，一个或多个摄像机102也可以被布置在车辆100的一个或多个其他位置上，例如在车辆100的顶部上或在车辆100的内部，例如以创建环绕视图和/或车辆100的一个或多个其他视图。在各个实施例中，摄像机102的数量、位置和/或安置可以变化(例如，在某些实施例中，可以使用单个摄像机等)。

在各个实施例中，控制系统104控制摄像机102的操作，并校准摄像机102，例如用于将摄像机图像投影到三维空间上。在各个实施例中，控制系统104根据关于图2-7讨论的实施例提供这些和其他功能。

在各个实施例中，控制系统104被布置在车辆100的车身106内。在某些实施例中，控制系统104和/或其一个或多个组件可以被布置在车身106的外部，例如在部分或全部位于远程服务器上、云中、或远程智能电话或其他可以远程执行图像处理的设备中。另外，在各个实施例中，控制系统104可以被布置在摄像机102内和/或作为摄像机102的一部分，和/或布置在一个或多个其他车辆系统(未示出)内和/或作为该一个或多个其他车辆系统的一部分。

此外，如图1中所描绘的，在各个实施例中，控制系统104经由一个或多个通信链路116联接到摄像机102，并且经由通信链路116从摄像机102接收摄像机图像。在某些实施例中，每个通信链路116包括一个或多个有线连接，例如一根或多根电缆(例如，同轴电缆和/或一种或多种其他类型的电缆)。在其他实施例中，每个通信链路116可以包括例如使用一个或多个收发器的一个或多个无线连接。

在各个实施例中，控制系统104包括计算机系统。例如，控制系统104包括处理器122、存储器124、接口126和总线130。处理器122执行计算机系统的计算和控制功能，并且可以包括任何类型的处理器或多个处理器、单个诸如微处理器之类的集成电路，或任何适当数量的集成电路设备和/或电路板，其协同工作以实现处理单元的功能。在操作期间，处理器122执行存储在存储器124内的一个或多个程序132，并由此控制计算机系统的一般操作。在各个实施例中，处理器执行关于以下结合图2-7进一步描述的系统和过程描述的程序132。

存储器124可以是任何类型的合适的存储器。例如，存储器124可以包括诸如sdram的各种类型的动态随机存取存储器(dram)、各种类型的静态ram(sram)以及各种类型的非易失性存储器(prom、eprom和闪存)。在某些示例中，存储器124与处理器122定位在和/或共同定位在同一计算机芯片上。在所描绘的实施例中，存储器124存储上述程序132以及一个或多个存储的值134(例如，在各个实施例中，包括先前的校准、默认校准等)。

接口126允许例如从系统驱动器和/或另一个计算机系统到计算机系统的通信，并且可以使用任何合适的方法和装置来实现。在一实施例中，接口126从摄像机102获得各种数据。接口126可包括一个或多个网络接口以与其他系统或组件通信。接口126还可包括一个或多个网络接口，以与技术人员通信；和/或一个或多个存储接口，以连接至存储装置。

总线130用于在计算机系统的各个组件之间传输程序、数据、状态和其他信息或信号。总线130可以是连接计算机系统和组件的任何合适的物理或逻辑器件。这包括但不限于直接硬连线连接、光纤、红外和无线总线技术。

应当理解，尽管在功能全面的计算机系统的上下文中描述了该示例性实施例，但是本领域技术人员将认识到，本公开的机制能够作为程序产品分发，该程序产品具有用于存储该程序和其指令并执行其分发的一个或多个类型的非暂时性计算机可读介质，例如非暂时性计算机可读介质承载程序并包含存储在其中的计算机指令。用于引起计算机处理器(例如处理器122)来执行和执行程序。类似地，应该理解，计算机系统在其他方面也可以不同于图1所示的实施例。

现在参考图2并继续参考图1，数据流程图示出了根据示例性实施例的图1的控制系统104被配置为校准摄像机102。如图2所示，在各个实施例中，控制系统104可以包括一个或多个模块。如可以理解到的，所示的模块可以被组合和/或进一步划分以校准车辆100的一个或多个摄像机102。在各个实施例中，控制系统104包括图像模块210、图像数据存储器212、模型数据存储器214和处理模块216。

模型数据存储器214存储与定义用于校准过程的一个或多个标靶有关的模型数据218。模型数据28包括n个参考点x0，…，xn-1。每个参考点对应于已定义标靶的特征。

例如，在各个实施例中，标靶是具有所示特征的平面表面。所示出的特征由摄像机102在摄像机图像220中捕获。如图3的示例性实施例所示的，标靶250可以包括诸如多个“点”252或封闭的圆圈的特征。如可以理解的，在各个实施例中，其他形状也可以用作特征。如所示的，点252以行和列布置。图3示出了十行十列。如可以理解到的，在各个实施例中可以实现任何数量的行和任何数量的列。

在各个实施例中，标靶250中的点252之间的竖直间隔254和/或水平间隔256被定义为具有随机变化。例如，当定义标靶250时，将列10中的点与列9中的点之间的水平距离(disti)设置为定义的距离加上随机值(a)。在另一个示例中，当定义标靶250时，将列1中的点和列2中的点之间的竖直距离(distj)设置为定义的距离加上随机值(a)。

在各个实施例中，可以基于标靶的温度来改变标靶250中的点252之间的间隔254，256。例如，点位置l补偿具有已知的热膨胀系数(tec)的标靶的温度变化(t)，l＝l+lδt*tec。

在各个实施例中，标靶250还包括示出为与其他点区分开的放大点(尺寸大于其他点的点)的标记258。标记258位于标靶250的中心处或附近。如所示的，标记258可包括两个放大的点和一个放大但空心的点。标记258以l形布置，两个放大的点在竖直方向上相邻，并且一个放大的空心数据在水平方向上与放大点之一相邻。如图4所示，当标记250的标靶位置和取向改变时，标记258的布置有助于确定摄像机102的取向参数和检测镜像的摄像机图像。

返回参考图2，在各个实施例中，图像模块210获得由摄像机102拍摄的所选标靶的摄像机图像220。例如，诸如关于图3所描述的标靶250之类的标靶被选择并将被放置在相对于摄像机102的一定数量的不同位置和/或取向上(或相对于标靶250放置摄像机102)，并且摄像机102在这些位置/取向中的每个处捕获标靶250的摄像机图像220，并将摄像机图像220提供给图像模块210。例如，可以将标靶250放置在摄像机102正前方的第一位置，并且产生第一摄像机图像220。然后，可以将标靶250移动到摄像机220的最左视图的第二位置，并且产生第二摄像机图像220。然后，可以将标靶移动到摄像机102的最右视图处的第三位置，并产生第三摄像机图像220。如可以理解到的，在各个实施例中，在各个实施例中，可以捕获放置在任意数量的位置处并根据任意数量的取向的标靶250(或其他标靶)的任意数量的摄像机图像220。

图像模块210接收捕获的图像220，并将捕获的图像存储在图像数据存储器212中以供将来处理。

处理模块220检索存储的摄像机图像222并处理摄像机图像222。处理模块220检索与用于产生摄像机图像222的标靶250对应的模型数据218。处理模块处理摄像机图像222和模型数据218并提供用于校准摄像机102的校准参数230。

例如，如关于图5，6a，6b，7和8更详细地示出的，在各个实施例中，处理模块220根据一种或多种处理方法来处理图像。图5例如是根据示例性实施例的用于处理摄像机图像222的过程300的流程图。根据示例性实施例，可以结合图1和图2的车辆100、摄像机102和控制系统104来实现过程300。如可以理解到的，在各个实施例中，该方法的顺序可以改变，和/或可以添加或去除一个或多个步骤。

如图5中所描绘的，该过程可以开始于305。在310处，摄像机图像222(i0，...，im-1)(例如，由摄像机102通过移动标靶250和/或摄像机102而在不同视图下获得的图像)。在各个实施例中，如图6a中所示的，获得了十五个或任何其他数量的摄像机图像。在各个实施例中，如图6b中所示的，获得了三个摄像机图像，一个来自中心视图、一个来自最右视图，一个来自最左视图。尽管可以使用任何数量的图像，但是基于最少数量的摄像机图像222估计摄像机校准并使用参数的初始猜测可以改善处理性能并简化整个车辆制造和校准过程。

此后，在320处，从模型数据存储器214检索与用于捕获图像的标靶的类型有关的模型数据218。

在330-350处，基于模型数据218处理每个摄像机图像222。例如，在每个摄像机图像222中识别特征(例如，点)，并且在340处提取与这些点有关的数据(参考点)。例如，可以用精确的三维工具识别由该标记识别的中心位置。根据所提取的数据，在350处在所提取的数据与模型数据218之间执行线性映射。

一旦在330处已对所有摄像机图像222进行了线性映射处理，则在360处使用初始猜测和非线性优化技术来估计内部参数224(包括失真值)和外部参数226。

例如，当使用十五个或更多摄像机图像222时(例如，如图6a所示)，内部参数-f(焦距)、c(图像中心)、d(对角失真)和外部参数-r(旋转矩阵)、t(平移矢量)是基于例如从线性优化技术估计的初始值510(图7)并还基于识别局部最小值620的非线性优化技术(图7)进行细化的：

min∑j∑i|xij-f(xij,f,c,d(.),r,t)|.

在另一个示例中，当使用最少数量(例如，如图6b所示的三个)的摄像机图像222时，内部参数-f(焦距)、c(图像中心)、d(对角失真)和外部参数-r(旋转矩阵)、t(平移矢量)是基于为相似摄像机的已知参数的平均值的初始猜测值530(图7)并还基于识别全局最小值540的非线性优化技术(图7)进行细化的：

min∑j∑i|xij-f(xij,f,c,d(.),r,t)|.

在各个实施例中，可以改善估计的失真参数。例如，当在370处失真参数不足(误差大于阈值)时，在380处使用来自像素的测得的失真值和分段线性失真模型来估计失真参数。例如，如图8中所示的，在600处处理摄像机图像，并且使用通用模型(例如，θ，tan(θ)，cos(θ)，sin(θ)，tan²(θ)，cos²(θ))来估计每个像素的失真值。然后，在610处从通用模型中选择最佳拟合。此后，在620处，对所选模型进行分段线性改进以改进这些值。

返回参考图5，一旦确定估计参数是足够的，则在390处包括内部参数224和外部参数226的估计参数被弄成是对车辆110可用的，作为摄像机校准230。然后，将摄像机校准230用于图像数据处理并控制车辆100。此后，该方法可以在400处结束。

因此，提供了用于校准用于车辆的摄像机的方法、系统和车辆。尽管在前面的详细描述中已经呈现了至少一个示例性实施例，但是应当理解，存在大量的变型。还应当理解，一个或多个示例性实施例仅是示例，并且无意以任何方式限制本公开的范围、适用性或配置。相反，前述详细描述将为本领域技术人员提供用于实施一个或多个示例性实施例的便利路线图。应当理解，在不脱离如所附权利要求及其合法等同物所阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。