用于利用新的光学分辨率生成立体图的方法与流程

本发明涉及立体测绘的系统和方法，具体地涉及使用两个具有不同分辨率的相机进行立体测绘的系统和方法。

背景技术：

立体测绘是包括两个相机的系统，其允许处理相机图像以确定使用单个相机可能难以获得的信息。例如，立体测绘允许利用相机图像的位移几何形状来确定对象的深度。具体地，对极几何矩阵可以用于确定物体的深度，其能够被机动车辆主动控制系统用于处理碰撞警告或进行校正动作。

目前，立体测绘系统需要两个相同分辨率的相机。因而，相机被配置以提供类似的视野，而这限制了测绘能力。因而，需要额外的摄像机来捕获更大的视野增加了车辆生产的成本。因此，仍然需要可使用不同视野的多个相机的立体测绘系统以便降低生产成本。

技术实现要素：

提供了一种在机动车辆中使用的立体测绘系统和方法。立体测绘系统和方法被配置为提供物体相对于机动车辆的三维距离。所述系统包括第一相机和第二相机。第一相机被配置为检测在机动车辆中程和远程范围内的物体。第二相机被配置为检测相对第一相机在机动车辆短程范围内的物体。第一相机具有第一相机分辨率和第一视野。第二相机具有第二相机分辨率和第二视野。第二相机分辨率不同于第一相机分辨率。第二视野比第一视野更宽。

所述系统还包括图像处理器。图像处理器包括第一处理片段和第二处理片段。第一处理片段被配置为处理第一相机的图像以便检测对象。具体地，第一处理片段在处理期结束时捕获图像帧并处理使用的图像帧，以便针对多个使用的帧检测图像，而第一相机剩余帧是未使用的帧。

第二处理片段被配置为处理第二相机。第二处理片段处理第二相机对应的帧。对应的帧在时间上对应于第一相机未使用的帧。第二处理片段处理对应的帧，以将对应帧的分辨率与第一相机未使用的帧匹配。

所述系统还包括图像测绘片段。图像测绘片段将第一相机未使用帧的预定像素区域与第二相机对应帧的对应像素区域匹配。图像处理器还被配置利用第二相机的对应帧来处理第一相机未使用的帧，以便确定未使用的帧和对应的帧的预定像素区域内物体的深度和距离。

还提供一种配置用于处理第一相机和第二相机的相机胶片以便在机动车辆中执行立体测绘的方法。所述方法包括：提供具有第一相机分辨率的第一相机。第一相机被配置为检测中程和远程范围内的物体。第二相机被配置为相对第一相机检测在短程范围内的物体。第一相机具有第一相机分辨率和第一视野。第二相机具有第二相机分辨率和第二视野，其中第二相机分辨率与第一相机分辨率不同。第二视野比第一视野更宽。

所述方法包括提供图像处理器的步骤。图像处理器包括第一处理片段和第二处理片段。第一处理片段被配置为处理第一相机的图像以便检测对象。具体地，第一处理片段在处理期结束时捕获图像帧并处理使用的图像帧，以便针对多个使用的帧检测图像，而第一相机的剩余帧是未使用的帧。

第二处理片段被配置为处理第二相机。第二处理片段处理第二相机对应的帧，对应的帧在时间上对应于第一相机未使用的帧，且其中第二处理片段处理对应的帧，以将对应的帧的分辨率与第一相机未使用的帧匹配。

所述方法还包括提供图像测绘片段的步骤。图像测绘片段将第一相机未使用帧的预定像素区域与第二相机对应帧的对应像素区域匹配，其中图像处理器还被配置利用第二相机的对应帧处理第一相机未使用的帧，以便确定未使用的帧和对应的帧的预定像素区域内物体的深度和距离。

附图说明

附图中所阐述的实施例本质上是说明性的和示例性的，且不旨在限制权利要求限定的主题。当结合相同的结构用相同的附图标记表示的以下附图阅读时，能够更好地理解以下详细描述的说明性实施例，且其中：

图1是示出第一和第二相机视野的机动车辆的示意图；

图2是示出第一相机图像使用的帧和未使用的帧以及第二相机图像对应的帧的示意图；

图3是示出系统操作的图；

图4是示出识别感兴趣区域，裁剪图像帧以及去除失真的图像测绘片段的示意图；

图5是示出对极几何概念的图；以及

图6是示出立体测绘方法的步骤的图。

具体实施方式

提供了一种用于机动车辆200的立体测绘系统10和方法100。具体地，立体测绘系统10和方法100被配置为执行具有不同分辨率和不同视野的相机的立体测绘。立体测绘系统10和方法100被配置为提供物体相对于机动车辆200的三维距离。

现在参照图1，提供了一种具有用于立体测绘系统10的机动车辆200。所述系统10包括第一相机12和第二相机14。第二相机14被配置为检测相对第一相机12的短程范围内的物体。在特定方面，第一相机12被配置为具有大约50度的视野，然而，应当理解，提供视野是为了说明目的，且第一相机12和第二相机可以部分基于相机规格和系统需要而具有除了这里提供的以外的更大或更小度数的视野。

第一相机12安装在机动车辆200上，以便设置在与第二相机14不同的垂直和水平平面上。例如，第一相机12可以安装成升高到第二相机14上方和第二相机14之后。因此，从每个相机12、14拍摄的图像提供了不同的相机角度，其使得图像相对于彼此具有位移几何形状。然后利用对极几何的概念可使用图像的位移几何形状来确定如距离和深度等信息。

示例性地示出第一相机12相对于第二相机14固定地安装至挡风玻璃210的上部，且被配置为检测中程和远程范围内的物体。第一相机12具有第一相机分辨率16和第一视野18。

第二相机14具有第二相机分辨率20和第二视野22。第二相机分辨率20不同于第一相机分辨率16。示例性地示出第二相机14安装至机动车辆200的前保险杠220上，且被设置在第一相机12下方。配置第二相机14用于近距离物体识别，近距离是相对于第一相机12，第一相机12被配置用于针对距离比第二相机12更远的物体的物体识别。

第二视野22比第一视野18宽，且第二相机14的空间分辨率大于第一相机12的空间分辨率。为了说明，第一相机12具有1080p的分辨率而第二相机14具有752p的分辨率，且第一相机12被配置为以50度的相机角度提供用于远至150m物体的物体检测的图像，而第二相机14被配置为以180度的相机角度提供用于远至50m物体的物体检测的图像。

图1还示出了固定至机动车辆200的第一相机12，以便在由线“AZ-1”指示的固定方位角上进行拍摄。同样，第二相机14相对于机动车辆200设置在第一相机12的前面，且也固定到机动车辆200上以便也在固定方位角“AZ-1”进行拍摄。拍摄方位角通常相对于机动车辆200的运动是轴向的，其中第一相机12和第二相机14的相机角度沿着相应的第一相机12和第二相机14的固定方位角“AZ-1”二等分。

再次参照图1，系统10还包括图像处理器24。图像处理器24包括第一处理片段26和第二处理片段28。图像处理器24，第一处理片段26和第二处理片段28可以是写入印刷电路板的可执行程序或者下载到如用于机动车辆100的主动控制系统的控制单元的处理器上的可编程计算机程序。

再次参照图1，以及现在参照图2和图3，第一处理片段26被配置为处理第一相机12的图像以便检测物体。第一相机12的图像被传输至图像处理器24，其中图像处理器24执行第一处理片段26以捕获由第一相机12拍摄的图像帧。

图2示出了在处理期结束时捕获第一相机12的图像帧的第一处理片段26，以便生成如虚线所示的使用的帧30。第一处理片段26处理每个使用的帧30，以便检测多个使用的帧30中每一个内的物体。为了本文使用，第一相机12图像的剩余帧被称为未使用的帧32。使用的帧30绘制有关于图像信息的细节，并且其因此比未使用的帧32的数据大小更大。如图3所示，可以进一步处理使用的帧30用于物体检测应用。

图2还示出了第一处理片段26还被配置为捕获不同分辨率的图像帧。为了说明，示出第一处理片段26捕获第一图像分辨率的图像帧和第二图像分辨率的第二图像帧。第二图像分辨率低于第一图像分辨率，且与第二相机14的图像分辨率相当。例如，第一图像分辨率可为16位，而第二图像分辨率可为8位，且其中如使用的图像帧30中所示的较暗轮廓的人所指示的，与未使用的图像帧32中示出的较亮轮廓的人以及对应的帧34相比，第二相机图像帧的分辨率也是8位。

第二处理片段28被配置为处理来自第二相机14的图像。第二处理片段28处理第二相机14的对应的帧34。为了本文使用，对应的帧34涉及第二相机14拍摄的图像帧，其在时间上对应于第一相机12的未使用的帧32。第二处理片段28还配置为处理对应的帧34，以便匹配对应的帧34与第一相机12的未使用的帧32的分辨率。

图2示出了由相应的第一相机12和第二相机14拍摄的顺序图像帧。以不同的相机速率拍摄各个帧。第一相机12为每秒第一帧数(“FPS-1”)，并且第二相机14为每秒第二帧数(“FPS-2”)。每秒第二帧数FPS-2是每秒第一帧数FPS-1的倍数。为了说明，第二相机14显示以第一相机12的两倍的速率生成图像帧。例如，第一相机12可为60的每秒第一帧FPS-1速率和第二相机14可为30的每秒第二帧FPS-2。因此，匹配未使用的帧32与对应的帧34可能需要第一处理片段26使其图像捕获与未使用的帧32生成速率匹配，以使得图像的分辨率和图片匹配。虚线示出了使用的帧32和在时间上相关的对应的帧34。为了说明，假设第一相机12的帧速率是每秒两(2)帧，因此第一处理片段26命令第二相机14以每秒1帧捕获图像。

再次参照图1且现在参照图4，所述系统10还包括图像测绘片段36。图像测绘片段36将第一相机12未使用的帧32的预定像素区域与第二相机14的对应的帧34的对应像素区域匹配。因此，图像测绘片段36获得空间分辨率和视野的相同区域的图像，但其为从不同视野获取并具有相同分辨率。

图1示出从第一相机12和第二相机拍摄的重叠相机(线条部分)图像。图4示出了将从第一相机12拍摄的图像和从第二相机14拍摄的图像绘制在一起。图像处理器24被配置成识别第一和第二相机14的图像两者的感兴趣区域38。为了说明，图像处理器24被示出为识别由第二相机14拍摄的对应的帧34的感兴趣区域38。

感兴趣区域38可以由在第一相机12和第二相机14的视野之间的重合来确定(由线条部分识别)。对应的帧34的感兴趣区域38与未使用的帧32的感兴趣区域38是相同的像素区域。因此，图像测绘片段36可以利用极线校正来确定图像信息，图5提供了极线校正的概念。图4还示出了图像处理器24从对应的帧34裁剪感兴趣区域38之外的区域，以便减少处理的数据量。

图像处理器24还可配置成从裁剪后的图像中去除失真。具体地，图像处理器24可以执行调整像素信息以消除失真的软件程序。应当进一步理解，在第二处理片段28将对应的帧34与相关未使用的帧32的分辨率匹配之前或之后，图像处理器24可识别感兴趣区域38，裁剪并从对应的和未使用的帧32去除失真。优选地，图像处理器24在立体测绘之前执行感兴趣区域38的识别，裁剪和失真消除，以便减少处理时间。

图像处理器24还被配置为利用第二相机14的对应的帧34处理第一相机12的未使用的帧32，以便确定未使用的帧32和对应的帧34的预定像素区域内的物体的深度和距离。如上所述，如深度，距离和物体识别的信息可以通过利用对极几何的概念来完成。因此，关于物体的范围估计，路面信息和路边信息的信息可以利用具有两种不同分辨率的相机来获得。

此外，图像处理器24被配置为在立体测绘状态和物体检测状态之间交替。在立体测绘状态中，图像测绘片段36将第一相机12的帧的预定像素区域与在时间上与第一相机12的帧对应的第二相机14的帧的对应像素区域匹配。在物体检测状态中，图像处理器24处理第一相机12图像以检测物体。因此，在物体检测状态下，进行物体检测且可将信息发送到机动车辆200的主动控制系统240。然而，在立体测绘状态下，可确定如深度、距离等关于图像的信息。应当理解，所述信息可以被发送至主动控制系统以与检测到的物体一起被处理以执行机动车辆200的转向、制动等功能。

现在参照图5，提供了示出系统10操作的图。所述系统10在机动车辆200中实施。图像处理器24和图像测绘片段36可以被写到印刷电路板上且被设置为与第一相机12和第二相机14以及机动车辆100的主动控制系统240的控制单元230电通信。

图5示出了由第一相机12和第二相机14收集并被传送到图像处理器24的图像，其中使用的帧30用于物体检测。未使用的帧32连同第二相机14的对应的帧34由图像处理器24顺序地处理。具体地，处理对应的帧34以与在时间上相关的未使用的帧32的分辨率匹配。

图5示出了被处理以用于物体检测的使用的帧30，其中未使用的帧32和对应的帧34被发送至图像测绘片段36，其中在立体测绘前识别感兴趣区域38，实施裁剪和失真调整。图像测绘片段36将未使用的帧32连同对应的帧34一起处理以确定与相机图像相关的包括道路几何形状，到物体的距离和物体的深度的空间信息。

图5还示出了图像测绘片段36的信息如何可以被用于执行跟踪和物体检测操作。例如，图像测绘片段36的信息可以用于分类物体、跟踪物体，以及提供关于物体的分类的确定性。

现在参照图10，提供了配置用于处理执行立体测绘的方法100。所述方法从步骤110和120开始，提供第一相机12和第二相机14。第一相机12被配置为检测中程和远程范围内的物体。第二相机14被配置为检测相比第一相机12在短程范围内的物体。

第一相机12具有第一相机分辨率16和第一视野18。第二相机14具有第二相机分辨率20和第二视野22，其中第二相机分辨率20与第一相机分辨率16不同。第二视野22比第一视野18更宽。

第二相机14具有第二相机分辨率20和第二视野22。第二相机分辨率20与第一相机分辨率16不同。说明性地示出安装在车辆前保险杠220上且设置在第一相机12下方的第二相机14。第二视野22比第一视野18更宽，并且相对于第一相机12具有更短的范围。

为了说明，第一相机12具有1080p的分辨率而第二相机14具有752p的分辨率，且第一相机12被配置为以50度的相机角度提供用于远至150m物体的物体检测的图像，而第二相机14被配置为以180度的相机角度提供用于远至50m物体的物体检测的图像。

第一相机12和第二相机14可以安装在机动车辆200上，以便设置在彼此不同的垂直和水平平面上，其中相机沿着相同的方位角定向以便收集从不同的角度拍摄的相同的图像。例如，第一相机12可以安装成升高到第二相机14上方和第二相机14之后。因此，从每个相机12、14拍摄的图像提供了不同的相机角度，其使得图像相对于彼此具有位移几何形状。然后利用极线校正的概念可使用图像的位移几何形状来确定如距离和深度等信息。

所述方法100包括步骤130，捕获第一相机12的图像帧以便生成使用的帧30，其中第一相机12的剩余帧是未使用的帧32。图像处理器24执行步骤130。图像处理器24包括第一处理片段26和第二处理片段28。方法100包括从第一相机12捕获图像帧并处理使用的图像帧以便检测物体的步骤。

通过使第一处理片段26处理第一相机12的图像来执行步骤130以便检测物体。发送第一相机12图像至图像处理器24，其中图像处理器24执行第一处理片段26以捕获第一相机12拍摄的图像帧以便生成使用的图像帧。所述方法100还可包括步骤160，将使用的图像帧传送到主动控制系统240以便执行车辆功能或产生碰撞警告，或两者。

方法100包括步骤140，其匹配第二相机14的对应的帧34与第一相机12的未使用的帧32的分辨率，其中对应的帧34在时间上与未使用的帧32相对应。可由第二处理片段28执行步骤。第二处理片段28处理第二相机14的对应的帧34。为了本文使用，对应的帧34涉及第二相机14拍摄的图像帧，其在时间上对应第一相机12的未使用的帧32。第二处理片段28还被配置为处理对应的帧34以便匹配对应的帧34与第一相机12的未使用的帧32的分辨率。

方法100还包括步骤150，立体匹配具有调整的分辨率的对应的帧34与未使用的帧32以便获得图像信息。立体匹配步骤可由图像测绘片段36执行。图像测绘片段36匹配第一相机12的未使用的帧32的预定像素区域与第二相机14的对应的帧34的对应像素区域。因此，图像测绘片段36获得相同相机覆盖区域的图像，但其为从不同视野获取并具有相同分辨率。

图像处理器24还被配置为利用第二相机14的对应的帧34处理第一相机12的未使用的帧32以便确定未使用帧32和对应的帧34的预定像素区域内物体的深度和距离。如上所述，诸如深度，距离和物体识别的信息可以通过利用对极几何的概念来完成。因此，可通过具有两种不同分辨率的相机来获得关于物体的范围估计、路面信息和路边信息的信息。

根据方法100的另一方面，图像处理器24可以被配置为在立体测绘状态和物体检测状态之间交替。在立体测绘状态中，图像测绘片段36将第一相机12的帧的预定像素区域与在时间上与第一相机12的帧相关的第二相机14的帧的对应像素区域匹配。在物体检测状态中，图像处理器24处理第一相机12图像以检测物体。因此，在物体检测状态下，进行物体检测且可将信息发送到主动控制系统。然而，在立体测绘状态下，可确定如深度，距离等关于图像的信息。应当理解，所述信息可以被发送至主动控制系统以与检测到的物体一起被处理以执行机动车辆200的转向、制动等功能。

方法100还可包括为每个未使用的帧32和对应的帧34识别感兴趣区域38的步骤。图像处理器24可以执行识别感兴趣区域38的步骤。感兴趣区域38可以由在第一相机12和第二相机14的视野之间重合(由线条部分识别)来确定。对应的帧34的感兴趣区域38与未使用的帧32的感兴趣区域38是相同的像素区域。因此，图像测绘片段36可以利用对极几何来确定图像信息。

所述方法100还可包括从对应的帧34和未使用的帧32裁剪感兴趣区域38之外的区域以便减少处理的数据量的步骤。所述方法100还可包括从对应的帧34和未使用的帧32去除失真的步骤。图像处理器24可执行裁剪和失真解决的步骤。具体地，图像处理器24可以执行调整像素信息以消除失真的软件程序。应当进一步理解，在第二处理片段28将对应的帧34与相关未使用的帧32的分辨率匹配之前或之后，图像处理器24可识别感兴趣区域38，裁剪并从对应的和未使用的帧32去除失真。优选地，图像处理器24在立体测绘之前执行感兴趣区域38的识别，裁剪和失真消除，以便减少处理时间。

虽然这里已经示出和描述了具体实施例，但是应当理解，在不脱离所要求保护的主题的精神和范围的情况下，可以进行各种其他改变和修改。此外，尽管在此描述了所要求保护的主题的各个方面，但是这些方面不需要组合使用。