物体尺寸检测方法、测距方法、存储介质及单目摄像头与流程

本发明涉及智能交通技术领域，特别涉及一种物体尺寸检测方法、测距方法、存储介质及单目摄像头。

背景技术：

目前，具有ad(autonomousdriving，自主驾驶)功能或adas(advanceddriverassistancesystem，高级驾驶辅助系统)的车辆已开始逐步推向市场，极大地促进了智能交通的发展。

现有技术中，支持ad/adas的传感器主要有雷达、视觉相机系统、激光雷达、超声波传感器等，其中视觉相机系统因能够获得与人类视觉一样的二维图像信息而应用最为广泛，其典型应用包括车道检测、物体检测、车辆检测、行人检测、骑车人检测等指定目标检测。

目前用于物体识别/检测的视觉相机系统主要包括单目摄像头和立体摄像头，两者都有自己的特色。单目摄像头具有紧凑、简单、易于安装等优点，且它需要的计算量比立体摄像机小。由于这些优点，单目摄像头在实际市场中的使用越来越多。但是，单目摄像头存在一个致命的缺点，即其进行目标检测和目标距离估计的准确性太低(低于立体摄像机)，且现有单目摄像头目标检测和测距方案多是基于目标形状进行的，对于未知形状的目标，检测和测距精度更是无法满足需求。

因此，长期以来一直期望能够提高单目摄像头的物体检测和距离估测精度，特别是针对未知形状的物体的检测和距离估测精度。

技术实现要素：

有鉴于此，本发明旨在提出一种基于单目摄像头的物体尺寸检测方法，以解决针对未知形状的物体的检测精度不高的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于单目摄像头的物体尺寸检测方法，包括：获取所述单目摄像头拍摄的包括物体及该物体所在车道的图像，其中所述车道具有已知的物理车道宽度；以及基于所述图像中的车道宽度像素值和物体尺寸像素值以及所述物理车道宽度估计所述物体的物理物体尺寸，其中所述车道宽度与所述物体尺寸的像素比和物理尺寸比相等。

进一步的，所述物体的尺寸通过该物体的对角线表示，且所述基于所述图像中的车道宽度像素值和物体尺寸像素值以及所述物理车道宽度估计所述物体的物理物体尺寸包括：采用下式计算物体的对角线像素值diagonal：

其中，w_obj表示物体宽度像素值，h_obj表示物体高度像素值；

采用下式计算所述物体的所述物理物体尺寸diagonal_ref_m：

其中，w_lane表示车道宽度像素值，w_lane_m表示所述物理车道宽度。

相对于现有技术，本发明所述的基于单目摄像头的物体尺寸检测方法能够基于车道宽度估计出未知形状的物体的尺寸，且检测精度高。

本发明的另一目的在于提出第一种基于单目摄像头的测距方法，以解决现有技术中针对未知形状的物体的距离估测精度不高的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于单目摄像头的测距方法，包括：采用上述的物体尺寸检测方法估计出所述物体的物理物体尺寸；以及获取所述图像沿所述物体底部的水平方向的物理图像宽度，并根据所述物理图像宽度以及所述图像和所述单目摄像头之间的几何关系，估计所述单目摄像头到所述物体的距离。

进一步的，所述获取所述图像沿所述物体底部的水平方向的物理图像宽度包括：采用以下公式计算所述物理图像宽度width_screen_m：

其中，w_lane表示车道宽度像素值，w_lane_m表示所述物理车道宽度，width_screen表示所述图像沿所述物体底部的水平方向的宽度的像素值。

进一步的，所述根据所述物理图像宽度以及所述图像和所述单目摄像头之间的几何关系，估计所述单目摄像头到所述物体的距离包括：采用以下公式计算所述单目摄像头到所述物体的距离range_screen_m：

其中，width_screen_m表示所述物理图像宽度，fov表示所述单目摄像头的视场角。

相对于现有技术，本发明所述的基于单目摄像头的测距方法能够基于车道宽度实现对任意形状的物体的测距，且测距精度高。

本发明的另一目的在于提出第二种基于单目摄像头的测距方法，以解决现有技术中针对未知形状的物体的距离估测精度不高的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于单目摄像头的测距方法，包括：采用上述的物体尺寸检测方法估计出所述物体的第一物理物体尺寸；在所述单目摄像头至所述物体的视场中，在距离所述单目摄像头预设距离的位置处设置包括所述物体的虚拟窗口，其中所述虚拟窗口具有预定的物理窗口尺寸；基于所述虚拟窗口的窗口尺寸像素值和所述物体尺寸像素值以及所述物理窗口尺寸估计所述物体相对于所述虚拟窗口的第二物理物体尺寸，其中所述窗口尺寸与所述物体尺寸的像素比和物理尺寸比相等；以及基于所述第一物理物体尺寸和第二物理物体尺寸的比率以及所述预设距离估计所述单目摄像头到所述物体的距离。

进一步的，所述物体的尺寸通过该物体的对角线表示，且所述基于所述虚拟窗口的窗口尺寸像素值和所述物体尺寸像素值以及所述物理窗口尺寸估计所述物体相对于所述虚拟窗口的第二物理物体尺寸包括：采用以下公式计算以对角线表示的所述第二物理物体尺寸diagonal_window_m：

其中，diagonal是以对角线表示的物体尺寸像素值，width_window是以宽度表示的所述虚拟窗口的窗口尺寸像素值，width_window_是以宽度表示的所述物理窗口尺寸。

进一步的，所述基于所述第一物理物体尺寸和第二物理物体尺寸的比率以及所述预设距离估计所述单目摄像头到所述物体的距离包括：采用以下公式计算所述第一物理物体尺寸和第二物理物体尺寸的比率href/h1：

其中，href是以高度表示的第一物理物体尺寸，h1是以高度表示的第二物理物体尺寸，diagonal_ref_m是以对角线表示的第一物理物体尺寸，diagonal_window_m是以对角线表示的第二物理物体尺寸；

采用以下公式计算所述单目摄像头到所述物体的距离range：

其中，range_window_m表示所述虚拟窗口的所述预设距离。

相对于现有技术，本发明所述的基于单目摄像头的物体尺寸检测方法能够利用车道宽度和虚拟窗口估计出未知形状的物体的尺寸，且检测精度高。

本发明的另一目的在于提出一种机器可读存储介质，以解决现有技术中针对未知形状的物体的尺寸检测和/或距离估测精度不高的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行以下方法中的任意一者或多者：上述的基于单目摄像头的物体尺寸检测方法；上述的第一种基于单目摄像头的测距方法；以及上述的第二种基于单目摄像头的测距方法。

所述机器可读存储介质与上述基于单目摄像头的物体尺寸检测方法和/或测距方法相对于现有技术所具有的优势相同，在此不再赘述。

本发明的另一目的在于提出一种单目摄像头，以解决现有技术中针对未知形状的物体的尺寸检测和/或距离估测精度不高的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种单目摄像头，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现以下方法中的任意一者或多者：上述的基于单目摄像头的物体尺寸检测方法；上述的第一种基于单目摄像头的测距方法；以及上述的第二种基于单目摄像头的测距方法。

所述单目摄像头与上述基于单目摄像头的物体尺寸检测方法和/或测距方法相对于现有技术所具有的优势相同，在此不再赘述。

本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施方式及其说明用于解释本发明，并不构成对本发明的不当限定。

在附图中：

图1是现有技术中的测量方法_1的原理示意图；

图2是现有技术中的测量方法_2的原理示意图；

图3是本发明实施例一的一种基于单目摄像头的物体尺寸检测方法的流程示意图；

图4是本发明实施例中基于物理车道宽度估计未知形状的物体尺寸的示例的原理示意图；

图5是本发明实施例二的一种基于单目摄像头的测距方法的流程示意图；

图6(a)是本发明实施例中的图像和单目摄像头之间的几何关系的示意图；

图6(b)是与图6(a)相对应的屏幕与物体的相对位置示意图；

图7是本发明实施例三的一种基于单目摄像头的测距方法的流程示意图；

图8(a)是本发明实施例设置的虚拟窗口的示意图；

图8(b)是与图8(a)相对应的虚拟窗口与物体的相对位置示意图；

图9(a)是本发明实施例的示例中包括物体及该物体所在车道的图像；

图9(b)是图9(a)中的物体的三维立体示意图；

图9(c)是示例中采用本发明实施例三的方法检测出的物体形状的示意图；

图9(d)是示例中采用本发明实施例三的方法估计物体尺寸的示意图；以及

图9(e)是示例中采用本发明实施例三的方法进行物体测距的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。

另外，在本发明实施例中，物体尺寸可以用物体的某一尺寸参数表示，例如物体的对角线、宽度等；测距是指测量单目摄像头相对于目标物体的距离；单目摄像头在下文中以安装在车辆上的单目摄像头为例；术语“物理”旨在表示对应于真实对象而真实存在的尺寸、宽度等，用“物理”限定相关尺寸参数旨在与本发明实施例中涉及的像素尺寸区别开。

在介绍本发明实施例的基于单目摄像头的物体测距方法之前，先介绍现有技术中利用单目摄像头进行物体测距的方案，以用于说明本发明实施例方案的改进。

目前，现有技术通常的物体测距方案通常是针对已知形状的物体，例如路锥等，且主要有以下两种测量方法，分别记为测量方法_1和测量方法_2。

图1是现有技术中的测量方法_1的原理示意图，该测量方法_1基于单目摄像头与实际目标的几何关系进行测距。如图1所示，假设单目摄像头a的坐标与地面平行，并设单目摄像头a至地面的距离为h，且单目摄像头a至目标b的接触地面的底部(即目标的下边缘)的视线相对于地面的夹角为θ，则单目摄像头a至目标b的距离d1＝h/tanθ。

图2是现有技术中的测量方法_2的原理示意图，该测量方法_2基于测量图像和参考图案中目标的高度比进行测距。如图2所示，设测量图像中的目标(即实际目标)的高度为h1，设参考图案中的参考目标高度为h_ref，进一步设单目摄像头至参考图案的参考距离为d_ref，则计算单目摄像头到目标的距离的步骤可以包括：获取实际目标b高度h1；获取相对于单目摄像头a的参考距离d_ref内的参考图案中的参考目标高度h_ref；以及根据下式计算单目摄像头到目标的距离d2：

d2＝(h_ref/h1)*d_ref。

上述测量方法_1和测量方法_2各自的优缺点如下面的表1所示：

表1

除表1示出的两种方法各自的缺点之外，测量方法_1难以获得目标的底部边缘和摄像头的精确仰角θ，所以单独的测量方法_1不能测量出精确的距离d1。因此，测量方法_1可能会依赖测量方法_2的帮助，但是测量方法_2对物体尺寸有要求，而在实际中不能或很难获得关于具有任意形状的物体的尺寸信息。因此，针对未知形状的物体，即使测量方法_1和测量方法_2相结合，物体的尺寸检测和距离估计也变得困难。

对此，本申请发明人在发现现有技术所存在的问题的过程中，提出了本发明实施例中的方案。下面将参考附图并结合实施方式来详细说明本发明实施例。

实施例一

图3是本发明实施例一的一种基于单目摄像头的物体尺寸检测方法的流程示意图，该方法针对车辆前方形状未知的物体。如图3所示，所述物体尺寸检测方法可以包括以下步骤：

步骤s310，获取所述单目摄像头拍摄的包括物体及该物体所在车道的图像。

其中，所述车道具有已知的物理车道宽度。举例而言，在高速公路或城市驾驶中，通常存在具有固定宽度的车道，例如3.75米。

通过该步骤s310，限定了本发明实施例的物体尺寸检测方法的假设条件包括以下三个方面：

1)位置：物体在具有车道的路面上；

2)形状：物体为任意形状；

3)车道：应存在且其宽度已知。

另外，需说明的是，在单目摄像头拍摄图像后，还应涉及过图像的滤波、去噪、色彩归一化等预处理，这些图像预处理方案为本领域技术人员所公知，故在此不再进行赘述。

步骤s320，基于所述图像中的车道宽度像素值和物体尺寸像素值以及所述物理车道宽度估计所述物体的物理物体尺寸，其中所述车道宽度与所述物体尺寸的像素比和物理尺寸比相等。

需说明的是，图片的实际尺寸是由电子图片的像素和分辨率共同决定的，像素是构成图像的小色点，分辨率是指每英寸上的像素数量，据此可知尺寸与像素之间存在转换关系。基于此，本发明实施例利用车道宽度与物体尺寸的像素比和物理尺寸比相等的原则，基于已知的物理车道宽度来估计物理物体尺寸。

举例而言，图4是本发明实施例中基于物理车道宽度估计未知形状的物体尺寸的示例的原理示意图，该示例中，以物体对角线(diagonal)表示物体尺寸。

参考图4，采用下面的式(1)计算物体的对角线像素值diagonal：

其中，w_obj表示物体宽度像素值，单位为像素(pixel)；h_obj表示物体高度像素值，单位为pixel。需说明的是，本发明实施例将未知形状的物体的对角线及与该对角线相关的两条边作为近似的直角三角形处理，如对角线diagonal为斜边，而物体宽度w_obj和h_obj物体高度分别为两条直角边。

采用下面的式(2)计算所述物体的所述物理物体尺寸diagonal_ref_m，单位为m：

其中，w_lane表示车道宽度像素值，单位为pixel；w_lane_m表示所述物理车道宽度，单位为m。

需说明的是，除对角线之外，其他的尺寸参数也可用于表示物体尺寸，其计算方法与对角线类似，在此则不再赘述。

本发明实施例一的物体尺寸检测方法能够基于车道宽度估计出未知形状的物体的尺寸，提高了单目摄像头进行物体检测的精度，且可应用于计算机图像处理中，并获得令人满意的性能。

实施例二

图5是本发明实施例二的一种基于单目摄像头的测距方法的流程示意图，该测距方法在实施例一的物体尺寸检测方法的基础上进行，且具体可包括以下步骤：

步骤s510，获取所述单目摄像头拍摄的包括物体及该物体所在车道的图像，其中所述车道具有已知的物理车道宽度。

步骤s520，基于所述图像中的车道宽度像素值和物体尺寸像素值以及所述物理车道宽度估计所述物体的物理物体尺寸，其中所述车道宽度与所述物体尺寸的像素比和物理尺寸比相等。

步骤s530，获取所述图像沿所述物体底部的水平方向的物理图像宽度，并根据所述物理图像宽度以及所述图像和所述单目摄像头之间的几何关系，估计所述单目摄像头到所述物体的距离。

其中，步骤s510和步骤s520对应为图3所示出的实施例一的步骤s310和步骤s320，故对此不再进行赘述。

针对步骤s530，图6(a)是本发明实施例中的图像和单目摄像头之间的几何关系的示意图，其中以屏幕(screen)的方式表示所述图像，即所述图像可理解为全屏图像，图像宽度即为屏幕宽度。图6(b)是与图6(a)相对应的屏幕与物体的相对位置示意图。参考图6(a)和图6(b)，在步骤s530中，采用以下的式(3)计算所述物理图像宽度width_screen_m：

其中，w_lane表示车道宽度像素值，单位为pixel；w_lane_m表示所述物理车道宽度，单位为m；width_screen表示所述图像沿所述物体底部的水平方向的宽度的像素值，即屏幕宽度像素值，单位为pixel；而width_screen_m也可示为物理屏幕宽度，单位为m。

进一步地，针对步骤s530，结合图6(a)示出的几何关系，采用以下的式(4)和式(5)计算所述单目摄像头到所述物体的距离range_screen_m：

其中，width_screen_m表示所述物理图像宽度，fov表示所述单目摄像头的视场角，fov/2对应的角度为μ，参考图6(a)中μ及省略线描述的三角形(其中该三角形短边为屏幕宽度width_screen_m的一半)，易得到上述式(4)，进而通过式(5)估计出所述单目摄像头到所述物体的距离range_screen_。

综上，本发明实施例二的测距方法能够基于车道宽度实现对任意形状的物体的测距，提高了利用单目摄像头进行测距的精度，并可应用于计算机图像处理中，获得令人满意的性能。

实施例三

本发明实施例二的测距方法易于通过计算图像处理实现，但其要求全屏，而本领域技术人员所知的是，屏幕越大，屏幕边缘越容易发生失真，这明显会对考虑像素尺寸的方案的有所影响。对此，本发明实施例三提出了另一和种测距方法。

图7是本发明实施例三的一种基于单目摄像头的测距方法的流程示意图，该测距方法在实施例一的物体尺寸检测方法的基础上进行，且具体可包括以下步骤：

步骤s710，获取所述单目摄像头拍摄的包括物体及该物体所在车道的图像，其中所述车道具有已知的物理车道宽度。

步骤s720，基于所述图像中的车道宽度像素值和物体尺寸像素值以及所述物理车道宽度估计所述物体的第一物理物体尺寸，其中所述车道宽度与所述物体尺寸的像素比和物理尺寸比相等。

步骤s730，在所述单目摄像头至所述物体的视场中，在距离所述单目摄像头预设距离的位置处设置包括所述物体的虚拟窗口，其中所述虚拟窗口具有预定的物理窗口尺寸。

步骤s740，基于所述虚拟窗口的窗口尺寸像素值和所述物体尺寸像素值以及所述物理窗口尺寸估计所述物体相对于所述虚拟窗口的第二物理物体尺寸，其中所述窗口尺寸与所述物体尺寸的像素比和物理尺寸比相等。

步骤s750，基于所述第一物理物体尺寸和第二物理物体尺寸的比率以及所述预设距离估计所述单目摄像头到所述物体的距离。

其中，步骤s710和步骤s720对应为图3所示出的实施例一的步骤s310和步骤s320，故对此不再进行赘述。其中，针对步骤s720，可采用diagonal_ref_m表示以对角线表示的第一物理物体尺寸，其采用上述的式(2)进行计算。

针对步骤s730，图8(a)是本发明实施例设置的虚拟窗口的示意图。参考图8(a)，图8(b)是与图8(a)相对应的虚拟窗口与物体的相对位置示意图。参考图8(a)和图8(b)，虚拟窗口的面积小于全屏的屏幕尺寸，故而其边缘相对于全屏清晰度要高些，不易发生失真。在优选的实施例中，所述虚拟窗口在能够包括物体的前提下，可尽可能地靠近所述物体，以实现最好的图像清晰度。另外，本发明实施例的窗口尺寸可任意选定，但需要已知该虚拟窗口的窗口尺寸及单目摄像头相对于该虚拟窗口的距离range_window_m，其中窗口尺寸例如为4*1.6[m](＝width_window_m*height_window_m)。

针对步骤s740，在优选的实施例中，通过物体的对角线的尺寸表示物体尺寸，则采用下面的式(6)计算以对角线表示的所述第二物理物体尺寸diagonal_window_m：

其中，diagonal是以对角线表示的物体尺寸像素值，可通过上述的式(1)得到；width_window是以宽度表示的所述虚拟窗口的窗口尺寸像素值，单位为pixel；width_window_m是以宽度表示的所述物理窗口尺寸，单位为m。

进一步地，针对步骤s750，先采用下面的式(7)计算所述第一物理物体尺寸和第二物理物体尺寸的比率href/h1：

其中，href是以高度表示的第一物理物体尺寸，h1是以高度表示的第二物理物体尺寸，diagonal_ref_m是以对角线表示的第一物理物体尺寸，diagonal_window_m是以对角线表示的第二物理物体尺寸。

更进一步地，采用以下的式(8)计算所述单目摄像头到所述物体的距离range：

其中，range_window_m表示所述虚拟窗口的所述预设距离，即在上述的步骤s730中已知的所述预设距离，其具体用于示意所述单目摄像头到所述虚拟窗口的预设距离。

本发明实施例三的方法相对于实施例二的方法，主要区别在于实施例二使用了整个屏幕，而实施例三相当于使用了屏幕的子集。

综上，本发明实施例三的测距方法同样能够实现对任意形状的物体的测距，提高了利用单目摄像头进行测量的精度，且可应用于计算机图像处理中，并获得令人满意的性能。

下面通过示例来证明本发明例三的测距方法所能取得的效果。图9(a)是本发明实施例的示例中包括物体及该物体所在车道的图像，该图像由单目摄像头捕获后，可通过计算机图像处理生成，其中所述物体在图9(a)的圆圈中示出，且该物体距离单目摄像头的实际距离为150m；图9(b)是图9(a)中的物体的三维立体示意图，其中，该物体尺寸为0.4*0.2*0.4[m]；图9(c)是示例中采用本发明实施例三的方法检测出的物体形状的示意图，该物体形状如其中的白线所示，根据物体形状易知该物体适于用宽度表示物体尺寸；图9(d)是示例中采用本发明实施例三的方法估计物体尺寸的示意图，其中以宽度表示的物体尺寸object_width＝3.75*(24/220)＝0.41m，其中3.75为车道宽度，24/220为物体宽度与车道宽度的像素比；图9(e)是示例中采用本发明实施例三的方法进行物体测距的示意图，图中的三角形表示物体，可知检测出其在距离单目摄像头150.1m的位置。

据此，通过该示例，测得物体宽度为0.41m，而实际宽度为0.40m，测得物体距离为150.1m，而实际距离为150m，可知误差极小，实现了以合理的精度估计出物体尺寸及距离。

本发明另一实施例还提出了一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述实施例一的基于单目摄像头的物体尺寸检测方法、实施例二的基于单目摄像头的测距方法以及实施例三的基于单目摄像头的测距方法。其中，所述机器可读存储介质包括但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体(flashmemory)或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备等各种可以存储程序代码的介质。

本发明另一实施例还提供一种单目摄像头，该单目摄像头包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述实施例一的基于单目摄像头的物体尺寸检测方法、实施例二的基于单目摄像头的测距方法以及实施例三的基于单目摄像头的测距方法。

其中，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。存储器是计算机可读介质的示例。处理器可以是通用处理器、专用处理器、传统处理器、数字信号处理器(dsp)、多个微处理器、与dsp内核相关联的一个或多个微处理器、控制器、微控制器、应用专用集成电路(asic)、现场可编程门阵列(fpga)电路、任何其他类型的集成电路(ic)、状态机等。