一种单目视觉行人测距方法及其系统、车辆、介质与流程

本发明涉及自动驾驶技术领域，具体涉及一种单目视觉行人测距方法及其系统、车辆、介质。

背景技术：

近年来，随着自动驾驶技术的兴起和快速发展，行人避让是自动驾驶车辆的必备功能，而实现行人避让首先要获取行人到车头的距离，目前获取行人到车头的距离的方法/系统复杂，且普适性低。例如，部分方法/系统测量精度受摄像机俯仰角的变化影响较大，当应用在车辆发生颠簸晃动时精度会下降很多；又例如，部分方法/系统依赖于车辆网信息的获取，而车联网技术尚未普及，不具备通用性；又例如，部分方法/系统需要获得测试目标在透视图中的坐标，而道路实际应用中难以直接准确获得目标坐标值。

技术实现要素：

本发明旨在提出一种单目视觉行人测距方法及其系统、车辆、计算机可读存储介质，用以提高获取行人到车头的距离方法的普遍适用性和可靠性。

第一方面，本发明实施例提出一种单目视觉行人测距方法，包括如下步骤：

获取当前车辆前视图像，所述当前车辆前视图像的下边界与地面参考矩形框的下边界平行，所述地面参考矩形框为位于车辆前方地面的预设虚拟矩形框；

对所述当前车辆前视图像进行行人检测，获取行人检测方框；

获取所述地面参考矩形框和行人检测方框在当前车辆前视图像中的各角点坐标信息，根据所述各角点坐标信息确定行人与车辆的距离。

其中，所述获取当前车辆前视图像为通过一前视摄像头获取当前车辆前视图像，所述前视摄像头设置于车辆前部且位于中轴线上，且车辆中轴线的延长线与所述地面参考矩形框的中心轴线重合。

其中，所述获取当前车辆前视图像包括：

通过前视摄像头采集当前车辆前视图像；

判断所述当前车辆前视图像的下边界与地面参考矩形框的下边界是否平行，若否，则调整前视摄像头拍摄角度，使得当前车辆前视图像的下边界与地面参考矩形框的下边界平行。

其中，所述根据所述各角点坐标信息确定行人与车辆的距离包括：

步骤s1、以所述当前车辆前视图像构建图像坐标系，在图像坐标系中，地面参考矩形框左下角点a、左上角点b、右上角点c、右下角点d的坐标分别为(xa,ya)、(xb,yb)、(xc,yc)、(xd,yd)，行人检测方框下边界中心点p的坐标为(xp,yp)，行人检测方框下边界延长线与地面参考矩形框的两个交点m、n的坐标分别为(xm,ym)、(xn,yn)；

步骤s2、计算行人到前视摄像头实际横向距离lpx；

在图像坐标系中，行人与前视摄像头的横向像素距离wp＝xp–(xa+xb)/2，点m与n的距离wmn＝xn-xm；其中，当wp>0时，行人位于车前右侧，当wp<0时，行人位于车前左侧；

在世界坐标系中，lpx＝(lad×wp)/wmn；其中，lad为预设参数。

其中，所述根据所述各角点坐标信息确定行人与车辆的距离包括：

步骤s3、计算行人到前视摄像头实际纵向距离lpy；

设a’为世界坐标系下地面参考矩形框的下边界ad位置，a为a’对应的当前车辆前视图像切面上对应位置，h为前视摄像头光轴消失点在当前车辆前视图像切面上对应位置，whay为图像坐标系中上点h到a的纵向距离，wpay为图像坐标系中点p到a的纵向距离，lpy为行人到前视摄像头实际纵向距离，lay地面参考矩形框的下边界ad到前视摄像头实际纵向距离，lay为预设参数；

则：

lpy＝lay×whay/(whay-wpay)。

第二方面，本发明实施例提出一种单目视觉行人测距系统，用于实现实施例所述的单目视觉行人测距方法，所述系统包括：

图像获取单元，用于获取当前车辆前视图像，所述当前车辆前视图像的下边界与地面参考矩形框的下边界平行，所述地面参考矩形框为位于车辆前方地面的预设虚拟矩形框；

行人检测单元，用于对所述当前车辆前视图像进行行人检测，获取行人检测方框；

距离确定单元，用于获取所述地面参考矩形框和行人检测方框在当前车辆前视图像中的各角点坐标信息，根据所述各角点坐标信息确定行人与车辆的距离。

其中，所述图像获取单元包括：

前视摄像头，用于采集当前车辆前视图像，所述前视摄像头设置于车辆前部且位于中轴线上，且车辆中轴线的延长线与所述地面参考矩形框的中心轴线重合。

其中，所述图像获取单元包括：

判断单元，用于判断所述当前车辆前视图像的下边界与地面参考矩形框的下边界是否平行，若否，则调整前视摄像头拍摄角度，使得当前车辆前视图像的下边界与地面参考矩形框的下边界平行。

第三方面，本发明实施例提出一种车辆，包括实施例所述的单目视觉行人测距系统。

第四方面，本发明实施例提出一种计算机可读存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在的一个或多个设备执行如实施例所述的单目视觉行人测距方法。

本发明实施例提出一种单目视觉行人测距方法及其系统、车辆、计算机可读存储介质，其采用简单易得的普通单目摄像头作为前视摄像头，相对于传统采用超声波传感器、激光、红外摄像头等测距方案，大大降低了传感器成本；同时，对前视摄像头所拍摄的车辆前视图像进行行人目标检测得到相应的检测方框，根据检测方框的坐标信息和预先设置好的地面参考矩形框的坐标信息，能够准确地计算出行人与车辆前视摄像头的距离，本发明实施例创新性地提出一个用于参考计算的地面参考矩形框，使得行人与车辆距离的计算过程简单可靠，能够提高获取行人到车头的距离方法的普遍适用性和可靠性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而得以体现。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为实施例一中一种单目视觉行人测距方法流程示意图。

图2为实施例一中一种地面参考矩形框示意图。

图3为实施例一中一种前视摄像头拍摄得到的车辆前视图像的示例图。

图4为图3所示车辆前视图像所对应的图像坐标系。

图5为实施例一中行人纵坐标侧视示意图。

图6为实施例一中消失点h的图像坐标示意图。

图7为单目行人纵向距离检测测试实验示意图。

图8为单目行人纵向距离检测测试结果示意图。

图9为单目行人横向距离检测测试实验示意图。

图10为单目行人横向距离检测测试结果示意图。

图11为实施例二的一种单目视觉行人测距系统结构示意图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

另外，为了更好的说明本发明，在下文的具体实施例中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的手段未作详细描述，以便于凸显本发明的主旨。

实施例一

本发明实施例一提出一种单目视觉行人测距方法，其可以用于实施例二所述的单目视觉行人测距系统，参阅图1，本实施例一所述方法包括如下步骤：

步骤s101、获取当前车辆前视图像，所述当前车辆前视图像的下边界与地面参考矩形框的下边界平行，所述地面参考矩形框为位于车辆前方地面的预设虚拟矩形框。

具体而言，所述地面参考矩形框为一种虚拟矩形框，当获取到一帧车辆车辆前视图像后，即在车辆前视图像上生成一地面参考矩形框，以用作距离计算。

步骤s102、对所述当前车辆前视图像进行行人检测，获取行人检测方框。

具体而言，行人检测为图像识别技术领域一种成熟的技术，其利用计算机视觉技术判断图像或者视频序列中是否存在行人并给予精确定位，并可以生成对应的检测方框。步骤中可以选用任一种行人检测算法进行检测，并生成行人检测方框，本实施例中不对行人检测算法进行具体限定。

步骤s103、获取所述地面参考矩形框和行人检测方框在当前车辆前视图像中的各角点坐标信息，根据所述各角点坐标信息确定行人与车辆的距离。

在步骤s101中，所述获取当前车辆前视图像具体为通过一前视摄像头获取当前车辆前视图像；其中，所述前视摄像头设置于车辆前部且位于中轴线上，且车辆中轴线的延长线与所述地面参考矩形框的中心轴线重合；所述前视摄像头与车头中心点的连线与所述地面参考矩形框的中心轴线重合。

具体而言，参阅图2，图2中矩形框abcd为本实施例的地面参考矩形框，点o为前视摄像头的安装位置，点s2为车辆的车头中心位置，点s1为矩形框abcd的下边界ad的中心点位置。其中，点s1至点s2有一定距离，可以理解的是，点s1至点s2距离ls1s2具体可以根据实际技术要求进行设定，本实施例中不进行具体限定。

需说明的是，当在车辆前视图像上生成一地面参考矩形框时，具体为根据前视摄像头与车头中心点的连线与所述地面参考矩形框的中心轴线重合、以及点o到边界ad的设定距离以及地面参考矩形框的预设参数来生成。

在步骤s101中，所述获取当前车辆前视图像包括如下子步骤：

步骤s201、通过前视摄像头采集当前车辆前视图像；

步骤s202、判断所述当前车辆前视图像的下边界与地面参考矩形框的下边界是否平行，若否，则调整前视摄像头拍摄角度，使得当前车辆前视图像的下边界与地面参考矩形框的下边界平行。

具体而言，实际应用过程中，保持前视摄像头光轴与地面平行，摄像头采集的rgb图像尺寸为w×h，例如w＝1280，h＝720，采集帧率可以设置为30fps。

参阅图3，图3为一种前视摄像头拍摄得到的车辆前视图像的示例图，在图3中，由于拍摄角度的关系，可以看到图3中的地面参考矩形框实际上为一个等腰梯形。

需说明的是，本实施例方法的距离计算需要保证当前车辆前视图像的下边界与地面参考矩形框的下边界平行，否则，无法进行行人距离计算。

在步骤s103中，所述根据所述各角点坐标信息确定行人与车辆的距离包括如下子步骤：

步骤s301、参阅图4，图4为图3所示车辆前视图像所对应的图像坐标系，图4中，以摄像头安装位置o点为坐标原点构建图像坐标系，在该图像坐标系中，地面参考矩形框左下角点a、左上角点b、右上角点c、右下角点d的坐标分别为(xa,ya)、(xb,yb)、(xc,yc)、(xd,yd)，行人检测方框下边界中心点p的坐标为(xp,yp)，行人检测方框下边界延长线与地面参考矩形框的两个交点m、n的坐标分别为(xm,ym)、(xn,yn)；

具体而言，所述地面参考矩形框的实际长度参数和宽度参数为预先设置的已知参数。

步骤s302、计算行人到前视摄像头实际横向距离lpx；

在图像坐标系中，行人与前视摄像头的横向像素距离为：

wp＝xp–(xa+xb)/2

其中，当wp>0时，行人位于车前右侧，当wp<0时，行人位于车前左侧；

在图像坐标系中，点m与n的距离为：

wmn＝xn-xm

在世界坐标系中，点m与n的实测距离lmn＝lad，其中，lad为预设参数，则有：

lpx/wp＝lmn/wmn

lpx/wp＝lad/wmn

因此，得出行人在世界坐标系的横向距离lpx为：

lpx＝(lad×wp)/wmn

根据上述公式可以求得行人到前视摄像头实际横向距离lpx。

步骤s303、计算行人到前视摄像头实际纵向距离lpy；

参阅图5-6，图5为行人纵坐标侧视示意图，图5中，点a’为世界坐标系下地面参考矩形框的下边界ad位置，点a为点a’对应的当前车辆前视图像切面上对应位置，whay为图像坐标系中上点h到a的纵向距离，wpay为图像坐标系中点p到a的纵向距离，lpy为行人到前视摄像头实际纵向距离，lay地面参考矩形框的下边界ad到前视摄像头实际纵向距离，其中，lay为预先设置的已知参数；点h为前视摄像头光轴消失点在当前车辆前视图像切面上对应位置，即在前视图像中ab和cd所在直线的边长的相交点，图6为消失点h的图像坐标示意图；

由于拍摄图像切面与地面垂直，则有：

a’p/oh＝ap/ah

即：

(lpy-lay)/lpy＝wpay/whay

因此，得出行人在世界坐标系的横向距离lpx为：

lpy＝lay×whay/(whay-wpay)

根据上述公式可以求得行人到前视摄像头实际纵向距离lpy。

下面对本发明实施例方法的实验过程进行说明：

纵向距离实车测试，实验过程中，如图7所示，设计了在车头前方分别为5m、10m、15m、20m、25m、30m处进行纵向距离测试。单目行人测距纵向测量结果见图8所示表格数据，测得在车前5-30m范围，平均测量精度大于97％，测量距离越远，平均误差越大，在30米处平均误差为0.55m。

横向距离实车测试，实验过程中，如图9所示，设计了在车头前方分别为5m、10m、15m，横向1.5m、3m、4.5m、6m处进行纵向距离测试。单目行人测距横向测量结果如图10所示表格数据，测得在车前横向6米范围，平均测量精度大于97％。

实施例二

参阅图11，本发明实施例二提出一种单目视觉行人测距系统，用于实现实施例所述的单目视觉行人测距方法，所述系统包括：

图像获取单元1，用于获取当前车辆前视图像，所述当前车辆前视图像的下边界与地面参考矩形框的下边界平行，所述地面参考矩形框为位于车辆前方地面的预设虚拟矩形框；

行人检测单元2，用于对所述当前车辆前视图像进行行人检测，获取行人检测方框；

距离确定单元3，用于获取所述地面参考矩形框和行人检测方框在当前车辆前视图像中的各角点坐标信息，根据所述各角点坐标信息确定行人与车辆的距离。

其中，所述图像获取单元1包括：

前视摄像头11，用于采集当前车辆前视图像，所述前视摄像头11设置于车辆前部且位于中轴线上，且车辆中轴线的延长线与所述地面参考矩形框的中心轴线重合。

其中，所述图像获取单元1包括：

判断单元12，用于判断所述当前车辆前视图像的下边界与地面参考矩形框的下边界是否平行，若否，则调整前视摄像头拍摄角度，使得当前车辆前视图像的下边界与地面参考矩形框的下边界平行。

需说明的是，本发明实施例二所述系统与实施例一所述方法对应，因此，实施例二中未详述的部分可以参阅实施例一部分得到，此处不再赘述。

实施例三

本发明实施例三提出一种车辆，包括实施例二所述的单目视觉行人测距系统。

实施例四

本发明实施例四提出一种计算机可读存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在的一个或多个设备执行如实施例所述的单目视觉行人测距方法。

具体而言，基于本发明实施例的内容，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，例如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)实现本发明各个实施例所述的方法或系统。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。