基于双目相机的障碍物跟踪方法、装置、系统和存储介质与流程

本发明涉及双目相机成像技术领域，具体涉及一种基于双目相机的障碍物跟踪方法、装置、系统和存储介质。

背景技术：

随着汽车在普通家庭的普及，交通事故也在大幅增多，造成人员伤亡与财产损失的事故屡见不鲜。adas(advanceddrivingassistantsystem，高级驾驶辅助系统)可以提前判断可能发生的危险状况并报警，有效避免交通意外发生。但是，目前汽车视觉adas中，对于识别障碍物依赖于全面的样本库与优秀的分类器，在复杂多变的环境中，有太多未知障碍物不能被识别，导致障碍物跟踪和识别受限于样本库，障碍物识别缺乏广泛性，且无法实现障碍物的准确测距。

技术实现要素：

为此，本发明实施例提供一种基于双目相机的障碍物跟踪方法、装置、系统和存储介质，以至少部分解决现有障碍物跟踪和识别广泛性差，测距不准确的技术问题。

为了实现上述目的，本发明实施例提供如下技术方案：

一种基于双目相机的障碍物跟踪方法，所述方法包括：

获取双目相机的第n帧的原始图像，并得到与所述原始图像对应的视差图；

根据所述视差图提取待检测障碍物的图像信息，并得到所述待检测障碍物的参数信息；

根据所述待检测障碍物的参数信息判断待检测障碍物的是否为新障碍物；

判定所述待检测障碍物为新障碍物，则向跟踪器发出初始化指令，以便所述跟踪器跟踪所述新障碍物，并输出所述新障碍物的参数信息；

判定所述待检测障碍物为初始障碍物，则输出所述待检测障碍物的参数信息。

进一步地，所述根据所述视差图提取待检测障碍物的图像信息，并得到所述待检测障碍物的参数信息，具体包括：

将所述原始图像对应的二维视差图转换为两个一维视差图，所述一维视差图分别设为u-disparitymapping和v-disparitymapping；

其中，u-disparitymapping的行数＝v-disparitymapping的列数＝二维视差图中的视差最大值+1；

u-disparitymapping的列对应于所述二维视差图的列；

v-disparitymapping的行对应于所述二维视差图的行；

提取u-disparitymapping和v-disparitymapping对应的目标直线，逆向提取所述二维视差图中与所述目标直线所对应的目标点；

获取多个所述目标点，并根据各所述目标点得到所述待检测障碍物的参数信息。

进一步地，所述根据所述待检测障碍物的参数信息判断待检测障碍物的是否为新障碍物，具体包括：

获取所述待检测障碍物的跟踪帧数；

若所述跟踪帧数小于第一预设值，则判定所述待检测障碍物的是否为新障碍物。

进一步地，所述判定所述待检测障碍物为新障碍物，则向跟踪器发出初始化指令，以便所述跟踪器跟踪所述新障碍物，并输出所述新障碍物的参数信息，具体包括：

初始化并更新跟踪器；

获取更新后的跟踪器的跟踪帧数，以及所述新障碍物的参数信息；

判定所述跟踪帧数大于第二预设值，则发出销毁跟踪器指令，以便所述跟踪器重新初始化；

判定所述跟踪帧数小于所述第二预设值，则输出所述新障碍物的参数信息。

进一步地，所述输出所述新障碍物的参数信息，之后还包括：

清除已跟踪障碍物区域，并返回所述根据所述视差图提取待检测障碍物的图像信息，并得到所述待检测障碍物的参数信息。

本发明还提供一种基于双目相机的障碍物跟踪装置，所述装置包括：

视差图获取单元，用于获取双目相机的第n帧的原始图像，并得到与所述原始图像对应的视差图；

参数获取单元，用于根据所述视差图提取待检测障碍物的图像信息，并得到所述待检测障碍物的参数信息；

障碍物识别单元，用于根据所述待检测障碍物的参数信息判断待检测障碍物的是否为新障碍物；

输出单元，用于在判定所述待检测障碍物为新障碍物时，则向跟踪器发出初始化指令，以便所述跟踪器跟踪所述新障碍物，并输出所述新障碍物的参数信息；用于在判定所述待检测障碍物为初始障碍物时，则输出所述待检测障碍物的参数信息。

进一步地，所述参数获取单元，具体用于：

将所述原始图像对应的二维视差图转换为两个一维视差图，所述一维视差图分别设为u-disparitymapping和v-disparitymapping；

其中，u-disparitymapping的行数＝v-disparitymapping的列数＝二维视差图中的视差最大值+1；

u-disparitymapping的列对应于所述二维视差图的列；

v-disparitymapping的行对应于所述二维视差图的行；

提取u-disparitymapping和v-disparitymapping对应的目标直线，逆向提取所述二维视差图中与所述目标直线所对应的目标点；

获取多个所述目标点，并根据各所述目标点得到所述待检测障碍物的参数信息。

进一步地，所述障碍物识别单元，具体用于：

获取所述待检测障碍物的跟踪帧数；

若所述跟踪帧数小于第一预设值，则判定所述待检测障碍物的是否为新障碍物。

本发明还提供一种基于双目相机的障碍物跟踪系统，所述系统包括：处理器和存储器；

所述存储器用于存储一个或多个程序指令；

所述处理器，用于运行一个或多个程序指令，用以执行如上所述的方法。

本发明还提供一种计算机存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种基于双目相机的限高预警系统执行如上所述的方法。

本发明所提供的基于双目相机的障碍物跟踪方法、装置、系统和存储介质，通过获取双目相机的第n帧的原始图像，并得到与所述原始图像对应的视差图；根据所述视差图提取待检测障碍物的图像信息，并得到所述待检测障碍物的参数信息；并根据所述待检测障碍物的参数信息判断待检测障碍物的是否为新障碍物；判定所述待检测障碍物为新障碍物，则向跟踪器发出初始化指令，以便所述跟踪器跟踪所述新障碍物，并输出所述新障碍物的参数信息；判定所述待检测障碍物为初始障碍物，则输出所述待检测障碍物的参数信息。这样，通过图像识别和图像参数的比对提取，实现障碍物跟踪，规避了现有技术中采用数据库提取的形式，避免了数据库丰富度对障碍物跟踪的限制，从而解决了现有障碍物跟踪和识别广泛性差，测距不准确的技术问题。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明所提供的障碍物跟踪方法一种具体实施方式的流程图；

图2为图1所示方法中视差坐标的构建示意图；

图3为本发明所提供的障碍物跟踪装置一种具体实施方式的结构框图；

图4为本发明所提供的障碍物跟踪系统一种具体实施方式的结构框图。

附图标记说明：

100-视差图获取单元200-参数获取单元300-障碍物识别单元

400-输出单元

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的一种基于双目相机的障碍物跟踪方法，其用于路面障碍物的跟踪，从而利用双目相机的图像采集和分析，无须大规模数据采集来帮助机器学习，就能够识别包括各类车辆(异型车、卡车、三轮车、电动车、自行车)、行人、特殊障碍物在内的各种任何障碍物，同时还可以利用左右图像生成视差图，计算障碍物三维几何信息和相对距离，从而规避了数据库对障碍物跟踪广泛度的限制。并且，在较长周期跟踪同一障碍物，就能稳定输出该障碍物的相对距离，适时报警提醒司机注意行车安全，精准测距在adas甚至未来的自动驾驶方面都将有极大的应用。

如图1所示，在一种具体实施方式中，所述方法包括：

s1：获取双目相机的第n帧的原始图像，并得到与所述原始图像对应的视差图；具体地，视差图可通过以下方式计算得到：建立双目相机成像数学模型，利用双目相机的原始灰度图，针对左、右相机重合且有效的图像区域逐点计算视差，得到与原始图像对应的视差图。在视差图中，视差大表示距离近，视差小代表距离远，再利用数学模型将视差图转换为空间信息点云图，视差图中不同灰值代表不同的视差。

s2：根据所述视差图提取待检测障碍物的图像信息，并得到所述待检测障碍物的参数信息；具体地，将所述原始图像对应的二维视差图转换为两个一维视差图，所述一维视差图分别设为u-disparitymapping和v-disparitymapping；其中，u-disparitymapping的行数＝v-disparitymapping的列数＝二维视差图中的视差最大值+1；u-disparitymapping的列对应于所述二维视差图的列；v-disparitymapping的行对应于所述二维视差图的行；提取u-disparitymapping和v-disparitymapping对应的目标直线，逆向提取所述二维视差图中与所述目标直线所对应的目标点；获取多个所述目标点，并根据各所述目标点得到所述待检测障碍物的参数信息。

在实际算法中，直接在二维视差图中检测障碍物计算量很大，可以将二维视差图转换成两个一维视差图，即u-disparitymapping和v-disparitymapping。构建uv-disparitymapping步骤包括：

u-disparitymapping的行数＝v-disparitymapping的列数＝视差最大值+1；

u-disparitymapping的列对应于原始视差图的列；

v-disparitymapping的行对应于原始视差图的行；

v-disparitymapping中(v,d)＝原始视差图中第v行，视差为d的个数。

u-disparitymapping中(d,u)＝原始视差图中第u列，视差为d的个数。

例如v-disparitymapping的第一行，分别统计原始视差图的第一行中视差为0,1,2,3,4,5的个数：0，2，0，1，1，1，以此类推。构建示意图如图2所示，这样，若在uv-disparitymapping中能找到一条直线，则可以逆向找到该条直线所对应的目标。

s3：根据所述待检测障碍物的参数信息判断待检测障碍物的是否为新障碍物；具体地，获取所述待检测障碍物的跟踪帧数；若所述跟踪帧数小于第一预设值，则判定所述待检测障碍物的是否为新障碍物。例如，输出的障碍物信息包括矩形框(x,y,w,h)、id、跟踪帧数、纵向相对距离等，此时，若某障碍物跟踪帧数等于0，则认为该障碍物为新障碍物。

s4：判定所述待检测障碍物为新障碍物，则向跟踪器发出初始化指令，以便所述跟踪器跟踪所述新障碍物，并输出所述新障碍物的参数信息；具体地，初始化并更新跟踪器；获取更新后的跟踪器的跟踪帧数，以及所述新障碍物的参数信息；判定所述跟踪帧数大于第二预设值，则发出销毁跟踪器指令，以便所述跟踪器重新初始化；判定所述跟踪帧数小于所述第二预设值，则输出所述新障碍物的参数信息。

具体地，在上述步骤s4中，当检测到有新障碍物时，首先初始化mosse跟踪器，其算法原理为，mosse算法跟踪原理是相关滤波。假设有两个信号f和g，则两个信号的相关性(correlation)为：

其中f＊表示f的复共轭，相关性的直观解释就是衡量两个函数在某个时刻相似程度。两个信号越相似，其相关值越高，mosse跟踪器就是通过互相关(cross-correlation)来定位目标当前帧所在位置的。

跟踪器更新方法为，初始化后在灰度图跟踪障碍物，并输出更新后的障碍物信息，完成跟踪，例如矩形框新位置(x’,y’)，累计的跟踪帧数n。

其中，销毁跟踪器方法为，假设障碍物连续20帧内尺寸变化不大。根据step4输出障碍物信息，判断若某障碍物跟踪帧数大于20，则销毁对应的mosse跟踪器。保留障碍物id，在视差图重新检测障碍物，重新初始化跟踪器，实现多尺度功能。

s5：判定所述待检测障碍物为初始障碍物，则输出所述待检测障碍物的参数信息；例如，障碍物信息包括矩形框(x,y,w,h)、id、跟踪帧数等于0、跟踪状态(success/fail)、纵向相对距离等。

s6：清除已跟踪障碍物区域，并返回所述根据所述视差图提取待检测障碍物的图像信息，并得到所述待检测障碍物的参数信息；mosse跟踪器除了直接输出更新后的障碍物信息，还将障碍物信息作为输入传给检测算法。在视差图检测障碍物时，首先在原视差图去除已跟踪障碍物的矩形区域，然后剩下的区域中检测是否有新障碍物，这样可以提升检测速度。

在上述具体实施方式中，本发明所提供的基于双目相机的障碍物跟踪方法，通过获取双目相机的第n帧的原始图像，并得到与所述原始图像对应的视差图；根据所述视差图提取待检测障碍物的图像信息，并得到所述待检测障碍物的参数信息；并根据所述待检测障碍物的参数信息判断待检测障碍物的是否为新障碍物；判定所述待检测障碍物为新障碍物，则向跟踪器发出初始化指令，以便所述跟踪器跟踪所述新障碍物，并输出所述新障碍物的参数信息；判定所述待检测障碍物为初始障碍物，则输出所述待检测障碍物的参数信息。这样，通过图像识别和图像参数的比对提取，实现障碍物跟踪，规避了现有技术中采用数据库提取的形式，避免了数据库丰富度对障碍物跟踪的限制，从而解决了现有障碍物跟踪和识别广泛性差，测距不准确的技术问题。

除了上述方法，本发明还提供一种基于双目相机的障碍物跟踪装置，用于实施该方法，在一种具体实施方式中，如图3所示，所述装置包括：

视差图获取单元100，用于获取双目相机的第n帧的原始图像，并得到与所述原始图像对应的视差图；具体地，视差图可通过以下方式计算得到：建立双目相机成像数学模型，利用双目相机的原始灰度图，针对左、右相机重合且有效的图像区域逐点计算视差，得到与原始图像对应的视差图。在视差图中，视差大表示距离近，视差小代表距离远，再利用数学模型将视差图转换为空间信息点云图。如图2所示，左边是左相机灰度图，右边是视差图，视差图中不同灰值代表不同的视差。

参数获取单元200，用于根据所述视差图提取待检测障碍物的图像信息，并得到所述待检测障碍物的参数信息；具体地，所述参数获取单元具体用于，将所述原始图像对应的二维视差图转换为两个一维视差图，所述一维视差图分别设为u-disparitymapping和v-disparitymapping；其中，u-disparitymapping的行数＝v-disparitymapping的列数＝二维视差图中的视差最大值+1；u-disparitymapping的列对应于所述二维视差图的列；v-disparitymapping的行对应于所述二维视差图的行；提取u-disparitymapping和v-disparitymapping对应的目标直线，逆向提取所述二维视差图中与所述目标直线所对应的目标点；获取多个所述目标点，并根据各所述目标点得到所述待检测障碍物的参数信息。

障碍物识别单元300，用于根据所述待检测障碍物的参数信息判断待检测障碍物的是否为新障碍物；具体地，障碍物识别单元300具体用于，获取所述待检测障碍物的跟踪帧数；若所述跟踪帧数小于第一预设值，则判定所述待检测障碍物的是否为新障碍物。例如，输出的障碍物信息包括矩形框(x,y,w,h)、id、跟踪帧数、纵向相对距离等，此时，若某障碍物跟踪帧数等于0，则认为该障碍物为新障碍物。

输出单元400，用于在判定所述待检测障碍物为新障碍物时，则向跟踪器发出初始化指令，以便所述跟踪器跟踪所述新障碍物，并输出所述新障碍物的参数信息；用于在判定所述待检测障碍物为初始障碍物时，则输出所述待检测障碍物的参数信息。

在上述具体实施方式中，本发明所提供的基于双目相机的障碍物跟踪装置，通过获取双目相机的第n帧的原始图像，并得到与所述原始图像对应的视差图；根据所述视差图提取待检测障碍物的图像信息，并得到所述待检测障碍物的参数信息；并根据所述待检测障碍物的参数信息判断待检测障碍物的是否为新障碍物；判定所述待检测障碍物为新障碍物，则向跟踪器发出初始化指令，以便所述跟踪器跟踪所述新障碍物，并输出所述新障碍物的参数信息；判定所述待检测障碍物为初始障碍物，则输出所述待检测障碍物的参数信息。这样，通过图像识别和图像参数的比对提取，实现障碍物跟踪，规避了现有技术中采用数据库提取的形式，避免了数据库丰富度对障碍物跟踪的限制，从而解决了现有障碍物跟踪和识别广泛性差，测距不准确的技术问题。

根据本发明实施例的第三方面，本发明还提供一种的障碍物跟踪系统，如图4所示，所述系统包括：处理器201和存储器202；

所述存储器用于存储一个或多个程序指令；

所述处理器，用于运行一个或多个程序指令，用以执行如上所述的方法。

与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种的障碍物跟踪系统执行如上所述的方法。

在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(digitalsignalprocessor，简称dsp)、专用集成电路(applicationspecific工ntegratedcircuit，简称asic)、现场可编程门阵列(fieldprogrammablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。

存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

其中，非易失性存储器可以是只读存储器(read-onlymemory，简称rom)、可编程只读存储器(programmablerom，简称prom)、可擦除可编程只读存储器(erasableprom，简称eprom)、电可擦除可编程只读存储器(electricallyeprom，简称eeprom)或闪存。

易失性存储器可以是随机存取存储器(randomaccessmemory，简称ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(staticram，简称sram)、动态随机存取存储器(dynamicram，简称dram)、同步动态随机存取存储器(synchronousdram，简称sdram)、双倍数据速率同步动态随机存取存储器(doubledataratesdram，简称ddrsdram)、增强型同步动态随机存取存储器(enhancedsdram，简称esdram)、同步连接动态随机存取存储器(synchlinkdram，简称sldram)和直接内存总线随机存取存储器(directrambusram，简称drram)。

本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。