一种基于平面靶标的路面障碍物测高方法和系统与流程

1.本发明涉及辅助驾驶技术领域，具体涉及一种基于平面靶标的路面障碍物测高方法和系统。


背景技术：

2.在自动驾驶和辅助驾驶领域，为了保证行车安全和舒适性，需要对路面障碍物进行高度测量。
3.在进行障碍物高度测量时，利用双目相机仿照人眼的成像方法，可以估计视野内物体的空间位置及物理信息。其原理是基于两个镜头获取得到的左右图像进行匹配，获得视差图，视差图又可以根据以下公式转换为空间三维点云：其中x、y、z分别表示视差图中某一点在三维空间中的坐标值；和分别表示该点在视差图中的x和y的坐标值；表示该点的视差值；和表示相机内参中的光心坐标；baseline表示相机外参的基线长度，focus表示相机的焦距。
4.现有测高方法中，获取视差图后，即可以获取物体的高度，宽度以及距离信息。但是在实际应用中，由于相机的安装存在误差，因此俯仰角很难达到0
°
；同时视差值的计算也存在一定的误差，因此，根据视差图直接获得的高度信息并不准确。


技术实现要素：

5.为此，本发明实施例提供一种基于平面靶标的路面障碍物测高方法和系统，以解决现有技术中高度测量准确性差的问题。
6.为了实现上述目的，本发明实施例提供如下技术方案：本发明提供一种基于平面靶标的路面障碍物测高方法，所述方法包括：获取预设目标区域内的图像和视差图；提取所述图像内目标待测物的位置信息，所述位置信息至少包括所述目标待测物的上边缘在所述图像中的坐标值和所述目标待测物的下边缘在所述图像中的坐标值；基于预存的查找表和所述位置信息，确定所述下边缘的目标视差值，并基于所述视差图和所述位置信息，确定所述上边缘的实际视差值和所述下边缘的实际视差值；其中，所述查找表是利用预先制备的平面靶标、获取的所述平面靶标范围内所有地面点的目标视差值构成的；
根据所述下边缘的目标视差值和所述下边缘的实际视差值，计算视差差异值；基于所述视差差异值和所述上边缘的实际视差值，得到修正视差值；根据所述修正视差值计算所述上边缘的高度值；基于所述上边缘的高度值和所述下边缘的高度值，计算所述目标待测物的高度值。
7.在一些实施例中，预先制备平面靶标，具体包括：获取矩形靶标的靶标图像；提取所述靶标图像中每个棋盘格的四个顶点的图像坐标，并确定目标靶标中每个棋盘格的四个顶点的图像坐标；基于图像坐标和所述图像坐标，利用矩阵变换算法，确定所述目标靶标的图案比例；根据所述图案比例绘制得到所述目标靶标，以完成所述平面靶标的预先制备。
8.在一些实施例中，基于图像坐标和所述图像坐标，利用矩阵变换算法，确定所述目标靶标的图案比例，具体包括：将所述图像坐标和所述图像坐标的坐标点带入透视变换矩阵的变换公式，所述变换公式为：其中，i =1,2,3,4，和表示的四个角点坐标；m表示透视变换矩阵； 表示经过m矩阵变换得到的三维空间点，其中，与图像坐标的关系为：其中，表示图像坐标的四个角点，m矩阵为：其中，，m矩阵有8个未知量，由4个点对组成的8个方程进行求解；基于m矩阵确定所述目标靶标的图案比例。
9.在一些实施例中，构建所述查找表，具体包括：提取预先制备的平面靶标中棋盘格角点的角点坐标，并计算所述棋盘格角点的目标视差值；遍历所述平面靶标范围的所有地面点，并提取所述平面靶标范围内所有地面点的目标视差值，以构成所述查找表。
10.在一些实施例中，利用以下公式，计算所述下边缘的高度值：其中，为下边缘的纵坐标值，为下边缘的目标视差值。
11.在一些实施例中，利用以下公式，计算所述上边缘的高度值：其中，为上边缘的纵坐标值，为修正视差值。
12.本发明还提供一种基于平面靶标的路面障碍物测高系统，所述系统包括：原始图像获取单元，用于获取预设目标区域内的图像和视差图；位置信息提取单元，用于提取所述图像内目标待测物的位置信息，所述位置信息至少包括所述目标待测物的上边缘在所述图像中的坐标值和所述目标待测物的下边缘在所述图像中的坐标值；视差值计算单元，用于基于预存的查找表和所述位置信息，确定所述下边缘的目标视差值，并基于所述视差图和所述位置信息，确定所述上边缘的实际视差值和所述下边缘的实际视差值；其中，所述查找表是利用预先制备的平面靶标、获取的所述平面靶标范围内所有地面点的目标视差值构成的；差异值计算单元，用于根据所述下边缘的目标视差值和所述下边缘的实际视差值，计算视差差异值；视差修正单元，用于基于所述视差差异值和所述上边缘的实际视差值，得到修正视差值；高度值计算单元，用于根据所述修正视差值计算所述上边缘的高度值；结果输出单元，用于基于所述上边缘的高度值和所述下边缘的高度值，计算所述目标待测物的高度值。
13.本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
14.本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
15.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器
执行时实现如上述任一种所述方法的步骤。
16.本发明所提供的基于平面靶标的路面障碍物测高方法和系统，通过获取预设目标区域内的图像和视差图；提取所述图像内目标待测物的位置信息，所述位置信息至少包括所述目标待测物的上边缘在所述图像中的坐标值和所述目标待测物的下边缘在所述图像中的坐标值；基于预存的查找表和所述位置信息，确定所述下边缘的目标视差值，并基于所述视差图和所述位置信息，确定所述上边缘的实际视差值和所述下边缘的实际视差值；其中，所述查找表是利用预先制备的平面靶标、获取的所述平面靶标范围内所有地面点的目标视差值构成的；根据所述下边缘的目标视差值和所述下边缘的实际视差值，计算视差差异值；基于所述视差差异值和所述上边缘的实际视差值，得到修正视差值；根据所述修正视差值计算所述上边缘的高度值；基于所述上边缘的高度值和所述下边缘的高度值，计算所述目标待测物的高度值。这样，通过对视差值的修正，以及采用预先制备的平面靶标作为构建查找表的基础，显著提高了高度测量的准确性，解决了现有技术中高度测量准确性差的问题。
附图说明
17.为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
18.本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
19.图1为本发明所提供的基于平面靶标的路面障碍物测高方法的流程示意图之一；图2为本发明所提供的基于平面靶标的路面障碍物测高方法的流程示意图之二；图3为放置于地面的普通靶标成像效果图；图4为理想棋盘格成像效果图；图5为重新设计的目标靶标的效果图；图6为目标靶标的成像效果图图7为本发明所提供的基于平面靶标的路面障碍物测高方法的流程示意图之三；图8为一个使用场景中限高杆的图像；图9为本发明所提供的基于平面靶标的路面障碍物测高系统的结构框图。
具体实施方式
20.以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.为了解决现有技术中，直接通过视差图获取障碍物高度值而导致的测高准确性较
差的问题，本发明提供了一种基于平面靶标的路面障碍物测高方法和系统，通过对平面靶标的重新构造，以及对测高结果进行修正的方式，有效提高了路面障碍物的测高准确性。
22.请参考图1，图1为本发明所提供的基于平面靶标的路面障碍物测高方法的流程示意图之一。
23.在一种具体实施方式中，本发明提供的基于平面靶标的路面障碍物测高方法包括以下步骤：s101：获取预设目标区域内的图像和视差图；s102：提取所述图像内目标待测物的位置信息，所述位置信息至少包括所述目标待测物的上边缘在所述图像中的坐标值和所述目标待测物的下边缘在所述图像中的坐标值；s103：基于预存的查找表和所述位置信息，确定所述下边缘的目标视差值，并基于所述视差图和所述位置信息，确定所述上边缘的实际视差值和所述下边缘的实际视差值；其中，所述查找表是利用预先制备的平面靶标、获取的所述平面靶标范围内所有地面点的目标视差值构成的；获得所有地面点的目标视差值后，将结果存成查找表形式便于计算，查找表的索引为图像的坐标值，这样在后续检测过程中，输入一个坐标值，就可以获得对应的目标视差值。
24.s104：根据所述下边缘的目标视差值和所述下边缘的实际视差值，计算视差差异值；s105：基于所述视差差异值和所述上边缘的实际视差值，得到修正视差值；s106：根据所述修正视差值计算所述上边缘的高度值；s107：基于所述上边缘的高度值和所述下边缘的高度值，计算所述目标待测物的高度值。
25.具体地，在进行高度测量时，首先会获取到待测目标在图像中的位置，绝大多数情况下，待测物的下边缘为接地点。根据待测目标的下边缘在图像中的坐标值，再结合查找表就可以获得下边缘的目标视差值。同时，根据并结合视差图可以获取下边缘的实际视差值，记录实际视差值与目标视差值的差异。一般情况下待测目标下边缘由多个点组成，此时取值为所有差异的均值。
26.而后根据待测目标上边缘在图像中的坐标值，结合视差图可以获取上边缘的实际视差值，利用现有技术中的测高公式，可以分别计算待测目标上下边缘的高度值，其中下边缘计算公式（1）为：其中，为下边缘的纵坐标值，为目标视差值。
27.待测目标上边缘计算公式（2）为：
其中，为上边缘的纵坐标值，为修正后的视差值。
28.最终待测目标的高度为上边缘高度减去下边缘高度，计算公式（3）如下：在一些实施例中，如图2所示，预先制备平面靶标具体包括以下步骤：s201：获取矩形靶标的靶标图像；s202：提取所述靶标图像中每个棋盘格的四个顶点的图像坐标，并确定目标靶标中每个棋盘格的四个顶点的图像坐标；s203：基于图像坐标和所述图像坐标，利用矩阵变换算法，确定所述目标靶标的图案比例；s204：根据所述图案比例绘制得到所述目标靶标，以完成所述平面靶标的预先制备。
29.其中，基于图像坐标和所述图像坐标，利用矩阵变换算法，确定所述目标靶标的图案比例，具体包括：将所述图像坐标和所述图像坐标的坐标点带入透视变换矩阵的变换公式，所述变换公式为：其中，i =1,2,3,4，和表示的四个角点坐标；m表示透视变换矩阵；表示经过m矩阵变换得到的三维空间点，其中，与图像坐标的关系为：其中表示图像坐标的四个角点，m矩阵为：
其中，，m矩阵有8个未知量，由4个点对组成的8个方程进行求解；基于m矩阵确定所述目标靶标的图案比例。
30.在一个具体使用场景中，为了提高测高准确性，首先需要对地面靶标进行重新设计。在进行标定时需要在地面放置棋盘格靶标辅助标定，常用棋盘格放置于地面时，由于透视投影关系，在图像中成像变形严重，图案的正方形黑白格已经变为梯形，如图3所示。
31.如果基于该图像进行角点提取将会非常困难，因此需要重新设计靶标。首先手动提取图3中棋盘格靶标四个顶点的图像坐标，再根据棋盘格靶标的真实比例获取图4理想棋盘格四个顶点的图像坐标。将和的坐标点带入透视变换矩阵的变换公式，如公式（4）：其中，i=1,2,3,4，和表示p1的四个角点坐标；m表示透视变换矩阵； 表示经过m矩阵变换得到的三维空间点，因为图像在二维平面，因此与图像点p2的关系为如公式（5）：其中表示p2的四个角点。m矩阵有9个参数组成，如公式（6）：其中，。因此m矩阵有8个未知量，可由4个点对组成的8个方程进行求解。
32.获得m矩阵后，将该m矩阵应用于图4所示的棋盘格，可以获得该方案需要的棋盘格图案比例，根据比例绘制出来本专利需要的地面标定靶标如图5所示。
33.该靶标平放于地面时，其成像效果如图6所示，由于图6的成像效果克服了图像采
集时的形变，接近于普通棋盘格靶标，因此基于图6进行角点提取，将会更加准确。
34.在一些实施例中，如图7所示，构建所述查找表，具体包括以下步骤：s701：提取预先制备的平面靶标中棋盘格角点的角点坐标，并计算所述棋盘格角点的目标视差值；s702：遍历所述平面靶标范围的所有地面点，并提取所述平面靶标范围内所有地面点的目标视差值，以构成所述查找表。
35.具体地，在步骤s701中获取得到靶标区域的角点坐标后，需要进一步获得对应点的目标视差值。根据现有技术中空间坐标y的计算方式，可以获得视差值d的计算公式：其中，表示该点的纵坐标值，表示相机内参中的光心纵坐标，baseline表示相机外参的基线长度，均为已知量。由于所求点都是地面点，因此，该式中y表示相机距离地面的高度，也即相机的安装高度，可以直接测量获得。
36.将获取得到的坐标点带入公式（7），就可以获取对应点的目标视差值。
37.重复上述步骤s701，可以获取靶标放置位置所有棋盘格角点的目标视差值，这些目标视差值是离散的，想要实现任意位置的标定，需要获取整个靶标所在位置所有点的目标视差值。
38.步骤s701中获取的角点规律性较强，非常适用于双线性插值方法，根据四个点的坐标值和目标视差值，即可获得这四个点围成区域所有点的目标视差值。这样利用每四个相邻坐标点就可以获取这一小片区域的目标视差值，进而获取整个靶标位置的目标视差值。靶标放置区域完成标定后，再将靶标挪动到下一个不重叠的位置，就可以实现视野内所有地面点的标定。
39.为了验证本发明所提供的方法的效果，使用不同位置及不同高度的待测目标进行测试。测试步骤为，首先进行标定并获取地面目标视差的查找表；接着在不同距离拍摄待测物（本专利选择有明显高度标识的限高杆作为待测物，如图8所示）；然后通过标注的方法获取限高杆不同高度位置的坐标值；其次分别用真实视差值和标定修正后的视差值计算待测位置的高度；最后统计平均误差。
40.多次测量最终误差统计如下表：从误差结果上来分析，经过地面标定，并进行视差修正后，测高结果的误差明显降
低，证明了该方案测高修正的有效性。
41.在上述具体实施方式中本发明所提供的基于平面靶标的路面障碍物测高方法，通过获取预设目标区域内的图像和视差图；提取所述图像内目标待测物的位置信息，所述位置信息至少包括所述目标待测物的上边缘在所述图像中的坐标值和所述目标待测物的下边缘在所述图像中的坐标值；基于预存的查找表和所述位置信息，确定所述下边缘的目标视差值，并基于所述视差图和所述位置信息，确定所述上边缘的实际视差值和所述下边缘的实际视差值；其中，所述查找表是利用预先制备的平面靶标、获取的所述平面靶标范围内所有地面点的目标视差值构成的；根据所述下边缘的目标视差值和所述下边缘的实际视差值，计算视差差异值；基于所述视差差异值和所述上边缘的实际视差值，得到修正视差值；根据所述修正视差值计算所述上边缘的高度值；基于所述上边缘的高度值和所述下边缘的高度值，计算所述目标待测物的高度值。这样，通过对视差值的修正，以及采用预先制备的平面靶标作为构建查找表的基础，显著提高了高度测量的准确性，解决了现有技术中高度测量准确性差的问题。
42.除了上述方法，本发明还提供一种基于平面靶标的路面障碍物测高系统，如图9所示，所述系统包括：原始图像获取单元901，用于获取预设目标区域内的图像和视差图；位置信息提取单元902，用于提取所述图像内目标待测物的位置信息，所述位置信息至少包括所述目标待测物的上边缘在所述图像中的坐标值和所述目标待测物的下边缘在所述图像中的坐标值；视差值计算单元903，用于基于预存的查找表和所述位置信息，确定所述下边缘的目标视差值，并基于所述视差图和所述位置信息，确定所述上边缘的实际视差值和所述下边缘的实际视差值；其中，所述查找表是利用预先制备的平面靶标、获取的所述平面靶标范围内所有地面点的目标视差值构成的；差异值计算单元904，用于根据所述下边缘的目标视差值和所述下边缘的实际视差值，计算视差差异值；视差修正单元905，用于基于所述视差差异值和所述上边缘的实际视差值，得到修正视差值；高度值计算单元906，用于根据所述修正视差值计算所述上边缘的高度值；结果输出单元907，用于基于所述上边缘的高度值和所述下边缘的高度值，计算所述目标待测物的高度值。
43.在一些实施例中，预先制备平面靶标，具体包括：获取矩形靶标的靶标图像；提取所述靶标图像中每个棋盘格的四个顶点的图像坐标，并确定目标靶标中每个棋盘格的四个顶点的图像坐标；基于图像坐标和所述图像坐标，利用矩阵变换算法，确定所述目标靶标的图案比例；根据所述图案比例绘制得到所述目标靶标，以完成所述平面靶标的预先制备。
44.在一些实施例中，基于图像坐标和所述图像坐标，利用矩阵变换算法，确定所述目标靶标的图案比例，具体包括：将所述图像坐标和所述图像坐标的坐标点带入透视变换矩阵的变换公式，所述变换公式为：其中，i =1,2,3,4，和表示的四个角点坐标；m表示透视变换矩阵；表示经过m矩阵变换得到的三维空间点，其中，与图像坐标的关系为：其中表示图像坐标的四个角点，m矩阵为：其中，，m矩阵有8个未知量，由4个点对组成的8个方程进行求解；基于m矩阵确定所述目标靶标的图案比例。
45.在一些实施例中，构建所述查找表，具体包括：提取预先制备的平面靶标中棋盘格角点的角点坐标，并计算所述棋盘格角点的目标视差值；遍历所述平面靶标范围的所有地面点，并提取所述平面靶标范围内所有地面点的目标视差值，以构成所述查找表。
46.在一些实施例中，利用以下公式，计算所述下边缘的高度值：其中，为下边缘的纵坐标值，为下边缘的目标视差值。
47.在一些实施例中，利用以下公式，计算所述上边缘的高度值：
其中，为上边缘的纵坐标值，为修正视差值。
48.在上述具体实施方式中，本发明所提供的基于平面靶标的路面障碍物测高系统，通过获取预设目标区域内的图像和视差图；提取所述图像内目标待测物的位置信息，所述位置信息至少包括所述目标待测物的上边缘在所述图像中的坐标值和所述目标待测物的下边缘在所述图像中的坐标值；基于预存的查找表和所述位置信息，确定所述下边缘的目标视差值，并基于所述视差图和所述位置信息，确定所述上边缘的实际视差值和所述下边缘的实际视差值；其中，所述查找表是利用预先制备的平面靶标、获取的所述平面靶标范围内所有地面点的目标视差值构成的；根据所述下边缘的目标视差值和所述下边缘的实际视差值，计算视差差异值；基于所述视差差异值和所述上边缘的实际视差值，得到修正视差值；根据所述修正视差值计算所述上边缘的高度值；基于所述上边缘的高度值和所述下边缘的高度值，计算所述目标待测物的高度值。这样，通过对视差值的修正，以及采用预先制备的平面靶标作为构建查找表的基础，显著提高了高度测量的准确性，解决了现有技术中高度测量准确性差的问题。
49.本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
50.与上述实施例相对应的，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定系统执行如上所述的方法。
51.本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法。
52.在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（digital signal processor，简称dsp）、专用集成电路（application specific integrated circuit，简称asic）、现场可编程门阵列（field programmable gate array，简称fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
53.可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
54.存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括
易失性和非易失性存储器两者。
55.其中，非易失性存储器可以是只读存储器（read-only memory，简称rom）、可编程只读存储器（programmable rom，简称prom）、可擦除可编程只读存储器（erasable prom，简称eprom）、电可擦除可编程只读存储器（electrically eprom，简称eeprom）或闪存。
56.易失性存储器可以是随机存取存储器（random access memory，简称ram），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器（static ram，简称sram）、动态随机存取存储器（dynamic ram，简称dram）、同步动态随机存取存储器（synchronous dram，简称sdram）、双倍数据速率同步动态随机存取存储器（double data rate sdram，简称ddrsdram）、增强型同步动态随机存取存储器（enhanced sdram，简称esdram）、同步连接动态随机存取存储器（sync link dram，简称sldram）和直接内存总线随机存取存储器（direct rambus ram，简称drram）。
57.本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
58.本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机可读存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
59.以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。