一种激光雷达多回波判别方法和装置与流程

1.本发明涉及雷达测距技术领域，具体涉及一种激光雷达多回波判别方法和装置。


背景技术：

2.激光雷达系统依据激光脉冲飞行时间的原理进行测距测量。在测距过程中需要将每个接收到的回波脉冲与其诱发发射的激光脉冲进行关联，这一先决条件导致激光雷达(lidar)测距具有测距(rg)限制，即要求脉冲发射和接收时间要小于脉冲重复频率(prr)，才可以准确测定脉冲发射位置到目标的距离。如果脉冲的往返时间超过了脉冲发射重复频率，即返回的信号和先前的脉冲信号无法对应，则会引起测距模糊，这限制了高测量率的测距器和激光雷达的可用性。
3.在实际生产工程中，一般通过控制无人机飞行高度和调节激光脉冲发射频率来避免测距模糊问题。如果点云中出现测距模糊，也一般将明显高于或低于地面的点视为噪声进行去除。这种方法带来了激光点云数据的信息损失，导致激光点云数据的利用率大大降低，限制了机载lidar的采样能力，而且在需要达到同样高密度点云和更宽的扫描航带时飞机飞行的航带数和次数都要增加。
4.当前避免激光雷达测距模糊问题的方式主要可分为三种：硬件解决方式，软件解决方式以及软硬件相结合的方式。基于硬件的解决方式主要有空间复用和波长复用。空间复用主要是通过将至少两个类似的激光发射接收装置叠加到一个完整的激光扫描系统平台。该方案需同时操作两个激光扫描装置，同时保持每个单一装置的最大明确距离，并且要求两种仪器的视场(fov)有足够大的空间分离以避免相互间的干扰。波长复用主要是使两个或多个激光扫描仪在不同的波长下工作以避免干扰造成的问题。由于研发能够发射和在多个波长上接收激光脉冲的单一仪器所需的技术复杂性，以及在操作期间选择不同波长方面缺乏灵活性，当前应用的方法是选用两个或两个以上特定波长的独立仪器。
5.基于硬件的解决方案并不能完全解决模糊测量问题，而基于软件的方法可以克服这一问题。基于软件的方法主要通过利用测量物体的表面连续性的假设和变周期测量技术。该方法通过邻域划分找到相邻激光点，然后对相邻点计算在不同脉冲收发周期的统计权值得到真实脉冲收发区间，进而对激光点进行修正。为了正确关联所有连续的测量值，需要选择一个正确的初始收发周期区域。软件算法方式常常由于商业壁垒都没有公开解决测距模糊的具体细节，或者只能用于单个厂商数据中，导致解决方案通用性差。


技术实现要素：

6.本发明提供一种激光雷达多回波判别方法和装置，以解决激光雷达测距过程中激光雷达脉冲的返回信号和发射的脉冲信号无法对应，导致的测距模糊问题。
7.本发明解决上述技术问题的技术方案如下：
8.第一方面，本发明提供一种激光雷达多回波判别方法，包括：
9.获取ti及t
i+1
时刻相机拍摄的图像ii和i
i+1
，并获取ti时刻之后的至少一个周期内
接收的激光雷达回波脉冲；其中i为正整数；t1时刻激光雷达首次发射脉冲；所述周期为激光雷达的脉冲发射周期；
10.根据激光雷达回波脉冲以及ti时刻的激光雷达发射脉冲解算回波脉冲对应的目标点的位置坐标p；
11.利用相机成像模型，根据目标点的位置坐标p计算其投影到ii上的图像坐标mi以及其投影到i
i+1
上的图像坐标m
i+1
；
12.计算图像坐标mi和图像坐标m
i+1
的相似度，若相似度高于预设阈值，则将目标点对应的雷达回波与ti时刻的激光雷达发射脉冲匹配，否则将目标点对应的雷达回波与t
i-1
时刻的激光雷达发射脉冲匹配。
13.进一步的，当获取激光雷达回波脉冲的周期数大于一个周期时，则在下一迭代过程获取的激光雷达回波脉冲中删除已匹配过的激光雷达回波脉冲。
14.进一步的，所述获取激光雷达回波脉冲的周期数的上限根据激光雷达系统硬件参数确定。
15.进一步的，所述的计算图像坐标mi和图像坐标m
i+1
的相似度，包括：
16.在图像ii上获取图像坐标mi的邻域像素，在图像i
i+1
上获取图像坐标m
i+1
的邻域像素；
17.根据图像坐标mi的邻域像素计算其对应的局部纹理特征fi；根据图像坐标m
i+1
的邻域像素计算其对应的局部纹理特征f
i+1
；
18.利用相关系数度量局部纹理特征fi和f
i+1
的相似度。
19.第二方面，本发明提供一种激光雷达多回波判别装置，包括：
20.数据获取模块，获取ti及t
i+1
时刻相机拍摄的图像ii和i
i+1
，并获取ti时刻之后的至少一个周期内接收的激光雷达回波脉冲；其中i为正整数；t1时刻激光雷达首次发射脉冲；所述周期为激光雷达的脉冲发射周期；
21.坐标解算模块，根据激光雷达回波脉冲以及ti时刻的激光雷达发射脉冲解算回波脉冲对应的目标点的位置坐标p；
22.投影计算模块，利用相机成像模型，根据目标点的位置坐标p计算其投影到ii上的图像坐标mi以及其投影到i
i+1
上的图像坐标m
i+1
；
23.匹配模块，计算图像坐标mi和图像坐标m
i+1
的相似度，若相似度高于预设阈值，则将目标点对应的雷达回波与ti时刻的激光雷达发射脉冲匹配，否则将目标点对应的雷达回波与t
i-1
时刻的激光雷达发射脉冲匹配。
24.进一步的，当获取激光雷达回波脉冲的周期数大于一个周期时，则在下一迭代过程获取的激光雷达回波脉冲中删除已匹配过的激光雷达回波脉冲。
25.进一步的，所述获取激光雷达回波脉冲的周期数的上限根据激光雷达系统硬件参数确定。
26.进一步的，所述匹配模块，包括：相似度计算模块，所述相似度模块具体用于：
27.在图像ii上获取图像坐标mi的邻域像素，在图像i
i+1
上获取图像坐标m
i+1
的邻域像素；
28.根据图像坐标mi的邻域像素计算其对应的局部纹理特征fi；根据图像坐标m
i+1
的邻域像素计算其对应的局部纹理特征f
i+1
；
29.利用相关系数度量局部纹理特征fi和f
i+1
的相似度。
30.第三方面，本发明提供一种电子设备，包括：
31.存储器，用于存储计算机软件程序；
32.处理器，用于读取并执行所述计算机软件程序，进而实现本发明第一方面所述的一种激光雷达多回波判别方法。
33.第四方面，本发明提供一种非暂态计算机可读存储介质，所述存储介质中存储有用于实现本发明第一方面所述的一种激光雷达多回波判别方法的计算机软件程序。
34.本发明的有益效果是：本发明借助相机模块，能有效解决激光雷达脉冲返回信号与发射信号间的对应关系，解决测距模糊问题。
35.本方法仅需在lidar系统基础上搭载相机即可解决雷达脉冲测距模糊问题，经济性高，适用范围更加广泛；相机系统不需与lidar系统作标定，仅需对相机本身作标定，系统简单，稳定性高。
附图说明
36.图1为不存在歧义的发射脉冲和接收回波波形图示例；
37.图2为存在歧义的发射脉冲和接收回波波形图示例；
38.图3为本发明实施例提供的一种激光雷达多回波判别方法流程示意图；
39.图4为本发明实施例中脉冲发射和回波发射和接收时刻示意图；
40.图5为本发明实施例中激光脉冲解歧义原理示意图；
41.图6本发明实施例提供的一种激光雷达多回波判别装置结构示意图；
42.图7为本发明实施例提供的电子设备的实施例示意图；
43.图8为本发明实施例提供的一种计算机可读存储介质的实施例示意图。
具体实施方式
44.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
45.激光雷达通过周期性地发射激光和接收回波，即可根据光飞行参数得到一系列测量点距离，结合激光自身的位置和姿态即可计算出反射点的位置。通常情况下，激光的发送和接收是按顺序进行的，即发送-接收-发送-接收，空中始终只有一个激光脉冲，接收和发送是一一匹配的。如果测量物体比较远，空中就可能出现多个脉冲，多个脉冲到达接收器的顺序不再和脉冲发射的顺序一致，接收器无法正确计算脉冲的飞行时间，从而不能正确的得出物体的测距，即mta(multi-time-around)问题，通常将反射信号可能跨过的收发周期数称为mta区间。如图1表示发射脉冲和接收回波是一一匹配的，不存在测距模糊，距离歧义的范围区间，图2表示发射脉冲和接收回波不再对应，存在测距歧义范围区间。
46.本发明实施例提供一种激光雷达多回波判别方法，通过lidar系统同步的相机设备获取激光雷达回波时刻的图像信息，由于只是激光雷达回波时刻与激光脉冲发射时刻对应关系未知，但其必定在指定周期内，通过假定每一回波与发射脉冲对应，记录每一回波假定测距值，在该发射脉冲时刻所同步获取的图像信息中必然存有假定测距值处的图像信息。当载体移动一定距离后在另一位置相机同样会获取一幅图像，通过比对两幅图像两点
处的相似性从而确定激光回波与发射脉冲间的对应关系。
47.具体的，如图3所示，本发明实施例提供的一种激光雷达多回波判别方法，包括以下步骤：
48.获取ti及t
i+1
时刻相机拍摄的图像ii和i
i+1
，并获取ti时刻之后的至少一个周期内接收的激光雷达回波脉冲；其中i为正整数；t1时刻激光雷达首次发射脉冲；所述周期为激光雷达的脉冲发射周期；
49.根据激光雷达回波脉冲以及ti时刻的激光雷达发射脉冲解算回波脉冲对应的目标点的位置坐标p；
50.利用相机成像模型，根据目标点的位置坐标p计算其投影到ii上的图像坐标mi以及其投影到i
i+1
上的图像坐标m
i+1
；
51.计算图像坐标mi和图像坐标m
i+1
的相似度，若相似度高于预设阈值，则将目标点对应的雷达回波与ti时刻的激光雷达发射脉冲匹配，否则将目标点对应的雷达回波与t
i-1
时刻的激光雷达发射脉冲匹配。
52.现代激光雷达系统同时具有gps，imu等获取pos数据，如果能利用每个激光脉冲的pos(position and orientation system，定位定姿系统)数据中包含的位置和方向信息来重建激光传输时的三维空间场景，在指定方向和速度下能够建立发射的激光脉冲数学模型，结合相机成像模型，将激光回波处物体投射到图像中，在不同位置相机所拍摄的图像中计算回波处图像间相似性从而确定回波脉冲与发射脉冲间的对应关系，从而解决测距模糊问题。
53.假设t1时刻激光雷达发射激光脉冲，同时触发相机拍照，获取图像为i1，激光脉冲在遇到地面不同层次物体产生三次回波，收到回波时刻依次是t
11
，t
12
，t
13
。激光雷达在脉冲间隔δt后，t2时刻激光雷达发射激光脉冲，相机获取图像为i2，激光脉冲在遇到地面不同层次物体后同样产生三次回波，收到回波时刻依次是t
21
，t
22
，t
23
。在脉冲间隔δt后，激光雷达发射脉冲t3同时获取图像为i3。激光雷达时刻如图4所示。
54.lidar系统能通过激光脉冲回波时刻与激光脉冲发射时刻的时间差解算出脉冲反射处到雷达的距离。如图4所示在t2时刻到t3时刻雷达脉冲周期中有三个雷达回波，其中回波t
13
所对应的雷达发射脉冲时刻为t1。首先假设在t2周期中所接收的回波t
13
，t
21
，t
22
均与发射脉冲t2相对应，据此通过雷达系统解算出回波t
13
，t
21
，t
22
所对应反射处物体位置p
13
(x
13
,y
13
,z
13
)，p
21
(x
21
,y
21
,z
21
)，p
22
(x
22
,y
22
,z
22
)如图5所示。
55.根据相机成像模型：
56.s
·
m＝a[r|t]p
[0057]
其中，s是一个比例常数，p表示空间点的坐标，m表示投影在图像平面上的像素点坐标，a表示相机内参矩阵，[r|t]表示相机旋转平移矩阵。
[0058]
激光脉冲返回位置坐标p
13
(x
13
,y
13
,z
13
)，p
21
(x
21
,y
21
,z
21
)，p
22
(x
22
,y
22
,z
22
)能被投影到图像i2图像坐标
[0059]
当相机随载具移动到下一时刻如t3，根据t2时刻回波所解算的位置坐标p
13
(x
13
,y
13
,z
13
)，p
21
(x
21
,y
21
,z
21
)，p
22
(x
22
,y
22
,z
22
)可通过相机成像模型转换到图像i3图像坐标
[0060]
根据图像i2上的图像坐标和图像i3坐标的邻域像素计算局部纹理lbp特征，通过皮尔逊相关系数度量两对应图像坐标(如，与与与)邻域lbp特征相似程度，相似程度高则认为该位置p处激光回波解析正确。应当理解的是，本方案中除了利用lbp特征以及皮尔逊相关系数来度量两个图像坐标的相似度外，还可以采用其他常见的图像相似性判断方法，例如余弦距离、直方图、欧氏距离等方式。
[0061]
若相似程度低，如坐标p
13
(x
13
,y
13
,z
13
)在i2和i3图像上所对应的点和由于p
13
(x
13
,y
13
,z
13
)所对应回波脉冲实际匹配的激光脉冲为t1，在t2所对应的激光脉冲周期内解析得到的位置是一个虚位置，在投影到相机像平面过程中，实际成像的是透过该虚点所对应的物体点。所有对于歧义的激光脉冲回波的解析位置，在不同时刻投影到不同像平面上点间图像特征相差较大，据此实现激光脉冲回波与发射的激光脉冲相对应，实现每一回波测距解析正确。
[0062]
如图6所示，本发明实施例还提供一种激光雷达多回波判别装置，包括：
[0063]
数据获取模块，获取ti及t
i+1
时刻相机拍摄的图像ii和i
i+1
，并获取ti时刻之后的至少一个周期内接收的激光雷达回波脉冲；其中i为正整数；t1时刻激光雷达首次发射脉冲；所述周期为激光雷达的脉冲发射周期；
[0064]
坐标解算模块，根据激光雷达回波脉冲以及ti时刻的激光雷达发射脉冲解算回波脉冲对应的目标点的位置坐标p；
[0065]
投影计算模块，利用相机成像模型，根据目标点的位置坐标p计算其投影到ii上的图像坐标mi以及其投影到i
i+1
上的图像坐标m
i+1
；
[0066]
匹配模块，计算图像坐标mi和图像坐标m
i+1
的相似度，若相似度高于预设阈值，则将目标点对应的雷达回波与ti时刻的激光雷达发射脉冲匹配，否则将目标点对应的雷达回波与t
i-1
时刻的激光雷达发射脉冲匹配。
[0067]
所述匹配模块，包括：相似度计算模块，所述相似度模块具体用于：
[0068]
在图像ii上获取图像坐标mi的邻域像素，在图像i
i+1
上获取图像坐标m
i+1
的邻域像素；
[0069]
根据图像坐标mi的邻域像素计算其对应的局部纹理lbp特征fi；根据图像坐标m
i+1
的邻域像素计算其对应的局部纹理lbp特征f
i+1
；
[0070]
利用皮尔逊相关系数度量局部纹理lbp特征fi和f
i+1
的相似度。
[0071]
请参阅图7，图7为本发明实施例提供的电子设备的实施例示意图。如图7所示，本发明实施例提了一种电子设备500，包括存储器510、处理器520及存储在存储器520上并可在处理器520上运行的计算机程序511，处理器520执行计算机程序511时实现以下步骤：
[0072]
获取ti及t
i+1
时刻相机拍摄的图像ii和i
i+1
，并获取ti时刻之后的至少一个周期内接收的激光雷达回波脉冲；其中i为正整数；t1时刻激光雷达首次发射脉冲；所述周期为激光雷达的脉冲发射周期；
[0073]
根据激光雷达回波脉冲以及ti时刻的激光雷达发射脉冲解算回波脉冲对应的目
标点的位置坐标p；
[0074]
利用相机成像模型，根据目标点的位置坐标p计算其投影到ii上的图像坐标mi以及其投影到i
i+1
上的图像坐标m
i+1
；
[0075]
计算图像坐标mi和图像坐标m
i+1
的相似度，若相似度高于预设阈值，则将目标点对应的雷达回波与ti时刻的激光雷达发射脉冲匹配，否则将目标点对应的雷达回波与t
i-1
时刻的激光雷达发射脉冲匹配。
[0076]
请参阅图8，图8为本发明实施例提供的一种计算机可读存储介质的实施例示意图。如图8所示，本实施例提供了一种计算机可读存储介质600，其上存储有计算机程序611，该计算机程序611被处理器执行时实现如下步骤：
[0077]
获取ti及t
i+1
时刻相机拍摄的图像ii和i
i+1
，并获取ti时刻之后的至少一个周期内接收的激光雷达回波脉冲；其中i为正整数；t1时刻激光雷达首次发射脉冲；所述周期为激光雷达的脉冲发射周期；
[0078]
根据激光雷达回波脉冲以及ti时刻的激光雷达发射脉冲解算回波脉冲对应的目标点的位置坐标p；
[0079]
利用相机成像模型，根据目标点的位置坐标p计算其投影到ii上的图像坐标mi以及其投影到i
i+1
上的图像坐标m
i+1
；
[0080]
计算图像坐标mi和图像坐标m
i+1
的相似度，若相似度高于预设阈值，则将目标点对应的雷达回波与ti时刻的激光雷达发射脉冲匹配，否则将目标点对应的雷达回波与t
i-1
时刻的激光雷达发射脉冲匹配。
[0081]
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
[0082]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0083]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0084]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0085]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
[0086]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0087]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。