一种高分辨率处理方法、装置以及计算机存储介质

1.本技术涉及激光点云技术领域，特别是涉及一种高分辨率处理方法、装置以及计算机存储介质。


背景技术：

2.激光雷达的工作原理是向周围发射一束激光，然后将周围的反射信号与发射的信号进行比较，然后进行处理以获得信息(例如，与周围物体的距离和强度)。激光雷达经常被用于自动驾驶的地图构建、定位和感知。在室内环境中，场景比较有限，一般假设机器人在一个固定的平面上运动，所以有可能只使用单线激光器并降低成本。然而在室外，环境更加复杂，不能直接简化高度信息。因此，单线激光雷达很难在室外场景中应用，所以尝试使用高分辨率激光雷达或具有在额外自由度旋转功能的单线激光雷达来改善扫描数据。
3.然而，具有在额外自由度旋转功能的单线激光雷达没有改变获取的总的点云数量，因此在同等时间下不能够得到更多的空间信息。在许多情况下，用低线束激光雷达扫描的点云比较稀疏，用于创建点云地图时，在很多情况下难以区分道路上的信息。因此，目前获取高分辨率点云数据的技术方案时间成本或硬件成本较高，不符合经济效益。


技术实现要素：

4.本技术提供了一种高分辨率处理方法、装置以及计算机存储介质。
5.本技术提供了一种高分辨率处理方法，所述高分辨率处理方法包括：
6.获取低分辨率点云；
7.按照所述激光雷达的角度参数将所述低分辨率点云投影成第一距离图，其中，所述第一距离图包括坐标通道的距离图和距离通道的距离图；
8.将所述第一距离图输入预先训练的神经网络，其中，所述神经网络包括分辨率网络和通道注意力网络，由所述分辨率网络对距离通道的距离图进行处理得到高分辨率距离图，由所述通道注意力网络对坐标通道的距离图进行处理得到注意力距离图；
9.基于所述注意力距离图和所述高分辨率距离图相加得到第二距离图；
10.对所述第二距离图进行逆投影，得到高分辨率点云。
11.其中，所述按照所述激光雷达的角度参数将所述低分辨率点云投影成第一距离图，包括：
12.基于所述激光雷达的水平角度参数计算所述低分辨率点云在所述第一距离图中的水平角度集合；
13.基于所述低分辨率点云中每一个点云数据的三维坐标以及所述水平角度集合，获取所述每一个点云数据在水平方向上的索引；
14.基于所述激光雷达的竖直角度参数计算所述低分辨率点云在所述第一距离图中的竖直角度集合；
15.基于所述低分辨率点云中每一个点云数据的三维坐标以及所述竖直角度集合，获
取所述每一个点云数据在竖直方向上的索引；
16.按照所述每一个点云数据在水平方向的索引和竖直方向上的索引将相关点云信息进行投影，以组成所述第一距离图。
17.其中，所述获取低分辨率点云，包括：
18.获取所述低分辨率点云中每一点云数据的坐标；
19.基于所述每一点云数据的坐标计算所述每一点云数据的距离。
20.其中，所述将所述第一距离图输入预先训练的神经网络之前，所述高分辨率处理方法还包括：
21.获取所述第一距离图的水平分辨率；
22.基于所述水平分辨率计算左边填充数目；
23.基于所述左边填充数目和所述水平分辨率计算右边填充数目；
24.基于所述左边填充数目和右边填充数目对所述第一距离图进行循环填充。
25.其中，所述基于所述左边填充数目和右边填充数目对所述第一距离图进行循环填充，包括：
26.采用所述第一距离图右边列数为所述左边填充数目的像素集填充到所述第一距离图左边；
27.采用所述第一距离图左边列数为所述右边填充数目的像素集填充到所述第一距离图右边；
28.重复执行以下步骤，直至新的左边填充数目为0：基于填充完的第一距离图计算新的左边填充数目，基于所述左边填充数目和所述水平分辨率计算右边填充数目；基于所述左边填充数目和右边填充数目对所述第一距离图进行循环填充。
29.其中，所述分辨率网络包括编码器网络和解码器网络，所述编码器网络与所述解码器网络具有相反的结构；所述编码器网络和/或所述解码器网络包括若干卷积层、批量归一化层和激活函数，其中，所述编码器网络的输入还包括转置卷积层。
30.其中，所述通道注意力网络包括卷积层和通道注意力模块；所述通道注意力模块用于将所述距离通道的距离图重塑成第一距离通道图和第二距离通道图，将所述第一距离通道图和所述第二距离通道图相乘得到通道注意力图，将所述通道注意力图和所述第一距离通道图做矩阵乘法，重塑回所述距离通道的距离图大小的重塑图像，最后与所述距离通道的距离图相加得到所述通道注意力模块的输出；
31.其中，所述第一距离通道图和所述第二距离通道图为转置图像。
32.其中，所述高分辨率处理方法，还包括：
33.利用低分辨率的激光雷达进行低分辨率点云数据的采集，得到第一训练点云；
34.利用高分辨率的激光雷达进行高分辨率点云数据的采集，得到第二训练点云；
35.将所述第一训练点云和所述第二训练点云输入所述神经网络，以对所述神经网络进行训练。
36.本技术还提供了一种高分辨率处理装置，所述高分辨率处理装置包括存储器和处理器，其中，所述存储器与所述处理器耦接；
37.其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的高分辨率处理方法。
38.本技术还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现上述的高分辨率处理方法。
39.本技术的有益效果是：高分辨率处理装置获取低分辨率点云；按照激光雷达的角度参数将低分辨率点云投影成第一距离图，包括坐标通道的距离图和距离通道的距离图；将第一距离图输入预先训练的神经网络，其中，神经网络包括分辨率网络和通道注意力网络，由分辨率网络对距离通道的距离图进行处理得到高分辨率距离图，由通道注意力网络对坐标通道的距离图进行处理得到注意力距离图；基于注意力距离图和高分辨率距离图相加得到第二距离图；对第二距离图进行逆投影，得到高分辨率点云。通过上述方式，本技术的高分辨率处理方法能够提高激光雷达采集的点云数据的分辨率，能够以低成本的资源实现更好的显示效果。
附图说明
40.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
41.图1是本技术提供的高分辨率处理方法一实施例的流程示意图；
42.图2是本技术提供的神经网络架构一实施例的机构示意图；
43.图3是本技术提供的高分辨率处理方法整体框架的流程示意图；
44.图4是本技术提供的第一距离图的结构示意图；
45.图5是图1所示高分辨率处理方法步骤s12的具体流程示意图；
46.图6是本技术提供的边缘增强的原理示意图；
47.图7是本技术提供的边缘增强的效果示意图；
48.图8是本技术提供的通道注意力模块一实施例的结构示意图；
49.图9是本技术提供的高分辨率处理装置一实施例的结构示意图；
50.图10是本技术提供的计算机存储介质一实施例的结构示意图。
具体实施方式
51.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
52.lidar在自动驾驶领域是不可或缺的，拥有高分辨率(或称多线束)的激光雷达虽然能生成更多的点数但是价格十分昂贵。因此，为了有效降低成本，本技术提出一种新的网络结构，以及基于该网络结构实施的激光点云数据的超分辨率处理方法，用于将低分辨率的点云生成高分辨率的点云，这样对于在使用激光雷达要完成的工作中，能够以较低的成本实现更好的效果。
53.具体请参阅图1至图3，图1是本技术提供的高分辨率处理方法一实施例的流程示意图，图2是本技术提供的神经网络架构一实施例的机构示意图，图3是本技术提供的高分
辨率处理方法整体框架的流程示意图。
54.具体而言，如图1和图3所示，本技术实施例的高分辨率处理方法具体包括以下步骤：
55.步骤s11：获取低分辨率点云。
56.在本技术实施例中，首先进行点云数据的采集。一方面，可以采用低分辨率的激光雷达进行点云数据的收集，作为高分辨率处理方法的原始数据；另一方面，可以采用高分辨率的激光雷达进行点云数据的收集，作为神经网络的训练图像，具体地，神经网络在训练过程中将高分辨率的点云的竖直方向进行下采样作为训练时的输入，以高分辨率的数据作为真值。如图3所示，低精度点云与高精度点云相比，缺乏大量的点云数据，导致低精度点云所携带的信息有限，本技术提供的高分辨率处理方法的发明目的即通过神经网络将低精度点云处理为高精度点云，以提高点云的分辨率。
57.具体地，处理装置使用激光雷达收集到的点云是n
×
4的，n表示点的个数，而4表示每个点的信息，包括x，y，z，i(其中i为intensity，表示反射率)。一般的，激光雷达分为16线，32线，64线以及128线，本技术实施例以16线的经过超分辨率处理后得到64线的效果举例。当然也可以使用本技术的超分辨率处理方法实现16线到32线或者32线到128线等，在此不一一列举。
58.步骤s12：按照激光雷达的角度参数将低分辨率点云投影成第一距离图，其中，第一距离图包括坐标通道的距离图和距离通道的距离图。
59.在本技术实施例中，处理装置按照激光雷达的角度参数将收集到的低分辨率点云投影成第一距离图。
60.例如，低分辨率激光雷达采用64线，采集到的点云的水平角分辨率为0.2
°
，竖直角分辨率约为0.47
°
。计算方式如下：竖直角度是从-15
°
到+15
°
，水平角度是从0
°
到360
°
。竖直角度的激光线束数量为64，经过激光雷达旋转后一帧的水平线束为1800，此时，可以计算得到：
[0061][0062][0063]
其中，v
res
表示竖直角分辨率，h
res
表示水平角分辨率。
[0064]
基于上述概念可以计算出，激光雷达采集的点云中每一个数据点在第一距离图中对应的水平角度和竖直角度，由此，可以获得点云的水平角度集合h和竖直角度集合v。
[0065]
进一步地，处理装置还需要根据上述的水平角度集合h和竖直角度集合v以及每个数据点的三维坐标计算每个数据点在第一距离图中的水平方向的索引和竖直方向的索引，具体计算过程如下：
[0066]
h＝arctan2(-y，x)
[0067][0068]hindex
＝argmin(|h-h|)
[0069]vindex
＝argmin(|v-v|)
[0070]
其中，v
index
表示竖直方向的索引，h
index
表示水平方向上的索引。
[0071]
在计算出每个数据点的水平方向的索引和竖直方向的索引之后，处理装置根据每个数据点的索引，将在点云中的信息投影到第一距离图中。进一步地，由于神经网络的输入需要四通道的投影图，每个通道对应的信息是x，y，z，range，其中，range表示距离。而点云的原始信息一般包括反射率，因此，处理装置需要根据点云的三维信息计算出距离信息，计算公式如下：
[0072][0073]
通过上述处理，处理装置即可得到图4所示的第一距离图的示意图。在图4中，包括四通道的投影图，图中从上到下依次可以表示为投影后的x通道图，y通道图，z通道图和range通道图。经过上述处理，可以得到大小为c
×v×
h的数据，其中c通道数，如4通道，v表示垂直分辨率，如64，h表示水平分辨率，如1800。
[0074]
处理装置得到符合神经网络的输入要求的距离图后，即可将距离图输出神经网络进行分辨率提高处理。
[0075]
在此之前，处理装置可以对距离图进行输入网络前的循环填充和补全，能够解决投影成距离通道的距离图的边缘增强问题。具体请参阅图5至图7，其中，图5是图1所示高分辨率处理方法步骤s12的具体流程示意图，图6是本技术提供的边缘增强的原理示意图，图7是本技术提供的边缘增强的效果示意图。
[0076]
具体而言，如图5所示，本技术实施例的高分辨率处理方法具体包括以下步骤：
[0077]
步骤s121：获取第一距离图的水平分辨率。
[0078]
在本技术实施例中，处理装置获取距离通道的距离图的水平分辨率h。
[0079]
步骤s122：基于水平分辨率计算左边填充数目。
[0080]
在本技术实施例中，处理装置基于水平分辨率h计算左边填充数目，具体计算过程及公式如下：
[0081]
r＝h％16
[0082][0083]
其中，r为中间量，lp为距离通道的距离图的左边填充数目。
[0084]
步骤s123：基于左边填充数目和水平分辨率计算右边填充数目。
[0085]
在本技术实施例中，处理装置基于左边填充数目lp和中间量r计算右边填充数目，具体计算公式如下：
[0086]
rp＝16-r-lp
[0087]
其中，rp为距离通道的距离图的右边填充数目。
[0088]
步骤s124：基于左边填充数目和右边填充数目对第一距离图进行循环填充。
[0089]
在本技术实施例中，处理装置分别基于左边填充数目和右边填充数目对第一距离图进行循环填充，具体填充过程如下：
[0090]
请参阅图6，在距离通道的距离图右边的部分复制列数为左边填充数目lp的区域，即像素集拼接到距离通道的距离图左边。拼接完后，得到新的距离图，处理装置根据新的距离图重新计算新的左边填充数目和右边填充数目，以及根据新的左边填充数目和右边填充数目对新的距离图进行填充。循环执行以上步骤，直至根据最新的距离图计算的左边填充
数目和右边填充数目为0为止，完成输入神经网络前的循环填充和补全。
[0091]
步骤s13：将第一距离图输入预先训练的神经网络，其中，神经网络包括分辨率网络和通道注意力网络，由分辨率网络对距离通道的距离图进行处理得到高分辨率距离图，由通道注意力网络对坐标通道的距离图进行处理得到注意力距离图。
[0092]
在本技术实施例中，处理装置将循环填充和补全完成的第一距离图输入如图2所示的神经网络，由图2的神经网络提高第一距离图的特征空间分辨率，从而得到高分辨率点云。
[0093]
具体地，本技术实施例的神经网络主要分为两个部分，u-net经典网络，即分辨率网络和基于通道注意力机制的重建块，即通道注意力网络。其中，神经网络的基于通道注意力机制的重建块处理输入的x，y，z数据，即坐标通道的距离图，而神经网络的u-net经典网络处理输入的range数据，即距离通道的距离图。最后，由神经网络的两个分支网络处理后所得的数据进行对应元素相加，通过卷积层处理后得到最终结果。
[0094]
其中，输入数据首先均需要经过两个转置卷积层，即坐标通道的距离图经过通道注意力机制的重建块中的转置卷积层，距离通道的距离图经过u-net经典网络中的转置卷积层，以将距离图处理达到所需的大小。神经网络中的每个卷积块由两个卷积层组成，每个卷积层的卷积核为3，紧接着输入到批量归一化层和relu函数(激活函数)。
[0095]
具体地，u-net经典网络的编码器网络部分由4个卷积块和平均池化层组成，对应地，解码器网络与编码器网络有一个相反的结构。u-net经典网络由转置卷积层来提高特征空间分辨率，其中，每个卷积块的所有卷积结果都经过批量归一化层和relu函数。
[0096]
通道注意力重建块具体由卷积层和通道注意力模块组成，其中，通道注意力模块的具体结构请参阅图8。
[0097]
例如，输入图像为大小为c
×v×
h的数据，其中，c为3，即包括x通道、y通道、z通道。通道注意力模块的工作步骤如下：通道注意力模块将输入图像重塑成c
×
n的第一距离通道图和n
×
c的第二距离通道图，其中，n为v
×
h。通道注意力模块将第一距离通道图和第二距离通道图相乘，再通过softmax(归一化)处理得到通道注意力图(c
×
c)。通道注意力模块再把通道注意力图和重塑后的第一距离通道图做矩阵乘法，再乘以尺度系数，然后重塑为原来的形状得到重塑图像；最后，重塑图像与原始的输入图像相加得到最后的输出图像。
[0098]
需要说明的是，通道注意力模块中的尺度系数初始为0，然后通过不断迭代学习后变大。
[0099]
在训练过程中，处理装置需要利用低分辨率的激光雷达进行低分辨率点云数据的采集，得到第一训练点云；利用高分辨率的激光雷达进行高分辨率点云数据的采集，得到第二训练点云。处理装置将第一训练点云和第二训练点云输入所述神经网络，以对神经网络进行训练，以使神经网络对第一训练点云进行高分辨率处理后得到的结果逼近第二训练点云。
[0100]
步骤s14：基于注意力距离图和高分辨率距离图相加得到第二距离图。
[0101]
在本技术实施例中，神经网络将u-net经典网络输出的高分辨率距离图和通道注意力重建块输出的注意力距离图进行相加，得到输出的第二距离图。
[0102]
步骤s15：对第二距离图进行逆投影，得到高分辨率点云。
[0103]
在本技术实施例中，处理装置对第二距离图进行逆投影，根据第二距离图像逆投
影出高分辨率点云，从而实现基于低分辨率点云处理得到高分辨率点云的整个过程。
[0104]
在本技术实施例中，高分辨率处理装置获取低分辨率点云；按照激光雷达的角度参数将低分辨率点云投影成第一距离图，包括坐标通道的距离图和距离通道的距离图；将第一距离图输入预先训练的神经网络，其中，神经网络包括分辨率网络和通道注意力网络，由分辨率网络对距离通道的距离图进行处理得到高分辨率距离图，由通道注意力网络对坐标通道的距离图进行处理得到注意力距离图；基于注意力距离图和高分辨率距离图相加得到第二距离图；对第二距离图进行逆投影，得到高分辨率点云。通过上述方式，本技术的高分辨率处理方法能够提高激光雷达采集的点云数据的分辨率，能够以低成本的资源实现更好的显示效果。
[0105]
为实现上述实施例的高分辨率处理方法，本技术还提出了一种高分辨率处理装置，具体请参阅图9，图9是本技术提供的高分辨率处理装置一实施例的结构示意图。
[0106]
本技术实施例的高分辨率处理装置500包括存储器51和处理器52，其中，存储器51和处理器52耦接。
[0107]
存储器51用于存储程序数据，处理器52用于执行程序数据以实现上述实施例所述的高分辨率处理方法。
[0108]
在本实施例中，处理器52还可以称为cpu(central processing unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(dsp，digital signal process)、专用集成电路(asic，application specific integrated circuit)、现场可编程门阵列(fpga，field programmable gate array)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器52也可以是任何常规的处理器等。
[0109]
本技术还提供一种计算机存储介质，如图10所示，计算机存储介质600用于存储程序数据61，程序数据61在被处理器执行时，用以实现如上述实施例所述的高分辨率处理方法。
[0110]
本技术还提供一种计算机程序产品，其中，上述计算机程序产品包括计算机程序，上述计算机程序可操作来使计算机执行如本技术实施例所述的高分辨率处理方法。该计算机程序产品可以为一个软件安装包。
[0111]
本技术上述实施例所述的高分辨率处理方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0112]
以上所述仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。