一种基于神经网络的激光雷达三维距离像超分辨率重建方法

1.本发明涉及三维距离像超分辨率重建技术领域，是一种基于神经网络的激光雷达三维距离像超分辨率重建方法。


背景技术：

2.在真实世界的成像探测中，将传统的二维成像扩展到具有距离信息的三维成像是极具意义的。三维成像方法包括立体视觉、立体结构光、深度测量相机、扫描激光雷达、固态激光雷达、闪光激光雷达等。其中，激光雷达有着无与伦比的先天优势：体积小、重量轻、采集数据密度大、测距精度高、成像速度快、植被穿透力强、不受太阳高度角和阴影影响、隐蔽性好、抗干扰能力强等特点。
3.gm-apd(基于盖革模式apd阵列)激光雷达属于无扫描式激光三维成像雷达，其易于集成、探测灵敏度高、具有单光子探测能力，gm-apd的激光光源发射出激光脉冲，并通过探测器测得脉冲的飞行时间，从而计算出每个像素点的距离值，获得三维距离像，因此gm-apd对微弱信号目标的探测更有优势。
4.虽然gm-apd激光雷达的距离像拥有高距离分辨率，但受制于gm-apd成像单元阵列尺寸的限制，其自身成像的空间分辨率很低。提升图像分辨率最直接的做法是对采集系统中的光学硬件进行改进，但是由于制造工艺难以大幅改进并且制造成本十分高昂，因此物理上解决图像低分辨率问题往往代价太大。由此，需要从软件和算法的角度着手，实现图像的质量提升，将给定的低分辨率gm-apd激光雷达图像通过特定的算法恢复成相应的高分辨率图像。
5.对于定义在二维空间上的图像，传统方法都将其看成一个二维马尔可夫随机场，利用马尔可夫性质描述图像中邻近像素之间的关系，从而模拟数字图像，并将超分辨率重建问题转化为求解马尔可夫随机场优化模型问题。但真实的图像并不是严格意义上的马尔可夫随机场，传统方法为了建立优化方程而采用了数学近似，并在优化方程的求解过程中采用了数学近似计算，因此重建效果并不理想。


技术实现要素：

6.针对现有技术的以上缺陷或改进需求，本发明为通过神经网络来获取高空间分辨率的激光雷达三维距离像，本发明提供了一种基于神经网络的激光雷达三维距离像超分辨率重建方法，本发明提供了以下技术方案：
7.一种基于神经网络的激光雷达三维距离像超分辨率重建方法，所述方法包括以下步骤：
8.步骤1：根据一组高分辨强度像z和低分辨距离像x，用理想的高分辨距离像y表示低分辨距离像x上的任一像素s；
9.步骤2：确定高分辨强度像z与理想的高分辨距离像y存在非线性映射关系，并建立损失函数；
10.步骤3：增加高分辨强度像z的像素映射范围，引入图像像素坐标编码与区域像素编码，进行超分辨重建。
11.优选地，所述步骤1具体为：
12.对于一组对应的高分辨强度像z和低分辨距离像x，理想的高分辨距离像为y，且理想的高分辨距离像y与高分辨强度像z尺寸维度一致，低分辨距离像x上的m
×
m区域对应理想的高分辨距离像y上映射位置的(d
×
m)
×
(d
×
m)区域，d为高分辨距离像y和低分辨距离像x的比例倍数，低分辨距离像x上的任一像素s通过下式表示：
[0013][0013][0014]
优选地，所述步骤2具体为：
[0015]
高分辨强度像z与理想的高分辨距离像y存在非线性映射关系，通过下式表示非线性映射关系：
[0016][0017]
对于实际的图像，低分辨距离像x上的任一像素s通过下式表示为：
[0018][0019]
其中，q表示高分辨强度像z中d
×
d区域的像素，q表示q的5
×
5邻域，邻域尺寸不足以0填充；
[0020]
在约束条件下，期望得到一组参数θ，使得损失函数达到最小值，通过下式表示：
[0021][0022]
在网络中采用l2范数进行正则化，则通过下式表示损失函数：
[0023][0024]
优选地，所述步骤3具体为：
[0025]
增加图像z的像素映射范围，引入图像像素坐标编码，f1针对单个像素，因此采用像素序号进行单像素编码；f2针对区域像素，因此取同一区域的像素序号相同，进行区域像素编码，则通过下式表示损失函数表示为：
[0026][0026][0027]
当原始距离像分辨率低，进行插值才能与处理后的高分辨率距离像进行距离值对比，进行原始距离像插值上采样，完成超分辨采样。
[0028]
优选地，针对强度像的每个像素点与邻域并不完全独立，对每个像素块都采用2层3
×
3卷积，提取邻域信息。
[0029]
优选地，取高分辨强度像z为iccd强度像，取低分辨距离像x为gm-apd距离像。
[0030]
优选地，取高分辨强度像z为超分处理后的gm-apd强度像，取低分辨距离像x为gm-apd距离像。
[0031]
一种基于神经网络的激光雷达三维距离像超分辨率重建系统，所述系统包括：
[0032]
像素提取模块，所述像素提取模块根据一组高分辨强度像z和低分辨距离像x，用
理想的高分辨距离像y表示低分辨距离像x上的任一像素s；
[0033]
损失函数模块，所述损失函数模块根据确定高分辨强度像z与理想的高分辨距离像y存在非线性映射关系，并建立损失函数；
[0034]
超分辨重建模块，所述超分辨重建模块增加高分辨强度像z的像素映射范围，引入图像像素坐标编码与区域像素编码，进行超分辨重建。
[0035]
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现一种基于神经网络的激光雷达三维距离像超分辨率重建方法。
[0036]
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行一种基于神经网络的激光雷达三维距离像超分辨率重建方法。
[0037]
本发明具有以下有益效果：
[0038]
本发明通过神经网络来获取高空间分辨率的激光雷达三维距离像，主要针对两种应用方式：第一种是采用高空间分辨率的iccd相机和高距离分辨率的gm-apd激光雷达复合成像，用iccd强度图引导gm-apd距离图；第二种是只采用高距离分辨率的gm-apd激光雷达成像，用gm-apd强度图引导其自身的距离图。
[0039]
本发明方法重构像较其他算法重构像清晰度更高、细节信息更丰富且边缘更锐利，较tgv和标准图像引导算法的纹理复制现象更少。从表1可见，在放大倍数较高时，即低分辨距离像边缘轮廓等信息缺失较严重，本发明算法获得了最优的指标，在放大倍数较低时，本发明算法的指标表现较差。综合所有放大倍数的评价指标，本发明算法获得了最优的指标表现，较其他算法，rmse最高提升72％，ssim最高提升7％。
[0040]
本发明较双三次插值、引导滤波、tgv、标准图像引导算法、区域相似度引导算法性能更优，对于低分辨gm-apd激光雷达三维距离像，由于其边缘轮廓等信息缺失严重，较边缘轮廓等信息更完整的低分辨距离像，本发明算法在重构像边缘锐利度和恢复低分辨距离像边缘轮廓等信息能力上表现更优。
附图说明
[0041]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]
图1为原始距离像插值上采样方式示意图；
[0043]
图2为成像系统原理图；
[0044]
图3为middleburg数据集处理结果图；
[0045]
图4为激光雷达距离图像处理结果图；
[0046]
图5为激光雷达距离图像处理结果图。
具体实施方式
[0047]
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术
人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0048]
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0049]
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0050]
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
[0051]
以下结合具体实施例，对本发明进行了详细说明。
[0052]
具体实施例一：
[0053]
根据图1至图5所示，本发明为解决上述技术问题采取的具体优化技术方案是：本发明涉及一种基于神经网络的激光雷达三维距离像超分辨率重建方法。
[0054]
本发明提供一种基于神经网络的激光雷达三维距离像超分辨率重建方法，所述方法包括以下步骤：
[0055]
步骤1：根据一组高分辨强度像z和低分辨距离像x，用理想的高分辨距离像y表示低分辨距离像x上的任一像素s；
[0056]
步骤2：确定高分辨强度像z与理想的高分辨距离像y存在非线性映射关系，并建立损失函数；
[0057]
步骤3：增加高分辨强度像z的像素映射范围，引入图像像素坐标编码与区域像素编码，进行超分辨重建。
[0058]
本发明通过神经网络来获取高空间分辨率的激光雷达三维距离像，主要针对两种应用方式：第一种是采用高空间分辨率的iccd相机和高距离分辨率的gm-apd激光雷达复合成像，用iccd强度图引导gm-apd距离图；第二种是只采用高距离分辨率的gm-apd激光雷达成像，用gm-apd强度图引导其自身的距离图。
[0059]
具体实施例二：
[0060]
本技术实施例二与实施例一的区别仅在于：
[0061]
所述步骤1具体为：
[0062]
对于一组对应的高分辨强度像z和低分辨距离像x，理想的高分辨距离像为y，且理想的高分辨距离像y与高分辨强度像z尺寸维度一致，低分辨距离像x上的m
×
m区域对应理想的高分辨距离像y上映射位置的(d
×
m)
×
(d
×
m)区域，d为高分辨距离像y和低分辨距离像x的比例倍数，低分辨距离像x上的任一像素s通过下式表示：
[0063][0064]
具体实施例三：
[0065]
本技术实施例三与实施例二的区别仅在于：
[0066]
所述步骤2具体为：
[0067]
高分辨强度像z与理想的高分辨距离像y存在非线性映射关系，通过下式表示非线性映射关系：
[0068][0069]
对于实际的图像，低分辨距离像x上的任一像素s通过下式表示为：
[0070][0071]
其中，q表示高分辨强度像z中d
×
d区域的像素，q表示q的5
×
5邻域，邻域尺寸不足以0填充；
[0072]
在约束条件下，期望得到一组参数θ，使得损失函数达到最小值，通过下式表示：
[0073][0074]
在网络中采用l2范数进行正则化，则通过下式表示损失函数：
[0075][0076]
具体实施例四：
[0077]
本技术实施例四与实施例三的区别仅在于：
[0078]
所述步骤3具体为：
[0079]
增加图像z的像素映射范围，引入图像像素坐标编码，f1针对单个像素，因此采用像素序号进行单像素编码；f2针对区域像素，因此取同一区域的像素序号相同，进行区域像素编码，则通过下式表示损失函数表示为：
[0080][0081]
当原始距离像分辨率低，进行插值才能与处理后的高分辨率距离像进行距离值对比，进行原始距离像插值上采样，完成超分辨重建。
[0082]
距离像不同于强度像，强度像应该包含目标的纹理信息，因此强度像的超分辨率重建只注重于目标的纹理信息恢复，而距离像表征目标的距离信息，因此距离像的超分辨率重建必须尽可能的保持与原始距离值一致。由于原始距离像分辨率较低，需要进行插值才能与处理后的高分辨率距离像进行距离值对比，因此需要采用合理的插值方式对原始距离像进行上采样。
[0083]
提出的原始距离像插值上采样方式如图1所示。相比于高分辨率距离像，低分辨率距离像缺失对应区域像素的距离值，对实际场景未探测到的距离值，应采用像素块的方式进行填充，即认为上采样得到的高分辨率距离像区域距离值应该相同。将插值上采样得到的距离像与本发明方法进行psnr指标评价，即可用于评估本发明方法得到的距离像与原始距离像的距离值差异。
[0084]
本发明针对强度像的每个像素点与其邻域并不完全独立，提出了对每个像素块都采用2层3
×
3卷积，提取邻域信息；
[0085]
本发明针对gm-apd距离像上采样问题，提出了距离像不能采用邻域计算的方式进行插值，即只能采用最近邻插值，不能采用线性插值或三次样条插值；
[0086]
本发明针对gm-apd强度像相比于彩色相机而言灰度过于单一，提出了采用超像素分割对gm-apd图像进行分块。
[0087]
使用middleburg数据集对算法进行定量评估。为了验证超分辨率重建效果，使用了不同的因子(x2,x4,x8,x16)对距离图像进行了下采样，模拟低分辨距离图像。将本发明算法与双三次插值、引导滤波、tgv、标准图像引导算法和区域相似度引导算法进行比较。图3为x8放大倍数下的视觉效果。
[0088]
对iccd相机和gm-apd激光雷达采集的真实数据进行超分测试。gm-apd激光雷达采集的距离像分辨率为64
×
64，iccd相机采集的强度像分辨率为480
×
640，由于视场不同，经过配准后获得分辨率为328
×
366的强度像。图4显示了不同算法的视觉效果。其中图4(c)为图4(a)的灰度变换显示，图4(d)为图4(j)的灰度变换显示，可以看出图4(d)恢复了左上角的建筑物(房顶)。
[0089]
对gm-apd激光雷达采集的真实数据进行超分测试。gm-apd激光雷达采集的强度像与距离像分辨率均为64
×
64，由于强度像与距离像出自同一个探测设备，因此无需对强度像与距离像进行配准。图5显示了本发明方法对gm-apd激光雷达图像的处理效果。
[0090]
使用均方根误差(rmse)和结构相似度(ssim)两个有参考图像质量评价指标来客观评估不同方法对middleburg数据集的重构结果，评价结果如表1所示。
[0091]
表1不同方法的有参考图像质量评价指标对比
[0092][0093]
从图3可见，本发明方法重构像较其他算法重构像清晰度更高、细节信息更丰富且边缘更锐利，较tgv和标准图像引导算法的纹理复制现象更少。从表1可见，在放大倍数较高时，即低分辨距离像边缘轮廓等信息缺失较严重，本发明算法获得了最优的指标，在放大倍数较低时，本发明算法的指标表现较差。综合所有放大倍数的评价指标，本发明算法获得了最优的指标表现，较其他算法，rmse最高提升72％，ssim最高提升7％。
[0094]
从图4可见，仅标准图像引导算法和本发明算法可以恢复出左上角的建筑物，且本发明算法重构像边缘更锐利，并在更大程度上保持了与原始距离图像的距离值一致，即目标颜色与目标边缘保持的更好。从图5可见，本发明算法在距离像上恢复出了更多的目标细节，即窗口形状更加完整。且用图5(b)与图5(d)计算得到的mse为1.550、psnr为46.228，可见本发明方法得到的距离像与原始距离像的距离值差异非常微小。
[0095]
综合对仿真数据和真实数据的实验结果，可以看出本发明算法较双三次插值、引导滤波、tgv、标准图像引导算法、区域相似度引导算法性能更优，对于低分辨gm-apd激光雷达三维距离像，由于其边缘轮廓等信息缺失严重，较边缘轮廓等信息更完整的低分辨距离像，本发明算法在重构像边缘锐利度和恢复低分辨距离像边缘轮廓等信息能力上表现更优。
[0096]
具体实施例五：
[0097]
本技术实施例五与实施例四的区别仅在于：
[0098]
针对强度像的每个像素点与邻域并不完全独立，对每个像素块都采用2层3
×
3卷积，提取邻域信息。
[0099]
具体实施例六：
[0100]
本技术实施例六与实施例五的区别仅在于：
[0101]
第一种应用方式是通过iccd相机与gm-apd激光雷达复合成像，用iccd强度图引导gm-apd距离图，取高分辨强度像z为iccd强度像，取低分辨距离像x为gm-apd距离像。
[0102]
具体实施例七：
[0103]
本技术实施例七与实施例六的区别仅在于：
[0104]
第二种应用方式是只通过gm-apd激光雷达成像，先对gm-apd强度图进行分辨率提升，再用gm-apd强度图引导gm-apd距离图。取高分辨强度像z为超分处理后的gm-apd强度像，取低分辨距离像x为gm-apd距离像。
[0105]
具体实施例八：
[0106]
本技术实施例八与实施例七的区别仅在于：
[0107]
本发明提供了一种基于神经网络的激光雷达三维距离像超分辨率重建系统，所述系统包括：
[0108]
像素提取模块，所述像素提取模块根据一组高分辨强度像z和低分辨距离像x，用理想的高分辨距离像y表示低分辨距离像x上的任一像素s；
[0109]
损失函数模块，所述损失函数模块根据确定高分辨强度像z与理想的高分辨距离像y存在非线性映射关系，并建立损失函数；
[0110]
超分辨重建模块，所述超分辨重建模块增加高分辨强度像z的像素映射范围，引入图像像素坐标编码与区域像素编码，进行超分辨重建。
[0111]
具体实施例九：
[0112]
本技术实施例九与实施例八的区别仅在于：
[0113]
本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现一种基于神经网络的激光雷达三维距离像超分辨率重建方法。
[0114]
具体实施例十：
[0115]
本技术实施例十与实施例九的区别仅在于：
[0116]
本发明提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行一种基于神经网络的激光雷达三维距离像超分辨率重建方法。
[0117]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特
点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“n个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或n个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0118]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0119]
以上所述仅是一种基于神经网络的激光雷达三维距离像超分辨率重建方法的优选实施方式，一种基于神经网络的激光雷达三维距离像超分辨率重建方法的保护范围并不仅局限于上述实施例，凡属于该思路下的技术方案均属于本发明的保护范围。应当指出，对
于本领域的技术人员来说，在不脱离本发明原理前提下的若干改进和变化，这些改进和变化也应视为本发明的保护范围。