基于多阶段退化神经网络的强噪声单光子三维重建方法

1.本发明属于激光雷达技术领域，具体涉及基于多阶段退化神经网络的强噪声单光子三维重建方法。


背景技术：

2.传统的三维成像激光雷达是常见的主动光学三维成像系统，已被广泛应用于工业、科学研究乃至国防领域。然而，随着高灵敏度光子探测技术和高精度电子学计时技术日趋成熟，以时间相关单光子计数三维成像技术为代表的激光雷达技术已逐渐成为远距离成像、非视域成像领域的发展趋势。
3.虽然单光子计数雷达能够响应单光子水平的回波光子信号，但是采用单光子计数体制之后，在提高探测灵敏度的同时，源于光粒子性的散噪声，以及环境背景噪声和探测器暗记数的影响变得不可忽略，从而需要增加照射时间以提高回波光子的信噪比，大大降低了成像的性能，严重影响该技术在实际中的应用。
4.目前，人们已经从单光子成像系统设备、经典算法以及机器学习三个途径克服上述问题。高速电子门控是一种改进单光子成像技术的方案，但是需要预先知晓目标大致位置，否则会丢失目标信息，实用性受限。shin
1.等人通过添加约束项tv(total-variation)来抑制噪声；更进一步，rapp
[
2]等人提出在强噪声环境中的去噪算法，对回波光子信号先进行去噪处理，而后进行重构。二人的方法都起到了提高重构精度的效果，但是随着光通量的逐渐降低，二者的成像性能严重下降。lindell
[
3]等人在2018年提出了基于机器学习的传感器融合的单光子成像算法，通过干净的强度信息引导单光子重建，达到了较好的重建效果。由于实际中优良的强度信息往往缺少，故该方法不可行，但是将机器学习引入了单光子成像领域。
[0005]
因此，目前需要探索一种非融合的，能够在不同环境下具有优良泛化性能，尤其是低光通量情况下成像优异的算法，以提升时间相关单光子计数三维成像技术实际应用能力。


技术实现要素：

[0006]
现有单光子三维成像方法存在一定局限性，比如：高速电子门控方法高度依赖人工设计，在实际应用中性价比不高，经典算法无法满足低光通量下有效成像需求，以及基于数据融合的机器学习方法面临复杂环境下的不可靠性。本发明提供了一种基于多阶段退化神经网络的强噪声单光子三维重建方法，通过将单光子重建过程分成两个不同的阶段进行，将复杂问题简化后分别进行处理，既丰富了特征信息的尺度，同时又捕获了单光子数据的空间相关性，大幅提高了单光子三维重构图像的质量和效率。
[0007]
本发明提供了一种基于多阶段退化神经网络的强噪声单光子三维重建方法，包括如下步骤：
[0008]
步骤1，获取数据集；
[0009]
所述数据集为噪声单光子数据集，包括用于网络模型训练的训练数据集和用于网络模型测试的测试数据集。
[0010]
步骤2，构建用于单光子重建的多阶段退化神经网络；
[0011]
多阶段退化神经网络包括多尺度特征提取网络、自监督注意力模块和固定分辨率融合与重建网络级联组成；其中多尺度特征提取网络和自监督注意力模块为第一阶段网络；固定分辨率融合与重建网络为第二阶段网络；
[0012]
步骤3，使用训练集训练多阶段退化神经网络；
[0013]
将训练集数据导入多阶段退化神经网络，利用神经网络的正向、反向传播优化总体网络参数，通过混合损失函数约束多阶段网络训练，使多阶段退化神经网络拟合训练集数据，获取训练好的多阶段退化神经网络；
[0014]
步骤4，将测试集数据输入训练好的多阶段退化神经网络实现强噪声单光子三维重建，生成深度图。
[0015]
进一步的，步骤3中所述混合损失函数loss包括第一阶段网络的loss1和第二阶段网络的loss2，表达为：
[0016][0017]
优化总体网络参数以拟合训练集数据，具体为：将第一阶段网络和第二阶段网络输出的去噪单光子数据分别与相同归一化干净单光子数据h,通过混合损失函数l计算得到第一阶段网络的loss1和第二阶段网络的loss2,通过最终的loss进行总体网络的优化。
[0018]
进一步的，步骤3中所述混合损失函数l表达式为：
[0019][0020]
其中，
[0021][0022]
表示去噪直方图和归一化干净直方图h之间每个空间位置(i,j)处的kl散度；λ为权重系数；
[0023]
表示对2d深度图进行正则化的总变差项；采用可微分的argmax算子s作用于找到最大的bin索引,通过对每个空间位置(i,j)的简单加权和计算得到深度值：
[0024][0025]
进一步的，多尺度特征提取网络是基于3dunet网络搭建的网络，包括下采样层、上采样层以及跳层连接层；3dunet网络整体结构呈u形编码-解码对称结构，其中编码部分是多个卷积操作和3d池化操作组成的下采样层提取目标特征，解码部分是由多个反卷积操作和上采样函数组成的上采样层恢复信息。将特征层等级相同的特征通过跳层连接层进行融合。
[0026]
进一步的，步骤2中所述自监督注意力模块包括残差模块和全局注意力模块，噪声
单光子数据先经过多尺度特征提取网络，提取多尺度细节特征。将多尺度特征提取网络的输出的多尺度单光子特征信息与原始噪声单光子数据一并输入到残差模块，残差模块输出去噪单光子数据用于计算loss1，以约束第一阶段网络，同时去噪单光子数据输入到全局注意力模块，全局注意力模块用于通过利用注意力机制原理，建立时空维度的注意力特征图，输出经过注意力模块优化后的单光子特征信息到固定分辨率融合与重建网络。
[0027]
进一步的，全局注意力模块包括卷积层convθ、convg、convz、以及归一化group norm层；全局注意力模块原理如下所示：
[0028][0029]
其中，x为输入到全局注意力模块的单光数据；
[0030]
通过convθ对输入进行卷积，得到xw
θ
；通过对输入的转置进行卷积，得到通过convg对输入的进行卷积，得到xwg；convz是对特征y进行分组卷积，减少计算，而后进行group norm归一化。
[0031]
进一步的，固定分辨率融合与重建网络包括浅层特征提取层、特征融合层和softmax层；噪声单光子数据经固定分辨率融合与重建网络的浅层特征提取层进行浅层特征提取，并与自监督注意力模块中输出的优化后的去噪单光子特征信息在特征融合层融合，输出去噪单光子数据再经softmax层。将argmax微分算子作用于softmax层的输出，得到深度图数据，所述去噪单光子数据参与计算loss2。
[0032]
进一步的，特征融合模块包括第一层卷积conv、第二层卷积conv、第三层卷积conv(d)，第二层卷积conv(d)、以及第三层卷积conv；其中每层卷积都采用relu做为激活函数；特征信息在特征融合模块中，先经过第一层卷积conv，该卷积不会改变特征通道数量，第一层卷积conv输出分别到第二层卷积conv和第二层卷积conv(d)，卷积conv(d)为扩张卷积增加特征信息通道数量，conv为3d卷积该卷积不会改变特征通道数量。第二层卷积conv输出到第三层卷积conv(d)，第二层卷积conv(d)输出到第三层卷积conv；将第二层卷积conv、第三层卷积conv(d)，第二层卷积conv(d)、以及第三层卷积conv的输出作concat操作，而后作为下一个特征融合模块的输入。
[0033]
进一步的，步骤1中所述训练数据集是通过使用单光子激光雷达仿真系统模型对nyuv2数据集进行模拟得到的噪声单光子数据集；所述测试数据集通过使用相同的单光子激光雷达仿真系统模型对middlebury 2005数据集进行模拟得到的噪声单光子数据集。
[0034]
进一步的，单光子激光雷达仿真系统具体建模如下：
[0035]
(1)在时间间隔n内记录的位置(i,j)处的光子数可以表示为：
[0036][0037]
其中c是光速，s为周期性脉冲，d为某一像素处的深度值，δt是tdc的时间间隔，g表示仪器响应函数，η∈[0,1)表示量子效率,b
λ
表示波长为λ的环境光影响。
[0038]
(2)记录的spad n个照明周期的光子数量可近似建模为泊松过程，如下：
[0039]hi,j
[n]～p{n[ηr
i,j
[n]+bd]}
[0040]
其中bd为探测器非零计数。
[0041]
与现有技术相比，本发明的有益效果是：本发明利用原始数据预先训练一个多阶段退化神经网络的强噪声单光子三维重建网络模型，训练完成之后只需要输入的当前网络的原始单光子数据，重建出最终的深度图，并且效果明显。该方法的可行性高，普适性强，实验结果表明，我们的方法在不同光通量情况下效果稳定。
附图说明
[0042]
图1是本发明方法的流程图。
[0043]
图2是多阶段退化神经网络网络结构图。
[0044]
图3是多尺度特征提取网络网络结构图。
[0045]
图4是全局注意力模块结构图。
[0046]
图5是特征融合模块结构图。
[0047]
图6是不同算法对比结果图。
具体实施方式
[0048]
为了加深对本发明的理解，下面将结合实施例对本发明作进一步的详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。
[0049]
基于多阶段退化神经网络的强噪声单光子三维重建方法，如图1所示，包括如下步骤：
[0050]
步骤1，获取数据集；
[0051]
所述数据集包括用于网络模型训练的训练数据集和用于网络模型测试的测试数据集；所述训练数据集是通过使用单光子激光雷达仿真系统模型对nyuv2数据集进行模拟得到的噪声单光子数据集，所述测试数据集通过使用相同的单光子激光雷达仿真系统模型对middlebury 2005数据集进行模拟得到的噪声单光子数据集。
[0052]
单光子激光雷达仿真系统具体建模如下：
[0053]
(1)在时间间隔n内记录的位置(i,j)处的光子数可以表示为：
[0054][0055]
其中c是光速，s为周期性脉冲，d为某一像素处的深度值，δt是tdc的时间间隔，g表示仪器响应函数，η∈[0,1)表示量子效率,b
λ
表示波长为λ的环境光影响。
[0056]
(2)记录的spad n个照明周期的光子数量可近似建模为泊松过程，如下：
[0057]hi,j
[n]～p{n[ηr
i,j
[n]+bd]}
[0058]
其中bd为探测器非零计数。
[0059]
模拟的噪声单光子数据的噪声水平主要包括：1：100、2：100、3：100、10：2、2：2、5：2、5：10、10：10、2：10、10：50、5：50、2：50；所述噪声水平是指信号光子数：环境背景光。模拟的噪声单光子数据在网络中使用时，维度为bx1024x32x32。训练数据集是由以上多种噪声水平生成的数据混合而成，从训练数据集中随机抽取一小部分作为验证集，用于网络训练过程中的验证，其余的用于网络训练。验证集中的数据也包括了以上多种噪声水平。
[0060]
测试集的组成是由相同的单光子激光雷达仿真系统对middlebury 2005数据集经过模拟生成上述噪声水平的单光子数据、对应的干净的深度图数据和光子直方图数据，在
测试集中不同噪声水平的噪声单光子数据不进行混合，方便之后进行结果分析。
[0061]
步骤2，构建用于单光子重建的多阶段退化神经网络；
[0062]
如图2所示，多阶段退化神经网络包括多尺度特征提取网络、自监督注意力模块和固定分辨率融合与重建网络级联组成；其中多尺度特征提取网络和自监督注意力模块为第一阶段网络；固定分辨率融合与重建网络为第二阶段网络；所以本发明中单光子重建任务由两个阶段完成；
[0063]
噪声单光子数据先经过多尺度特征提取网络，提取多尺度细节特征，经过自监督注意力模块后，输出两部分，一部分是经过第一阶段网络之后的去噪单光子数据参与计算loss1以约束第一阶段网络；另一部分是噪声单光子特征信息输入到固定分辨率融合与重建网络。
[0064]
所述固定分辨率融合与重建网络包括浅层特征提取层、特征融合层和softmax层；噪声单光子数据经固定分辨率融合与重建网络的浅层特征提取层进行浅层特征提取，并与自监督注意力模块中输出的去噪单光子特征信息在特征融合层融合，输出去噪单光子数据再经softmax层。将argmax微分算子作用于softmax层的输出，得到深度图数据，所述去噪单光子数据参与计算loss2，总体网络在进行loss的传播时，传播的是loss1和loss2的求和之后的loss，但是依旧可以起到对于两个阶段的网络的约束作用。本发明中的固定分辨率融合与重建网络弥补了固定分辨率融合与重建网络无法捕获多尺度细节的缺点。特征融合层中的特征信息既有多尺度特征提取网络所提取的多尺度细节特征信息，也有固定分辨率融合与重建网络所捕获的单光子特征信息的长程空间相关性，将强噪声环境中的有效特征提取这一复杂问题，分成两个不同的阶段提取，有效的使得特征信息更加丰富。
[0065]
如图3所示，多尺度特征提取网络是基于3dunet网络搭建的网络，包括下采样层、上采样层以及跳层连接层。
[0066]
3dunet网络整体结构呈u形编码-解码对称结构，其中编码部分是多个由3x3x3的卷积操作和3d池化操作组成的下采样层提取目标特征，解码部分是与编码部分同样多个由3x3x3反卷积操作和上采样函数组成的上采样层恢复信息。将特征层等级相同的特征通过跳层连接层进行融合。下采样层能够捕获不同尺度的特征信息，具有较好的纹理细节；上采样层将提取到的特征逐步恢复到和原数据大小一致；跳层连接层将下采样得到特征通过级联和卷积与上采样结果融合。通过该网络之后，具有了较好的细节纹理，但是丢失了准确的空间位置信息。
[0067]
自监督注意力模块包括残差模块与全局注意力模块。通过残差连接，保证了特征信息的丰富，随着网络的加深，不会出现过拟合现象，并将输出的去噪直方图数据用于计算loss1，参与最小损失函数优化。全局注意力模块如图4所示，通过利用注意力机制原理，建立了时空维度的注意力特征图，能够捕获特征信息长程相关性，以此建立特征信息之间的时空长程联系，这包括时间维度和空间维度的相关性，这对于强噪声单光子数据而言，通过建立特征信息之间的相关性，能够更好的融合稀疏的有效单光子信息，在时间维度上将有效光子特征信息进行聚合，解决了强噪声中有效单光子信息稀疏，特征不易提取的问题。
[0068]
全局注意力模块包括卷积层convθ、convg、convz、以及归一化group norm层；全局注意力模块原理如下所示：
[0069][0070]
其中，x为输入到全局注意力模块的单光数据；
[0071]
通过convθ对输入进行卷积，得到xw
θ
；通过对输入的转置进行卷积，得到通过convg对输入的进行卷积，得到xwg；在这之前，nxcx1024x32x32变换为nx(cx1024x32x32),所以输入到全局注意力模块的单光数据特征信息x的维度为：nx(cx1024x32x32)。convz是对输出特征信息y进行分组卷积，减少计算，而后进行group norm归一化。
[0072]
固定分辨率融合与重建网络包括浅层特征提取层、特征融合层和softmax层。浅层特征提取层将提取输入数据的浅层特征信息，由3x3x3的3d卷积组成，融合了密集连接以及残差的思想，保证了网络的深度。特征融合层由多个特征融合模块构成，用于扩大网络的感受野。softmax层对第二阶段的输出去噪单光子数据进行归一化操作，通过微分算子argmax寻找经过softmax层之后的去噪光子数据中最大值的bin索引，生成2d深度图。
[0073]
如图5所示，特征融合模块包括第一层卷积conv、第二层卷积conv、第三层卷积conv(d)，第二层卷积conv(d)、以及第三层卷积conv；其中每层卷积都采用relu做激活函数；
[0074]
特征信息在特征融合模块中，先经过第一层卷积conv，该卷积不会改变特征通道数量，第一层卷积conv输出分别到第二层卷积conv和第二层卷积conv(d)，卷积conv(d)为扩张卷积会增加特征信息通道数量，conv为3d卷积该卷积不会改变特征通道数量。第二层卷积conv输出到第三层卷积conv(d)，第二层卷积conv(d)输出到第三层卷积conv；将第二层卷积conv、第三层卷积conv(d)，第二层卷积conv(d)、以及第三层卷积conv的输出作concat操作，而后作为下一个特征融合模块的输入。上下两个conv-relu-conv(d)和conv(d)-relu-conv分支可以学习不同的特征，可以增大感受野，促进特征的融合。
[0075]
步骤3：使用训练集训练多阶段退化神经网络；
[0076]
将训练集数据导入多阶段退化神经网络，利用神经网络的正向、反向传播优化总体网络参数，通过混合损失函数约束多阶段网络训练，使多阶段退化的强噪声单光子三维重建神经网络拟合训练集数据，以此来获取具有强噪声单光子三维重建功能的多阶段退化的强噪声单光子三维重建神经网络；
[0077]
为了使训练更加有效，本发明采用了混合损失函数，使用两个损失项约束网络。所述混合损失函数一个是去噪直方图和归一化干净直方图h之间每个空间位置(i,j)处的kullback-leibler(kl散度),表达式为：
[0078][0079]
另外一项损失函数是对输出的2d深度图进行正则化的总变差项(tv)项，这是为了提高网络的鲁棒性。我们运用一个可微分的argmax算子s到找到最大的bin索引通过对每个空间位置(i,j)的简单加权和计算得到深度值：
[0080]
[0081]
因此最终的混合损失函数表达式为：
[0082][0083]
其中，λ为权重系数，本技术中设置为0.006。
[0084]
优化网络参数以拟合训练集数据，具体为：将两个阶段的网络的输出分别与相同归一化真实直方图,通过相同的损失函数l计算得到相应的loss1和loss2,通过最终的loss进行总体网络的优化，优化器使用adam优化器，最终进行传播的loss表达式为：
[0085][0086]
测试结果的评估指标使用的是均方根误差rmse，rmse公式为：
[0087][0088]
其中，是网络输出的去噪深度图，d是真实干净深度图。
[0089]
步骤4：将测试集数据输入训练好的多阶段退化神经网络实现强噪声单光子三维重建，生成深度图，并分析测试结果。
[0090]
最终的测试结果如图6所示。本发明方法分别与shin、rapp、lindell三人论文中提出的方法对比，其中shin的论文是photon-efficient imaging with a single-photon camera，2016年发布在期刊nature communications上；rapp的论文是a few photons among many:unmixing signal and noise for photon-efficient active imaging，2017年发布在期刊ieee transactions on computational imaging上；lindell的论文是single-photon 3d imaging with deep sensor fusion，2018年发布在期刊acm trans.graph上。本发明的方法相较于其他几种方法而言，成像效果稳定，在低光通量下依然可以恢复出较好的深度图。
[0091]
以上验证仅是本发明的一个实施实例，应当指出：本发明不限于使用由nyuv2数据集或者middlebury 2005数据集模拟的噪声单光子数据，并且不限于使用在单光子强噪声环境成像，同样适用于单光子高分辨率成像等的单光子成像领域。对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对参数向量做出若干合适的设计，这样的改变或润饰也应视为本发明的保护范围。