一种基于单光子探测器的深度图像重建方法

本发明涉及一种基于单光子探测器的深度图像重建方法，属于计算摄像与图像处理。

背景技术：

1、主动三维成像，是一种利用传感器发送和接收的信号来获取目标物体三维结构和信息的技术，在机器人、车辆导航和遥感等众多领域有着广泛的应用。

2、典型的3d成像传感器需要足够数量的光子，以减轻背景噪声的影响。为了减少对光子计数的依赖，近年来，一些研究倾向于使用具有更高时间分辨率和光子探测灵敏度的spad传感器进行三维成像。基于spad阵列的有源3d成像系统，通常平均每像素只检测一个光子，显著提高了光子效率。然而，在某些情况下，如远距离动态场景遥感、非视距成像和精细生物样品的显微成像等，光通量和积分时间的限制，阻碍了对有效信号光子的收集。高背景噪声和弱信号光子严重降低了单光子数据的质量，影响了后续任务。

3、为了提高在弱光环境下的成像质量，一些研究人员探索了在弱光环境下基于单张照片的三维成像。这些方法可以分为两类：基于传统计算的方法、基于深度学习的数据驱动方法。传统方法利用在每个像素位置接收到的第一个光子来恢复深度和强度信息。后来，进一步出现了使用阵列特定算法将时间盒光子检测转换为高精度场景深度和反射率的方法，其框架通过在水平和垂直领域利用场景的结构信息，实现了高水平的光子效率，可有效过滤来自spad阵列的无关检测，例如背景光和暗计数。与传统的直方图技术相比，这些方法在弱光条件下更有效。然而，随着光子数和信本比（sbr）的进一步降低，它们的性能显著下降。

4、随着深度学习技术的发展，基于深度学习的方法在单光子成像领域显示出了良好的效果。一些方法结合了卷积神经网络和非局部网络等技术来实现端到端深度重建。目前，已有研究人员将高分辨率强度图信息整合到深度重建过程中，旨在缓解从低分辨率单光子到达时间信息获取深度图的挑战。然而，在实际应用中，很难获得与单光子数据相匹配的强度图像。此外，没有针对处理稀疏单光子数据进行专门设计的神经网络，难以表现良好的性能。这些问题将导致性能不佳。

技术实现思路

1、本发明的目的是为了克服现有技术存在的不足和缺陷，创造性地提出一种基于单光子探测器的深度图像重建方法。本发明在一种时间维度下采样3d unet，用于光子有效测量的深度图像重建，以进一步增强低信噪比条件下深度重建的保真度并提高网络效率。

2、本发明的创新点包括：

3、首先，本发明采用的编码器包含具有时间下采样的3d卷积，以压缩时间维度信息，减少冗余，从而提高网络中特征处理的效率和性能。

4、其次，本发明在每个编码器层中加入一个特征增强块，以进一步增强具有更强时间相关性的信号光子特征并减弱背景噪声特征。

5、本发明采用门控机制来强调具有时间长程相关性的信号光子特征。

6、实验结果表明，本发明的方法在低光子技术条件下的深度重建性能优于最先进的方法。

7、此外，当出现训练阶段未学习到的噪声水平时，本发明的网络能够重建高质量的深度图，证明了本发明方法的鲁棒性，这在实际应用中至关重要。

8、本发明采用以下技术方案实现。

9、一种基于单光子探测器的深度图像重建方法，包括以下步骤：

10、步骤1：将输入的光子效率测量，进行时间维度降采样3d卷积。

11、步骤2：将经过时间维度降采样3d卷积的输出作为编码器的输入，利用编码器进行特征提取，获得不同时间维度尺度下的特征，其中，编码器包括下采样卷积和特征增强块；

12、步骤3：将提取的特征通过残差块进行处理，将处理后的特征与相应的解码器的输入连接起来，但最后一个解码层除外，在最后一个解码器中，输入由编码层残差块处理的串联特征和原始特征组成；

13、步骤4：使用上采样卷积，输出去噪的光子效率测量直方图。

14、有益效果

15、本发明，对比现有技术，具有以下优点：

16、1.本发明设计了一个时间下采样的3d unet来压缩时间维度信息并提高网络效率。光子效率测量在时间维度上表现出稀疏性，这意味着将输入数据作为一个整体进行处理效率低下，可能会导致次优结果。因此，本发明通过在网络首部使用降采样3d卷积和类unet的编码器解码器结构，降低了时间维度信息的冗余性。

17、2.本发明设计了一个特征增强块。光子效率测量在时间维度上表现出长程相关性，使得信号光子特征的占比在更深层的提取特征中更加突出。为了利用这一特性，本发明设计的特征增强模块利用输入门和输出门，选择性地保留重要的信号光子特征，同时丢弃噪声光子特征。

18、3.本发明设计的网络可以处理极低信噪比条件下的光子高效深度重建问题，特别是在处理训练过程中未学习过的信噪水平输入时，也能保持一定的深度重建性能，证明本发明具有较强的鲁棒性。

技术特征：

1.一种基于单光子探测器的深度图像重建方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于单光子探测器的深度图像重建方法，其特征在于，步骤1中，时间维度降采样3d卷积表示为：

3.如权利要求1所述的一种基于单光子探测器的深度图像重建方法，其特征在于，步骤2中，时间维度降采样3d卷积输出的通道数为4。

4.如权利要求1所述的一种基于单光子探测器的深度图像重建方法，其特征在于，步骤2中，设输出特征的通道数为，初始下采样卷积的输出通道在每个编码器之后都是倍增的，则编码器的最终输出通道数为；通过编码器，获得不同时间维度尺度下的特征，该过程为：

5.如权利要求4所述的一种基于单光子探测器的深度图像重建方法，其特征在于，步骤2中，编码器中的下采样卷积内核大小为3，步幅为2。

6.如权利要求1所述的一种基于单光子探测器的深度图像重建方法，其特征在于，步骤3中，编码器各层的输出经过处理后，与对应层解码器的上一层解码器的输出在通道维度拼接，作为当前层解码器的输入；

7.如权利要求1所述的一种基于单光子探测器的深度图像重建方法，其特征在于，步骤4中，使用上采样卷积层输出去噪直方图，定义为：

8.如权利要求7所述的一种基于单光子探测器的深度图像重建方法，其特征在于，2d深度图通过从中提取具有最大值的索引来生成。

技术总结
本发明涉及一种基于单光子探测器的深度图像重建方法，属于计算摄像和图像处理技术领域。首先输入经过下采样的3D卷积，将初始下采样卷积的输出送入编码器进行特征提取。在每个编码层之后，提取的特征通过残差块进行处理，将这些处理后的特征与相应解码层的输入连接起来，在最后一个解码层中输入由编码层残差块处理的串联特征和原始特征组成。最后使用上采样卷积层输出去噪的光子效率测量直方图。本发明降低了时间维度信息的冗余性，可以处理极低信噪比条件下的光子高效深度重建问题，特别是在处理训练过程中未学习过的信噪水平输入时，也能保持一定的深度重建性能，证明了本发明具有较强的鲁棒性。

技术研发人员：付莹,张涛膺,邹云昊,李和松
受保护的技术使用者：北京理工大学
技术研发日：
技术公布日：2024/11/18