基于多阶段退化神经网络的强噪声单光子三维重建方法

文档序号:30602205发布日期:2022-07-01 21:51阅读:来源:国知局

技术特征:
1.基于多阶段退化神经网络的强噪声单光子三维重建方法,其特征在于,包括如下步骤:步骤1,获取数据集;所述数据集为噪声单光子数据集,包括用于网络模型训练的训练数据集和用于网络模型测试的测试数据集;步骤2,构建用于单光子重建的多阶段退化神经网络;多阶段退化神经网络包括多尺度特征提取网络、自监督注意力模块和固定分辨率融合与重建网络级联组成;其中多尺度特征提取网络和自监督注意力模块为第一阶段网络;固定分辨率融合与重建网络为第二阶段网络;步骤3,使用训练集训练多阶段退化神经网络;将训练集数据导入多阶段退化神经网络,利用神经网络的正向、反向传播优化总体网络参数,通过混合损失函数约束多阶段网络训练,使多阶段退化神经网络拟合训练集数据,获取训练好的多阶段退化神经网络;步骤4,将测试集数据输入训练好的多阶段退化神经网络实现强噪声单光子三维重建,生成深度图。2.根据权利要求1所述基于多阶段退化神经网络的强噪声单光子三维重建方法,其特征在于,步骤3中所述混合损失函数loss包括第一阶段网络的loss1和第二阶段网络的loss2,表达为:优化总体网络参数以拟合训练集数据,具体为:将第一阶段网络和第二阶段网络输出的去噪单光子数据分别与相同归一化干净单光子数据h,通过混合损失函数l计算得到第一阶段网络的loss1和第二阶段网络的loss2,通过最终的loss进行总体网络的优化。3.根据权利要求1或2所述基于多阶段退化神经网络的强噪声单光子三维重建方法,其特征在于,步骤3中所述混合损失函数l表达式为:其中,表示去噪单光子数据和归一化干净单光子数据h之间每个空间位置(i,j)处的kl散度;λ为权重系数;表示对2d深度图进行正则化的总变差项;采用可微分的argmax算子s作用于找到最大的bin索引,通过对每个空间位置(i,j)的简单加权和计算得到深度值:4.根据权利要求1所述基于多阶段退化神经网络的强噪声单光子三维重建方法,其特征在于,多尺度特征提取网络是基于3dunet网络搭建的网络,包括下采样层、上采样层以及跳层连接层;3dunet网络整体结构呈u形编码-解码对称结构,其中编码部分是多个卷积操作和3d池
化操作组成的下采样层提取目标特征,解码部分是由多个反卷积操作和上采样函数组成的上采样层恢复信息;将特征层等级相同的特征通过跳层连接层进行融合。5.根据权利要求2所述基于多阶段退化神经网络的强噪声单光子三维重建方法,其特征在于,步骤2中所述自监督注意力模块包括残差模块和全局注意力模块,噪声单光子数据先经过多尺度特征提取网络,提取多尺度细节特征;将多尺度特征提取网络输出的多尺度单光子特征信息与原始噪声单光子数据一并输入到残差模块,残差模块输出去噪单光子数据用于计算loss1以约束第一阶段网络,同时去噪单光子数据输入到全局注意力模块,全局注意力模块用于通过利用注意力机制原理,建立时空维度的注意力特征图,输出经过注意力模块优化后的去噪单光子数据特征信息到固定分辨率融合与重建网络。6.根据权利要求5所述基于多阶段退化神经网络的强噪声单光子三维重建方法,其特征在于,全局注意力模块包括卷积层convθ、convg、convz、以及归一化group norm层;全局注意力模块原理如下所示:其中,x为输入到全局注意力模块的单光数据;通过conv0对输入进行卷积,得到xw0;通过对输入的转置进行卷积,得到通过convg对输入的进行卷积,得到xw
g
;convz是对输出特征y进行分组卷积,减少计算,而后进行group norm归一化。7.根据权利要求2所述基于多阶段退化神经网络的强噪声单光子三维重建方法,其特征在于,固定分辨率融合与重建网络包括浅层特征提取层、特征融合层和softmax层;噪声单光子数据经固定分辨率融合与重建网络的浅层特征提取层进行浅层特征提取,并与自监督注意力模块中输出的优化后去噪单光子特征信息在特征融合层融合,输出去噪单光子数据再经softmax层;将argmax微分算子作用于softmax层的输出,得到深度图数据,所述去噪单光子数据参与计算loss2。8.根据权利要求7所述基于多阶段退化神经网络的强噪声单光子三维重建方法,其特征在于,特征融合模块包括第一层卷积conv、第二层卷积conv、第三层卷积conv(d),第二层卷积conv(d)、以及第三层卷积conv;其中每层卷积都采用relu做为激活函数;特征信息在特征融合模块中,先经过第一层卷积conv,该卷积不会改变特征通道数量,第一层卷积conv输出分别到第二层卷积conv和第二层卷积conv(d),卷积conv(d)为扩张卷积增加特征信息通道数量,conv为3d卷积该卷积不会改变特征通道数量;第二层卷积conv输出到第三层卷积conv(d),第二层卷积conv(d)输出到第三层卷积conv;将第二层卷积conv、第三层卷积conv(d),第二层卷积conv(d)、以及第三层卷积conv的输出作concat操作,而后作为下一个特征融合模块的输入。9.根据权利要求1所述基于多阶段退化神经网络的强噪声单光子三维重建方法,其特征在于,步骤1中所述训练数据集是通过使用单光子激光雷达仿真系统模型对nyuv2数据集进行模拟得到的噪声单光子数据集;所述测试数据集通过使用相同的单光子激光雷达仿真系统模型对middlebury 2005数据集进行模拟得到的噪声单光子数据集。10.根据权利要求9所述基于多阶段退化神经网络的强噪声单光子三维重建方法,其特征在于,单光子激光雷达仿真系统具体建模如下:
(1)在时间间隔n内记录的位置(i,j)处的光子数可以表示为:其中c是光速,s为周期性脉冲,d为某一像素处的深度值,δt是tdc的时间间隔,g表示仪器响应函数,η∈[0,1)表示量子效率,b
λ
表示波长为λ的环境光影响;(2)记录的spad n个照明周期的光子数量可近似建模为泊松过程,如下:h
i,j
[n]~p{n[ηr
i,j
[n]+b
d
]}其中b
d
为探测器非零计数。

技术总结
本发明属于激光雷达技术领域,具体涉及基于多阶段退化神经网络的强噪声单光子三维重建方法。克服了经典的单光子成像方法在低信号光子与背景噪声比下成像效果不佳,需调整一些超参数以保持精度和计算效率导致实用性受限制的问题,主要包括以下步骤:步骤1、获取数据集;步骤2、构建用于单光子重建的多阶段退化神经网络;步骤3、使用训练集训练网络,并验证网络,观察所训练的网络是否达到预期的效果;步骤4、将测试集数据输入网络实现强噪声单光子三维重建,恢复出深度图。恢复出深度图。恢复出深度图。


技术研发人员:陈颖豪 王琴 李剑 陈彦昆
受保护的技术使用者:南京邮电大学
技术研发日:2022.04.21
技术公布日:2022/6/30
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1