基于相位调制的微透镜阵列式深度学习三维鬼成像方法

1.本发明涉及量子关联成像技术领域，尤其是涉及一种基于相位调制的微透镜阵列式深度学习三维鬼成像方法。


背景技术：

2.随着量子成像技术的发展，基于相位调制的被动热光源鬼成像相机距离商业应用越来越近，但目前该设备体积庞大，相机使用前需要一个复杂的标定过程，在使用过程中，图像重构时间长，使用不便，不利于产业化，尤其是基于相位调制的三维关联成像目前尚未见报导。


技术实现要素：

3.本发明的目的是：鉴于目前基于相位调制的被动热光源鬼成像相机在使用前需要一个复杂的标定过程，重构时间长，使用不便，不利于产业化的问题，而提出了一种基于相位调制的微透镜阵列式深度学习三维鬼成像方法，将仿生复眼及微透镜阵列技术和相位调制的被动热光源鬼成像系统相结合，采用人工神经网络和深度学习实现图像重构，可以省去传统基于相位调制的关联成像的标定过程，极大的缩短重构时间，实现三维成像。
4.本发明的目的是通过如下技术方案实现的：基于相位调制的微透镜阵列式深度学习三维鬼成像方法，该方法应用在基于相位调制的被动热光源鬼成像相机中，其特征在于：该方法所用的光学系统包括：前置成像模块、微透镜阵列式空间光相位调制模块、探测模块、神经网络训练模块和图像重构模块；
5.所述前置成像模块用于对目标物体发出的宽带热光进行窄带滤波，并将滤波后的光线成像于微透镜阵列式空间光相位调制模块上；
6.所述微透镜阵列式空间光相位调制模块由微透镜阵列组成，所述微透镜阵列由二维排布的微凸透镜组成，每个微凸透镜都有不同的曲率和焦距，并在各个微凸透镜的透镜曲面雕刻出具有随机高度的微小凹凸面；微透镜阵列式空间光相位调制模块用于对目标物体的二维图像进行调制，形成散斑场阵列；
7.所述探测模块用于探测经微透镜阵列式空间光相位调制模块调制后形成的散斑场阵列；
8.所述神经网络训练模块用于利用样本集训练神经网络模型，所述样本集由多个训练对组成；所述训练对由三维目标物体的三维光场和预先拍摄到的目标物体散斑场阵列构成；
9.所述图像重构模块用于利用训练好的神经网络模型将探测模块探测到的散斑场阵列进行处理，重构目标物体的三维图像；
10.所述三维鬼成像方法的具体流程如下：
11.1)预先利用样本集训练神经网络模型；
12.2)目标物体发出的宽带热光进入前置成像模块，并在前置成像模块的成像面形成
目标物体图像；
13.3)将微透镜阵列式空间光相位调制模块置于步骤2)中所述的成像面位置，目标物体的图像经过微透镜阵列式空间光相位调制模块调制成散斑场阵列；
14.4)探测模块采集所述散斑场阵列，并将采集到的散斑场阵列送入图像重构模块；
15.5)图像重构模块根据其接收到的散斑场阵列利用预先训练好的神经网络模型进行图像重构，形成目标物体的三维图像，并存储和显示所述图像。
16.进一步，所述探测模块为ccd探测器。
17.进一步，所述神经网络模型为多层前馈神经网络模型。
18.通过上述设计方案，本发明可以带来如下有益效果：本发明提出了一种基于相位调制的微透镜阵列式深度学习三维鬼成像方法，该方法应用在基于相位调制的被动热光源鬼成像相机中，所述方法中采用了现有基于相位调制的被动热光源鬼成像相机的成像方法，结合微透镜阵列成像原理，利用人工神经网络实现三维图像重构。依照该方法实现的相机具有传统的基于相位调制的被动式鬼成像的特点，能够实现超分辨率，大场景成像，也克服了传统的基于相位调制的被动式鬼成像重构图像时间长的问题，可以实现实时成像。利用微透镜阵列和人工神经网落重构的方式使得本方法突破了传统的基于相位调制的被动式鬼成像只能二维成像的局限。
附图说明
19.此处的附图说明用来提供对本发明的进一步理解，构成本发明申请的一部分，本发明示意性实施例及其说明用于理解本发明，并不构成本发明的不当限定，在附图中：
20.图1为基于相位调制的微透镜阵列式深度学习三维鬼成像方法的成像原理示意图。
具体实施方式
21.为使本发明的目的、技术方案和优点更加清楚明白，下面结合具体实施例，并参照图1对本发明作进一步的详细说明。
22.本发明提出了一种基于相位调制的微透镜阵列式深度学习三维鬼成像方法，该方法应用在基于相位调制的被动热光源鬼成像相机中，上述方法所用的光学系统包括：前置成像模块、微透镜阵列式空间光相位调制模块、探测模块、神经网络训练模块和图像重构模块。
23.前置成像模块：目标物体发出的宽带热光进入前置成像模块，实现窄带滤波，并成像于位于前置成像模块后面的微透镜阵列式空间光相位调制模块上。
24.微透镜阵列式空间光相位调制模块：由微透镜阵列组成，所述微透镜阵列由二维排布的微凸透镜组成，采用平面二维阵列，如：在平面的玻璃上按照行列分布一组微凸透镜。在每个微凸透镜的表面刻画出具有随机高度的微小凹凸面，其目的是实现对入射光进行随机相位调制。当目标物体图像经过微透镜阵列式空间光相位调制模块调制后形成散斑场阵列。
25.探测模块：利用ccd探测器或其他的光电转换装置探测目标物体的二维图像形成的散斑场阵列。
26.神经网络训练模块：准备三维目标物体，并对其进行拍摄，将三维目标物体的三维光场和拍摄到的散斑场阵列构成训练对，多个训练对形成一组样本集，实现利用样本集训练神经网络模型。需要说明的是，本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
27.图像重构模块：用于利用训练好的神经网络模型将探测模块探测到的散斑场阵列进行处理，重构目标物体的三维图像；所述神经网络模型采用多层前馈神经网络模型。
28.其中：
29.目标物体发出的光除了在x
‑
y平面具有空间分布外，还具有z轴的景深分布。目标物体的光强三维空间分布数据可以抽象成在x
‑
y平面上的二维数据的序列；
30.目标物体发出的宽带热光进入前置成像模块，实现窄带滤波，经前置成像模块出射后进入后面的微透镜阵列式空间光相位调制模块。微透镜阵列式空间光相位调制模块中的每个微凸透镜都有不同的曲率和焦距，并在各个微凸透镜的透镜曲面雕刻具有光场相位调制功能的随机高度的微小凹凸面，构成了空间光随机相位调制器。因而，每个阵列单元既具有空间光相位调制的功能，还具有凸透镜的作用。由于微透镜阵列中的每个微凸透镜的曲率和位置各异，能够将目标物体的像调制成独立于其它透镜的像的完整的互不相同的散斑。
31.目标物体的光强三维空间分布数据抽象成在x
‑
y平面上的二维数据的序列后，经过微透镜阵列式空间光相位调制模块调制，形成散斑场阵列，散斑场的光强分布不仅和物体x
‑
y面的光强、相位分布，还和z轴上的景深有关。
32.传统的基于相位调制的关联成像过程中，物体的像和散斑场满足关系式：
33.x＝ay
34.其中矩阵a为调制矩阵；x＝(x1,x2,
…
,x
i
,
…
,x
m
)
t
是探测面上的光强值排列成的列向量，xi代表探测面上i点像素值；y＝(y1,y2,
…
,y
i
,
…
,y
m
)
t
代表二维光强分布值排成的列向量，y
i
代表物体的i点光强值，m的值为目标物体的像素总数。
35.将目标物体的光强三维空间分布数据抽象成在x
‑
y平面上的二维数据的序列，由于散斑场中的y
i
值还会受到景深方向z值的影响，无法用具体的定量公式描述，需要在训练人工神经网络时在人工神经网络中体现这种规律。输出数据为二维阵列，本质上也是三维数据。和输入数据具有相同的维度，含有相同的信息量。可以认为是输入的三维数据到输出的三维数据经过各不相同的一组调制矩阵阵列的一次变换。
36.目标物体的三维光场经过微透镜阵列式空间光相位调制模块调制后，形成散斑场阵列，并进入到探测模块。探测模块探测到图像形成的散斑场阵列，并在图像重构模块完成三维图像的重构。重构过程则是一个函数变换过程的逆变换。即：
37.y＝a
‑1x
38.该式是x到y的一个映射。我们可以通过x求解y，x为探测模块拍摄到的散斑场阵列，y为目标物体的三维光场，a
‑1为调制矩阵a的逆变换，可以采用神经网络拟合这个映射，所述神经网络为多层前馈神经网络，为了求解y，需要利用样本集训练神经网络。需要准备三维目标物体，利用ccd探测器，得到散斑场阵列。将散斑场和目标物体的三维光场y组成三维的输入输出样本对。利用样本对训练神经网络模型。神经网络模型采用两个或多个隐层的前馈神经网络模型。多层前馈神经网络模型各个神经元采用全连接。输入层神经元节点
数对应于散斑场阵列的像素总数。输出节点数等于三维光场的像素数。训练过程对应于传统基于相位调制鬼成像的标定过程。神经网络模型训练好后，便可以根据拍摄到的散斑场阵列x，利用多层前馈神经网络拟合出目标物体原光场的三维空间分布强度，即目标物体的三维光场y。整个过程如图1所示，图中，各部分依次为：三维光场、微透镜阵列式空间光相位调制模块、散斑场阵列、图像重构模块、重构的目标物体的三维图像。
39.微透镜阵列式空间光相位调制模块和基于多层前馈神经网络的图像重构模块在本发明中起着核心的作用。微透镜阵列式空间光相位调制模块中的微透镜阵列采用平面二维阵列。目标物体光强分布形成二维图像阵列，经过微透镜阵列式空间光相位调制模块调制后形成散斑场阵列。多层前馈神经网络的作用是重构三维目标物体的光强分布。