基于微透镜阵列的快照式光场-偏振成像仪及成像方法与流程

本发明涉及快照式多维成像技术领域，特别涉及一种基于微透镜阵列的快照式光场-偏振成像仪及成像方法。

背景技术：

自然界中的光携带九维信息，包括空间信息(x，y，z)、传播角度波长(λ)、偏振角度以及椭圆率(ψ，χ)，而传统的成像系统只捕捉了光的空间二维信息(x，y)。多维成像技术是一种不仅可以获得目标物的空间二维信息，还可以得到另外一维或多维信息的成像技术，在农业、天文、生物检测、环境监测等领域有着广泛的应用。为了获取目标物的多维信息，目前大多数的系统采用扫描的方式。但这种方式并不适用于探测动态目标。为了解决这个问题，学者们提出了使用二维探测器并行获取高维信息的方法，这种技术又被称为快照式多维成像技术。

快照式偏振成像技术是一种在探测器一次积分时间内获取目标物图像和偏振信息的成像技术。光线的偏振态可以由角度ψ和椭圆率χ来表示，在实际应用中，人们更多的使用斯托克斯矢量来表示光线的偏振态：

S₀＝I

S₁＝Ipcos2ψcos2χ

S₂＝Ipsin2ψcos2χ

S₃＝Ipsin2χ

式中[S₀，S₁，S₂，S₃]^T为光线的斯托克斯矢量；I为光强；p为偏振度。为并行获取目标物的图像和偏振信息，Viktor Gruev等人于2010年提出一种基于纳米线滤波器的偏振成像探测器，该探测器是在传统CCD上覆盖了一层纳米线滤波器阵列，每个子滤波器相当于一片偏振片，并与CCD的单个像素相对应。滤波器阵列中有四种不同的子滤波器，偏振方向分别为0°、45°、90°和135°。该探测器结构紧凑，但是该技术仅获得了来自目标物光线的部分偏振信息，即斯托克斯矢量中的[S₀，S₁，S₃]^T。类似的技术还有Oliva提出的基于双渥拉斯顿棱镜的快照式偏振成像仪，Brent D.Bartlett等人提出的基于光场相机的快照式偏振成像仪等等。与上述技术不同，Kazuhiko Oka于2003年提出了一种使用一系列双折射棱镜获取目标物的图像以及全部偏振信息的成像技术，但该技术受制于色散对双折射棱镜的影响。2012年，Michael W.Kudenov等人在Kazuhiko Oka的基础上将双折射棱镜替换为一对偏振光栅，消除了色散对系统的影响。

快照式光场成像技术是一种可以获取目标物图像以及深度信息的成像技术，主要分为非聚焦型和聚焦型两种。非聚焦型光场成像技术于1992年被Adelson等人首次提出，此后，Ng等人于2006年将其改进为便携式光场相机。其原理是由物镜将目标物成像至一个微透镜阵列，经过微透镜阵列后聚焦的光线再次分散并被探测器接收。探测器得到的原始图像中不仅包含目标物的空间信息(x，y)还包含入射光线的角度信息因此可以被排列成一个四维矩阵再经过处理即可得到目标物的图像和深度信息(x，y，z)。聚焦型光场成像技术是由Lumsdaine和Georgiev于2009年首次提出。该技术的原理是先由物镜将目标物成像至一个中间像面，然后再由一个微透镜阵列将该中间像成像至探测器。由于每个子透镜对中间像上某一点的视角不同，其对应的子图之间存在“视差”，通过该“视差”的大小可以得到该点的相对深度。最后找到中间像上每一点在各子图中的共轭点，并取其像素值的平均值作为该点的光强值，即可得到重建的目标物图像。

随着成像技术的发展，偏振成像技术和3D光场成像技术在显微成像、遥感、人脸识别等领域有广泛的应用。同时，在生物医学以及机器视觉等领域对成像技术提出了在探测器一次积分时间内获取目标物图像、偏振和深度四维信息的要求。

技术实现要素：

为了满足生物医学以及机器视觉领域对成像技术的要求，本发明提出了一种基于微透镜阵列的快照式光场-偏振成像仪及成像方法，本发明可以在探测器一次积分时间内获取目标物的图像、偏振和深度四维信息。

本发明通过如下方法实现：

一种基于微透镜阵列的快照式光场-偏振成像仪，包括：沿光线方向依次设置的物镜1、视场光阑2、分光器3、成像镜4、光电探测器及信号处理部件一5、准直镜6、微透镜阵列一7、波片阵列8、偏振片阵列9、微透镜阵列二10以及光电探测器及信号处理部件二11；

目标物的光线首先经过物镜1汇聚到视场光阑2上，在经过分光器3后，光路分类两路，其中反射路经过成像镜4成像到光电探测器及信号处理部件一5上；透射路的光线经过准直镜6准直达到微透镜阵列一7；再经过波片阵列8和偏振片阵列9并在微透镜阵列一7的后焦面上生成一系列子图像；所述子图像经过微透镜阵列二10成像到光电探测器及信号处理部件二11上。

本发明还提出一种基于微透镜阵列的快照式光场-偏振成像仪的成像方法，适用于上述的基于微透镜阵列的快照式光场-偏振成像仪，包括：

将光电探测器及信号处理部件二得到的原始图像按照微透镜阵列一对应分割成2×2子区域；各子区域图像是经过波片阵列和偏振片阵列调制后的光场图像，并记为透射路子图像；

在每个透射路子图像，内根据相关距离算法，计算各相邻子图像之间的视差；

根据各相邻子图像之间的视差，计算得到各中间子图上的像素点到微透镜阵列二之间的距离；

根据各中间子图上的像素点到微透镜阵列二之间的距离，计算得到目标物深度图；

根据各中间子图上的像素点到微透镜阵列二之间的距离，计算得到目标物各中间子图的重建图像；

对所有子区域的重建图像进行解调，得到代表目标物偏振信息的四个斯托克斯分量图像；

结合目标物深度图，得到目标物图像、偏振以及深度组合成四维数据立方体；

将四维数据立方体和光电探测器及信号处理部件一得到的原始图像融合，得到高空间分辨率的四维数据立方体。

所述的基于微透镜阵列的快照式光场-偏振成像仪的成像方法中，所述各中间子图上的像素点到微透镜阵列二之间的距离与目标物深度间的关系通过校准方式获得。

所述的基于微透镜阵列的快照式光场-偏振成像仪的成像方法中，根据各中间子图上的像素点到微透镜阵列二之间的距离，计算得到目标物深度图，具体为：根据各中间子图上的像素点到微透镜阵列二之间的距离，得到各波段的深度图像，所有波段的深度图像的平均图像为最终目标物的深度图。

所述的基于微透镜阵列的快照式光场-偏振成像仪的成像方法中，根据各中间子图上的像素点到微透镜阵列二之间的距离，计算得到目标物的重建图像，具体为：根据各中间子图上像素点到微透镜阵列二的距离，得到各中间子图上的像素点在光电探测器及信号处理部件上的多个对应点的位置，将每一个像素点对应的多个点的探测光强计算平均值，得到各像素点的光强值，进而得到各中间子图的重建图像。

所述的基于微透镜阵列的快照式光场-偏振成像仪的成像方法中：将四维数据立方体和光电探测器及信号处理部件一得到的原始图像融合，得到高空间分辨率的四维数据立方体，具体为：将光电探测器及信号处理部件一得到的目标物高空间分辨率图像与四维数据立方体进行配准后，再将高空间分辨率图像的高频信息注入到四维数据立方体中，最终得到目标物的高空间分辨率的四维数据立方体。

本发明与现有技术的不同在于，在光场-偏振成像仪的结构上，在光电探测器及信号处理部件二之前设置有两片微透镜阵列、波片阵列和偏振片阵列，其中微透镜阵列一、一片波片阵列和一片偏振片阵列可得到调制后的多个偏振子图像，微透镜阵列二对各子图像再次成像，最终光电探测器及信号处理部件二可获得目标物的图像、偏振和光场信息，同时，在视场光阑和准直镜之间设置有一个分光器，增加了一个参考成像光路；在成像方法上，在根据微透镜阵列一划分的子区域内分别做目标物的图像以及深度重建，并将所有子区域的平均深度作为最终目标物的深度，然后对重建图像进行解调，得到目标物的偏振图像，结合目标物深度得到包含目标物图像、偏振以及深度信息的四维数据立方体，最后将该四维数据立方体和光电探测器及信号处理部件一得到的高分辨率图像进行融合，得到目标物高空间分辨率的四维数据立方体；

以上不同所具有的有益效果在于：第一、系统可以在探测器一次积分时间内获取目标物的图像、偏振以及深度四维信息；第二、通过平均所有子区域的的目标物深度，可以大幅提高目标物深度的精度，降低深度图像的噪声；第三、利用参考成像光路得到的高分辨率图像，可以提高四维数据立方体的空间分辨率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于微透镜阵列的快照式光场-偏振成像仪的结构示意图；

图2为本发明基于微透镜阵列的快照式光场-偏振成像仪的立体示意图；

图3为本发明实施例一中光电探测器及信号处理部件二上相邻子图像示意图；

图4是波片阵列和偏振片阵列的快轴以及偏振方向示意图；

图5为本发明实施例二快照式光场-偏振成像仪的部分结构示意图；

图6本发明实施例二中光电探测器及信号处理部件二上相邻子图像示意图；

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明。

本发明通过如下方法实现：

一种基于微透镜阵列的快照式光场-偏振成像仪，包括：沿光线方向依次设置的物镜1、视场光阑2、分光器3、成像镜4、光电探测器及信号处理部件一5、准直镜6、微透镜阵列一7、波片阵列8、偏振片阵列9、微透镜阵列二10以及光电探测器及信号处理部件二11；

目标物的光线首先经过物镜1汇聚到视场光阑2上，在经过分光器3后，光路分类两路，其中反射路经过成像镜4成像到光电探测器及信号处理部件一5上；透射路的光线经过准直镜6准直达到微透镜阵列一7；再经过波片阵列8和偏振片阵列9并在微透镜阵列一7的后焦面上生成一系列子图像；所述子图像经过微透镜阵列二10成像到光电探测器及信号处理部件二11上。

本发明还提出一种基于微透镜阵列的快照式光场-偏振成像仪的成像方法，适用于上述的基于微透镜阵列的快照式光场-偏振成像仪，包括：

将光电探测器及信号处理部件二得到的原始图像按照微透镜阵列一对应分割成2×2子区域；各子区域图像是经过波片阵列和偏振片阵列调制后的光场图像，并记为透射路子图像；

在每个透射路子图像，内根据相关距离算法，计算各相邻子图像之间的视差；

根据各相邻子图像之间的视差，计算得到各中间子图上的像素点到微透镜阵列二之间的距离；

根据各中间子图上的像素点到微透镜阵列二之间的距离，计算得到目标物深度图；

根据各中间子图上的像素点到微透镜阵列二之间的距离，计算得到目标物各中间子图的重建图像；

对所有子区域的重建图像进行解调，得到代表目标物偏振信息的四个斯托克斯分量图像；

结合目标物深度图，得到目标物图像、偏振以及深度组合成四维数据立方体；

将四维数据立方体和光电探测器及信号处理部件一得到的原始图像融合，得到高空间分辨率的四维数据立方体。

所述的基于微透镜阵列的快照式光场-偏振成像仪的成像方法中，所述各中间子图上的像素点到微透镜阵列二之间的距离与目标物深度间的关系通过校准方式获得。

所述的基于微透镜阵列的快照式光场-偏振成像仪的成像方法中，根据各中间子图上的像素点到微透镜阵列二之间的距离，计算得到目标物深度图，具体为：根据各中间子图上的像素点到微透镜阵列二之间的距离，得到各波段的深度图像，所有波段的深度图像的平均图像为最终目标物的深度图。

所述的基于微透镜阵列的快照式光场-偏振成像仪的成像方法中，根据各中间子图上的像素点到微透镜阵列二之间的距离，计算得到目标物的重建图像，具体为：根据各中间子图上像素点到微透镜阵列二的距离，得到各中间子图上的像素点在光电探测器及信号处理部件上的多个对应点的位置，将每一个像素点对应的多个点的探测光强计算平均值，得到各像素点的光强值，进而得到各中间子图的重建图像。

所述的基于微透镜阵列的快照式光场-偏振成像仪的成像方法中：将四维数据立方体和光电探测器及信号处理部件一得到的原始图像融合，得到高空间分辨率的四维数据立方体，具体为：将光电探测器及信号处理部件一得到的目标物高空间分辨率图像与四维数据立方体进行配准后，再将高空间分辨率图像的高频信息注入到四维数据立方体中，最终得到目标物的高空间分辨率的四维数据立方体。

为更好理解本发明方法，结合附图对实施方式进一步说明。

如图2所示，是本发明快照式光场-偏振成像仪的立体示意图，来自目标物的光线经过物镜21汇聚在视场光阑22上，再经过分光器23后，光路被分为两路，其中反射路经过成像镜24成像到光电探测器及信号处理部件一25上；透射路的光线经过准直镜26达到微透镜阵列一27。微透镜阵列一27的子透镜个数为2×2，经过准直的光线透过微透镜阵列一27、波片阵列28和偏振片阵列29后将在微透镜阵列一27的后焦面处汇聚成2×2个轮廓相同的中间子图。

各中间子图经过微透镜阵列二210成像至光电探测器及信号处理部件二211上。由于微透镜阵列二210中不同的子透镜对中间子图成像时视角不同，相应的子图像之间将产生不同的视差。通过该视差可计算得到中间子图到微透镜阵列二210距离，再将该距离投影至物空间即可得到目标物的深度。

下面以图1中物点O为例详细介绍目标物深度获取的过程。如图1所示，从物点O出发的光线经过物镜1聚焦到视场光阑2上，形成中间像点O₁。此后光线经过分光器并由准直镜6准直后再由微透镜阵列一7聚焦到2×2个中间子像点。如图1所示，取其中一个中间子像点O₂为例，光线经过微透镜阵列二10成像到光电探测器及信号处理部二11上。M₁、M₂和M₃为微透镜阵列二对中间子像点O₂成的三个子图像。如图3所示，为计算M₁和M₂之间的视差，首先将两子图中心对准，则视差D为两子图中对O₂成的像点之间的距离。根据几何关系，可以得到：

式中，B为微透镜阵列二10与光电探测器及信号处理部件二11之间的距离；d为微透镜阵列二10中相邻子透镜之间的距离。对上式进行简化得到：

目标物的深度w与a之间的关系可由校准的方式获得。使用一个点光源作为目标物，通过本发明提出的方法计算得到中间子像点到微透镜阵列二10之间的距离a，并移动点光源在测量范围内进行n次测量，得到结果集合同时，通过传统测量方法得到该点光源到系统之间的距离假设w与a之间的运算关系由w＝f(a)表示，则该运算关系可由最小二乘法估计得到：

式中，X为系统的测量范围。对各个中间子图执行以上计算过程，可以得到各个波段的深度图像目标物的偏振信息与深度信息相互独立，即各个中间子图对应的深度图像是一致的。将所有深度图的平均图像作为最终目标物的深度图像，即：

根据各中间子图上像素点到微透镜阵列二10的距离，可以得到该像素点在光电探测器及信号处理部件二11上对应点的位置。由于微透镜阵列的复眼成像特性，中间子图上的像素点可以在探测器上找到多个对应点。将这些对应点的探测光强平均，作为该像素点的光强值。对中间子图上的每个像素点执行此操作，即可得到各个中间子图的重建图像

如图4所示，是波片阵列和偏振片阵列的快轴以及偏振方向示意图，波片阵列8由两片1/4波片组成，快轴方向分别为相对于水平方向成0°和45°，偏振片阵列9由两片偏振片组成，偏振方向分别为相对于水平方向成0°和45°。将波片阵列8和偏振片阵列9的穆勒矩阵分别记为和则：

先只考虑目标物为点光源的情况，结合图4所示波片阵列8和偏振片阵列9之间的位置关系，可以得出由点光源发出的光线通过两器件之后的斯托克斯分量：

式中[S₀，S₁，S₂，S₃]^T为来自点光源光线的斯托克斯矢量。将波片阵列8和偏振片阵列9的穆勒矩阵和代入上式，可得：

将目标物的各斯托克斯分量图像记为I_S0，I_S1，I_S3，I_S4，根据上式可得各斯托克斯分量图像与中间子图的关系为：

最终可得目标物的各斯托克斯分量图像：

再结合前面得到的深度图，即可得到包含目标物图像、偏振以及深度四维信息的数据立方体。

本实施例的光电探测器及信号处理部件一5获得一幅目标物的高空间分辨率图像，将该图像与上一步得到的四维数据立方体进行配准后，再将高空间分辨率图像的高频信息注入到四维数据立方体中，最终得到目标物的高空间分辨率的四维数据立方体。

本发明还提供了另一，具体实施例二：

本实施例与具体实施例一的不同在于，如图5所示，所述微透镜阵列一57成的中间子图位于微透镜阵列二510之后。在该具体实施例下，M₁和M₂之间的视差如图6所示。根据几何关系，我们可以得到：

式中，B为微透镜阵列二10与光电探测器及信号处理部件二11之间的距离；d为微透镜阵列二10中相邻子透镜之间的距离。对上式进行简化得到：

后续步骤的计算方式可参考实施例一实现。

本发明与现有技术的不同在于，在光场-偏振成像仪的结构上，在光电探测器及信号处理部件二之前设置有两片微透镜阵列、波片阵列和偏振片阵列，其中微透镜阵列一、一片波片阵列和一片偏振片阵列可得到调制后的多个偏振子图像，微透镜阵列二对各子图像再次成像，最终光电探测器及信号处理部件二可获得目标物的图像、偏振和光场信息，同时，在视场光阑和准直镜之间设置有一个分光器，增加了一个参考成像光路；在成像方法上，在根据微透镜阵列一划分的子区域内分别做目标物的图像以及深度重建，并将所有子区域的平均深度作为最终目标物的深度，然后对重建图像进行解调，得到目标物的偏振图像，结合目标物深度得到包含目标物图像、偏振以及深度信息的四维数据立方体，最后将该四维数据立方体和光电探测器及信号处理部件一得到的高分辨率图像进行融合，得到目标物高空间分辨率的四维数据立方体；

以上不同所具有的有益效果在于：第一、系统可以在探测器一次积分时间内获取目标物的图像、偏振以及深度四维信息；第二、通过平均所有子区域的的目标物深度，可以大幅提高目标物深度的精度，降低深度图像的噪声；第三、利用参考成像光路得到的高分辨率图像，可以提高四维数据立方体的空间分辨率。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

虽然通过实施例描绘了本发明，本领域普通技术人员知道，本发明有许多变形和变化而不脱离本发明的精神，希望所附的权利要求包括这些变形和变化而不脱离本发明的精神。