基于扫描光场的高分辨率移动电子设备的成像装置及方法与流程

本发明涉及光学成像领域，具体涉及一种基于扫描光场的高分辨率移动电子设备的成像装置及方法。

背景技术：

近年来，随着科技的提高与人们生活的逐渐丰富，人们对于拍照的需求与日俱增，手机、平板电脑等移动电子设备作为生活中必不可少的小型智能成像设备，也在不断升级以迎合人们对于高清晰度大像素数目的拍摄需求。

决定成像系统成像质量或成像分辨率的三方面限制条件如下：一是像感器的采样率：普遍流行的像感器时下主要分为ccd和cmos两类，将像素数目做多，像元尺寸做小都有利于更高清的分辨率图像生成；二是系统的光学衍射极限：根据瑞利分辨率判据，成像系统中各透镜的数值孔径决定了系统的分辨能力；三是像差，像差普遍存在于自然环境中，比如大气的散射等。同时像差也存在于镜头之中，由于镜头属于人工磨制的器件，会存在与理论光学中的理想透镜模型的偏差。另一方面，随着镜头尺寸的逐渐增大，理想光学系统中的近轴光学理论不再适用，离轴光线的轨迹难以像近轴光线那样易于预测。以上三点都限制了系统的成像能力。

得益于工业的发展，光学系统可以达到的衍射极限已经足以满足我们普通的拍摄需求，同时也有足够的工艺制作出大面阵小像元尺寸的高分辨率像感器。而阻拦这些工艺进一步发展的正是像差的存在。物理模型上，随着单镜头尺寸的增长，像差会随之逐步提升。因此随着像素数目的提升、有效像素数目会被限制在一个有限的尺度上。另一方面，手机、平板电脑等中小型移动电子设备的便携性严重限制了手机光学镜头以及光电成像传感器(ccd，cmos)的尺寸。所以如何在现有的手机镜头与成像传感器的尺寸下，发挥它们的最大光学性能，拍摄高分辨率、高像素数目的影响成为一个必须解决的问题。

技术实现要素：

本发明所要解决的技术问题是针对现有技术中存在上述缺陷，提供一种基于扫描光场的高分辨率移动电子设备成像装置和方法，结合新的光学结构与计算摄像算法，实现了保证现有小型化尺寸的手机等移动电子设备光学镜头与传感器实现高分辨率成像。这个系统通过微透镜阵列同时采集到光线的角度信息和空间信息，进一步在相位空间融合不同角度的同一场景的图像，并矫正像差。另一方面该系统结合计算摄像算法，可以获得高于像感器像素分辨率图像的功能，用低像素数目的手机成像模块获得高像素数目的图像。

根据本发明，提供了一种基于扫描光场的高分辨率移动电子设备的成像装置，包括：移动电子设备光学模块、扫描微透镜阵列模块和成像模块；其中移动电子设备光学模块包括移动电子设备光学镜头；扫描微透镜阵列模块包括位移装置和微透镜阵列；成像模块包括移动电子设备像感器；光学模块通过移动电子设备光学镜头对场景进行拍摄以收集光学信息，扫描微透镜阵列模块通过位移装置带动微透镜阵列进行二维尺度内的周期性移动扫描，并进一步传播移动电子设备光学镜头收集的光学信息至成像模块中的移动电子设备像感器上。

优选地，基于扫描光场的高分辨率移动电子设备的成像装置还包括：处理单元，用于通过数字自适应算法，去除不同角度对应的图像像差，并结合扫描的次数，融合每一扫描周期的去除像差后的光场数据，重建获得大于等于原图像分辨率的图像或视频。

优选地，移动电子设备光学模块、扫描微透镜阵列模块、成像模块和处理单元均集成在同一移动电子设备中。

优选地，移动电子设备光学镜头处于对焦状态或者处于在预定的散焦范围，微透镜阵列放置在移动电子设备光学镜头的后焦面处，移动电子设备像感器处于微透镜阵列的后焦点的预定轴向范围内。

优选地，微透镜阵列摆放在镜头的像点处，在获得镜头采集光照的空间信息同时获得光束的角度信息。

优选地，扫描微透镜模块的扫描速度与成像模块中像感器的采集速度匹配。

根据本发明，还提供了一种电子设备，其特征在于包括所述的基于扫描光场的高分辨率移动电子设备的成像装置。

根据本发明，还提供了一种基于扫描光场的高分辨率移动电子设备的成像方法，其特征在于包括：

建立根据上述基于扫描光场的高分辨率移动电子设备中的光学元件与成像元件的数值仿真模型，并且对数值仿真模型进行仿真以获得物空间的点扩散图样，进一步计算获得相位空间的理想点扩散函数；

根据数值仿真模型，在选择拍摄的目标场景后，利用光学模块收集目标场景的光束，调整并匹配扫描微透镜阵列模块和成像模块中的传感器的帧率以及微透镜阵列的扫描速度，随后通过像感器进行成像；

使用采集到的光场数据结合数字计算像差补偿算法补偿像差，结合解卷积算法重建高分辨率图像或多帧重建图像融合成视频。

优选地，重建高分辨率图像或多帧重建图像融合成视频包括：通过数字自适应算法，去除不同角度对应的图像像差，并结合扫描的次数，融合每一扫描周期的去除像差后的光场数据，重建获得大于等于原图像分辨率的图像或视频。

本发明提出的基于扫描光场的高分辨率移动电子设备成像装置和方法，在去除像差、提高原有清晰程度、提升原有分辨率等方面都表现出比其它系统更好的性能，验证了它在小型化光学成像系统中的巨大优势，突破了传感器尺寸对于像素数目的束缚、突破了光学镜头中像差对于成像质量束缚，获得手机或其它移动电子设备最大化的拍摄于成像效果。

附图说明

结合附图，并通过参考下面的详细描述，将会更容易地对本发明有更完整的理解并且更容易地理解其伴随的优点和特征，其中：

图1示意性地示出了根据本发明优选实施例的基于扫描光场的高分辨率移动电子设备的成像装置的系统框图。

图2示意性地示出了根据本发明优选实施例的基于扫描光场的高分辨率移动电子设备的成像装置的结构示意图。

图3示意性地示出了根据本发明优选实施例的基于扫描光场的高分辨率移动电子设备的成像方法的流程图。

需要说明的是，附图用于说明本发明，而非限制本发明。注意，表示结构的附图可能并非按比例绘制。并且，附图中，相同或者类似的元件标有相同或者类似的标号。

具体实施方式

为了使本发明的内容更加清楚和易懂，下面结合具体实施例和附图对本发明的内容进行详细描述。

<第一实施例>

图1示意性地示出了根据本发明优选实施例的基于扫描光场的高分辨率移动电子设备的成像装置的系统框图。图2示意性地示出了根据本发明优选实施例的基于扫描光场的高分辨率移动电子设备的成像装置的结构示意图。

如图1和图2所示，根据本发明优选实施例的基于扫描光场的高分辨率移动电子设备的成像装置包括：移动电子设备光学模块100、扫描微透镜阵列模块200、成像模块300。其中移动电子设备光学模块100包括移动电子设备光学镜头110；扫描微透镜阵列模块200包括位移装置210和微透镜阵列220；成像模块300包括移动电子设备像感器310。

具体地，光学模块100通过移动电子设备光学镜头110对场景进行拍摄，收集光学信息。扫描微透镜阵列模块200通过小型位移装置210带动微透镜阵列220进行二维尺度内的周期性移动扫描，并进一步传播移动电子设备光学镜头110收集的光学信息直到成像模块300中的移动电子设备像感器310上。

进一步地，根据本发明优选实施例的基于计算像差补偿的宽视场高分辨率摄像设备还包括：处理单元(未图示)，用于通过数字自适应算法，去除不同角度对应的图像像差，并结合扫描的次数，融合每一扫描周期的去除像差后的光场数据，重建获得大于等于原图像分辨率的图像或视频。

优选地，移动电子设备光学模块100、扫描微透镜阵列模块200、成像模块300和处理单元均集成在同一移动电子设备中。

进一步地，在本发明的一个实施例中，通过模块200微透镜阵列的扫描收集到充足的空间信息以及角度信息，以用来和数字计算像差补偿算法及图像重建算法结合。扫描微透镜模块中，扫描速度需要与成像模块中像感器的采集速度匹配，对扫描过程中处于不同位置的微透镜阵列所成的像进行实时采集。

进一步地，在本发明的一个实施例中，扫描微透镜阵列模块200移动扫描的步长由最终想要取得的分辨率决定。可由仿真过程模拟计算得出。

进一步地，在本发明的一个实施例中，成像模块300中的移动电子设备像感器310没有具体的参数限制，包含但不限于任意：像素数目、像元尺寸、快门方式、采集帧率等等参数的像感器都可用于系统中。不同参数像感器对应成像质量的不同。

进一步地，在本发明的一个实施例中，重建图像或视频是对既有光学模块和成像模块结合拍摄的图像或视频像差、分辨率上的提升。

进一步地，在本发明的一个实施例中，可以通过调整扫描移动的步长，获得高于移动电子设备像感器310像元尺寸的分辨率，大于移动电子设备像感器310像素数目的图像或视频。

进一步地，在本发明的一个实施例中，移动电子设备光学镜头110不必处于对焦状态，在一定的散焦范围内不影响重建结果。微透镜阵列220需要放置在移动电子设备光学镜头110的后焦面处。移动电子设备像感器310不必处于微透镜阵列220的后焦点处，在一定的轴向范围内不影响重建结果。

进一步地，在本发明的一个实施例中，系统的各项参数可由仿真模型模拟，但实际参数以搭建系统的真实光学参数为准。

<第二实施例>

图3示意性地示出了根据本发明优选实施例的基于扫描光场的高分辨率移动电子设备的成像方法的流程图。

如图3所示，根据本发明优选实施例的基于扫描光场的高分辨率移动电子设备的成像方法包括：

1、建立图1和图2所示的基于扫描光场的高分辨率移动电子设备中的光学元件与成像元件的数值仿真模型，并且对数值仿真模型进行仿真以获得物空间的点扩散图样，进一步计算获得相位空间的理想点扩散函数；

2、根据数值仿真模型，在选择拍摄的目标场景后，利用光学模块收集目标场景的光束，调整并匹配扫描微透镜阵列模块和成像模块中的传感器的帧率以及微透镜阵列的扫描速度，随后通过像感器进行成像；

3、使用采集到的光场数据结合数字计算像差补偿算法补偿像差，结合解卷积算法重建高分辨率图像或多帧重建图像融合成视频。

作为示例，具体可执行下述操作：

先建立光学仿真模型，通过模拟光学成像系统的成像效果选择合适参数的微透镜阵列，获得不同位置处物空间的理想点扩散图像，并由此计算得相空间的点扩散图像。例如，相空间的计算用最常用的一种表示方式，魏格纳分布进行描述如下：

w(r,k)＝∫<ψ^*(r+ξ/2)ψ(r-ξ/2)>e^ikξdξ.

其中r＝(x,y),k＝(u,v)分别对应二维空间向量与二维空间频域向量。ψ(r)为对应波函数。单个模块(光学模块和扫描微透镜阵列模块)中，透镜是具有光瞳的傅里叶变换器：

其中k为光的波数，f为透镜的焦距，p(x,y)＝1(透镜孔径内)，p(x,y)＝0(其他地方)。单个模块(扫描微透镜阵列模块)中，微透镜距离成像模块间的空间距离使用菲涅尔传播模拟光的衍射进行仿真。

对采集到的多组光场数据进行计算处理。通过数字自适应算法，去除不同角度对应的图像像差，另外结合扫描的次数，再融合每一扫描周期的去除像差后的光场数据，重建获得大于等于原图像分辨率的图像或视频。

本发明主要解决了三个问题：

1.获得深度信息，得以在手机上实现重聚焦、深度图重建等功能。通过在手机镜头以及手机传感器之间放置的微透镜阵列，使得手机镜头在传感器上同时采集到入射光线的空间信息以及角度信息。结合计算摄像学相关算法，获得拍摄场景的深度信息，对拍摄的照片或视频实现数字重聚焦功能、深度图重建等利用深度信息可实现的功能。

2.消除手机镜头自有的像差，达到光学性能的衍射极限；通过放置在手机镜头以及手机传感器之间放置的微透镜阵列，使得手机镜头在传感器上同时采集到入射光线的空间信息以及角度信息。结合计算摄像的相关算法，实时或后期对空间信息与角度信息做处理，消除成像图片或视频中的像差。提升拍摄分辨率；

3.由于手机等移动电子设备的尺寸限制，成像传感器被限制在了比较小的尺寸，因此传感器的像素分辨率也被限制。本发明结合扫描微透镜阵列与相应的算法，可以突破成像传感器的像素数目与拍摄图片或视频的像素分辨率之间的限制，拍摄得到像素数目高于像素传感器几倍的照片和视频，分辨率同时也得到了提升。

需要说明的是，除非特别指出，否则说明书中的术语“第一”、“第二”、“第三”等描述仅仅用于区分说明书中的各个组件、元素、步骤等，而不是用于表示各个组件、元素、步骤之间的逻辑关系或者顺序关系等。

可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

应当注意，在本发明的描述中，除非另有说明或限制，否则术语“安装”，“连接”，“耦合”等广泛使用，并且可以是例如可拆卸的固定连接。连接或整体连接；也可以是机械或电气连接；也可以是通过中间结构的直接连接或间接连接；也可能是两个要素的内在交流。根据具体情况，本领域技术人员可以理解上述术语的特定含义。

还应注意，在本发明的描述中，所述重建图像，拍摄图像均包含“视频”概念。视频即为多张连续图像的快速播放。均在该技术应用范畴之内。

在说明书中，应理解为诸如“中央”，“纵向”，“横向”，“前”，“后”，“右”，“左”，“内”，“外”，“下部”，“上部”，“水平”，“垂直”，“上方”，“下方”，“上”，“顶部”，“底部”及其衍生物(例如，“水平”，“向下”，“向上”等应当被解释为指代随后描述的或如所讨论的附图中所示的方向。这些相对术语是为了便于描述，并且不要求本发明内容以特定方位构造或操作，因此不能视为对本发明的限制。