一种基于多峰PSF的远距离计算超分辨率成像装置

本发明涉及计算成像和超分辨率重建领域，是一种基于多峰psf的远距离计算超分辨率成像装置。

背景技术：

1、自从光电接收器件（主要针对探测器）问世以来，人们追求小像元、高分辨、大面阵的脚步就从未停止。但是由于光电接收器件本身所固有物理特性的限制，无法做到在具备小像元的同时还拥有与大像元探测器同等灵敏度和计算速度的要求。采用小像元尺寸的探测器芯片可以充分的挖掘光学系统的潜力，但其缺点是受到相机光学相对孔径、焦面辐射照度和探测器工艺制造理论与方法的限制，因此超分辨技术应运而生。它是将一幅或多幅低分辨率图像利用信息处理方法重建，以获得一幅包含更多高频信息的高分辨率图像，“超”即是代表突破极限。超分辨技术能够花费较小成本突破原有低分辨率系统的分辨率限制。因此图像超分辨重建具有广泛的应用和实际的意义，也受到了越来越多科研人员的重视。

2、超分辨技术可以分为单帧图像超分辨技术和多帧图像超分辨技术，单帧超分辨技术是利用一幅低分辨率图像，将其频谱带宽限制以外的频率信息复原重建。但从客观上讲，单帧图像由于其提供信息有限，只能通过估计或预测重建超分辨率图像，无法重建真实的亚像素信息，不能有效复原出丢失的高频信息。而多帧图像超分辨率技术是从同一场景的多幅图像的互补信息出发，利用信息融合方法重构出一幅高分辨率图像，因此可以得到细节更多、分辨率更高的图像。

3、目前实现远距离超分辨成像的主流多帧超分辨技术主要有两种：一是亚像元超分辨成像，在光电成像系统中使用两个以上的探测器，通过精密装调配准，使得探测器在二维成像的水平、垂直两个方向上错开半个像元，然后通过不同探测器之间的冗余亚像素信息来提高成像分辨率的方法。然而，这种技术需要使用多个探测器，增加了系统体积、重量、成本，不利于轻小型化；二是微扫描超分辨成像，通过控制微扫描平台按照一定频率及步长移动光学透镜，获取具有亚像素级偏差的低分辨率原始图像序列，利用焦平面成像器件，在每一个微扫周期的成像过程中，保持场景和视场不变，只变动成像器件相对于场景的位置。存储每一次成像数据后，通过计算机算法重建出高分辨率的图像。然而，这种技术要进行多次成像，不利于拍摄运动目标，而且十分依赖于扫描机械精度。平台振动等因素都会影响微扫描的步进精度，导致重建效果退化。

技术实现思路

1、本发明为克服现有技术的不足，本发明为了克服传统超分辨率成像方法系统体积重量成本大，或需要多次成像、受环境因素干扰明显的问题，提出了一种基于多峰psf的远距离计算超分辨率成像装置，仅需单个探测器单次成像，再经过超分辨率图像重建即可获得亚像素超分辨率图像。

2、需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

3、本发明提供了一种基于多峰psf的远距离计算超分辨率成像装置，本发明提供了以下技术方案：

4、一种基于多峰psf的远距离计算超分辨率成像装置，所述成像装置包括：相位掩膜板、成像镜组、探测器和超分辨率重建模块；

5、相位掩膜板，成像镜组和探测器垂直于成像装置的光轴并依次排列，探测器和超分辨率重建模块电学相连，相位掩膜板放置于成像镜组光瞳处，探测器放置于成像装置后焦平面；来自无限远的平行光经相位掩膜板调制后，通过成像镜组成像到探测器的靶面，得到低分辨率图像；将低分辨率图像输入到超分辨率重建模块，得到高分辨率重建图像。

6、优选地，掩膜板和成像镜组组合，在镜组焦平面处所产生的点扩散函数psf分布包括：n个形状相同的尖峰，n≥3。

7、优选地，每个尖峰的半高全宽不超过3个探测器像素的边长尺寸；

8、每个尖峰的归一化高度不小于0.2，艾里斑的psf高度为1；

9、除尖峰外，psf分布其余位置最大强度旁瓣不大于0.05；

10、在所有尖峰中选择一个尖峰，为中心尖峰；其余尖峰的峰值位置与该中心尖峰峰值位置之间的距离满足：

11、（1）

12、其中，为整数，为每个尖峰与中心尖峰位置之间的距离，d为探测器像元尺寸，距离l的方向为水平x或竖直y方向，对应着成像的二维方向；除中心尖峰外的其余尖峰至少应包括一个在水平方向和一个在竖直方向进行位移的尖峰。

13、优选地，探测器所得到的图像可表示为原始图像与点扩散函数psf的卷积，则根据成像过程和卷积定理，可得：

14、（2）

15、其中，为原始图像， p(x,y)为中心尖峰点扩散函数值,、为其余尖峰位置处的点扩散函数值，为探测器得到的混叠图像、、、为具有亚像素级偏移量的图像序列。

16、优选地，相位掩膜板使用振幅加权gs相位恢复算法进行反向生成，为避免重建图像时产生伪影，基于点光源在空间中的传播定律，将作为物平面振幅的初始相位，其中k为波数；为了加快收敛速度，采用振幅加权迭代方法，将目标像面的psf振幅约束表示为：

17、（3）

18、其中，分别为目标psf的振幅和重建的psf振幅。

19、一种基于多峰psf的远距离计算超分辨率成像方法，所述方法包括以下步骤：

20、步骤1：首先构建超分辨率重建网络模型，包括生成器模型g以及判别器模型d；

21、步骤2：将低分辨率混叠图像输入网络的生成器g中进超分辨率重建，得到重建的超分辨率图像，将生成器重建的超分辨图像与对应的高分辨率图像一同输入判别器网络中进行真假判别；

22、步骤3：训练数据集，使用高分辨率相机和带有组装上述相位掩膜板的低分辨率成像系统对同一场景分别成像，形成对应的高-低分辨率图像对，构成数据集，用于训练超分辨率重建网络模型；

23、步骤4：建立损失函数，训练生成对抗网络模型，将探测器得到的具有亚像素级偏移量的低分辨率混叠图像输入训练好的网络中，得到重建的2倍超分辨率图像。

24、优选地，生成器网络g用来生成超分辨率图像，主要包括图像解混叠模块、密集残差模块以及超分辨率重建模块；其中，图像解混叠模块由2个的卷积层构成，激活函数为relu，将探测器得到的低分辨率图像消除混叠效应，得到多帧具有亚像素级偏移量的图像，为超分辨率重建保留信息；密集残差模块包含n个结构相同的残差块，每个残差块中去掉传统残差块中的bn 层，通过3*3的卷积层进行特征提取并用leakyrelu函数激活，并将每一层卷积后得到的特征图连接起来传递到下一层；通过跳跃连接，把密集残差块前端的特征与最后的特征相加；

25、超分辨率重建模块由1个亚像素卷积层以及一个的卷积层构成；亚像素卷积层将图像特征信息融合互补，重构出分辨率更高、细节更丰富的图像，最后通过一个的卷积层，输出重建的超分辨率图像；

26、判别器网络d用来区分超分辨率图像和真实高分辨率图像，判别条件为真实高分辨率图像，判别器模型d包含8个卷积层，同时包含bn层与leakyrelu激活单元，滤波器通道数从64个输出通道逐渐增加到512个；得到的512个特征图之后进入两个密集连接层和一个最终的sigmoid激活函数，最后输出生成器生成的超分辨图像为真实的概率。

27、优选地，建立损失函数的具体步骤为：

28、内容损失使用最小均方差损失，用来约束生成图像g(x)在内容上接近于真实图像y；

29、（4）

30、其中，w、h为图像的宽、高大小，y表示原始高分辨率图像，g(x)表示生成器网络g生成的超分辨率图像；

31、感知损失为使生成的超分辨率图像在特征层面上与对应的高分辨率图像接近；

32、（5）

33、其中，是预先训练的vgg-19，、为图像特征；

34、对抗损失为使判别网络模型难以判别出生成图像的超分辨率图像是否为真：

35、（6）

36、其中，n代表训练样本总数量，d表示判别器，为生成的超分辨率图像与原始图像的差距；

37、总损失函数记为：

38、（7）

39、其中， 、 、分别为 、 、的超参数，用于调整各自所占的比重。

40、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现一种基于多峰psf的远距离计算超分辨率成像方法。

41、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现一种基于多峰psf的远距离计算超分辨率成像方法。

42、本发明具有以下有益效果：

43、本发明与现有技术相比：

44、本发明基于多峰psf的计算超分辨率成像系统可以克服传感器的基本空间分辨率限制的问题，得到超分辨率信息，有利于增强图像细节，并增加后续目标识别准确性，适用于遥感成像、航空测量、安防监控等。

45、本发明基于多峰psf的计算超分辨率成像系统只需使用单探测器进行单次拍摄，即可得到超分辨率信息，系统结构简单，十分有利于轻小型化，并且适于拍摄快速运动的目标。