一种基于卷积神经网络的全息图重建方法及系统

1.本发明涉及图像处理领域，特别是涉及一种基于卷积神经网络的全息图重建方法及系统。


背景技术：

2.全息技术可以重构物体的整个光场，提供所有的视觉信息，被认为是一种更有前途的视觉显示技术。计算全息(computer generated holograme,cgh)是计算机技术与传统全息技术的结合，广泛应用于三维显示、虚拟现实和增强现实、光学捕获、干涉测量、显微成像等领域。
3.空间光调制器是全息图光学重建过程中最重要的设备，类似于显示设备的屏幕。相位型全息图比振幅型全息图具有更高的衍射效率，因此纯相位空间光调制器比振幅型空间光调制器使用更为广泛。而如何将复振幅信息转化为纯相位信息，是计算全息面临的主要问题。传统的生成方法有基于迭代的gerchberg-saxton(gs)算法和wirtinger holography(wh)算法，一步编码的double-phase holography(dph)算法和stochastic gradient descent(sgd)算法等。但仍存在生成速度慢或再现质量不够理想的问题。近年来，研究者将新兴的神经网络与计算全息相结合，通过网络中巨量的结点拟合衍射场与全息图之间的关系，取得了不错的效果，但重建质量仍有待提高。
4.基于上述缺陷本发明提出了高衍射阶角谱法(hdo-asm)用于高衍射阶的数值重建。与去除高衍射阶的传统方法不同，本发明选择通过使用hdo-asm和基于u-net的神经网络的方法，以高衍射阶来重建目标图像，所生成的全息图重建图像中几乎没有散斑噪声和条纹。


技术实现要素：

5.本发明的目的是提供一种基于卷积神经网络的全息图重建方法及系统，通过使用hdo-asm和基于u-net的神经网络的方法，以高衍射阶来重建目标图像，提高了全息图的重建质量。
6.为实现上述目的，本发明提供了如下方案：
7.一种基于卷积神经网络的全息图重建方法，所述重建方法包括：
8.计算目标图像反向传播的衍射场；
9.构建卷积神经网络模型；
10.将所述衍射场输入到所述卷积神经网络模型中，得到纯相位全息图；
11.采用高衍射级角谱法计算所述纯相位全息图的(0th,1st)衍射级处的重建图像；
12.获取纯相位全息图重建图像的振幅信息和目标图像的振幅信息；
13.基于所述纯相位全息图重建图像的振幅信息和目标图像的振幅信息确定损失函数；
14.将所述损失函数反向传播更新所述卷积神经网络模型的参数；
15.获取训练集；
16.采用所述训练集训练所述卷积神经网络模型；
17.重复以上步骤，直到损失函数不再下降，得到更新后的卷积神经网络模型；
18.将待处理的图像输入至所述更新后的卷积神经网络模型得到纯相位全息图全息图。
19.可选的，所述计算目标图像反向传播的衍射场具体采用以下公式：
[0020][0021]
其中，f{
·
}和f-1
{
·
}分别表示傅里叶变换和傅里叶逆变换，u0(x,y)表示目标图像的光场，λ表示参考光的波长，f
x
和fy是衍射场分别在x方向和y方向上的空间频率，是表示逆向衍射过程中的光学传递函数，l(f
x
,fy)表示带宽限制函数，z表示目标图像与成像平面的距离。
[0022]
可选的，所述卷积神经网络模型包括：输入层、第一上采样层、第二上采样层、第三上采样层、第一下采样层、第二下采样层、第三下采样层以及输出层，所述输入层、第一上采样层、第二上采样层、第三上采样层、第一下采样层、第二下采样层、第三下采样层以及输出层依次连接。
[0023]
可选的，所述采用高衍射级角谱法计算所述纯相位全息图的(0th,1st)衍射级处的再现像衍射场具体采用以下公式：
[0024][0025]
其中，f{
·
}和f-1
{
·
}分别表示傅里叶变换和傅里叶逆变换，t(x,y)表示纯相位全息图的透过率函数，表示在全息图被照亮后，包含相位信息的透射光沿方向传播，λ表示参考光的波长，f
x
和fy是衍射场分别在x方向和y方向上的空间频率，表示正向衍射过程中的传递函数，l(f
x
,fy)表示带宽限制函数，z表示目标图像反向传播至目标平面的距离。
[0026]
可选的，所述损失函数的表达式为：
[0027]
l1＝∑||u
′
(x,y)|-|u0(x,y)||
[0028]
其中，|u
′
(x,y)|表示重建图像的振幅信息，|u0(x,y)|表示目标图像的振幅信息。
[0029]
基于本发明中的上述方法本发明另外提供一种基于卷积神经网络的全息图重建系统，所述重建系统包括：
[0030]
衍射场计算模块，用于计算目标图像反向传播的衍射场；
[0031]
神经网络构建模块，用于构建卷积神经网络模型；
[0032]
纯相位全息图确定模块，用于将所述衍射场输入到所述卷积神经网络模型中，得到纯相位全息图；
[0033]
重建图像计算模块，用于采用高衍射级角谱法计算所述纯相位全息图的(0th,1st)衍射级处的重建图像；
[0034]
振幅信息获取模块，用于获取纯相位全息图重建图像的振幅信息和目标图像的振
幅信息；
[0035]
损失函数确定模块，用于基于所述纯相位全息图重建图像的振幅信息和目标图像的振幅信息确定损失函数；
[0036]
参数更新模块，用于将所述损失函数反向传播更新所述卷积神经网络模型的参数；
[0037]
训练集获取模块，用于获取训练集；
[0038]
训练模块，用于采用所述训练集训练所述卷积神经网络模型；
[0039]
循环模块，用于重复以上模块，直到损失函数不再下降，得到更新后的卷积神经网络模型；
[0040]
图像重建模块，用于将待处理的图像输入至所述更新后的卷积神经网络模型得到纯相位全息图。
[0041]
可选的，所述衍射场计算模块具体采用以下公式：
[0042][0043]
其中，f{
·
}和f-1
{
·
}分别表示傅里叶变换和傅里叶逆变换，u0(x,y)表示目标图像的光场，λ表示参考光的波长，f
x
和fy是衍射场分别在x方向和y方向上的空间频率，是表示逆向衍射过程中的光学传递函数，l(f
x
,fy)表示带宽限制函数，z表示目标图像与成像平面的距离。
[0044]
可选的，所述卷积神经网络模型包括：输入层、第一上采样层、第二上采样层、第三上采样层、第一下采样层、第二下采样层、第三下采样层以及输出层，所述输入层、第一上采样层、第二上采样层、第三上采样层、第一下采样层、第二下采样层、第三下采样层以及输出层依次连接。
[0045]
可选的，所述重建图像计算模块具体采用以下公式：
[0046][0047]
其中，f{
·
}和f-1
{
·
}分别表示傅里叶变换和傅里叶逆变换，t(x,y)表示纯相位全息图的透过率函数，表示在全息图被照亮后，包含相位信息的透射光沿方向传播，λ表示参考光的波长，f
x
和fy是衍射场分别在x方向和y方向上的空间频率，表示正向衍射过程中的传递函数，l(f
x
,fy)表示带宽限制函数，z表示目标图像反向传播至目标平面的距离。
[0048]
可选的，所述损失函数的表达式为：
[0049]
l1＝∑||u
′
(x,y)|-|u0(x,y)||
[0050]
其中，|u
′
(x,y)|表示重建图像的振幅信息，|u0(x,y)|表示目标图像的振幅信息。
[0051]
根据本发明提供的具体实施例，本发明公开了以下技术效果：
[0052]
本发明中的上述系统及方法避免了直流分量的干扰，传统的方法优化的是零级再现像，而由于空间光调制器衍射效率达不到100％，零级再现像会受到一个直流分量的干扰，导致图像失真，空间光调制器衍射效率越低，直流分量就越强，受到的干扰就越严重，图
像失真就越厉害，本发明中的方法为高衍射级角谱法，相比于传统的编码方法，该方法重建的图像不失真，显示质量较高；
[0053]
本发明中的方法更加灵活快速，与传统的方法相比，将高衍射级角谱法与u-net神经网络结合生成全息图，可以根据生成质量和生成速度灵活地调整网络参数，使得在生成速度和再现质量方面达到一个较好的平衡，而传统的方法编码方式单一，再现质量和生成速度是较为固定的，不能调整两者间的关系。
附图说明
[0054]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0055]
图1为本发明实施例基于卷积神经网络的全息图重建方法流程图；
[0056]
图2为本发明实施例采用角谱法计算衍射场的过程示意图；
[0057]
图3为本发明实施例u-net网络模型结构示意图；
[0058]
图4为本发明实施例基于卷积神经网络的全息图重建系统结构示意图。
具体实施方式
[0059]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0060]
本发明的目的是提供一种基于卷积神经网络的全息图重建方法及系统通过使用hdo-asm和基于u-net的神经网络的方法，以高衍射阶来重建目标图像，提高了全息图的重建质量。
[0061]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0062]
本发明设计了一种基于u-net神经网络，采用高衍射级角谱法(hdo-asm)对再现像进行优化的方法。通过将hdo-asm与基于u-net的神经网络相结合，可以快速生成更高显示质量和清晰度的全息图。本发明中使用u-net生成全息图的过程主要包括反向衍射、生成全息图、正向衍射、反向传播四个过程。选取目标图像并求出该目标图像在目标平面上的光场分布，并通过二维傅里叶变换得到目标光场的频谱。根据角谱法(asm)，计算出目标光场反向传播距离z后的衍射场。将反向衍射场输入到u-net中，经过上下采样后，输出与衍射场尺寸相等的纯相位全息图。采用y轴方向上的条状编码方式，使用高衍射级角谱法(hdo-asm)计算出在(0th,1st)衍射级处的再现图像。将再现图像与目标图像作比较，使用l1损失函数，求出两者的l1损失函数，然后通过反向传播算法更新u-net的网络参数。重复上述四个步骤的训练周期，最终生成具有高质量重建的纯相位全息图。
[0063]
具体的，如图1所示，图1为本发明实施例基于卷积神经网络的全息图重建方法流程图，本发明中的方法包括：
[0064]
反向衍射过程：
[0065]
步骤101：计算目标图像反向传播的衍射场。
[0066]
图2展示了使用角谱法(angle spectrummethod)计算衍射场的过程，(a)部分表示目标图像，(b)部分表示目标图像的频谱，(c)部分表示衍射场频谱，(d)部分表示衍射场。反向衍射是指将目标图像反向传播至与目标平面距离为z处的成像面上，该成像面与目标平面平行，中心相同，大小相等。通过角谱法可以计算出成像面上与目标图像尺寸相等的衍射场，表示为：
[0067][0068]
式中，f{
·
}和f-1
{
·
}分别是傅里叶变换和傅里叶逆变换，u0(x,y)是目标图像的光场，λ是参考光的波长，f
x
和fy是衍射场分别在x方向和y方向上的空间频率，是是逆向衍射过程中的光学传递函数(otf)，表示为：
[0069][0070]
式中是虚数单位，k＝2π/λ，l(f
x
,fy)是带宽限制函数。
[0071][0072]
式中，∧是合取符号，代表同时满足两个条件；m
×
n是目标图像及全息图的尺寸，β是采样间隔，它与此次光学实验中用到的空间光调制器的像素间隔相同，l(f
x
,fy)在此处的作用是，当成像距离较远时，通过删减输入源中不必要的高频信号，减少产生的光传递函数的叠频误差问题。
[0073]
步骤102：构建卷积神经网络模型。
[0074]
u-net是一种全卷积神经网络，使用卷积层连接上下采样层，图3为本发明的网络结构示意图，设计参数如下：输入层为两个通道，分别是反向传播的衍射场u(x,y)的实数部分和虚数部分。输出层为一个通道，是衍射场对应的纯相位信息。网络模型有三个下采样层和三个上采样层，采样后的最大特征通道设置为1024。根据图3所示的网络结构，生成一个u-net网络模型，根据以上参数配置好网络模型后，将衍射场uz(x,y)输入到u-net中，经过上下采样后，输出数据是与衍射场尺寸相等的纯相位全息图。位相分布可以表示为φ(x,y)，全息图的透过率函数为
[0075]
步骤103：将所述衍射场输入到所述卷积神经网络模型中，得到纯相位全息图。
[0076]
正向衍射过程：
[0077]
步骤104：采用高衍射级角谱法计算上一步骤得到的纯相位全息图的(0th,1st)衍射级处的重建图像。
[0078]
在成像平面上，(c-th,d-th)衍射级中心的坐标为连接空间光调制器
中心和(c-th,d-th)级衍射中心的向量为th)级衍射中心的向量为在x轴和y轴的方向余弦分别为：
[0079][0080]
位于(c-th,d-th)衍射级的重建图像可以精确表示为：
[0081][0082]
其中表示在全息图被照亮后，包含相位信息的透射光(反射光)沿方向传播。该方法可应用于所有衍射阶的数值重建。当衍射阶数为(0th,1st)时，和在对轴近似下分别是和将其代入公式(5)中，即可以得到(0th,1st)衍射级的重建图像。
[0083]
高衍射级角谱法与角谱法不同之处在于：角谱法只能用于计算衍射场中央的零级再现像，高衍射级角谱法包含有传播方向在x轴和y轴上的方向余弦，能够精确计算出位于该传播方向上的衍射级的再现像。通过更改传播方向，可以计算任意衍射级再现像。
[0084]
反向传播过程：
[0085]
步骤105：获取纯相位全息图重建图像的振幅信息和目标图像的振幅信息。
[0086]
步骤106：基于所述纯相位全息图重建图像的振幅信息和目标图像的振幅信息确定损失函数。
[0087]
步骤107：将所述损失函数反向传播更新所述卷积神经网络模型的参数。
[0088]
损失函数如下：
[0089]
l1＝∑||u
′
(x,y)|-|u0(x,y)||
ꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0090]
将l1损失函数反向传播，以更新第102步中u-net的网络参数。
[0091]
步骤108：获取训练集。
[0092]
步骤109：采用所述训练集训练所述卷积神经网络模型。
[0093]
步骤110：使用div2k数据集作为u-net的训练集，不断重复以上步骤，直到达到损失函数不再下降，即直到损失函数在一个较小的值附近波动，整体上不再下降。通过损失函数的反向传播不断更新网络模型的参数，使得网络模型生成的纯相位全息图的重建质量不断提高，最终得到更新后的卷积神经网络模型。
[0094]
步骤111：将待处理的图像输入至所述更新后的卷积神经网络模型得到纯相位全息图。
[0095]
图4为本发明实施例基于卷积神经网络的全息图重建系统结构示意图，如图4所示，基于本发明中的上述方法，本发明另外提供了一种基于卷积神经网络的全息图重建系统，所述系统包括：
[0096]
衍射场计算模块201，用于计算目标图像反向传播的衍射场。
[0097]
神经网络构建模块202，用于构建卷积神经网络模型。
[0098]
纯相位全息图确定模块203，用于将所述衍射场输入到所述卷积神经网络模型中，得到纯相位全息图。
[0099]
重建图像计算模块204，用于采用高衍射级角谱法计算所述纯相位全息图的(0th,1st)衍射级处的重建图像。
[0100]
振幅信息获取模块205，用于获取纯相位全息图重建图像的振幅信息和目标图像的振幅信息。
[0101]
损失函数确定模块206，用于基于所述纯相位全息图重建图像的振幅信息和目标图像的振幅信息确定损失函数。
[0102]
参数更新模块207，用于将所述损失函数反向传播更新所述卷积神经网络模型的参数。
[0103]
训练集获取模块208，用于获取训练集。
[0104]
训练模块209，用于采用所述训练集训练所述卷积神经网络模型。
[0105]
循环模块210，用于重复以上模块，直到损失函数不再下降，得到更新后的卷积神经网络模型。
[0106]
图像重建模块211，用于将待处理的图像输入至所述更新后的卷积神经网络模型得到纯相位全息图。
[0107]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0108]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。