基于DCT和CGAN的微弱光成像复原方法

基于dct和cgan的微弱光成像复原方法
技术领域
1.本发明涉及光学图像复原技术领域，具体涉及一种基于dct和cgan的微弱光成像复原方法。


背景技术：

2.数字图像是传递信息的重要媒介，在日常生活中极为重要。然而接收到的图像的质量，往往受到各种因素的影响，导致图像质量下降，也称作图像退化。成像过程中，噪声干扰会严重影响成像质量，目前对于加性白高斯噪声的图像去噪研究较为成熟，但是，在光子计数成像系统中如医学成像、遥感成像、激光雷达成像、夜间成像等情况，在类似微弱光成像系统中，光探测器只能接收到少量光子，其获取的图像存在泊松分布噪声，并且噪声与信号相关性强，难以去除。


技术实现要素：

3.本发明的目的是提供一种基于dct和cgan的微弱光成像复原方法，以克服现有图像去噪方法存在的上述问题。
4.本发明为解决技术问题所采用的技术方案如下：
5.本发明的基于dct和cgan的微弱光成像复原方法，包括以下步骤：
6.步骤s1、根据微弱光成像原理构建微弱光成像模型，该模型符合泊松分布；
7.步骤s2、dct去噪处理；
8.步骤s3、cgan算法处理得到复原图像。
9.进一步的，步骤s1中，所述微弱光成像模型如下：
10.i＝p+n
11.式中，i为待处理的微弱光图像，p为原始图像，n为噪声信号。
12.进一步的，步骤s2的具体过程如下：
13.s2.1对原始图像进行dct去噪得到对应的dct系数图像，将原始图像转换到频率域中；
14.s2.2对待处理的微弱光图像进行dct去噪得到对应的dct系数图像，将待处理的微弱光图像转换到频率域中；
15.s2.3对待处理的微弱光图像经dct去噪后所得dct系数图像进行高频屏蔽处理得到对应的系数图像，保留低频区域；再对该系数图像进行idct处理得到对应的微弱光成像图。
16.进一步的，步骤s3的具体过程如下：
17.s3.1在tensorflow 2.0框架下构建cgan网络模型，并在python3.7平台上运行；
18.s3.2构建各数据集
19.使用msra数据集作为基础数据集，在msra数据集中选取5000张原始图像作为数据集{t(x)}；将步骤s1中微弱光成像模型中的待处理的微弱光图像作为低质量图像数据集
{t1(x)}，成像模拟探测信噪比设为1db；将步骤s2.2中对待处理的微弱光图像进行dct去噪得到的dct系数图像作为数据集{t2(x)}；将步骤s2.3中所得微弱光成像图作为数据集t(x)；最终得到一个由5000对图像组成的数据集{t2(x),t(x)}；任选其中4000对图像作为训练集，从训练集中选择1000对图像作为验证集，从剩余训练集中再选择1000对图像作为测试集；
20.s3.3训练时，设置训练次数、批处理大小batch size、buffer size、批处理大小和学习率初始值；
21.s3.4测试时，直接将数据集t(x)输入到生成器网络中，去噪后得到复原图像。
22.进一步的，步骤s3.1中，所述cgan网络模型包括：用于恢复成像质量的复原网络g和用于条件对抗学习的判别网络d。
23.进一步的，步骤s3.3中，训练时采用adam优化方法对生成器中所有网络进行优化。
24.进一步的，步骤s3.3中，训练时，采用生成器和鉴别器交替训练的方式。
25.进一步的，步骤s3.3中，训练次数设为200次，批处理大小batch size设为32，buffer size设为400，批处理大小设为4，学习率初始值设为0.0002。
26.进一步的，步骤s3.4中，对于给定的数据集{t(x),t(x)}，直接将数据集t(x)输入到生成器网络中进行计算得到g(x)，并使g(x)尽可能接近t(x)，去除噪声得到复原图像。
27.进一步的，步骤s3.4中，所述数据集t(x)中的微弱光成像图的像素大小为256
×
256。
28.本发明的有益效果是：
29.本发明的一种基于dct和cgan的微弱光成像复原方法，根据泊松分布噪声，模拟微弱光成像，在成像模拟探测信噪比越低的情况下，图像质量越差，因此，本发明主要针对成像模拟探测信噪比为1db的图像进行复原。首先根据微弱光成像原理构建微弱光成像模型，其中，该微弱光成像模型符合泊松分布；接着利用dct(离散余弦变换)去噪法对图像进行去噪增强处理，考虑图像信息与噪声的特征，因此在变换域中对噪声进行过滤，再进行高频屏蔽处理，成像图质量极差的图像经过dct去噪算法处理后，可以看到目标图像的主体信息，能识别出主要内容，然而这远远不够；因此，最后利用深度学习方法即cgan算法(条件生成对抗网络)对图像进行进一步处理，进一步提高图像质量，最终实现图像的良好复原。
30.本发明所采用的dct(离散余弦变换)去噪法，对语音、图像信号变换等确定的变换矩阵正交变换中，被认为是一种最佳变换去噪方法。相比于现有其他几种去噪算法例如statisticsfilt、wnfilt、meanfilt，dct(离散余弦变换)去噪法能够有效去除严重的泊松分布噪声，真实还原原始图像信息，去噪效果好，性能优异，并且具有时间成本较低的优点；另外，本发明采用cgan算法对经过dct去噪处理后的图像进行进一步复原，结果表明该方法达到了良好的复原效果，复原图像均与原始图像极其接近，噪声部分几乎全部去除，复原图像质量大幅度提高。
31.本发明对低成像模拟探测信噪比下的图像复原质量有了较大提升，将dct(离散余弦变换)去噪法与深度学习方法即cgan算法相结合，可以提升整体图像复原结果，且具有复原效果好、图像质量大幅度提高、时间成本低等优点。
附图说明
32.图1为本发明的基于dct和cgan的微弱光成像复原方法的流程图。
33.图2为步骤s2中产生的各图像。图中，(a)为原始图像，(b)为待处理的微弱光图像；(c)为待处理的微弱光图像对应的dct系数图像；(d)为原始图像对应的dct系数图像为；(e)微弱光成像图；(f)为待处理的微弱光图像经过高频屏蔽处理后的系数图像。
34.图3为利用本发明的基于dct和cgan的微弱光成像复原方法复原后的多幅图像。图中，1、第一幅图像处理过程，2、第二幅图像处理过程，3、第三幅图像处理过程，4、第四幅图像处理过程，5、第五幅图像处理过程，6、第六幅图像处理过程，7、第七幅图像处理过程，8、第八幅图像处理过程。
具体实施方式
35.以下结合附图对本发明作进一步详细说明。
36.如图1所示，本发明的一种基于dct(离散余弦变换)和cgan(条件生成对抗网络)的微弱光成像复原方法，主要包括以下步骤：构建微弱光成像模型
→
dct去噪
→
cgan算法进一步提高图像质量，完成微弱光成像复原。
37.本发明的一种基于dct(离散余弦变换)和cgan(条件生成对抗网络)的微弱光成像复原方法，其具体操作步骤如下：
38.步骤s1、根据微弱光成像原理构建微弱光成像模型
39.在微弱光成像系统中，其噪声模型符合泊松分布，且其噪声强度与原始图像像素值相关，特别是在低照明情况下，光探测器收集的光子数量少，泊松分布噪声相较于其他噪声，更加难以去除。因此本发明中的微弱光成像模型仅考虑泊松分布噪声，则根据微弱光成像原理构建的微弱光成像模型如下：
40.i＝p+n
41.式中，i为待处理的微弱光图像，p为原始图像，n为噪声信号。
42.步骤s2、使用dct(离散余弦变换)去噪法处理部分噪声，分为三步，如下：
43.s2.1对原始图像(图2中(a))进行dct去噪得到对应的dct系数图像(图2中(d))，从而将原始图像转换到频率域中。通过图2中(a)和(d)可以看出，原始图像中，其大部分能量集中在左上角，也就是说，原始图像的大部分能量主要集中在低频区域。
44.s2.2对待处理的微弱光图像(图2中(b))进行dct去噪得到对应的dct系数图像(图2中(c))，从而将待处理的微弱光图像转换到频率域中。通过图2中(b)和(c)可以看出，对于包含大量噪声的待处理的微弱光图像，其能量分布较为杂乱，一部分能量分布在高频区域，需要对其进行高频屏蔽处理。
45.s2.3对待处理的微弱光图像经dct去噪后的dct系数图像(图2中(c))进行高频屏蔽处理得到对应的系数图像(图2(f))，保留低频区域；再对该系数图像进行idct处理得到对应的微弱光成像图(图2(e))。
46.在微弱光成像的过程中，图像部分有用信息被噪声淹没，其中主要的是与信号相关的泊松分布噪声，当干扰较大时，成像模拟探测信噪比处于一个极低的水平。本发明主要针对成像模拟探测信噪比为1db时的微弱光成像进行复原，考虑到噪声往往是高频部分，因此使用dct去噪，过滤部分噪声，再使用cgan算法进一步提高图像质量，实现基于dct和cgan
的微弱光成像复原。
47.步骤s3、利用cgan(条件生成对抗网络)进一步提高图像质量，完成微弱光成像复原
48.s3.1在tensorflow 2.0框架下构建cgan(条件生成对抗网络)的网络模型，该cgan(条件生成对抗网络)的网络模型由两部分构成：一是用于恢复成像质量的复原网络g，二是用于条件对抗学习的判别网络d，将该网络模型在python3.7平台上运行。
49.s3.2构建各数据集
50.使用msra数据集作为基础数据集，为了构建数据集，在msra数据集中选取5000张原始图像，将这5000张原始图像作为数据集{t(x)}；将步骤s1中微弱光成像模型中的待处理的微弱光图像作为低质量图像数据集{t1(x)}，成像模拟探测信噪比设为1db，同时，将步骤s2通过dct去噪处理得到处理后图像作为数据集{t2(x)}，最终得到一个由5000对图像组成的数据集{t2(x),t(x)}，任选其中4000对图像作为训练集，从训练集中选择1000对图像作为验证集，从剩余训练集中再选择1000对图像作为测试集。
51.s3.3开始训练，训练采用生成器和鉴别器交替训练的方式，在训练过程中，批处理大小batch size设为32，buffer size设为400，在生成器中所有网络的优化均采用adam优化方法，批处理大小设为4，学习率初始值设为0.0002。
52.通过测试试验可知，当训练次数达到200次左右时，测试效果已经很好，于是设置训练次数为200次；生成器损失函数初始值较大，是由于输入图像与目标图像的差距较大，随着训练次数的增加，生成器损失函数值处于稳定下降、轻微振荡的状态，逐渐达到收敛，这就是生成器损失函数由对抗损失和回归损失相结合的优势所在；而鉴别器损失函数值则一直较为稳定，有轻微起伏，最终收敛于[0,1]区间。
[0053]
s3.4测试时，将步骤s2中所得通过dct去噪处理得到处理后的图像(像素大小均为256
×
256)对应的数据集t(x)作为生成器网络输入。对于给定的数据集{t(x),t(x)}，直接将数据集t(x)输入到生成器网络中进行计算得到g(x)，并使g(x)尽可能接近t(x)，达到去除噪声的效果，就可以得到复原后的图像，从而提高成像质量。
[0054]
本发明利用深度学习方法，具体采用cgan算法实现将低质量图像复原为较高质量的图像。
[0055]
日常生活中，有很多微弱光成像的情况，所得图像包含大量的噪声，图像质量极差。因此，利用本发明的一种基于dct(离散余弦变换)和cgan(条件生成对抗网络)的微弱光成像复原方法对其进行复原，复原后的图像如图3所示。通过对8幅待处理的微弱光图像进行复原的结果可知，该方法达到了良好的复原效果，8幅复原图像与原始图像极其接近，噪声部分几乎全部去除，复原图像质量大幅度提高。
[0056]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。