本发明属于图像处理
技术领域：
，更进一步涉及图像超分辨处理
技术领域：
的一种基于概率生成模型的图像超分辨处理方法。本发明可用于先利用低分辨图像块生成对应的高分辨图像块，然后生成原低分辨图像对应的高分辨图像，进而再生成原低分辨图像对应的高分辨图像。
背景技术：
：超分辨光学图像可以克服低分辨光学图像的限制，并且在诸如医疗诊断、遥感、计算机视觉和监视等许多应用中显示出良好的结果。要获得高分辨率的光学图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制，在很多场合和大规模部署中很难实现。因此，利用现有的设备，通过超分辨率技术获取高分辨图像具有重要的现实意义。为了打破成像系统固有分辨率的限制，从算法角度提高光学图像分辨率的技术就应运而生。现有的图像超分辨算法主要有这几种：基于传统插值理论的方法、基于模型/重建的方法和基于机器学习的方法。k.zeng,j.yu,r.wang,c.li,d.tao等人在其发表的论文“coupleddeepautoencoderforsingleimagesuper-resolution.”(ieeetransactionsoncybernetics,2015，pages1–11.)中公开了一种基于深度学习网络的单幅光学图像超分辨处理方法。该方法使用耦合深度自编码模型来学习高分辨/低分辨图像块对的内在表示，同时得到低分辨图像块到高分辨图像块的映射，最后融合高分辨图像块，并生成原低分辨图像对应的高分辨图像。该方法在重构中表现出了比较好的性能，且在前向网络测试时有较快的速度。但是，仍然存在的不足之处是：该方法并没有考虑到使用模型的先验信息，也没有考虑模型中隐变量隐含的不确定因素，使得该方法无法利用原图像中包含的所有信息，只用了部分信息来生成对应的高分辨图像。清华大学深圳研究生院在其申请的专利文献“一种图像超分辨方法”(专利申请专利号：201510338958.6，公开号：cn10499240a)中提出了一种基于聚类和协同表示的图像超分辨方法。该方法在组织聚类中心近邻时，又对搜索空间聚类，利用了数据的局部几何特性，从而更准确地恢复高分辨率图像的高频信息，得到更高质量的高分辨率图像。该方法能够在聚类时不仅能够确定聚类中心，而且可以得到各个聚类中心的统计特性，为进一步加快超分辨速度提供可能。但是，仍然存在的不足之处是：该方法只是利用了一个浅层的概率模型，只利用了低分辨图像表面的信息，没有考虑到高分辨/低分辨图像块对中隐含的信息，其中涉及的方法无法生成更多的信息来完善图像的分辨率，限制了最后得到的高分辨图像的分辨率。技术实现要素：本发明的目的在于克服上述现有技术的缺陷，提出了一种基于概率生成模型的图像超分辨处理方法，充分利用模型中的先验信息，提高最终得到的高分辨图像的分辨率的同时提高图像超分辨的速度。实现本发明上述目的的思路是：对所有输入的高分辨图像做下采样处理后，用双三次插值法，获得与高分辨图像尺寸大小一样的低分辨图像；训练概率生成模型，将对应的高分辨/低分辨图像块对作为训练样本，利用批量随机梯度下降法对概率生成模型的参数进行迭代更新；测试概率生成模型时，用训练概率生成模型时得到的参数，生成高分辨图像块后，排列高分辨图像块得到重构的高分辨图像；对高分辨图像微调，得到最终的高分辨图像。为实现上述目的，本发明基于概率生成模型的图像超分辨处理方法，步骤如下：(1)输入图像：(1a)将多幅高分辨光学图像输入到训练集中；(1b)将与训练集中不同的多幅高分辨光学图像输入到测试集中；(2)获取训练样本：(2a)对训练集中的每一幅高分辨光学图像，经下采样处理后用双三次插值法，获得与高分辨图像尺寸大小一样的低分辨图像；(2b)分别从高分辨图像与低分辨图像的相同位置处，提取同样大小的图像块，组成高分辨-低分辨图像块对；(2c)去除高分辨-低分辨图像块对中平滑的图像块对后，再去除高分辨-低分辨图像块对中相似的图像块对，得到高分辨-低分辨图像块对的训练样本；(3)获取测试样本：(3a)对测试集中的每一幅高分辨光学图像，经下采样处理后用双三次插值法，获得与高分辨图像尺寸大小一样的低分辨图像；(3b)从低分辨图像中提取低分辨图像块，图像块大小与高分辨-低分辨图像块对训练样本中的图像块的大小相同，作为低分辨图像块的测试样本；(4)训练概率生成模型：(4a)从零均值、方差为0.01的高斯分布中随机采样，采样数和维度与概率生成模型中所有参数数目和维度相同，将随机采样的数组作为概率生成模型的初始化参数；(4b)将训练样本输入概率生成模型的推理子模型中，使多层感知机的先验分布函数为标准高斯函数；(4c)利用最大化变分下界公式，得到近似于真实后验分布函数的变分分布函数；(4d)利用批量随机梯度下降方法，将概率生成模型的所有参数迭代更新8000次后，得到更新后的概率生成模型；(5)测试概率生成模型：(5a)将测试样本输入概率生成模型中，使用更新后的概率生成模型，得到生成的高分辨图像块；(5b)按照从低分辨图像中提取低分辨图像块的位置，排列概率生成模型生成的高分辨图像块，对生成的高分辨图像块之间的重叠部分的像素值求平均值，得到重构高分辨图像；(5c)对重构高分辨图像进行优化处理，得到最终的高分辨图像。本发明与现有的技术相比具有以下优点：第一，由于本发明利用概率生成模型中的多层感知机学习模型的参数，使用了模型的先验信息，与隐变量包含的深层信息，克服了现有技术中由于没有考虑到使用模型的先验信息，也没有考虑模型中隐变量隐含的不确定因素，导致无法利用原图像中包含的所有信息，只用了部分信息来生成对应的高分辨图像的不足，使得本发明生成的高分辨图像的包含的信息更多。第二，由于本发明利用具有深层网络的概率生成模型，可以使用低分辨图像深层的信息以及高分辨/低分辨图像块对中隐含的信息处理高分辨图像，克服了现有技术存在的由于使用浅层的概率模型，只能利用了低分辨图像表面的信息，没有考虑到高分辨/低分辨图像块对中隐含的信息，导致无法生成更多的信息来完善图像的分辨率，限制了最后得到的高分辨图像的分辨率的不足，使得本发明提高了生成的高分辨图像的分辨率。附图说明图1是本发明的流程图；图2是本发明实施例中高分辨图像；图3是采用本发明处理高分辨图像后得到的低分辨图像；图4是采用本发明得到的最终的高分辨图像。具体实施方式下面结合附图对本发明做进一步的描述。参照图1，本发明的具体实施步骤如下。步骤1.输入图像。将多幅高分辨光学图像输入到训练集中。将与训练集中不同的多幅高分辨光学图像输入到测试集中。步骤2.获取训练样本。对训练集中的每一幅高分辨光学图像，经下采样处理后用双三次插值法，获得与高分辨图像尺寸大小一样的低分辨图像。所述的下采样处理是指，采用缩放因子2、3、4分别对高分辨光学图像进行下采样，得到大小为8×8像素，10×10像素，和12×12像素的低分辨图像。分别从高分辨图像与低分辨图像的相同位置处，提取同样大小的图像块，组成高分辨-低分辨图像块对。去除高分辨-低分辨图像块对中平滑的图像块对后，再去除高分辨-低分辨图像块对中相似的图像块对，得到高分辨-低分辨图像块对的训练样本。步骤3.获取测试样本。对测试集中的每一幅高分辨光学图像，经下采样处理后用双三次插值法，获得与高分辨图像尺寸大小一样的低分辨图像。从低分辨图像中提取低分辨图像块，图像块大小与高分辨-低分辨图像块对训练样本中的图像块的大小相同，作为低分辨图像块的测试样本。步骤4.训练概率生成模型。从零均值、方差为0.01的高斯分布中随机采样，采样数和维度与概率生成模型中所有参数数目和维度相同，将随机采样的数组作为概率生成模型的初始化参数。所述概率生成模型包含推理子模型、低分辨图像生成子模型、高分辨图像生成子模型三个子模型，每个子模型包含一个多层感知机，每个多层感知机包含两个隐层，每个隐层分别有400个节点，隐变量的维度为200。将训练样本输入概率生成模型的推理子模型中，使多层感知机的先验分布函数为标准高斯函数。利用最大化变分下界公式，得到近似于真实后验分布函数的变分分布函数。所述最大化变分下界公式如下：其中，ln(·)表示以e为底的对数操作，表示由低分辨图像生成子模型参数θ1与高分辨图像生成子模型参数θ2的分布概率，xl表示低分辨图像的像素值，xh表示高分辨图像的像素值，表示变分下界函数符号，φ表示推理子模型的参数。利用批量随机梯度下降方法，将概率生成模型的所有参数迭代更新8000次后，得到更新后的概率生成模型。步骤5.测试概率生成模型。将测试样本输入概率生成模型中，使用更新后的概率生成模型，得到生成的高分辨图像块。按照从低分辨图像中提取低分辨图像块的位置，排列概率生成模型生成的高分辨图像块，对生成的高分辨图像块之间的重叠部分的像素值求平均值，得到重构高分辨图像。对重构高分辨图像进行优化处理，得到最终的高分辨图像。所述优化处理是指利用下式进行的操作所述使用下采样处理与高斯平滑滤波处理是指利用下式进行的操作：其中，表示最终的高分辨图像的像素值，表示使函数取最小值时yh的值，其中yh表示测试集中的高分辨图像的像素值，||·||表示范数操作，s表示下采样操作，h表示高斯平滑滤波操作，其中高斯平滑滤波操作是根据高斯函数的形状选择滤波权值的线性平滑滤波操作，yl表示测试集中的高分辨图像相应的低分辨图像，表示二范数的二次方操作，c表示常数0.1，yh表示重构的高分辨图像。本发明的效果可通过以下仿真进一步说明。1.仿真条件：本发明的仿真试验是在主频3.2ghz的intel(r)core(tm)i5-6500cpu、内存8gb的硬件环境和基于python2.5的软件环境下进行的。2.仿真内容：本发明仿真是对例如图2的高分辨图像进行仿真实验，图2来源于公开的set5图像集。本发明仿真所用的训练集为公开的具有91幅高分辨图像的图像集，所用测试集来自于set5图像集、set14图像集、ni图像集，共39幅高分辨图像。本发明仿真内容为：采用本发明的方法处理训练集与测试集的高分辨图像，得到如图3的低分辨图像作为样本，用训练样本训练概率生成模型，用测试样本测试概率生成模型后，得到如图4的最终的高分辨图像。3.仿真效果分析：用本发明的方法、现有scsr和bpfasr的方法对测试集set5的图像作为测试数据进行图像超分辨实验，采用信噪比峰值psnr，结构相似率ssim和测试时间来作为比较标准，当psnr值与ssim值越高，图像超分辨的结果越好，测试时间越短，图像超分辨的速度越快。其中，scsr是一种基于稀疏表示的图像超分辨方法，bpfasr是一种利用beta-因子分析模型的图像超分辨方法，结果如表1。表1.scsr、bpfasr、本发明方法在仿真中得到的psnr、ssim、测试时间方法psnr(db)ssim(％)测试时间(秒)scsr29.5183.8365bpfasr29.2482.41327本发明30.2885.954.05表1为scsr、bpfasr、本发明方法在仿真中得到的psnr和ssim的统计结果，以上结果表示：与现有的scsr和bpfasr图像超分辨方法相比，本发明得到的信噪比峰值psnr和结构相似率ssim更高，所用测试时间最少，表示本发明提出的这种基于概率生成模型的图像超分辨方法，改进了上述两种方法的不足，能提高图像超分辨的精度，并提高图像超分辨的速度。当前第1页12