一种多级重构的图像超分辨率方法
【专利摘要】本发明涉及图像处理领域，公开了一种多级重构的图像超分辨率方法，包括字典训练与超分辨率重构两个阶段；其中字典训练阶段使用Lanczos3-IBP算法对低分辨率图像进行第一级重构，获得高分辨率的初始估计；并在此基础上训练多级的特征字典与误差字典；超分辨率重构阶段，使用Lanczos3-IBP算法对低分辨率图像进行第一次重构，然后利用训练得到的多级特征字典与误差字典，进行多级稀疏编码重构，得到各级重构图像的误差，并添加到上一级的图像中，从而逐级提高超分辨率图像质量，得到高分辨率图像。
【专利说明】一种多级重构的图像超分辨率方法
【技术领域】
[0001]本发明涉及图像处理领域，更具体地，涉及一种多级重构的图像超分辨率方法。
【背景技术】
[0002]在大多数数字图像应用中，往往需要能提供较多细节信息的高分辨率图像或视频，然而在成像过程中，往往伴随着失真(图像变形、模糊、下采样与噪声等)，最后获得的是低分辨的失真图像。要获取高分辨率的图像或视频，可通过提高硬件设备的途径。例如减少感光传感器单元的尺寸，从而增加成像的分辨率，但这会导致进光量的减少并且会引入噪声。或者增大成像芯片的大小，但这会导致电荷转换速度减慢，还可能引入图像模糊。而且，高分辨率成像设备的价格都比较高昂。提高图像/视频的分辨率的另一种途径就是对低分辨率失真图像通过图像处理技术复原到原来的高分辨率图像/视频，这种技术称为图像超分辨率技术。
[0003]目前，主流的图像超分辨率技术包括基于重建的方法与基于样本训练的方法，其中基于样本训练的方法是近十年来的热门研究方向。基于重建的超分辨率方法计算复杂度低，但图像超分辨率效果较差。基于样本训练的方法采用机器学习的方法，从本地的图像库中训练学习到从低分辨率与高分辨率图像之间的规律与数学关系，从而预测输入的低分辨率图像的高分辨率信息。目前基于样本训练的超分辨率方法主要采用冗余字典的稀疏表示模型，从本地图像样本库中学习得到一个字典对(高分辨率字典与低分辨率字典)，在超分辨率重构阶段，利用低分辨率字典求解输入的低分辨率图像块的稀疏表示系数，再利用该系数与高分辨率字典重构得到高分辨率图像块，并将所有图像块通过重叠与平均得到高分辨率图像。
[0004]基于样本训练的超分辨率方法的重构图像质量要好于基于重建的方法，但现有的一些基于样本训练的超分辨率方法仍然存在一些缺点，例如对低分辨率图像使用较差的Bicubic (双三次样条插值)方法进行插值，来获得高分辨率图像的初始估计，然后在此基础上进行超分辨率重构，导致重构质量的提高受到了质量较差的插值图像的限制，因此重构图像质量仍然不高，存在改进的空间。
【发明内容】
[0005]为了克服现有重构图像质量不高的不足，本发明提出一种多级重构的图像超分辨率方法，首先获得高分辨率的初始估计，然后在此基础上进行多级的稀疏编码重构，获得每级的图像高频细节信息，并添加到上一级重构图像中，从而逐级提高超分辨率图像质量。
[0006]为了实现上述目的，本发明的技术方案为:
[0007]—种多级重构的图像超分辨率方法，包括字典训练与超分辨率重构两个阶段；其中所述字典训练阶段使用Lancz0S3-1BP算法对低分辨率图像进行第一级重构，并在此基础上训练多级的特征字典与误差字典；所述超分辨率重构阶段，使用Lancz0S3-1BP算法对低分辨率图像进行第一次重构，然后利用训练得到的多级特征字典与误差字典，进行多级稀疏编码重构，得到各级重构图像的误差，并添加到上一级的图像中，得到高分辨率图像。
[0008]与现有技术相比，本发明的有益效果为:本发明在字典训练阶段使用Lanczos3-1BP算法对低分辨率图像进行第一级重构，获得高分辨率的初始估计；继而在此基础上进行多级的稀疏编码重构，获得每级的图像高频细节信息，并添加到上一级重构图像中，从而逐级提闻超分辨率图像质量。
【专利附图】
【附图说明】
[0009]图1为本发明的字典训练阶段流程图。
[0010]图2为本发明的超分辨率重构阶段流程图。
[0011]图3为采用不同方法重构图像局部图比较示意图，图中从上到下分别为Foreman，Lenna, Flowers, Zebra 不意图。
【具体实施方式】
[0012]下面结合附图对本发明做进一步的描述，但本发明的实施方式并不限于此。
[0013]参见图1和图2所示，是本发明的基于多级重构的图像超分辨率方法的流程示意图，其中图1为字典训练阶段，图2为超分辨率重构阶段，其包括步骤:
[0014]步骤SlOl:字典训练阶段开始，对本地的高分辨率样本图像，使用Bicubic双三次样条插值法，进行s倍下采样，其中s=2，3，4，…；然后使用Lancz0S3插值算法进行s倍插值，并使用迭代逆投影算法IBP (Iterative Back-Projection)进行超分辨率重构,得到第I级的重构样本图像，令i =l，进入步骤S102 ；
[0015]步骤S102:对原高分辨率样本图像与第i级重构样本图像求差值(即原高分辨率样本图像减去第i级重构样本图像)，得到第i级重构样本图像误差，并组成误差块向量矩阵；对第i级重构样本图像进行特征提取与PCA (Principal Component Analysis,主成分分析)降维，得到第i级重构样本图像的特征块向量矩阵，进入步骤S103 ；
[0016]步骤S103:使用K-SVD字典训练算法对第i级的重构样本图像的误差块向量矩阵与特征块向量矩阵进行字典训练，得到第i级误差字典与特征字典，以及稀疏系数。若i等于N-1 (N为重构级数)，即表示已得到N-1级误差字典与特征字典，则字典训练阶段结束，进入步骤S104 ;否则，使用第i级误差字典与稀疏系数进行超分辨率重构，得到重构样本图像误差，并与第i级重构样本图像相加，得到第i+Ι级重构样本图像，并令i=i+l，进入步骤S102 ；
[0017]步骤S104:超分辨率重构阶段开始，对输入的低分辨率图像，使用Lancz0S3算法进行S (s=2, 3，4，…)倍插值，并使用迭代逆投影算法IBP进行超分辨率重构，得到第I级的重构图像，令i=l，进入步骤S105 ；
[0018]步骤S105:若i等于N-1 (N为重构级数)，则表示已获得第N级的重构图像，超分辨率重构阶段结束；否则，对第i级重构图像进行特征提取与PCA降维，得到第i级重构图像的特征块向量矩阵，进入步骤S106 ；
[0019]步骤S106:使用OMP (Orthogonal Matching Pursuit)算法求解第i级重构图像的特征块向量矩阵对应于第i级特征字典的稀疏系数，并利用该稀疏系数与第i级误差字典计算得到重构图像的误差矩阵，将该误差矩阵与第i级重构图像相加，得到第i+Ι级重构图像，并令i=i+l，进入步骤S105 ；
[0020]实施例
[0021]具体本发明包括两个阶段:(I)字典训练阶段；(2)超分辨率重构阶段。
[0022](I)字典训练阶段
[0023]输入:高分辨率图像训练样本Stl,由原图像训练样本及其旋转样本所得。
[0024]11)第I级重构:
[0025]111)使用Bicubic对S。进行s倍下采样，得到低分辨率图像样本；
[0026]112)使用Lancz0S3插值方法对低分辨率图像样本进行s倍插值，得到插值放大图像样本；
[0027]113)对插值放大图像样本使用IBP迭代逆投影算法进行10次迭代，得到第一级重构样本图像Sp
[0028]12)第 i+Ι 级重构，i=l, 2, 3,...，N_1，如下:
[0029]121)计算第i级重构后的图像样本误差皂，即厂-S -Si;
[0030]122)计算戽的块向量矩阵if，即对爲抽取块并组成向量矩阵思〗；
[0031]123)计算Si的特征块向量矩阵
【权利要求】
1.一种多级重构的图像超分辨率方法，其特征在于，包括字典训练与超分辨率重构两个阶段；其中所述字典训练阶段使用LanCZ0S3-1BP算法对低分辨率图像进行第一级重构，并在此基础上训练多级的特征字典与误差字典；所述超分辨率重构阶段，使用Lanczos3-1BP算法对低分辨率图像进行第一次重构，然后利用训练得到的多级特征字典与误差字典，进行多级稀疏编码重构，得到各级重构图像的误差，并添加到上一级的图像中，得到高分辨率图像。
2.根据权利要求1所述的多级重构的图像超分辨率方法，其特征在于，所述字典训练阶段具体为: 511:字典训练阶段开始，对本地的高分辨率样本图像，使用Bicubic插值法进行s倍下采样，其中s=2，3，4，…;使用Lancz0S3插值算法进行s倍插值，并使用迭代逆投影算法IBP进行超分辨率重构，得到第I级的重构样本图像，令i=l，进入步骤S12 ； 512:对原高分辨率样本图像与第i级重构样本图像求差值，其差值是将原高分辨率样本图像减去第i级重构样本图像，得到第i级重构样本图像误差，并组成误差块向量矩阵；对第i级重构样本图像进行特征提取与主成分分析PCA降维，得到第i级重构样本图像的特征块向量矩阵，进入步骤S13 ； 513:使用K-SVD字典训练算法对第i级的重构样本图像的误差块向量矩阵与特征块向量矩阵进行字典训练，得到第i级误差字典、特征字典以及稀疏系数；若i等于N-1，其中N为重构级数，即表示已得到N-1级误差字典与特征字典，则字典训练阶段结束，进入超分辨率重构阶段；否则，使用第i级误差字典与第i级是稀疏系数进行超分辨率重构，得到重构样本图像误差，并与第i级重构样本图像相加，得到第i+Ι级重构样本图像，并令i=i+l，进入步骤S12。
3.根据权利要求1或2所述的多级重构的图像超分辨率方法，其特征在于，所述超分辨率重构阶段具体为: 521:超分辨率重构阶段开始，对输入的低分辨率图像，使用Lancz0S3算法进行s倍插值，其中s=2，3，4，…；并使用迭代逆投影算法IBP进行超分辨率重构，得到第I级的重构图像，令i=l，进入步骤S22 ； 522:若i等于N-1，其中N为重构级数，则表示已获得第N级的重构图像，超分辨率重构阶段结束；否则，对第i级重构图像进行特征提取与主成分分析PCA降维，得到第i级重构图像的特征块向量矩阵，进入步骤23 ； 523:使用OMP算法求解第i级重构图像的特征块向量矩阵对应于第i级特征字典的稀疏系数，并利用该稀疏系数与第i级误差字典计算得到重构图像的误差矩阵，将该误差矩阵与第i级重构图像相加，得到第i+Ι级重构图像，并令i=i+l，进入步骤S22。
【文档编号】G06T5/50GK103530863SQ201310526814
【公开日】2014年1月22日 申请日期:2013年10月30日 优先权日:2013年10月30日
【发明者】甄海华 申请人:广东威创视讯科技股份有限公司