本发明属于数字图像技术领域,涉及一种图像超分辨率的方法,具体涉及一种基于混合分辨率稀疏字典学习的图像超分辨率方法。
技术背景
图像的空间分辨率是影响图像处理任务效果的重要因素。存在众多技术手段提高图像的分辨率,图像超分辨率重构就是其中之一。超分辨率图像重构可以看作从单幅或多幅低分辨率的图像中重构出一幅高分辨率图像的过程。图像超分辨率技术在视频监控、视频格式转换、医疗数字影像、卫星图像等领域得到广泛的应用。在这些领域中,对于细节信息损失的图像,如何恢复图像中的细节信息,成为图像超分辨率重构的关键。
传统的基于字典学习的图像超分辨率重构方法,在字典构造方面,采用的是单一分辨率字典学习模式,字典只是原子的简单集合,表达精度严重依赖字典原子数量的扩张;后来改进的多成分字典学习模式,尽管字典原子在分辨率上依然单一,但字典包含了纹理、边缘、平坦等不同结构属性的组分,属于结构化字典学习范畴。多成分字典能够提高不同结构特征区域的表达精度,但将图像预先划分为不同属性的区域需要耗费大量的计算资源。
技术实现要素:
为了解决上述技术问题,本发明提供了一种基于混合分辨率稀疏字典学习的图像超分辨率方法。该方法采用基于学习的混合分辨率字典来进行稀疏超分辨率重构。
本发明所采用的技术方案是:一种基于混合分辨率稀疏字典学习的图像超分辨率方法,其特征在于,包括以下步骤:
一种基于混合分辨率稀疏字典学习的图像超分辨率方法,其特征在于,包括以下步骤:
步骤1:将图像库中的图像作为训练样本,训练分辨率为n1×n1和n2×n2的两类低分辨率字典,获取两个高低分辨率字典对;其中,n1×n1和n2×n2的两类低分辨率字典对应的高分辨率字典的分辨率为n3×n3和n4×n4;其中,n1、n2、n3、n4是预设阈值,n1<n2<n3<n4;
步骤2:将原始图像分成大小为n5×n5的图像块;其中,n5为预设阈值;
步骤3:获取第一个图像块;
步骤4:计算所获取图像块的方差;
步骤5:判断图像块的方差是否大于设定的值,并选择相应的低分辨率字典进行稀疏表达;
步骤6:对图像块进行高分辨率重构;
步骤7:判断是否是最后一个图像块;
若是,则流程结束;
如否,则获取下一个图片快,并回转执行骤4。
作为优选,通过联合训练得到一个高低分辨率字典对,联合训练过程为:
其中,yh,yl是高低图像块对集合,n和m分别是高分辨率和低分辨率图像块向量形式的维度;dh是高分辨率字典,dl是低分辨率字典,z是表达系数矩阵,λ是加权系数,||z||1使得系数矩阵z变稀疏。
作为优选,步骤5中,若图像块的方差大于设定的阈值,则选择分辨率为n1×n1的字典对图像块进行稀疏表达;否则,选择分辨率为n2×n2的字典进行稀疏表达。
作为优选,步骤6中高分辨率图像块的重构公式为:
x=dhα
其中,x为重构出的高分辨率图像块,dh为高分辨率字典,α是步骤5中求取的稀疏表达系数。
作为优选,步骤6中,对n1×n1的低分辨率图像块,选择n3×n3的高分辨率字典进行重构;对n2×n2的低分辨率图像块,选择n4×n4的高分辨率字典进行重构。
本发明提出一种基于混合分辨率稀疏字典学习的图像超分辨率方法,包括字典训练过程和图像超分辨率重构过程。本发明具有以下优点和积极效果:
1)本发明能够在较少的训练样本的条件下,构造出包含不同分辨率原子的混合字典,在不扩张字典原子数量的前提下提高了字典的表达能力。
2)本发明能够根据图像纹理信息强弱自适应地选择不同分辨率的字典来超分,从而能够锐化图像边缘和丰富图像纹理信息。
附图说明
图1是本发明实施例的流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图1及实施示例对本发明作进一步地详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
请见图1,本发明提供的一种基于混合分辨率稀疏字典学习的图像超分辨率方法,包括以下步骤:
步骤1:将图像库中的图像作为训练样本,训练分辨率为3×3和5×5的两类低分辨率字典,获取两个高低分辨率字典对;其中,3×3和5×5的两类低分辨率字典对应的高分辨率字典的分辨率为9×9和15×15;并将它们分别存储起来。
具体实现上,先学习得到一个高低分辨率字典对,包含分辨率为9×9的高分辨率字典和3×3的低分辨率字典。联合训练过程为:
其中,yh,yl是高低图像块对集合,n和m分别是高分辨率和低分辨率图像块向量形式的维度。dh是9×9高分辨率字典,dl是3×3低分辨率字典,z是表达系数矩阵,λ是加权系数,||z||1使得系数矩阵z变稀疏。
同样地,接着学习得到另外一个高低分辨率字典对,分别是分辨率为15×15的高分辨率字典和为5×5的低分辨率字典。
步骤2:将原始图像分成大小为17×17的图像块。
步骤3:获取一个大小为17×17图像块。
步骤4:计算所获取图像块的方差。
步骤5:判断图像块的方差是否大于设定的阈值,并选择相应的低分辨率字典进行稀疏表达。
具体包含两个子步骤:
步骤5.1:字典选择;
若图像块的方差大于设定的阈值10,则选择分辨率为3×3的字典对图像块进行稀疏表达;否则,选择分辨率为5×5的字典进行稀疏表达。
步骤5.2:稀疏表达;
采用如下优化计算公式进行稀疏表达:
其中,y是3×3或5×5的低分辨率图像块,dl是低分辨率字典,α是稀疏表达系数,f是线性特征特征提取算子,参数λ平衡α的稀疏度和y的估计精度。
步骤6:对该图像块进行超分辨率重构。
具体来说,分为两种情况,对3×3的低分辨率图像块,选择9×9的高分辨率字典进行重构;对5×5的低分辨率图像块,选择15×15的高分辨率字典进行重构。
无论哪一种情况,高分辨率图像块的重构公式为
x=dhα
其中,x为重构出的高分辨率图像块,dh为高分辨率字典,α是步骤5中求取的稀疏表达系数。
若使用9×9的高分辨率字典对图像块进行重构,设置的重叠像素是2个;若使用分辨率为15×15的字典进行重构,设置的重叠像素是4个。
步骤7:进入下一轮循环或退出流程。
判断当前处理图像块是否是最后一个图像块,若是,则结束流程;否则,转向步骤4继续执行。
本发明可以在较少的训练样本的条件下,构造出不同分辨率的字典,并使用这些不同分辨率的字典进行内容自适应的超分辨率重建,最终达到突出图像轮廓和丰富纹理细节的效果,显著提高放大图像的质量。
应当理解的是,本说明未详细阐述的部分均属于现有技术。
应当理解的是,上所针对较佳实施示例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利所要求保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。