利用图像块分类稀疏表示与自适应聚合的图像超分辨方法

专利名称：利用图像块分类稀疏表示与自适应聚合的图像超分辨方法
技术领域：
本发明属于数字图像处理技术领域，特别是一种利用图像块分类稀疏表示与自适应聚合的图像超分辨方法。
背景技术：
在遥感成像、医学成像和视频监控成像等领域中，由于成像设备的物理性限制，一般很难获取清晰的高分辨率图像。在实际应用中，通过提高成像设备的分辨率级别获取清晰的高分辨率图像的方法花费的代价太大且很难满足实际应用。因此，通过超分辨率图像重构后处理的方法来增强图像的空间分辨率无疑是更好地选择。超分辨图像重构的方法就是从一幅或多幅低分辨图像重构出高分辨图像。具有代表性的超分辨重构方法有:Takeda 等在 “H.Takeda, S.Farsiu, and P.Milanfar, “Kernelregression for image processing and reconstruction, ”IEEE Trans.1mageProcess., vol.16, n0.2, pp.349 - 366, Feb.2007.”提出可操纵核函数回归(SteeringKernel Regression ；SKR)的非均勻插值方法,该方法同时考虑了图像灰度与结构信息,较好地保持了图像边缘，但是不能很好地恢复图像纹理。考虑到自然图像包含了许多结构相似的图像块，Protter 等在“M.Protter,M.Elad, H.Takeda, and P.Milanfar, “Generalizingthe nonlocal-means to super-resolution reconstruction, ” IEEE Trans.1mage Process., vol.18, n0.1, pp.36-51，Jan.2009.，，提出了 非局部均值(Nonlocal-means ；NLM)超分辨重构的方法，该方法利用了图像结构重复性信息，能较好地恢复图像纹理。Yang 等在 “J.Yang, J.Wright, T.Huang, Y.Ma.“Image super-resolution via sparserepresentation.，，IEEE Transactions on Image Processingl9 (11) (2010)2861 - 2873.，，中提出基于稀疏表示(Sparse representation; SR)的方法实现单幅图像的超分辨重建，该方法首先将低分辨图像按照分块准则，将图像分成图像块，每个图像块都能利用通过学习得到的过完备字典中的几个原子进行线性表示；然后对输入的低分辨图像块进行稀疏表示，将得到的稀疏系数与高分辨的字典相乘得到高分辨图像块；最后将图像块按照重叠区域取平均值的方法进行聚合，得到输出的高分辨图像。随后，杨淑媛等发明了一种基于KSVD字典学习的多任务超分辨率图像重构方法(专利号:201010267446.2)。该方法利用K均值的方法将训练的图像块进行分类，再利用KSVD字典学习的方法学习分类的过完备字典，最后利用多任务算法和学习的分类字典对低分辨图像块进行超分辨重构，将重构的高分辨图像块进行组合得到输出的高分辨图像。然而，该类方法重构的高分辨图像虽然在一定程度上保持了图像边缘和纹理信息，但是重构的结果会出现失真和块效应。

发明内容
本发明的目的在于提供一种利用图像块分类稀疏表示与自适应聚合的图像超分辨方法，提高了超分辨重构图像的边缘与纹理的保持效果，并且使重构图像更加接近于真实图像。
实现本发明目的的技术解决方案为:一种利用图像块分类稀疏表示与自适应聚合的图像超分辨方法，包括字典学习阶段和图像超分辨重构阶段，其中在字典学习阶段，首先构建高分辨与低分辨图像块配对的训练集，再对训练集的图像块对进行分类，通过字典学习的方法对分类的图像块对进行学习，生成分类的过完备字典对；在图像超分辨重构阶段，首先对输入的彩色低分辨图像的亮度分量进行分块操作，利用分类稀疏表示的方法进行超分辨重构，得到初始化的高分辨图像块；其次对高分辨图像块按照重叠区域取平均值方法进行聚合，其公式为:
权利要求
1.一种利用图像块分类稀疏表示与自适应聚合的图像超分辨方法，其特征在于包括字典学习阶段和图像超分辨重构阶段，其中在字典学习阶段，首先构建高分辨与低分辨图像块配对的训练集，再对训练集的图像块对进行分类，通过字典学习的方法对分类的图像块对进行学习，生成分类的过完备字典对； 在图像超分辨重构阶段，首先对输入的彩色低分辨图像的亮度分量进行分块操作，利用分类稀疏表示的方法进行超分辨重构，得到初始化的高分辨图像块；其次对高分辨图像块按照重叠区域取平均值方法进行聚合，其公式为: ^=^0+\ΣΝ:^ ;[Σ<X.]，从而得到初始估计的高分辨亮度分量X;然后利用可操纵核回归的方法计算初始估计的高分辨亮度分量X局部的权值矩阵Α，同时利用非局部均值的方法计算初始估计的高分辨亮度分量X全局的权值矩阵B，将计算得到局部的权值矩阵A和全局的权值矩阵B进行图像块聚合，通过交替更新高分辨亮度分量X、矩阵A和矩阵B，直至满足收敛条件则停止更新，否则，则对上述计算矩阵A和矩阵B的步骤进行循环；最后将亮度分量i与利用双立方插值放大的色度分量进行色彩融合，由YCbCr色彩空间转换到RGB色彩空间，得到输出的彩色高分辨图像。
2.根据权利要求1所述的利用图像块分类稀疏表示与自适应聚合的图像超分辨方法，其特征在于构建高分辨与低分辨图像块配对的训练集，具体过程为: Ia)收集M幅高分辨图像Xh，如果是彩色图像，则将其转换成灰度图像，然后通过已知的模糊滤波器H和下采样算子S得到低分辨图像Y1,公式为=Y1 = SHXh ； Ib)对低分辨图像进行双立方插值生成与原图大小一样的图像X1,并将差分图像Eh =Xh-X1作为细节图像； Ic)将滤波器 = [-1，O, l],f2 = fj, f3 = [I, 0，-2，0，l],f4 = f3T 分别与图像 X1 进行卷积，生成特征图像 ，其中T代表转置； Id)训练的高分辨图像块Ph和低分辨图像块P1分别从细节图像和特征图像中抽取，得到N对像素位置一致的高分辨和低分辨图像块对集合P = {ph，P1I。
3.根据权利要求1所述的利用图像块分类稀疏表示与自适应聚合的图像超分辨方法，其特征在于M的取值范围为[10，100]，N的取值范围为[104，IO5]。
4.根据权利要求1所述的利用图像块分类稀疏表示与自适应聚合的图像超分辨方法，其特征在于过完备字典对的生产过程为:利用K均值的方法对训练集的图像块对集合P进行分类，得到K类的图像块对們匕和K个聚类中心.，再利用K-SVD方法通过联合学习的方法得到K对过完备的子字典对。
5.根据权利要求1所述的利用图像块分类稀疏表示与自适应聚合的图像超分辨方法，其特征在于基于分类稀疏表示的高分辨亮度分量图像块重构，具体过程为: 3a)输入彩色低分辨图像，利用双立方插值的方法对彩色低分辨图像进行放大，将放大的图像从RGB色彩空间转换到YCbCr色彩空间，其中亮度分量Y作为初始的插值图像Xtl ； 3b)首先利用滤波器 = [-1，O, I], f2 = fj, f3 = [I, 0，-2，0，I], f4 = f3T 提取初始的插值图像\的特征图像+ ,然后利用块抽取算子Ri将特征图像划分成像素大小为wXw重叠的图像块，得到低分辨亮度分量图像块y,.=RiY^3c)根据
6.根据权利要求1所述的利用图像块分类稀疏表示与自适应聚合的图像超分辨方法，其特征在于利用非局部均值的方法计算初始估计的高分辨亮度分量X全局的权值矩阵B的具体过程为:6a)将高分辨亮度分量X分成像素大小为wXw重叠的图像块Xi，Xi是以第i个像素Xi为中心的图像块，然后根据两个图像块Xi和的欧氏距离判断中心像素Xi和中心像素Xj的相似度，距离公式为
7.根据权利要求1所述的利用图像块分类稀疏表示与自适应聚合的图像超分辨方法，其特征在于交替更新高分辨图像亮度分量X、矩阵A和矩阵B的公式为:
全文摘要
本发明公开了一种利用图像块分类稀疏表示与自适应聚合的图像超分辨方法，首先对训练集的图像块对进行分类，通过学习得到分类的高分辨与低分辨的字典对；然后对低分辨图像块进行分类稀疏表示超分辨重构，得到高分辨图像块；最后对图像块进行自适应聚合得到输出的高分辨图像。本发明能够有效地对各类自然图像进行超分辨重构，显著地提高了边缘清晰度与纹理细节的恢复程度。
文档编号G06T5/50GK103150713SQ20131003312
公开日2013年6月12日 申请日期2013年1月29日 优先权日2013年1月29日
发明者黄伟, 肖亮, 韦志辉 申请人:南京理工大学