专利名称：一种图像信息处理方法及装置的制作方法
技术领域：
本发明涉及图像处理技术，特别地涉及一种图像信息处理方法及装置。
背景技术：
随着移动终端的功能日益强大，人们对手机相机的分辨率等性能的需求越来越高。因此寻求有效的方法提高相机的分辨率具有很大的应用价值。从硬件上提升相机设备的制造工艺水平是最直接的方法，但是受到成像系统制造工艺水平提升的技术限制和难题，难以满足终端应用的需求，而且必然会带来资金成本的较大增长。因此，在不增加成本的基础上提升图像的分辨率，是一个待解决的技术问题。
发明内容
本发明解决的技术问题在于提供了一种图像信息处理方法及装置，以解决提升终端拍摄图片的分辨率问题。本发明提供了一种图像信息处理方法，包括，对待配准图像进行配准处理，所述待配准图像指用户拍出的一组位移或旋转角度相同的降质图片；对所述配准后的图片进行插值运算形成一高分辨率图像；将所述高分辨率图像进行融合并恢复为高质量图像。上述方法中，其中，所述进行配准处理具体为，对待配准图像及参考图像进行下采样，构成一个多尺度的高斯金字塔图像，所述参考图像指该组图片中位移最小或旋转角度最小的质量较高的图片；从粗的第一层高斯金字塔图片开始，根据互信息配准模型计算出估计参数集合；根据已经求的估计参数对第二层高斯图像进行相应的平移和旋转；重复继续求解新的估计参数集合，并对上层的高斯图像进行相应的平移和旋转， 直至得到最优的估计参数。上述方法中，其中，所述金字塔各层图像具有不同尺寸和分辨率，其中，第一层尺寸最大、分辨率最高。上述方法中，其中，所述进行插值运算具体为，采用双线性插值法对所述配准后的图像进行插值运算，在双线性插值中，新创造的象素值是由原图像位置在它附近的4个邻近象素的值通过加权平均计算得出的。上述方法中，其中，所述进行融合并恢复具体为，以图像像素为出发点，根据像素点的变换首先定义空间域的观测模型，并且在求解运动模型中加入目标图像的相关先验约束信息，并输出高质量图像。本发明还提供了一种图像信息处理装置，包括，图像配准模块，用于对待配准图像进行配准处理，所述待配准图像指用户拍出的一组位移或旋转角度相同的降质图片；
图像插值模块，用于对所述配准后的图片进行插值运算形成一高分辨率图像；图像恢复模块，用于将所述高分辨率图像进行融合并恢复为高质量图像。上述装置中，其中，所述图像配准模块具体用于，用于对待配准图像及参考图像进行下采样，构成一个多尺度的高斯金字塔图像， 所述参考图像指该组图片中位移最小或旋转角度最小的质量较高的图片；用于从粗的第一层高斯金字塔图片开始，根据互信息配准模型计算出估计参数集合，根据所述估计参数对第二层高斯图像进行相应的平移和旋转；以及，用于重复继续求解新的估计参数集合，并对上层的高斯图像进行相应的平移和旋转，直至得到最优的估计参数。上述装置中，其中，所述金字塔各层图像具有不同尺寸和分辨率，其中，第一层尺寸最大、分辨率最高。上述装置中，其中，所述图像插值模块具体用于，用于采用双线性插值法对所述配准后的图像进行插值运算，在双线性插值中，新创造的象素值是由原图像位置在它附近的4个邻近象素的值通过加权平均计算得出的。上述装置中，其中，所述图像恢复模块具体用于以图像像素为出发点，根据像素点的变换首先定义空间域的观测模型，并且在求解运动模型中加入目标图像的相关先验约束信息，并输出高质量图像。采用上述技术方案，基于软件方法来提升相机的分辨率，充分利用多幅图片之间的互补信息，使用户能够从提高清晰度的特定图片中获得更多有用信息，为更高级别图像处理功能，例如人脸识别等提供较高质量的图片，从而提高相机图片的信息价值的利用率， 让用户更满意。
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中图1是本发明第一实施例流程图；图2是本发明第一实施例金字塔结构图；图3是本发明第一实施例的设计配准架构图；图4是图像提升分辨率的实例图；图5是本发明第二实施例结构图。
具体实施例方式为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。如图1所示，是本发明第一实施例流程图，提供了一种图像信息处理方法，具体包括，步骤S101，对拍摄某一场景的多幅图片进行配准处理；具体地，对待配准图像及参考图像按照一定的下采样比例进行下采样，构成一个由粗到细的多尺度的高斯金字塔图片，如图2所示，是本发明第一实施例金字塔结构图；配准级别越低，将获得分辨率更低的高斯金字塔图像；假设高斯金字塔共为η层，则对应于第 m级配准级别的图像，其分辨率下降的比例为2(n_m)；所述待配准图像指用户拍出的一组位移或旋转角度相同的降质图片，参考图像指该组图片中位移最小或旋转角度最小的质量较高的图片；首先从粗的第一层根据信息配准模型计算出估计参数集合；根据已经求的估计参数对第二层高斯图像进行相应的平移和旋转；重复继续求解新的估计参数集合，并对上层的高斯图像进行相应的平移和旋转， 直至得到最优的估计参数。在该步骤中，输入是η副图片，输出为η幅经过配准后的，及去除旋转、平移降质因素的图像。在该步骤中，使用的是多分辨率方法进行配准，多分辨率方法又称为多尺度法或多格法，其配准的基本思想是首先对原始输入图像进行下采样获得低分辨率图像，对低分辨率图像配准后获得最优的运动变换参数集合(即估计参数集合)；并将此变换参数集合作为初始值，对更高分辨率的图像进行配准。由此可知，在后面的配准中多分辨率配准可以有效的减少变换参数的搜索范围，减少了配准迭代次数，从而提高了配准速度。在上述步骤中，对图像可借助多种分辨率的表达获得图像的多尺度表达。例如，对一幅NXN的图像，在两个方向上进行1 2的下采样，可得到一个较粗略的缩略图，重复进行这个过程，即可得一系列不同分辨率的图像，可以抽象为一个金字塔结构。金字塔各层图像具有不同的尺寸和分辨率，第1层尺寸最大，分辨率最高。接近底层的图像(对应于细的尺度)可给出图像中很多小尺度的细节，而接近顶层的图像(对应粗的尺度)可能仅表达了图像中(大尺度)主要目标的特点。如图3所示，是本发明第一实施例的设计配准架构图，其主要组成成员为参考图像，待配准图像，变换函数，成员路径选择，校对机和优化器。该架构的作用是描述如何计算出所需的估计参数集合。其输入是第η层高斯金字塔图片，其输出是经过第η次配准后的待配准图片。其中变换函数的作用是在获得第η层高斯金字塔图片后，将用变换函数来描述第η层的参考图像和待配准图像之间的变换关系，并基于此变换函数对待配准图片进行相应的旋转和平移，变换函数具体表示从参考图像上的点到待配准图像上的点的空间映射关系，如平移、旋转、缩放等；在获得第η层高斯金字塔图片后，用成员路径来衡量待配准函数被配准的程度，可将其看作是一个度量值；成员路径选择提供了一种参考图像被待配准图像配准的程度，例如可用相关尺度信息来衡量匹配相似性程度，主要是通过比较图像亮度的灰度值来估计变换后的待配准图像与参考图像的配准质量。校对机的输入是一组经过优化的变化参数集合(平移大小，旋转角度等)，作用对象是待配准图像，其输出是经过第η 次配准后的待配准图片；校对机(即插值)用来评估配准图像在非网格位置的程度。配准过程是一个运算量很大的迭代过程，因此需要相应的优化措施使得相似性度量更快、更好地达到最优解，因此，需要优化器对成员路径选择过程进行优化，从而输出较优的估计参数
皇A
朱口 ο步骤S102，对所述配准后的图片进行插值运算形成一副高分辨率图像；具体地，采用双线性插值法对所述配准后的图像进行插值运算，在双线性插值中，新创造的象素值是由原图像位置在它附近的4个邻近象素的值通过加权平均计算得出的。 这种平均算法具有放锯齿效果，创造出来的图像拥有平滑的边缘，锯齿难以察觉；对于一个目的像素& = [xi yJT，可由原图像中坐标为(Xi, Yi) > (xi; yi+1)、(xi+1， yi)> (xi+1, yi+1)对应的四个像素点决定，则计算公式为= (式)
iWi为各邻近点的权值，与到Xi的距离成反比f(Xi+dx, yi+dy) = (l-dx) (l-dy)f (xi; yi) + (l-dx)dyf (xi; yi+1)+dx(l-dy)f (xi+1, Yi) +dxdyf (xi+1, yi+1)所述插值(Interpolation/resampling)是一种图像处理方法，它可以为数码图像增加或减少象素的数目。某些数码运用插值的方法创造出象素比传感器实际能产生象素多的图像，或创造数码变焦产生的图像。实际上，几乎所有的图像处理软件支持一种或以上插值方法。图像放大后锯齿现象的强弱直接反映了图像处理器插值运算的成熟程度。步骤S103，将所述高分辨率图像进行融合并恢复为高质量图像；具体地，以图像像素为出发点，根据像素点的变换首先定义空间域的观测模型，并且在求解运动模型中加入目标图像的相关先验约束信息，并输出高质量图像。该过程基于数字图像处理技术以及概率统计学，一般来说，在图像的获取过程中往往会受到一些退化因素的影响，例如图片拍摄过程中可能遇到的光学模糊、运动模糊、随机噪声、配准误差、下采样因素等退化因素，所以获取的图像不可能都与目标场景的原始真实信息符合，误差是难以避免的，空间域处理的思路就是通过有效的计算方法，对误差进行改正，使误差的趋势接近0，从而可以获得一幅分辨率提高的清晰的高质量图像。如图4所示，是图像提升分辨率的实例图，在该图中，登记描述为配准插值，可对应为前述的配准和插值算法，融合对应于签署的去除模糊噪声。对同一场景的且存在亚像素相对位移的4幅低分辨率图像，如果低分辨率图像之间存在整数单位的相对位移，那么当不考虑图像模糊、随机噪声等退化因素影响时，每幅低分辨率图像包含相同的信息，没有互补信息可以用来重建高分辨率图像。反之，如果低分辨率图像之间存在亚像素相对位移， 由于图像感光器的低分辨率水平造成的频谱混叠，每幅低分辨率图像的每个像素点所含的信息都具有互补性，每幅低分辨率图像都不能从其它低分辨率图像获得，从而能够利用所有低分辨率图像包含的非冗余信息进行重建。在图3中，两幅低分辨率图像之间的水平和垂直方向的亚像素位移为(0.5，0. 5)。如图5所示，是本发明第二实施例结构图，提供了一种图像信息处理装置，包括，图像配准模块501，用于对待配准图像进行配准处理，所述待配准图像指用户拍出的一组位移或旋转角度相同的降质图片；具体地，用于对待配准图像及参考图像进行下采样，构成一个多尺度的高斯金字塔图像，所述参考图像指该组图片中位移最小或旋转角度最小的质量较高的图片；所述金字塔各层图像具有不同尺寸和分辨率，其中，第一层尺寸最大、分辨率最高；用于从粗的第一层高斯金字塔图片开始，根据互信息配准模型计算出估计参数集合，根据所述估计参数对第二层高斯图像进行相应的平移和旋转；以及，用于重复继续求解新的估计参数集合，并对上层的高斯图像进行相应的平移和旋转，直至得到最优的估计参数。
7
图像插值模块502，用于对所述配准后的图片进行插值运算形成一高分辨率图像；具体地，用于采用双线性插值法对所述配准后的图像进行插值运算，在双线性插值中，新创造的象素值是由原图像位置在它附近的4个邻近象素的值通过加权平均计算得出的。图像恢复模块503，用于将所述高分辨率图像进行融合并恢复为高质量图像。所述图像恢复模块具体用于以图像像素为出发点，根据像素点的变换首先定义空间域的观测模型，并且在求解运动模型中加入目标图像的相关先验约束信息，并输出高质量图像。上述说明示出并描述了本发明的一个优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、 修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
权利要求
1.一种图像信息处理方法，其特征在于，包括，对待配准图像进行配准处理，所述待配准图像指用户拍出的一组位移或旋转角度相同的降质图片；对所述配准后的图片进行插值运算形成一高分辨率图像； 将所述高分辨率图像进行融合并恢复为高质量图像。
2.根据权利要求1所述的方法，其特征在于，所述进行配准处理具体为，对待配准图像及参考图像进行下采样，构成一个多尺度的高斯金字塔图像，所述参考图像指该组图片中位移最小或旋转角度最小的质量较高的图片；从粗的第一层高斯金字塔图片开始，根据互信息配准模型计算出估计参数集合； 根据已经求的估计参数对第二层高斯图像进行相应的平移和旋转； 重复继续求解新的估计参数集合，并对上层的高斯图像进行相应的平移和旋转，直至得到最优的估计参数。
3.根据权利要求2所述的方法，其特征在于，所述金字塔各层图像具有不同尺寸和分辨率，其中，第一层尺寸最大、分辨率最高。
4.根据权利要求2所述的方法，其特征在于，所述进行插值运算具体为，采用双线性插值法对所述配准后的图像进行插值运算，在双线性插值中，新创造的象素值是由原图像位置在它附近的4个邻近象素的值通过加权平均计算得出的。
5.根据权利要求4所述的方法，其特征在于，所述进行融合并恢复具体为，以图像像素为出发点，根据像素点的变换首先定义空间域的观测模型，并且在求解运动模型中加入目标图像的相关先验约束信息，并输出高质量图像。
6.一种图像信息处理装置，其特征在于，包括，图像配准模块，用于对待配准图像进行配准处理，所述待配准图像指用户拍出的一组位移或旋转角度相同的降质图片；图像插值模块，用于对所述配准后的图片进行插值运算形成一高分辨率图像； 图像恢复模块，用于将所述高分辨率图像进行融合并恢复为高质量图像。
7.根据权利要求6所述的装置，其特征在于，所述图像配准模块具体用于，用于对待配准图像及参考图像进行下采样，构成一个多尺度的高斯金字塔图像，所述参考图像指该组图片中位移最小或旋转角度最小的质量较高的图片；用于从粗的第一层高斯金字塔图片开始，根据互信息配准模型计算出估计参数集合， 根据所述估计参数对第二层高斯图像进行相应的平移和旋转；以及，用于重复继续求解新的估计参数集合，并对上层的高斯图像进行相应的平移和旋转， 直至得到最优的估计参数。
8.根据权利要求7所述的方法，其特征在于，所述金字塔各层图像具有不同尺寸和分辨率，其中，第一层尺寸最大、分辨率最高。
9.根据权利要求7所述的方法，其特征在于，所述图像插值模块具体用于，用于采用双线性插值法对所述配准后的图像进行插值运算，在双线性插值中，新创造的象素值是由原图像位置在它附近的4个邻近象素的值通过加权平均计算得出的。
10.根据权利要求9所述的方法，其特征在于，所述图像恢复模块具体用于以图像像素为出发点，根据像素点的变换首先定义空间域的观测模型，并且在求解运动模型中加入目标图像的相关先验约束信息，并输出高质量图像。
全文摘要
本发明涉及图像处理技术领域，提供了一种图像信息处理方法，包括，对待配准图像进行配准处理，所述待配准图像指用户拍出的一组位移或旋转角度相同的降质图片；对所述配准后的图片进行插值运算形成一高分辨率图像；将所述高分辨率图像进行融合并恢复为高质量图像。本发明还提供了一种图像信息处理方法。采用上述技术方案，基于软件方法来提升相机的分辨率，充分利用多幅图片之间的互补信息，使用户能够从提高清晰度的特定图片中获得更多有用信息，为更高级别图像处理功能，例如人脸识别等提供较高质量的图片，从而提高相机图片的信息价值的利用率，让用户更满意。
文档编号G06T7/00GK102496158SQ201110378728
公开日2012年6月13日 申请日期2011年11月24日 优先权日2011年11月24日
发明者吴小亮 申请人:中兴通讯股份有限公司