一种基于边缘细节保护的红外图像超分辨率重建方法与流程

本发明涉及图像处理技术领域，具体是一种红外图像重建方法。

背景技术：

近年来，随着社会的发展，人们对高清晰度和高质量图像的需求更急迫，数字图像处理技术在很多领域得到大量应用。红外成像技术因其抗干扰能力强、受环境影响小等诸多优点，在众多领域得到广泛应用。在军事领域，高清晰度、高质量图像非常有助于目标的侦查和鉴别；在医疗领域，高分辨率、高质量的图像能够在医疗诊断和治疗方面给医生提供有效信息；在安全防护领域，视频监控、生物识别等方面，高分辨率的图像能够提供有效的帮助。但由于受当前技术工艺和材料的制约，红外传感器阵列单元大小很难进一步降低，传感器中的像元数量无法进一步提升。而当前通过红外探测器采集到的红外图像质量较差，分辨率较低，无法满足人们的需求。因此如何提升红外图像的质量和空间分辨率是红外领域亟待解决的难题。

harris等人首先在20世纪60年代提出了超分辨率重建的思想，主要是为了解决图像采集系统固有的硬件技术限制，获取更高分辨率的图像。图像的超分辨率重建方法主要分为两种：频域法和空域法，上世纪80年代，多帧图像重建技术得到许多应用和发展，tsai等人第一次提出以傅里叶变换为基础的多帧图像重建方法，然而由于频域法局限在全局运动和线性时不变模型的显著缺点，该方法无法得到广泛应用，空域法中的主流算法有非均匀插值法、迭代反投影(ibp)方法、最大后验概率(map)方法、凸集投影(pocs)方法、混合map/pocs方法。凸集投影算法是解决图像重建问题的一种主流方法，该方法以集合理论为基础，将先验知识加入重建过程中，获取更好的重建结果

pocs方法原理易懂、过程简单、便于加入图像先验信息，并且可以灵活应用，能将各种观测运动模型综合考虑其中，pocs方法的性能基本不受空间模型复杂度的影响，同时也可以更好地保护图像边缘细节。然而pocs方法也有其缺点，在传统pocs方法中，采用双线性插值获取高分辨率图像的初始估计，往往导致重建图像模糊，而对图像采用单一高斯函数作为点扩散函数，容易使重建图像产生边缘振荡效应，影响图像重建的最终结果。

技术实现要素：

本发明旨在解决以上现有技术的问题。提出了一种增强重建图像清晰度，减少图像边缘振荡现象的基于边缘细节保护的红外图像超分辨率重建方法。本发明的技术方案如下：

一种基于边缘细节保护的红外图像超分辨率重建方法，其包括以下步骤：

步骤1)、获取低分辨率观测序列图像，并从低分辨率观测序列图像中选择任意一幅图像，然后采用迭代曲率法对图像进行插值来获取高分辨率图像初始估计，即参考帧图像；

步骤2)、以参考帧图像参考帧为根据，将低分辨率序列图像进行运动估计，获取低分辨率图像序列的运动向量场；

步骤3)、将低分辨率观测图像中的所有像素依据步骤2)得到的运动向量参数找到其在高分辨率初始估计图像中相对应的像素位置，即建立图像的观测模型；

步骤4)、利用sobel边缘检测法判断出图像边缘，对图像的边缘区和平滑区选择不同的点扩散函数(psf)，经过图像退化处理得到模拟低分辨率图像的像素估计值，计算像素估计值与观测图像中实际像素灰度值之间的残差；

步骤5：依据步骤4)获得的残差进行迭代修正初始估计获取最终高分辨率图像。

进一步的，所述的步骤1)中的迭代曲率法对图像进行插值具体包括：首先利用图像中的二阶方向导数计算值来判别待插值像素点的方向，进行快速插值，式中，i表示待插值像素点，表示在像素点(2i+1,2j+1)处对角方向的八邻域像素的二阶导数，然后通过该像素点处定义的能量函数不断迭代来修正该插值点像素灰度值，表达式为：

q＝aqc(2i+1,2j+1)+bqe(2i+1,2j+1)+cqi(2i+1,2j+1)，式中，qc代表曲率连续性，qe代表曲率强度，qi代表照度平滑，其定义如下：

式中，i11、i22表示二阶方向导数的局部近似值，wi表示权重，当一阶导数在相关方向上不大于阈值t时，取值为1，否则，取值为0；qe＝-(|i11(2i+1,2j+1)|+|i22(2i+1,2j+1)|)，qi＝f(i)|2i+1,2j+1i(2i+1,2j+1),其中，

i1、i2是像素点一阶导数近似值，i12、i11、i22是像素点二阶导数近似值。

进一步的，所述步骤2)获取低分辨率图像的的运动向量场，包括水平方向向量和垂直方向向量。

进一步的，所述步骤3)低分辨率图像中的像素点与高分辨率图像初始估计中像素的对应位置，即建立图像的观测模型：

式中，gl(m1,m2)代表第l帧观测图像在(m1,m2)处的灰度值；f(n1,n2)代表原始图像在(n1,n2)处的灰度值；h(m1,m2；n1,n2)代表点扩散函数psf；v(m1,m2)代表系统加性噪声。

进一步的，所述步骤4)具体包括：点扩散函数h(m1,m2；n1,n2)可由公式表示为：式中，g表示sobel检测算法在图像内一个模板大小区域的中间点梯度值，参量t主要是控制高斯函数和gaman-mcclure函数在psf的使用过程中占用的比例大小，取值范围0.9-1.5之间，然后根据观测模型模拟获得低分辨率图像，计算其与实际低分辨率图像之间的残差，rl(i0,j0)的残差表达式为：式中，gl(i0,j0)表示实际低分辨率图像灰度值，表示模拟低分辨率图像灰度值。

进一步的，步骤5中具体的迭代过程为：

式中，fref(m1,m2)表示待重建图像灰度值，r表示残差，δ0＝cσ(c≥0)，σ表示高斯噪声的标准差，c是由合适的统计置信区间确定的。

本发明的优点及有益效果如下：

本发明提出一种基于边缘细节保护的红外图像超分辨率重建方法，针对pocs方法存在的缺点进行优化改进，其一，引入迭代曲率插值法获取高分辨率图像的初始估计值，改善传统方法中由双线性插值法带来的图像模糊问题，其二，以sobel边缘检测法判断图像的边缘区和平滑区，在迭代修正初始估计时，对图像的边缘使用不同的点扩散函数，减少重建图像出现的边缘振荡问题。本方法对图像的边缘细节部分和平滑部分都能进行很好的重建，改善了重建图像的视觉效果，增强了图像清晰度，有效抑制了图像的振铃效应。

附图说明

图1：本发明提供优选实施例方法重建流程示意图；

图2是本发明方法重建效果图，图2(a)为传统方法重建图像，图2(b)为本发明方法重建图像；

图3是本发明方法重建结果的局部放大图，图3(a)和图3(b)分别表示为传统方法与本发明方法重建图像同一局部区域放大图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

为便于公众对本发明技术方案的理解，首先介绍超分辨率图像重建的相关理论。

多帧图像的重建存在的一个主要难题就是如何模拟原始图像与低分辨率图像间的退化过程，从而确立准确的观测模型，该模型反映了从目标实物场景的原始图像到观测图像之间的整个成像过程，它是超分辨率图像重建方法的基础。在实际应用中，对同一目标的重复采集拍摄会获得k幅低分辨率序列图像，其中任一幅图像的退化过程可用矩阵公式表示为：

y^(k)＝db^(k)m^(k)x+n^(k)

式中，k＝0,1,...,k，m^(k)表示第k幅低分辨率图像在采集过程中因运动造成的变形矩阵，b^(k)表示由光学系统造成的模糊矩阵，d表示下采样矩阵，n^(k)表示噪声，通常认为是高斯白噪声。

由以上对图像采集获取过程的描述可知，高分辨率原始图像的退化过程即为低分辨率观测图像的获取过程，如果将此过程看作一个正定过程，那么重建就可理解为它的逆过程。在图像重建过程中，pocs算法采用反复修正初始估计图像的方法，它的重建过程是首先估计出一幅高分辨图像作为初始估计值，将它看成成像空间的重建起始点，把该点用f0表示，其次将该初始估计图像的像素循环投影于凸限制集和ci上，每次投影后的图像为fk(1≤k≤n)，使初始估计图像满足所有的限制集合，则最终的图像即为所求的重建结果图像。设有闭合凸集ci(i＝1,2,…,n)和相应的算子pi(i＝1,2,…,n)，则获取一幅高分辨率图像的重建公式表达如下：

fk+1＝pnpn-1…p1fk

其中，n为凸集投影的个数，通过n次有限的迭代，只要这些凸集的交集非空，经过不断地迭代，最终所有的解都会收敛到集合中。更一般的形式就是采用松弛算子，可表示为:

fk+1＝tntn-1…t1fk

式中，ti＝1+λi(pi-1)，0＜λi＜2，ti为投影算子，λi为松弛参数，用于提高算法的运行效率。

在使用pocs方法进行图像重建的环节中，选取相应的凸约束集合，这些凸约束集合对应于低分辨率序列图像中的像素，对应的数据一致性凸集合可表示如下：

ci,j＝{f(m1,m2):|r(i,j)|≤δ0}

式中，r(i,j)表示f(m1,m2)通过图像退化处理后的模拟低分辨率图像与实际低分辨率图像之间的残差。r(i,j)可表示为：

式中，g(i,j)表示实际低分辨率图像灰度值，表示模拟低分辨率图像灰度值。若残差r大于阈值σ0，表示当前估计值fref(m1,m2)偏小，则向增大fref(m1,m2)的方向修正，否则，向减小fref(m1,m2)的方向修正。具体的迭代过程表示为：

具体而言，本发明方法如附图1所示，按照以下步骤进行超分辨率图像重建：

步骤1：从低分辨率观测序列图像中选择一幅图像，然后采用迭代曲率方法对其插值来获取高分辨率图像初始估计，即参考帧图像。

步骤2：以参考帧图像为根据，将其他低分辨率图像进行运动估计，获取低分辨率序列图像的运动向量场。

步骤3：将低分辨率观测图像中的所有像素依据步骤2得到的运动向量参数找到其在初始估计图像中相对应的像素位置。

步骤4：利用sobel边缘检测法判断出图像边缘，选择合适的psf，经过图像退化处理得到模拟低分辨率图像的像素估计值，计算其与观测图像中实际像素灰度值之间的残差。

步骤5：依据残差迭代修正初始值获取最终高分辨率图像。

本实施例在pocs重建过程中，采用迭代曲率插值法获取高分辨率图像的初始估计，改善了由双线性插值法带来的图像模糊情况，利用sobel边缘检测算法判断图像的边缘，采用gaman-mcclure函数和高斯函数作为点扩散函数处理图像的边缘区和平滑区，一定程度上抑制了图像的边缘振荡现象。

pocs算法的重建过程为：选取的一幅320×240尺寸的原始红外图像，首先对原始图像进行平移，然后利用大小为3×3的高斯窗口加入滤波处理，经过采样因子为2的下采样，加入方差为0.01的高斯噪声后，得到4幅大小为160×120的低分辨率图像序列。图2中，(a)表示传统pocs方法重建图像，(b)表示本发明方法重建图像；图3中，(a)表示传统pocs方法重建图像局部放大结果，(b)表示本发明方法重建图像局部放大结果；从图像观察结果来看，本发明方法获得重建图像有效的抑制了边缘振荡现象，而且对图像的边缘细节有较好的保护。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。