一种用于图像上采样的高效插值方法

1.本发明涉及一种用于彩色图像上采样的高效插值方法，属于图像处理的技术领域。


背景技术：

2.图像上采样，即将低分辨率(lr)图像转换为高分辨率(hr)图像，在图形处理领域有着重要作用。上采样后的hr图像可以提供更多细节和更好的视图，在数字高清电视、医学影像、终端设备等领域都有广泛应用。目前，传统的插值方法有最近邻插值、双线性插值、双三次插值、lanczos插值等。
3.传统的插值方法大多利用邻域像素的加权平均来求得待求像素点的值，这些方法其实都是基于图像在所有区域都具有区域平滑性的这一假设，但是这一假设对于图像当中的边缘和纹理这些地方来说是不成立的，未充分考虑图像的局部特征因素，所以插值方法会使得图像高频分量受损，引起图像模糊和边缘失真。目前，大多提出的以边缘为导向的图像插值方法以更高的复杂度为代价进而提高插值后图像的主观质量。与使用经典的插值方法相比，以边缘为导向生成的hr图像具有更清晰的边缘。但是，它们通常容易在纹理处引起伪像。此外，图像的中心点在图像缩放的过程中也会有一定的偏移，这也会导致插值后像素点的非均匀分布。


技术实现要素：

4.为了能够最大限度的保留原始图像的细节信息，提高插值后hr图像与原始图像间的相似性，解决hr图像边缘处的模糊问题并简化复杂度，本发明提供一种用于图像上采样的高效插值方法。
5.为实现上述发明目的，本发明方法采用的技术方案如下：
6.一种用于图像上采样的高效插值方法，包括如下步骤：
7.步骤1，将原始低分辨率图像lr用双三次插值方法放大k倍得到高分辨率图像hr；
8.步骤2，分别对放大前后的图像进行锐化操作得到对应的边缘图像lr
eg
和hr
eg
，再将高分辨率边缘图像hr
eg
下采样k倍并从低分辨率边缘图像lr
eg
中减去，得到双三次插值中丢失的边缘锐化信息l
eg
；
9.步骤3，将边缘锐化信息l
eg
按一定比例添加到原始低分辨率图像lr中，得到补全丢失边缘信息后的低分辨率图像lr1，然后利用优化的双三次插值方法放大图像lr1，得到最终的高分辨率图像；所述优化的双三次插值方法为：调整插值后整体偏右下的图像的几何中心点，使其均匀分布，并利用插值前后一个4*4区域像素的加权平均比例调整插值后的每一个像素点。
10.本方法整个流程中对图像的处理都是将图像分成r、g、b三个通道矩阵，再分别对三个通道处理，最终将处理后的三个通道合成一幅图像。
11.相比传统双三次插值方法，本发明具有以下有益效果：
12.(1)本发明提出一种用于图像上采样的高效插值方法，既保留了原始图像的细节信息，也增大了插值后图像与原始图像的相似性，与传统插值方法相比性能有很大提升。
13.(2)本发明的方法针对传统双三次插值利用原始图像某一像素点周围最近16个点的权重，将16个像素点加权叠加得到目标图像对应像素点的原理，对插值后的像素点做出微调，使得该点像素值更加贴近原始图像。
14.(3)本发明的方法利用锐化卷积核检测图像的边缘信息，解决了传统方法中的边缘模糊问题，hr的边缘图像中包含了一定的纹理细节，且相对于其他边缘检测的方法，大大降低了计算的复杂度。
15.(4)本发明的方法几乎适用于所有传统插值方法，只需根据对应方法的原理修改微调的系数即可，具有很强的通用性。
附图说明
16.图1是本发明图像插值方法流程图。
17.图2是本发明实施例中双三次插值方法像素点对应关系图。
18.图3是双三次插值权重函数图。
19.图4是几何中心映射图。
20.图5是本发明微调改进方法示意图。
具体实施方式
21.下面结合附图和具体实施例对本发明的技术方案作进一步详细的说明。
22.本实施例提供一种用于图像上采样的高效插值方法，图1是本方法的插值流程。
23.在本实施例中，取k为4，即对lr图像放大4倍。方法实现的具体过程如下。
24.首先，将原低分辨率图像lr用传统双三次插值方法放大4倍得到高分辨率图像hr。
25.原图像lr为m*n的大小，放大4倍后的图像hr大小为m*n，如图2所示，由于图像lr像素已知，图像hr的每一像素点hr(i,j)都有其对应的像素点lr(i,j)，再由图像lr中距离像素点lr(i,j)最近的16个像素点作为计算hr(i,j)的参数，利用式(1)bicubic权重函数求出这16个点的权重w，其中a通常取-0.5，x1为该点到代求像素点的距离，对应的函数图像如图3所示，它们加权叠加即可求出hr(i,j)。
[0026][0027]
由图2可知，lr(i,j)的位置坐标会出现小数，假设其坐标为lr(x+u,y+v)，其中x，y表示整数部分，u和v表示小数部分，周围最近的16个像素点位置如图2。为确保当插值点为边沿点时，能找到周围最近的16个点，将图像lr待插值图像矩阵前后各扩展两行两列，即共扩展四行四列，扩展的像素点为图像lr边沿处的像素点。
[0028]
由于像素是二维的，将行列分开计算，得到如式(2)和(3)的横纵坐标权重a、c，以及式(4)中16个像素点的对应坐标b，最终代求像素点的计算方法如式(5)。
[0029]
a＝[w(u+1)w(u)w(1-u)w(2-u)]
ꢀꢀꢀ
(2)
[0030]
c＝[w(v+1)w(v)w(1-v)w(2-v)]
t
ꢀꢀꢀ
(3)
[0031][0032]
hr(i，j)＝a*b*c
ꢀꢀꢀ
(5)
[0033]
利用传统的双三次方法求出图像hr后，分别对放大前后的图像按式(6)和(7)进行锐化操作得到对应的边缘图像lr
eg
和hr
eg
，其中rh代表锐化的卷积核，它的作用就是对图像做锐化操作，使得图像的边缘更加锐利，图像边缘包含了图像的大部分细节信息即图像的高频部分，变化较大，本方法中的卷积核作为高通滤波器，如式(8)所示。该卷积核主要突出图像的边缘特征，卷积中采用对图像周围补一圈0的操作，得到中心像素与周围像素的差值，计算结果越大，图像该处附近像素变化越大，频率越高。
[0034][0035][0036][0037]
接着将hr边缘图像下采样4倍使其与图像lr边缘图像大小相等，下采样的方法采用双三次插值方法或直接抽取像素均可，得到hr
eg1
。双三次插值过程中丢失的部分图像边缘信息由式(9)计算。
[0038]
l
eg
＝lr
eg-hr
eg1
ꢀꢀꢀ
(9)
[0039]
由式(10)，将丢失的边缘锐化信息补到图像lr中，α的取值理论上要尽可能的小，取值范围为0.01～0.1，经过测试在本发明中取0.04，此时的图像lr1已经包含了大量信息，边缘更加锐利，将其采用优化后的双三次方法插值放大4倍得到最后的高分辨率图像。
[0040]
lr1＝lr+α*l
eg
ꢀꢀꢀ
(10)
[0041]
本发明优化的双三次算法如下：
[0042]
在插值的过程中，由于通常选择左上角为原点(0,0)，如图4所示，假设将3*3的原图像插值成5*5的图像，δ为目标图像在原图像上的对应坐标点位置。原3*3图像的几何中心点为(1,1),目标5*5图像几何中心点为(2,2),其映射到原图像上对应的点为2*3/5即(1.2,1.2)而并非(1,1)，插值后的像素点明显集中在图像的右下方而非均匀分布整个图像。对此，将图像坐标从0.5开始计算，即可达到几何中心对齐的目的，由于计算机存储图像从坐标0开始，需要按式(11)在计算得到目标图像点坐标后再减去0.5，即(2+0.5)*3/5-0.5＝1图像几何中心对齐，像素分布更加均匀。
[0043]
src＝(dst+0.5)/k-0.5
ꢀꢀꢀ
(11)
[0044]
其中，src为待插值图像的坐标，dst为插值后图像坐标，k为放大倍数。
[0045]
此外，传统的双三次插值方法是利用邻域的16个像素的加权平均来求得待求像素点的值，根据此原理本发明将每个插值后的像素点按式(12)做了微调：
[0046]
hr1(i,j)＝(lr1(i1,j1)*k1/sum)*bic(i,j)
ꢀꢀꢀ
(12)
[0047]
如图5所示，hr1(i,j)是微调后的像素点，lr1(i1,j1)是插值前的像素点，对应插值后的一个4*4区域，bic(i,j)为微调前一个4*4区域的某一像素点，k1是微调的系数，由于双
三次插值中利用某一像素点周围最近的16个点求出目标图像像素点，因此这里k1取16，sum是bic(i,j)周围16个像素点像素之和。通过这样的调整，可以将插值后的像素点与原图像对应的点之间建立联系，提高相似性。
[0048]
本实施例通过分析经典插值算法的原理，提高了算法的整体精确度，使插值后的像素点更加贴近原始图像像素点。方法中对于图像边缘的锐化检测降低了常规检测方法的复杂度，于软件实现而言，其相较其他复杂的边缘检测方法，单张色彩图片的上采样实现所需时间可减少50％以上。于硬件实现而言，双三次插值的硬件实现相较lanczos插值等方法而言，权重函数和锐化卷积上较少的计算量使得硬件资源消耗大幅减少，且可以多路并行实现。于实现的功能而言，上采样后图像纹理处的伪像几乎消失，边缘处的模糊问题也得到改善。
[0049]
以4k(3840*2160)图像为例，将下采样后分辨率为960*540的图像通过本方法放大至4k(3840*2160)，通过峰值信噪比(psnr)、结构相似性(ssim)以及学习感知图像块相似度(lpips)三个指标全方面评判该方法的性能。本发明提出的技术应用于4倍的上采样经多张例图测试后，平均psnr值可以达到34.18，平均ssim值达到0.914，平均lpips值达到0.188，满足业界需求。如表1所示，以6张彩色图像为例进行测试，与经典双线性方法相比，psnr提高4.29，ssim提高0.063；与传统的双三次方法相比，psnr提高4.12，ssim提高0.054；与lanczos插值方法相比，psnr提高1.86，ssim提高0.021；此外，lpips指标更符合人类的感知情况，其值越低表示两张图像越相似。
[0050]
对于其他经典插值算法，如最近邻插值、双线性插值、lanczos插值等，该发明方法中的边缘检测以及插值算法上的改进优化依然适用，性能在众原始插值方法的基础上都有所提升。
[0051]
表1不同上采样方法的性能对比
[0052]
[0053]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。