一种自适用图像超分辨率重构方法及装置与流程

1.本发明涉及图像重构的技术领域，尤其涉及一种自适用图像超分辨率重构方法及装置。


背景技术：

2.在图像拍摄和传输过程中，许多主观因素和客观因素会为图像引入大量噪声，比如图像采集设备配置相对落后、拍摄环境恶劣等因素，导致图像的细节信息和边缘信息受到污染，如何对采集图像进行降噪处理，成为当前研究的热门话题。
3.传统图像降噪算法，如基于dwt的降噪算法实现了较好的总体降噪性能，但存在缺乏平移不变性和缺乏方向选择性不足的情况，同时也弱化了图像的边缘信息。
4.鉴于此，如何实现更高效的图像超分辨率重构，成为本领域技术人员亟待解决的问题。


技术实现要素：

5.本发明提供一种自适用图像超分辨率重构方法，通过利用双树小波算法对输入图像进行降噪，对降噪后的图像进行灰度提取，得到图像的灰度矩阵，并利用奇异值分解得到图像的分数阶表示；利用多尺度通道网络对不同阶数的分数阶图像进行特征提取，得到图像在不同阶数下的细节特征图像，并将得到的不同阶数的细节特征图像叠加到输入图像得到超分辨率图像。
6.为实现上述目的，本发明提供的一种自适用图像超分辨率重构方法，包括：
7.对输入图像进行规格化处理，并对规格化处理后的图像进行两次采样，得到两个采样图像；
8.利用双树小波算法对采样图像进行降噪，得到降噪后的输入图像；
9.对降噪后的图像进行灰度提取，得到图像的灰度矩阵，并利用奇异值分解得到图像的分数阶表示；
10.利用多尺度通道网络对不同阶数的分数阶图像进行特征提取，得到图像在不同阶数下的细节特征图像；
11.将不同阶数下的细节特征图像叠加到输入图像得到超分辨率图像。
12.可选地，所述对规格化处理后的图像进行两次采样，包括：
13.对输入图像进行规格化处理，使所有输入图像为统一的图像大小，所述规格化处理后的图像大小为m*n像素，在本发明一个具体实施例中，图像规格化的步骤包括对图像进行伸缩、旋转等处理，m的值为512，n的值为256；
14.对规格化处理后的图像进行两次采样，得到两个采样图像，所述图像采样的公式为：
[0015][0016][0017][0018][0019]
其中：
[0020]
f0为规格化处理后的图像，f1为第一次采样后的图像，f2为第二次采样后的图像；
[0021]
dft(
·
)表示对图像进行傅里叶变换，idft(
·
)表示进行傅里叶逆变换；
[0022]
为尺度为j的高通滤波器，为尺度为i的低通滤波器，d表示当前进行滤波的采样像素距待滤波傅里叶谱中频率矩形中心的距离；
[0023]
对规格化处理后的图像进行傅里叶变换处理，并分别与高通滤波器以及低通滤波器进行乘积计算，对滤波后的结果进行傅里叶逆变换，得到第一次采样后的图像，对第一次采样后的图像重复上述步骤，得到第二次采样后的图像。
[0024]
在本发明一个具体实施例中，本发明通过设置不同的尺度，使图像傅里叶谱中高于尺度的采样像素以及幅值通过高通滤波器，使图像傅里叶谱中低于尺度的采样像素以及幅值通过低通滤波器，利用多尺度滤波器组将原始图像采样为大小相同但是尺度不同的图像，其中第一次采样的图像f1为较小尺度所对应的低频采样图像，第二次采样的图像f2为较大尺度所对应的高频采样图像。
[0025]
可选地，所述利用双树小波算法对采样图像进行降噪，包括：
[0026]
1)将第一次采样后的图像f1沿着图像水平方向按行提取像素值，按照像素值的大小随x轴的变化进行表示，得到图像f1的图像信号f1(t)；将第二次采样后的图像f2沿着图像水平方向按行提取像素值，按照像素值的大小随x轴的变化进行表示，得到图像f1的图像信号f2(t)；其中t为按行提取像素值的像素在x轴的位置，即表示图像信号中的某个信号，信号幅值即为像素值；
[0027]
2)将图像信号f1(t)进行双树小波算法中树a的小波变换处理，利用低通滤波器h0(t)对图像信号f1(t)进行分解输出一个低频子带和一个高频子带，经过高通滤波器h1(t)和h2(t)分解输出两个高频子带，将低频子带输入到低通滤波器h0(t)分解输出一个低频
‑
低频子带和一个低频
‑
高频子带，并将高频子带输入高通滤波器h1(t)和h2(t)输出4个高频
‑
高频子带，所述图像低频子带为图像的主体部分，图像高频子带为图像细节信息部分；所述滤波器的计算公式为：
[0028][0029][0030]
其中：
[0031]
j表示滤波器的尺度；
[0032]
g(t)表示图像信号t的位置距图像信号中频率矩形中心的距离；
[0033]
所述图像信号分解的公式为：
[0034][0035]
其中：
[0036]
表示在尺度为j的滤波器中的尺度系数，表示分解的低频子带，i＝0；
[0037]
表示在尺度为j的滤波器中的小波系数，表示分解的高频子带，i＝1,2；
[0038]
为尺度函数，i＝0,1,2，
[0039]
为小波函数，i＝0,1,2，滤波器和小波函数的关系为：
[0040][0041][0042][0043]
小波函数与尺度函数之间的关系为：
[0044][0045]
3)将图像信号f2(t)进行双树小波算法中树b的小波变换处理，利用低通滤波器g0(t)对图像信号f2(t)进行分解输出一个低频子带和一个高频子带，经过高通滤波器g1(t)和g2(t)分解输出两个高频子带，将低频子带输入到低通滤波器g0(t)分解输出一个低频
‑
低频子带和一个低频
‑
高频子带，并将高频子带输入高通滤波器g1(t)和g2(t)输出4个高频
‑
高频子带，所述图像低频子带为图像的主体部分，图像高频子带为图像细节信息部分；
[0046]
所述图像信号分解的公式为：
[0047][0048]
其中：
[0049]
表示在尺度为j的滤波器中的尺度系数，表示分解的低频子带，i＝0；
[0050]
表示在尺度为j的滤波器中的小波系数，表示分解的高频子带，i＝1,2；
[0051]
为尺度函数，i＝0,1,2，
[0052]
为小波函数，i＝0,1,2，滤波器和小波函数的关系为：
[0053][0054][0055][0056]
小波函数与尺度函数之间的关系为：
[0057][0058]
在本发明一个具体实施例中，小波函数为小波函数的1/2偏移，且两组小波函数形成近似的希尔伯特变换对：
[0059][0060][0061][0062]
4)将树a得到的图像子带作为图像小波变换的低频信息实部，即将树a得到的低频
‑
低频子带与低频
‑
高频子带进行卷积，将卷积结果作为降噪图像的低频信息实部；
[0063]
5)将树b得到的图像子带作为图像小波变换的高频信息虚部，即将树b得到的高频
‑
高频子带进行卷积，将卷积结果作为降噪图像的高频信息虚部；
[0064]
6)将卷积得到的低频信息实部和高频信息虚部相加，形成重构信号序列，并与图像信号f1(t)的长度进行比较，去除信号序列的延拓部分，并将形成的信号序列按照1)过程的逆运算，形成降噪后的输入图像。
[0065]
可选地，所述对降噪后的图像进行灰度提取，得到图像的灰度矩阵，包括：
[0066]
获取降噪后图像中每个像素点的rgb颜色像素值；
[0067]
将每个像素点的rgb颜色像素值转换为灰度值：
[0068]
gray(i,j)＝0.299
×
r(i,j)+0.587
×
g(i,j)+0.114
×
b(i,j)
[0069]
其中：
[0070]
gray(i,j)为像素点(i,j)的灰度值；
[0071]
r(i,j)为像素点(i,j)的红色分量值，g(i,j)为像素点(i,j)的绿色分量，b(i,j)为像素点(i,j)的蓝色分量；
[0072]
构造m
×
n的灰度矩阵q，按像素点的位置将每个像素点的灰度值填写到灰度矩阵中。
[0073]
可选地，所述利用奇异值分解得到图像的分数阶表示，包括：
[0074]
所述灰度矩阵q存在如下奇异值分解结果：
[0075]
q＝pλr
t
[0076]
其中：
[0077]
p为一个m
×
m大小的正交矩阵，其每一列表示q的左奇异向量；
[0078]
λ为一个对角矩阵，λ＝diag(δ1,δ2,
…
,δ
k
,0,
…
,0)，对角线中元素δ
i
表示q的奇异值，i∈(0,k]，k表示矩阵q的秩；
[0079]
r为一个n
×
n大小的正交矩阵，其每一列表示q的右奇异向量；
[0080]
根据灰度矩阵q的奇异值分解结果，得到图像的分数阶表示：
[0081]
q
γ
＝pλ
γ
r
t
[0082]
其中：
[0083]
γ为分数阶参数，γ∈[0,1]。
[0084]
可选地，所述利用多尺度通道网络对不同阶数的分数阶图像进行特征提取，包括：
[0085]
1)将灰度矩阵q作为多尺度通道网络的输入，多尺度通道网络对灰度矩阵q进行奇异值分解，并通过调整分数阶参数γ，得到n组不同的图像分数阶表示x1,x2,
…
,x
n
，其中n∈[1,n]，x
n
对应的分数阶参数为γ
n
，图像分数阶表示的计算公式为：
[0086]
x
n
＝pλ
γn
r
t
[0087]
其中：
[0088]
p为一个m
×
m大小的正交矩阵，其每一列表示q的左奇异向量；
[0089]
λ为一个对角矩阵，λ＝diag(δ1,δ2,
…
,δ
k
,0,
…
,0)，对角线中元素δ
i
表示q的奇异值，i∈(0,k]，k表示矩阵q的秩；
[0090]
r为一个n
×
n大小的正交矩阵，其每一列表示q的右奇异向量；
[0091]
2)利用特征提取网络对不同阶数的分数阶图像进行特征提取，得到图像在不同阶数下的细节特征图像，所述特征提取公式为：
[0092]
g
n
＝f(x
n
)
[0093]
其中：
[0094]
g
n
表示提取到的n阶细节特征图像；在本发明一个具体实施例中，多尺度通道网络中的特征提取网络为resnet
‑
101网络模型。
[0095]
可选地，所述将不同阶数下的细节特征图像叠加到输入图像，包括：
[0096]
将不同阶数下的细节特征图像叠加到原始输入图像中，得到超分辨率图像，所述图像的叠加公式为：
[0097][0098]
其中：
[0099]
{g1,g2,
…
,g
n
}表示n组不同阶数的细节特征图像；
[0100]
f0表示原始输入图像；
[0101]
f
′
表示超分辨率图像。
[0102]
此外，为实现上述目的，本发明还提供一种自适用图像超分辨率重构装置，所述装置包括：
[0103]
图像获取装置，用于获取待进行图像超分辨重构的图像；
[0104]
图像处理器，用于对输入图像进行规格化处理，并对规格化处理后的图像进行两次采样，得到两个采样图像，利用双树小波算法对采样图像进行降噪，得到降噪后的输入图像，对降噪后的图像进行灰度提取，得到图像的灰度矩阵，并利用奇异值分解得到图像的分数阶表示；
[0105]
图像超分辨率重构装置，用于利用多尺度通道网络对不同阶数的分数阶图像进行特征提取，得到图像在不同阶数下的细节特征图像，将不同阶数下的细节特征图像叠加到输入图像得到超分辨率图像。
[0106]
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读
存储介质上存储有图像超分辨率重构程序指令，所述图像超分辨率重构程序指令可被一个或者多个处理器执行，以实现如上所述的自适用图像超分辨率重构的实现方法的步骤。
[0107]
相对于现有技术，本发明提出一种自适用图像超分辨率重构方法，该技术具有以下优势：
[0108]
首先，本方案对规格化处理后的图像进行两次采样，所述图像采样的公式为：
[0109][0110][0111][0112][0113]
其中：f0为规格化处理后的图像，f1为第一次采样后的图像，f2为第二次采样后的图像；dft(
·
)表示对图像进行傅里叶变换，idft(
·
)表示进行傅里叶逆变换；为尺度为j的高通滤波器，为尺度为i的低通滤波器，d表示当前进行滤波的采样像素距待滤波傅里叶谱中频率矩形中心的距离；对规格化处理后的图像进行傅里叶变换处理，并分别与高通滤波器以及低通滤波器进行乘积计算，对滤波后的结果进行傅里叶逆变换，得到第一次采样后的图像，对第一次采样后的图像重复上述步骤，得到第二次采样后的图像。在本发明一个具体实施例中，本发明通过设置不同的尺度，使图像傅里叶谱中高于尺度的采样像素以及幅值通过高通滤波器，使图像傅里叶谱中低于尺度的采样像素以及幅值通过低通滤波器，利用多尺度滤波器组将原始图像采样为大小相同但是尺度不同的图像，其中第一次采样的图像f1为较小尺度所对应的低频采样图像，第二次采样的图像f2为较大尺度所对应的高频采样图像，低频采样图像包括了图像的主要信息，而高频采样图像包含了图像的细节信息，将第一次采样后的图像f1沿着图像水平方向按行提取像素值，按照像素值的大小随x轴的变化进行表示，得到图像f1的图像信号f1(t)，将第二次采样后的图像f2沿着图像水平方向按行提取像素值，按照像素值的大小随x轴的变化进行表示，得到图像f1的图像信号f2(t)；将图像信号f1(t)进行双树小波算法中树a的小波变换处理，利用低通滤波器h0(t)对图像信号f1(t)进行分解输出一个低频子带和一个高频子带，经过高通滤波器h1(t)和h2(t)分解输出两个高频子带，将低频子带输入到低通滤波器h0(t)分解输出一个低频
‑
低频子带和一个低频
‑
高频子带，并将高频子带输入高通滤波器h1(t)和h2(t)输出4个高频
‑
高频子带，所述图像低频子带为图像的主体部分，图像高频子带为图像细节信息部分；所述图像信号分解的公式为：
[0114][0115]
表示在尺度为j的滤波器中的尺度系数，表示分解的低频子带；表示在尺度为j的滤波器中
的小波系数，表示分解的高频子带；将图像信号f2(t)进行双树小波算法中树b的小波变换处理，利用低通滤波器g0(t)对图像信号f2(t)进行分解输出一个低频子带和一个高频子带，经过高通滤波器g1(t)和g2(t)分解输出两个高频子带，将低频子带输入到低通滤波器g0(t)分解输出一个低频
‑
低频子带和一个低频
‑
高频子带，并将高频子带输入高通滤波器g1(t)和g2(t)输出4个高频
‑
高频子带，所述图像低频子带为图像的主体部分，图像高频子带为图像细节信息部分；将树a得到的图像子带作为图像小波变换的低频信息实部，即将树a得到的低频
‑
低频子带与低频
‑
高频子带进行卷积，将卷积结果作为降噪图像的低频信息实部，并将树b得到的图像子带作为图像小波变换的高频信息虚部，即将树b得到的高频
‑
高频子带进行卷积，将卷积结果作为降噪图像的高频信息虚部；将卷积得到的低频信息和高频信息进行图像重构，重构结果即为降噪后的输入图像。相较于传统方案，本方案将图像分为低频采样图像和高频采样图像，分别建立ab树对图像的低频信息和高频信息进行滤波降噪处理，从而完成低频和高频信息的双重降噪，实现图像的重构，并将降噪处理结果进行融合，形成降噪后的重构图像。
[0116]
同时，本方案提出一种利用多尺度通道网络对不同阶数的分数阶图像进行特征提取的方法，得到图像在不同阶数下的细节特征图像，所述利用多尺度通道网络对不同阶数的分数阶图像进行特征提取的流程为：将灰度矩阵q作为多尺度通道网络的输入，多尺度通道网络对灰度矩阵q进行奇异值分解，并通过调整分数阶参数γ，得到n组不同的图像分数阶表示x1,x2,
…
,x
n
，其中n∈[1，n]，x
n
对应的分数阶参数为γ
n
，图像分数阶表示的计算公式为：
[0117]
x
n
＝pλ
γn
r
t
[0118]
其中：p为一个m
×
m大小的正交矩阵，其每一列表示q的左奇异向量；λ为一个对角矩阵，λ＝diag(δ1,δ2,
…
,δ
k
,0,
…
,0)，对角线中元素δ
i
表示q的奇异值，i∈(0,k]，k表示矩阵q的秩；r为一个n
×
n大小的正交矩阵，其每一列表示q的右奇异向量；利用特征提取网络对不同阶数的分数阶图像进行特征提取，得到图像在不同阶数下的细节特征图像，所述特征提取公式为：
[0119]
g
n
＝f(x
n
)
[0120]
其中：g
n
表示提取到的n阶细节特征图像；相较于传统方案，本方案在图像重构中引入分数阶的概念，通过改变分数阶参数的值，削弱或增强了图像的敏感成分，增强了细节特征对光照等环境信息的鲁棒性，提取得到更为准确的图像细节特征，通过调整分数阶参数，得到若干组不同的图像分数阶表示，从而将不同阶数下的细节特征图像叠加到输入图像得到超分辨率图像。
附图说明
[0121]
图1为本发明一实施例提供的一种自适用图像超分辨率重构方法的流程示意图；
[0122]
图2为本发明一实施例提供的一种自适用图像超分辨率重构装置的结构示意图；
[0123]
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0124]
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0125]
通过利用双树小波算法对输入图像进行降噪，对降噪后的图像进行灰度提取，得到图像的灰度矩阵，并利用奇异值分解得到图像的分数阶表示；利用多尺度通道网络对不同阶数的分数阶图像进行特征提取，得到图像在不同阶数下的细节特征图像，并将得到的不同阶数的细节特征图像叠加到输入图像得到超分辨率图像。参照图1所示，为本发明一实施例提供的自适用图像超分辨率重构方法示意图。
[0126]
在本实施例中，自适用图像超分辨率重构方法包括：
[0127]
s1、对输入图像进行规格化处理，并对规格化处理后的图像进行两次采样，得到两个采样图像。
[0128]
首先，本发明获取待进行图像超分辨率重构的输入图像，并对输入图像进行规格化处理，使所有输入图像为统一的图像大小，所述规格化处理后的图像大小为m*n像素，在本发明一个具体实施例中，图像规格化的步骤包括对图像进行伸缩、旋转等处理，m的值为512，n的值为256；
[0129]
对规格化处理后的图像进行两次采样，得到两个采样图像，所述图像采样的公式为：
[0130][0131][0132][0133][0134]
其中：
[0135]
f0为规格化处理后的图像，f1为第一次采样后的图像，f2为第二次采样后的图像；
[0136]
dft(
·
)表示对图像进行傅里叶变换，idft(
·
)表示进行傅里叶逆变换；
[0137]
为尺度为j的高通滤波器，为尺度为i的低通滤波器，d表示当前进行滤波的采样像素距待滤波傅里叶谱中频率矩形中心的距离；
[0138]
对规格化处理后的图像进行傅里叶变换处理，并分别与高通滤波器以及低通滤波器进行乘积计算，对滤波后的结果进行傅里叶逆变换，得到第一次采样后的图像，对第一次采样后的图像重复上述步骤，得到第二次采样后的图像。
[0139]
在本发明一个具体实施例中，本发明通过设置不同的尺度，使图像傅里叶谱中高于尺度的采样像素以及幅值通过高通滤波器，使图像傅里叶谱中低于尺度的采样像素以及幅值通过低通滤波器，利用多尺度滤波器组将原始图像采样为大小相同但是尺度不同的图像，其中第一次采样的图像f1为较小尺度所对应的低频采样图像，第二次采样的图像f2为较大尺度所对应的高频采样图像。
[0140]
s2、利用双树小波算法对采样图像进行降噪，得到降噪后的输入图像。
[0141]
进一步地，本发明利用双树小波算法对采样图像进行降噪处理，所述双树小波算法的流程为：
[0142]
1)将第一次采样后的图像f1沿着图像水平方向按行提取像素值，按照像素值的大小随x轴的变化进行表示，得到图像f1的图像信号f1(t)；将第二次采样后的图像f2沿着图像水平方向按行提取像素值，按照像素值的大小随x轴的变化进行表示，得到图像f1的图像信号f2(t)；其中t为按行提取像素值的像素在x轴的位置，即表示图像信号中的某个信号，信号幅值即为像素值；
[0143]
2)将图像信号f1(t)进行双树小波算法中树a的小波变换处理，利用低通滤波器h0(t)对图像信号f1(t)进行分解输出一个低频子带和一个高频子带，经过高通滤波器h1(t)和h2(t)分解输出两个高频子带，将低频子带输入到低通滤波器h0(t)分解输出一个低频
‑
低频子带和一个低频
‑
高频子带，并将高频子带输入高通滤波器h1(t)和h2(t)输出4个高频
‑
高频子带，所述图像低频子带为图像的主体部分，图像高频子带为图像细节信息部分；所述滤波器的计算公式为：
[0144][0145][0146]
其中：
[0147]
j表示滤波器的尺度；
[0148]
g(t)表示图像信号t的位置距图像信号中频率矩形中心的距离；
[0149]
所述图像信号分解的公式为：
[0150][0151]
其中：
[0152]
表示在尺度为j的滤波器中的尺度系数，表示分解的低频子带，i＝0；
[0153]
表示在尺度为j的滤波器中的小波系数，表示分解的高频子带，i＝1,2；
[0154]
为尺度函数，i＝0,1,2，
[0155]
为小波函数，i＝0,1,2，滤波器和小波函数的关系为：
[0156][0157][0158][0159]
小波函数与尺度函数之间的关系为：
[0160]
[0161]
3)将图像信号f2(t)进行双树小波算法中树b的小波变换处理，利用低通滤波器g0(t)对图像信号f2(t)进行分解输出一个低频子带和一个高频子带，经过高通滤波器g1(t)和g2(t)分解输出两个高频子带，将低频子带输入到低通滤波器g0(t)分解输出一个低频
‑
低频子带和一个低频
‑
高频子带，并将高频子带输入高通滤波器g1(t)和g2(t)输出4个高频
‑
高频子带，所述图像低频子带为图像的主体部分，图像高频子带为图像细节信息部分；
[0162]
所述图像信号分解的公式为：
[0163][0164]
其中：
[0165]
表示在尺度为j的滤波器中的尺度系数，表示分解的低频子带，i＝0；
[0166]
表示在尺度为j的滤波器中的小波系数，表示分解的高频子带，i＝1,2；
[0167]
为尺度函数，i＝0,1,2，
[0168]
为小波函数，i＝0,1,2，滤波器和小波函数的关系为：
[0169][0170][0171][0172]
小波函数与尺度函数之间的关系为：
[0173][0174]
在本发明一个具体实施例中，小波函数为小波函数的1/2偏移，且两组小波函数形成近似的希尔伯特变换对：
[0175][0176][0177][0178]
4)将树a得到的图像子带作为图像小波变换的低频信息实部，即将树a得到的低频
‑
低频子带与低频
‑
高频子带进行卷积，将卷积结果作为降噪图像的低频信息实部；
[0179]
5)将树b得到的图像子带作为图像小波变换的高频信息虚部，即将树b得到的高频
‑
高频子带进行卷积，将卷积结果作为降噪图像的高频信息虚部；
[0180]
6)将卷积得到的低频信息实部和高频信息虚部相加，形成重构信号序列，并与图像信号f1(t)的长度进行比较，去除信号序列的延拓部分，并将形成的信号序列按照1)过程的逆运算，形成降噪后的输入图像。
[0181]
s3、对降噪后的图像进行灰度提取，得到图像的灰度矩阵，并利用奇异值分解得到图像的分数阶表示。
[0182]
进一步地，本发明对降噪后的图像进行灰度提取，所述灰度提取流程为：
[0183]
获取降噪后图像中每个像素点的rgb颜色像素值；
[0184]
将每个像素点的rgb颜色像素值转换为灰度值：
[0185]
gray(i,j)＝0.299
×
r(i,j)+0.587
×
g(i,j)+0.114
×
b(i,j)
[0186]
其中：
[0187]
gray(i,j)为像素点(i,j)的灰度值；
[0188]
r(i,j)为像素点(i,j)的红色分量值，g(i,j)为像素点(i,j)的绿色分量，b(i,j)为像素点(i,j)的蓝色分量；
[0189]
构造m
×
n的灰度矩阵q，按像素点的位置将每个像素点的灰度值填写到灰度矩阵中；所述灰度矩阵q存在如下奇异值分解结果：
[0190]
q＝pλr
t
[0191]
其中：
[0192]
p为一个m
×
m大小的正交矩阵，其每一列表示q的左奇异向量；
[0193]
λ为一个对角矩阵，λ＝diag(δ1,δ2,
…
,δ
k
,0,
…
,0)，对角线中元素δ
i
表示q的奇异值，i∈(0,k]，k表示矩阵q的秩；
[0194]
r为一个n
×
n大小的正交矩阵，其每一列表示q的右奇异向量；
[0195]
根据灰度矩阵q的奇异值分解结果，得到图像的分数阶表示：
[0196]
q
γ
＝pλ
γ
r
t
[0197]
其中：
[0198]
γ为分数阶参数，γ∈[0,1]。
[0199]
s4、利用多尺度通道网络对不同阶数的分数阶图像进行特征提取，得到图像在不同阶数下的细节特征图像。
[0200]
进一步地，本发明利用多尺度通道网络对不同阶数的分数阶图像进行特征提取，所述利用多尺度通道网络对不同阶数的分数阶图像进行特征提取的流程为：
[0201]
1)将灰度矩阵q作为多尺度通道网络的输入，多尺度通道网络对灰度矩阵q进行奇异值分解，并通过调整分数阶参数γ，得到n组不同的图像分数阶表示x1,x2,
…
,x
n
，其中n∈[1,n]，x
n
对应的分数阶参数为γ
n
，图像分数阶表示的计算公式为：
[0202]
x
n
＝pλ
γn
r
t
[0203]
其中：
[0204]
p为一个m
×
m大小的正交矩阵，其每一列表示q的左奇异向量；
[0205]
λ为一个对角矩阵，λ＝diag(δ1,δ2,
…
,δ
k
,0,
…
,0)，对角线中元素δ
i
表示q的奇异值，i∈(0,k]，k表示矩阵q的秩；
[0206]
r为一个n
×
n大小的正交矩阵，其每一列表示q的右奇异向量；
[0207]
2)利用特征提取网络对不同阶数的分数阶图像进行特征提取，得到图像在不同阶数下的细节特征图像，所述特征提取公式为：
[0208]
g
n
＝f(x
n
)
[0209]
其中：
[0210]
g
n
表示提取到的n阶细节特征图像；在本发明一个具体实施例中，多尺度通道网络中的特征提取网络为resnet
‑
101网络模型。
[0211]
s5、将不同阶数下的细节特征图像叠加到输入图像得到超分辨率图像。
[0212]
进一步地，本发明将不同阶数下的细节特征图像叠加到原始输入图像中，得到超分辨率图像，所述图像的叠加公式为：
[0213][0214]
其中：
[0215]
{g1,g2,
…
,g
n
}表示n组不同阶数的细节特征图像；
[0216]
f0表示原始输入图像；
[0217]
f
′
表示超分辨率图像。
[0218]
下面通过一个算法实验来说明本发明的具体实施方式，并对发明的处理方法进行测试。本发明算法的硬件测试环境为：inter(r)core(tm)i7
‑
6700k cpu，软件为matlab2018b；对比方法为基于小波变换的自适用图像超分辨率重构方法以及基于rnn的自适用图像超分辨率重构方法。
[0219]
在本发明所述算法实验中，数据集为10g的低分辨率图像。本实验通过将低分辨率图像输入到算法模型中，将自适用图像超分辨率重构的有效性作为算法可行性的评价指标，其中自适用图像超分辨率重构的有效性越高，则说明算法的有效性、可行性越高。
[0220]
根据实验结果，基于小波变换的自适用图像超分辨率重构方法的图像超分辨率重构有效性为77.62，基于lstm的自适用图像超分辨率重构方法的图像超分辨率重构有效性为84.12，本发明所述方法的自适用图像超分辨率重构有效性为89.26，相较于对比算法，本发明所提出的自适用图像超分辨率重构方法能够实现更有效的图像超分辨率重构。
[0221]
发明还提供一种自适用图像超分辨率重构装置。参照图2所示，为本发明一实施例提供的自适用图像超分辨率重构装置的内部结构示意图。
[0222]
在本实施例中，所述自适用图像超分辨率重构装置1至少包括图像获取装置11、图像处理器12、图像超分辨率重构装置13，通信总线14，以及网络接口15。
[0223]
其中，图像获取装置11可以是pc(personal computer，个人电脑)，或者是智能手机、平板电脑、便携计算机、摄像头等终端设备，也可以是一种服务器等。
[0224]
图像处理器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、磁性存储器、磁盘、光盘等。图像处理器12在一些实施例中可以是自适用图像超分辨率重构装置1的内部存储单元，例如该自适用图像超分辨率重构装置1的硬盘。图像处理器12在另一些实施例中也可以是自适用图像超分辨率重构装置1的外部存储设备，例如自适用图像超分辨率重构装置1上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，图像处理器12还可以既包括自适用图像超分辨率重构装置1的内部存储单元也包括外部存储设备。图像处理器12不仅可以用于存储安装于自适用图像超分辨率重构装置1的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
[0225]
图像超分辨率重构装置13在一些实施例中可以是一中央处理器(central processing unit,cpu)、控制器、微控制器、微处理器或其他数据处理芯片，包括监控单元，
用于运行图像处理器12中存储的程序代码或处理数据，例如图像超分辨率重构程序指令16等。
[0226]
通信总线14用于实现这些组件之间的连接通信。
[0227]
网络接口15可选的可以包括标准的有线接口、无线接口(如wi
‑
fi接口)，通常用于在自适用图像超分辨率重构装置1与其他电子设备之间建立通信连接。
[0228]
可选地，自适用图像超分辨率重构装置1还可以包括用户接口，用户接口可以包括显示器(display)、输入单元比如键盘(keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light
‑
emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在自适用图像超分辨率重构装置1中处理的信息以及用于显示可视化的用户界面。
[0229]
图2仅示出了具有组件11
‑
15以及自适用图像超分辨率重构装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对自适用图像超分辨率重构装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
[0230]
在图2所示的自适用图像超分辨率重构装置1实施例中，图像处理器12中存储有图像超分辨率重构程序指令16；图像超分辨率重构装置13执行图像处理器12中存储的图像超分辨率重构程序指令16的步骤，与自适用图像超分辨率重构方法的实现方法相同，在此不作类述。
[0231]
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有图像超分辨率重构程序指令，所述图像超分辨率重构程序指令可被一个或多个处理器执行，以实现如下操作：
[0232]
对输入图像进行规格化处理，并对规格化处理后的图像进行两次采样，得到两个采样图像；
[0233]
利用双树小波算法对采样图像进行降噪，得到降噪后的输入图像；
[0234]
对降噪后的图像进行灰度提取，得到图像的灰度矩阵，并利用奇异值分解得到图像的分数阶表示；
[0235]
利用多尺度通道网络对不同阶数的分数阶图像进行特征提取，得到图像在不同阶数下的细节特征图像；
[0236]
将不同阶数下的细节特征图像叠加到输入图像得到超分辨率图像。
[0237]
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
[0238]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个
存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0239]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。