逐步融合特征的图像超分辨率重建方法及电子设备与流程

1.本发明属于人工智能技术领域，具体地说，涉及一种逐步融合特征的图像超分辨率重建方法及电子设备。


背景技术：

2.单图像超分辨率技术是计算机视觉领域的一个经典任务，利用算法去提升特定图像的分辨率，可以重构出图像中的一些细节，从而提升图像质量，这项技术在影视、医学、公共安全等领域都有重要的应用。
3.神经网络由于其强大的数据拟合能力，在图像超分辨率重建效果上远超传统算法，因此，基于深度学习的超分辨率技术已经成为主流。但是，现有的超分辨率重建神经网络在提取特征后，都是将不同深度上的特征一次性地融合，融合后的特征中含有大量对超分辨率重建无用的信息，模型有效信息提取效率低，限制了神经网络重建图像的质量。


技术实现要素：

4.针对现有技术中上述的不足，本发明提供一种逐步融合特征的图像超分辨率重建方法及电子设备，以提高模型有用信息提取效率，提高图像超分辨率重建效果。
5.为了达到上述目的，本发明采用的解决方案是：一种逐步融合特征的图像超分辨率重建方法，包括以下步骤：
6.s1、获取需要进行超分辨率重建的原始图像，获取训练好的图像超分辨率重建网络，所述图像超分辨率重建网络包括第一特征提取模块、第二特征提取模块、第三特征提取模块和图像重建模块，所述第三特征提取模块与所述第二特征提取模块数量相等且对称设置，第三特征提取模块与第二特征提取模块一一对应；
7.s2、利用所述第一特征提取模块对所述原始图像进行特征提取，得到原始特征图；
8.s3、所述原始特征图顺次经过多个所述第二特征提取模块和多个所述第三特征提取模块，生成中间特征图；其中，每次特征图经过所述第三特征提取模块后，先将所述第三特征提取模块输出的特征图与对应的第二特征提取模块输出的特征图融合，再将融合后得到的特征图输入下一个所述第三特征提取模块；
9.s4、利用所述图像重建模块对所述中间特征图进行超分辨率重建，得到目标图像，所述目标图像的分辨率大于所述原始图像的分辨率。
10.进一步地，所述第二特征提取模块和所述第三特征提取模块结构相同，所述第二特征提取模块和所述第三特征提取模块均包括relu激活函数、第一3*3卷积层、第二3*3卷积层、5*5卷积层、局部降维层和通道注意力模块；
11.输入所述第二特征提取模块或所述第三特征提取模块的特征图经过所述第一3*3卷积层和第一relu激活函数后，得到第一特征图；将所述第一特征图经过所述第二3*3卷积层和第二relu激活函数，得到第二特征图，将所述第一特征图经过所述5*5卷积层和第三relu激活函数，得到第三特征图，将所述第一特征图、所述第二特征图和所述第三特征图拼
接，得到第四特征图；
12.将所述第四特征图输入所述通道注意力模块，生成通道注意力图，然后将所述通道注意力图与所述第四特征图融合，输入所述局部降维层进行降维，使所述局部降维层输出的特征图通道数量与输入所述第二特征提取模块或所述第三特征提取模块的特征图通道数量相同。其中3*3卷积层和5*5卷积层分别指卷积核大小为3*3和5*5的卷积层。
13.进一步地，所述第二特征提取模块的上游端与所述第二特征提取模块的下游端之间设有第一残差连接，输入所述第二特征提取模块的特征图通过所述第一残差连接与局部降维层输出的特征图融合；所述第三特征提取模块的上游端与所述第三特征提取模块的下游端之间设有第二残差连接，输入所述第三特征提取模块的特征图通过所述第二残差连接与局部降维层输出的特征图融合。
14.进一步地，所述通道注意力模块包括方差池化层、am池化层、第一全连接层、第二全连接层、sigmoid激活函数和第四relu激活函数；所述第四特征图经过所述方差池化层后，生成第一注意力图，所述第四特征图经过所述am池化层后，生成第二注意力图，将所述第一注意力图与所述第二注意力图融合后，顺次经过所述第一全连接层、所述第四relu激活函数、所述第二全连接层和所述sigmoid激活函数，生成所述通道注意力图；
15.所述方差池化层可以表示为如下公式：
16.var
c
＝pool
var
(f
c
)
17.其中，var
c
表示所述方差池化层的输出，f
c
表示所述第四特征图通道方向上的第c层，f
c
作为所述方差池化层的输入，pool
var
(f
c
)表示所述第四特征图第c上的方差值；
18.所述am池化层可以表示为如下公式：
[0019][0020]
其中，m
c
表示所述am池化层的输出，f
c
表示所述第四特征图通道方向上的第c层，f
c
作为所述am池化层的输入，large
i
(f
c
)表示所述第四特征图在第c层上第i大的值，mean表示所述第四特征图第c层的平均值，n可以表示为如下公式：
[0021][0022]
其中，w表示所述第四特征图的宽度(像素值)，h表示所述第四特征图的高度(像素值)，<
·
>表示对其中的值取整。当c依次取不同的值时，f
c
就依次代表第四特征图通道方向的各层。
[0023]
进一步地，所述图像重建模块包括第三3*3卷积层、第一亚像素卷积层和第四3*3卷积层，所述中间特征图顺次经过所述第三3*3卷积层、所述第一亚像素卷积层和所述第四3*3卷积层后，生成目标图像。
[0024]
进一步地，所述图像超分辨率重建网络还设有跳连模块，所述跳连模块包括第一跳连卷积层、第二跳连卷积层、第二亚像素卷积层、第三跳连卷积层、第四跳连卷积层、第五relu激活函数、第六relu激活函数和第七relu激活函数；
[0025]
所述原始特征图经过所述第一跳连卷积层和所述第五relu激活函数后生成第一跳连特征图，提取最后一个所述第二特征提取模块输出的特征图并经过所述第二跳连卷积层和第六relu激活函数后，生成第二跳连特征图，所述第一跳连特征图与所述第二跳连特
征图拼接后，顺次经过所述第三跳连卷积层、所述第二亚像素卷积层、所述第四跳连卷积层和所述第七relu激活函数，最后与所述第一亚像素卷积层输出的特征图融合。
[0026]
进一步地，所述第一跳连特征图的通道数量与所述第二跳连特征图的通道数量相等。
[0027]
进一步地，所述图像超分辨率重建网络设有de融合模块，所述第三特征提取模块输出的特征图与对应的第二特征提取模块输出的特征图通过所述de融合模块实现融合；
[0028]
所述de融合模块的数学模型为：
[0029]
f1＝[l1,l2]
[0030]
f2＝δ1(f1(l1))
[0031]
f3＝δ2(f2(l2))
[0032]
f
d
＝δ3(f3(f1+f2+f3))
[0033]
其中，l1代表所述第二特征提取模块输出的特征图，l2代表所述第三特征提取模块输出的特征图，l1和l2作为所述de融合模块的输入，[
·
]表示对其中的特征图在通道方向上进行拼接操作，δ1、δ2和δ3均表示relu激活函数，f1和f2均表示卷积核大小为3*3的卷积操作，f3表示卷积核大小为1*1的卷积操作，fd表示所述de融合模块输出的特征图。
[0034]
本发明还提供了一种电子设备，包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如上述的逐步融合特征的图像超分辨率重建方法。
[0035]
本发明的有益效果是：
[0036]
(1)本发明先利用第一特征提取模块和第二特征提取模块提取输入模型的图像特征，然后将第二特征提取模块输出的特征图与第三特征提取模块输出的特征图通过多次拼接降维逐步融合，多次逐步地筛选出对图像超分辨率重建有用的特征，与一次性特征融合相比，本发明加强重用了第二特征提取模块输出的特征图，最终输入图像重建模块的有用特征信息占比更大，模型特征提取效果更好，减少了有用信息丢失和无用信息冗余，同时模型训练和运行过程中所占用的计算机内存也更小，降低了模型训练对硬件设备的要求；
[0037]
(2)第二特征提取模块与第三特征提取模块前后对称设置，这样使得靠前的第二特征提取模块输出的特征图能够直接传到网络靠后的位置，可以减少特征在网络中传输过程中丢失的细节信息，有利于提高超分辨率重建效果；
[0038]
(3)现有技术都是将不同的特征图拼接降维实现特征融合，有效特征提取效果有限，发明人结合自己实际工作经验，创造性地提出了de融合模块，不仅将两个特征图拼接，还分别对输入de融合模块的两个特征图进行升维操作，进一步充分提取并分散特征，然后与拼接得到的特征图通过元素求和融合，利用1*1卷积层降维，实验表明，de融合模块能够更大限度地保存融合前特征图中的有用信息，更好地减少无效信息冗余，提升特征融合效果；
[0039]
(4)第二特征提取模块和第三特征提取模块均采用不同大小的卷积核去提取特征，同时将不同深度上的特征图拼接，以尽可能多地获取特征信息，然后利用通道注意力模块为不同的特征图赋予不同大小的权重参数，选择性地强调对超分辨率重建有用的信息，抑制无用信息，提高特征提取效率；
[0040]
(5)传统的通道注意力机制都是采用平均池化和最大池化，考虑到图像超分辨率
重建与图像分类和目标检测等任务相比，任务层次较低，所以本发明在通道注意力模块中采用方差池化和am池化，这样更能反应通道的高频统计信息，通道注意力模块对信息的过滤效果更准确；
[0041]
(6)本发明所提供的通道注意力模块十分轻量，结构简单，可以方便地插入集成在其他网络架构中，使用范围广；
[0042]
(7)跳连模块中的特征一部分来自原始特征图，这部分特征中包含的细节信息多，但是夹杂着大量的无用干扰信息，另一部分来自最后一个第二特征提取模块输出的特征图，这部分特征包含大量抽象的有用信息，但是可能存在细节缺失，跳连模块利用这两部分特征信息的互补关系，选择性地提取其中有用的关键信息，直接传递到最后的图像重建模块中，提升图像超分辨率重建效果，而且，与密集连接等跳连结构相比，本发明的跳连模块复杂度更低，降低了对硬件资源的要求。
附图说明
[0043]
图1为一实施例的图像超分辨率重建网络结构示意图；
[0044]
图2为图1所示图像超分辨率重建网络中第二特征提取模块的结构示意图；
[0045]
图3为图1所示图像超分辨率重建网络中通道注意力模块的结构示意图；
[0046]
图4为图1所示图像超分辨率重建网络中de融合模块的内部结构示意图；
[0047]
图5为图1所示图像超分辨率重建网络与edsr、csnln的图片重建效果对比图；
[0048]
图6为另一实施例的图像超分辨率重建网络结构示意图；
[0049]
附图中：
[0050]1‑
原始图像，2
‑
目标图像，3
‑
第一特征提取模块，4
‑
第二特征提取模块，41
‑
第一3*3卷积层，42
‑
第二3*3卷积层，43
‑
5*5卷积层，44
‑
局部降维层，45
‑
通道注意力模块，451
‑
方差池化层，452
‑
am池化层，453
‑
第一全连接层，454
‑
第二全连接层，455
‑
sigmoid激活函数，456
‑
第四relu激活函数，46
‑
第一relu激活函数，47
‑
第二relu激活函数，48
‑
第三relu激活函数，5
‑
第三特征提取模块，6
‑
图像重建模块，61
‑
第三3*3卷积层，62
‑
第一亚像素卷积层，63
‑
第四3*3卷积层，7
‑
第一残差连接，8
‑
de融合模块，9
‑
跳连模块，91
‑
第一跳连卷积层，92
‑
第二跳连卷积层，93
‑
第二亚像素卷积层，94
‑
第三跳连卷积层，95
‑
第四跳连卷积层，96
‑
第五relu激活函数，97
‑
第六relu激活函数，98
‑
第七relu激活函数。
具体实施方式
[0051]
以下结合附图对本发明作进一步描述：
[0052]
实施例1：
[0053]
根据如图1所示的超分辨率重建网络结构搭建模型，代码采用3.7版本的python，并借助pytorch框架。硬件方面，模型训练和测试都采用的cup为inteli9，内存128g，显卡采用nvidia 2080ti，显存11g。
[0054]
在本实施例中，第一特征提取模块3采用卷积核大小为3*3的卷积层实现，第二特征提取模块4的结构如图2所示，局部降维层44为卷积核大小为1*1的卷积层。第二特征提取模块4和第三特征提取模块5为一一对应的关系，第二特征提取模块4和第三特征提取模块5数量均为3个。输入第二特征提取模块4或第三特征提取模块5的特征图经过第一3*3卷积层
41和第一relu激活函数46后，得到第一特征图；将第一特征图经过第二3*3卷积层42和第二relu激活函数47，得到第二特征图，将第一特征图经过5*5卷积层43和第三relu激活函数48，得到第三特征图，将第一特征图、第二特征图和第三特征图拼接，得到第四特征图。
[0055]
通道注意力模块45结构如图3所示，第四特征图经过方差池化层451后，生成第一注意力图，第四特征图经过am池化层452后，生成第二注意力图，将第一注意力图与第二注意力图通过元素求和融合后，顺次经过第一全连接层453、第四relu激活函数456、第二全连接层454和sigmoid激活函数455，生成通道注意力图。通道注意力图与第四特征图通过乘法实现融合。在通道注意力模块45中，第一全连接层453的输入元素个数和第二全连接层454输出的元素个数均与第四特征图的通道数量相等，第一全连接层453输出的元素个数为第四特征图的通道数量的十二分之一。
[0056]
为了使损失函数在训练过程中能够快速收敛，第二特征提取模块4的上游端与所述第二特征提取模块4的下游端之间设有第一残差连接7，输入第二特征提取模块4的特征图与局部降维层44输出的特征图通过元素求和实现融合。
[0057]
在本实施例中，第三特征提取模块5输出的特征图与对应的第二特征提取模块4输出的特征图通过de融合8模块实现融合，de融合模块8内部结构如图4所示。第三特征提取模块5输出的特征图和第二特征提取模块4输出的特征图先在通道方向上拼接，生成第一融合特征图，另一方面，第三特征提取模块5输出的特征图和第二特征提取模块4输出的特征图分别经过3*3卷积和relu激活函数，分别生成第二融合特征图和第三融合特征图，第二融合特征图和第三融合特征图的通道数量均与第一融合特征图相同。将第一融合特征图、第二融合特征图和第三融合特征图通过元素求和融合，再经过1*1卷积和relu激活函数后，输出融合后得到的特征图，该特征图的长宽尺寸与第二特征提取模块4输出的特征图尺寸相同，通道数量为第一融合特征图的一半。
[0058]
本实施例中训练集来自div2k数据集中所有的1000张图片，低分辨率图像由数据集中原本的高分辨率图像下采样后获得，采用l1函数作为损失函数对模型进行优化，以adam作为优化器，batch
‑
size设置为8，学习率最初设置为0.0001，epoch数量为1200，每经过200个epoch学习率降为原来的一半。测试集为set5、bsds100和urban100三个数据集。训练时图片采用rgb格式，测试时，图片为ycbcr格式，测试时计算y通道上的相关参数。
[0059]
模型训练时，随机截取下采样后获得的低分辨率图片中大小为64*64的片段作为原始图像1，输入图像超分辨率重建网络，输入网络时图片的通道为3，经过第一特征提取模块3后，得到的原始特征图通道为64，输入/输出第二特征提取模块4和第三特征提取模块5特征图通道均为64。在第二特征提取模块4或第三特征提取模块5内部，输入/输出第一3*3卷积层41，第二3*3卷积层42，5*5卷积层43的特征图通道数量也是64。假设图片放大倍数为m，第三3*3卷积层61输出的通道数则为64m2，经过第一亚像素卷积层62后，特征图的通道变成64，长宽尺寸变为原来的m倍，经过第四3*3卷积层63后，通道数变为3，获得目标图像2。
[0060]
模型训练完成后，在测试集上进行图像超分辨率重建。采用psnr(峰值信噪比)和ssim(结构相似性)作为衡量图像超分辨率重建后效果的参数，将本发明与目前一些性能先进的模型进行比较，结果如下所示。每一单元格中，前一个参数为psnr值，后一个参数为ssim值。
[0061]
模型放大倍数set5bsds100urban100
edsr238.11/0.960132.32/0.901333.10/0.9363csnln238.28/0.961632.40/0.902433.25/0.9386实施例1239.13/0.964432.76/0.907433.57/0.9395edsr334.65/0.928229.25/0.809329.02/0.8685csnln334.74/0.930029.33/0.810529.13/0.8712实施例1334.79/0.937629.92/0.815330.19/0.8705edsr432.46/0.896827.71/0.742026.86/0.8080csnln432.68/0.900427.80/0.743927.22/0.8168实施例1433.16/0.901328.05/0.744827.53/0.8195
[0062]
从上面的数据可以看出，实施例1所采用图像超分辨率重建网络在不同放大倍数下的图片重建效果均好于目前性能先进的edsr和csnln模型，具有有用信息提取效率高，超分辨率重建效果好等优点。
[0063]
此外，利用上面训练好的模型，随机选取urban100中的一张图片所对应的低分辨率图像进行4倍放大重建，不同模型重建后图像的视觉效果对比如图5所示。图5中，左侧为edsr模型输出的图片，中间为csnln模型输出的图片，右侧为实施例1中模型输出的图片。图像下半部分为上部图片在箭头所指的方框处局部放大图，可以看出，实施例1中恢复的图像在视觉上要比另外两个模型输出的图片更清晰。
[0064]
实施例2：
[0065]
作为对比，本实施例在实施例1的基础上，分别单独去除通道注意力模块45和am池化层452，其余部分和实验条件与实施例1中完全相同，实验结果对比如下表所示：
[0066]
模型放大倍数set5set14bsds100实施例1239.13/0.964432.76/0.907433.57/0.9395模型a238.26/0.960232.41/0.903133.35/0.9390模型b238.57/0.960932.62/0.937133.35/0.9395实施例1433.16/0.901328.05/0.744827.53/0.8195模型a432.73/0.900427.90/0.744127.22/0.8171模型b432.92/0.901027.90/0.744028.25/0.8188
[0067]
上表中，模型a为在实施例1基础上单独去除通道注意力模块45后获得，模型b为在实施例1基础上单独去除am池化层452，留下方差池化层451后获得。从上表可以看出，设置通道注意力模块45和am池化层452均有利于提高图像超分辨率重建效果。
[0068]
实施例3：
[0069]
在实施例1中图像超分辨率重建网络基础上，加设跳连模块9进行对比实验，其结构如图6所示，其余部分与实施例1中完全相同。
[0070]
本实施例中，原始特征图经过第一跳连卷积层91和第五relu激活函数96后生成第一跳连特征图，提取最后一个第二特征提取模块4输出的特征图并经过第二跳连卷积层92和第六relu激活函数97后，生成第二跳连特征图，第一跳连特征图与第二跳连特征图拼接后，顺次经过第三跳连卷积层94、第二亚像素卷积层93、第四跳连卷积层95和第七relu激活函数98，最后与第一亚像素卷积层62输出的特征图通过元素求和的方式融合。
[0071]
其中，第一跳连卷积层91、第二跳连卷积层92和第三跳连卷积层94、第四跳连卷积
层95的卷积核尺寸为3*3。假设图片放大倍数为m，第一特征提取模块3，第二特征提取模块4和第三特征提取模块5输出的特征图通道数量均为64，则第一跳连特征图和第二跳连特征图的通道数量均为32m2，拼接后通道数量变为64m2。第三跳连卷积层94和第四跳连卷积层95输入/输出前后特征图尺寸和通道数量不变，特征图经过第二亚像素卷积层93后，特征图的通道变成64，长宽尺寸变为原来的m倍。
[0072]
采用与实施例1中完全相同的实验条件，对图5所示的网络进行训练和测试，结果如下：
[0073]
模型放大倍数set5set14bsds100实施例1239.13/0.964432.76/0.907433.57/0.9395实施例3239.16/0.967232.81/0.908833.59/0.9413实施例1433.16/0.901328.05/0.744827.53/0.8195实施例3433.22/0.905428.21/0.749127.58/0.8224
[0074]
从上表的数据可以看出，增加跳连模块9后，psnr和ssim两个参数值均有所上升，尤其是ssim增加幅度相对较大，说明设置跳连模块9对重建图像中的细节部分具有很好的促进作用。
[0075]
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。