1.本公开属于计算机视觉
技术领域：
：，尤其涉及一种基于密集残差网络的图像超分辨率重建方法及系统。
背景技术：
：：2.随着计算机视觉的广泛发展，人工智能领域的不断革新，单一图像超分辨率技术(sisr)的发展越来越快。2006年，hinton等人提出深度学习的概念，其主体思想主要是通过多层非线性变换，提取图像的高级语义特征，重点学习数据潜在分布规律，在不断的训练中得到对新数据的判断和预测额能力。由此深度学习正式登上计算机领域大舞台，其凭借自身强大的拟合能力和学习能力，在图像处理等众多计算机视觉领域迅速占据一席之地。深度学习的快速发展，促使越来越多的研究者尝试将深度学习引入超分辨率领域。3.dong等人率先将深度学习概念应用在单一图像超分辨率(sisir)方面，提出srcnn超分算法，该算法虽然采用了较为简单的残差网络，但是在性能和计算速度方面都有着较为显著的提升。随着srcnn的问世，越来越多的基于深度学习的超分辨率算法应运而生，例如rcn、drrn、lapsrn、srresnet和edsr等。然而，这些模型在计算复杂度和性能方面仍有较大的提升空间。4.本公开发明人发现，现有的图像超分辨率重建方法中存在以下问题：输入的图像在通过很多层之后，在到达网络末端或下一次网络初端之前，许多关键信息特征就会消失或者被过滤，导致输出图像缺少很多关键信息特征点，最终使输出图像太模糊甚至产生图像重建错误。技术实现要素：5.本公开为了解决上述问题，提出了一种基于密集残差网络的图像超分辨率重建方法及系统，本公开提出一种w‑transformer与密集残差网络相结合的新型网络以用于提升图像的超分辨率，该网络采用两种网络相结合的方式达到整体性能提升的目的。6.为了实现上述目的，本发明是通过如下的技术方案来实现：7.第一方面，本公开提供了一种基于密集残差网络的图像超分辨率重建方法，包括：8.获取图像信息：9.根据获取的图像信息和预设的图像超分辨率重建模型，得到图像超分辨率重建结果；10.其中，所述图像超分辨率重建模型由密集残差网络和改进的transformer网络结合得到；改进的transformer网络中，通过不断赋予新的权重以更新query与key的点乘结果，进而得到加权输出。11.进一步的，所述密集残差网络在现有直接路径的基础上增加密集层，将每个卷积块进行跳跃连接。12.进一步的，每个卷积块都产生新的分支路径，每个偶数层的卷积块分别与所处位置以下层数中的偶数层的卷积块进行交叉连接，每个奇数层的卷积块分别与所处位置以下的奇数层的卷积块进行交叉连接。13.进一步的，每个分支都采用非线性变换；在第一层与最后一层的分支连接中，增加特征金字塔模块。14.进一步的，改进的transformer网络包括编码层和解码层，所述编码层包括6个编码器，所述解码层包括6个解码器。15.进一步的，所述编码器包括加权自注意力机制和前馈神经网络；所述解码器包括加权自注意力机制、编码‑解码注意力和前馈神经网络。16.进一步的，所述加权自注意力机制是一种权重参数的分配机制，增加权重块，通过不断赋予新的权重以更新query与key的点乘结果，得到一个加权输出，该输出包括所有可见的输入序列信息，然后经过一个归一化指数函数，得到一个新的向量矩阵，之后将每个value向量和新的向量矩阵中的值进行相乘。17.第二方面，本公开还提供了一种基于密集残差网络的图像超分辨率重建系统，包括数据收集模块和超分辨率重建模块；18.所述数据收集模块，被配置为：获取图像信息：19.所述超分辨率重建模块，被配置为：根据获取的图像信息和预设的图像超分辨率重建模型，得到图像超分辨率重建结果；20.其中，所述图像超分辨率重建模型由密集残差网络和改进的transformer网络结合得到；改进的transformer网络中，通过不断赋予新的权重以更新query与key的点乘结果，进而得到加权输出。21.第三方面，本公开还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了第一方面所述的基于密集残差网络的图像超分辨率重建方法的步骤。22.第四方面，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了第一方面所述的基于密集残差网络的图像超分辨率重建方法的步骤。23.与现有技术相比，本公开的有益效果为：24.1.本公开提出了一种新型主干网络以用于超分辨率重建；在多分支串行块序列增加全局块，与卷积进行反复跳跃交叉，从而增强对关键语义特征的提取能力，在处理场景复杂的低分辨率图像上，本公开的主干网络展示出优异的峰值信噪比(psnr)性能；25.2.本公开采用改进后的transformer，使其弥补卷积神经网络在并行计算能力和特征抽取上的不足，通过所提出的加权自注意力机制(weightedself‑attention)发现深层的特征对应关系，使图像能够更好的恢复纹理、细节等特征，进而可以输出更高分辨率的图像；后续实验表明，本公开所改进的w‑transformer(weightedself‑attention‑transformer)在图像的定量和定性评估方面都有着显著改善；26.3.本公开中，w‑transformer与密集残差网络(drn)相结合的新型网络(transdrn)具有优异的网络性能和较快的处理速度；实验结果证明，本公开的算法在处理速度和网络性能上均优于现有先进的超分辨率算法，例如，edsr、oisr‑rk3、mdcn、lw‑csc、ipt。附图说明27.构成本实施例的一部分的说明书附图用来提供对本实施例的进一步理解，本实施例的示意性实施例及其说明用于解释本实施例，并不构成对本实施例的不当限定。28.图1为本公开实施例1的具体流程图；29.图2为本公开实施例1的整体网络框架；30.图3为本公开实施例1的密集残差网络框图；31.图4为本公开实施例1的全局块细节图；32.图5为本公开实施例1的w‑transformer框架图；33.图6为本公开实施例1的加权自注意力模块细节图；34.图7为本公开实施例1的5种模型网络性能的可视化对比图；35.图8为本公开实施例1的w‑transdrn与其他6种先进算法的图像比较事例一；36.图9为本公开实施例1的w‑transdrn与其他6种先进算法的图像比较事例二；37.图10为本公开实施例1的w‑transdrn与其他6种先进算法的图像比较事例三；38.图11为本公开实施例1的w‑transdrn与其他6种先进算法的图像比较事例四；39.图12为本公开实施例1的参数量跟峰值信噪比(psnr)的关系图；40.图13为本公开实施例1的psnr与模型运行时间关系参照图；41.图14为本公开实施例1的w‑transdrn与其他三种模型在不同数据量下的网络性能比较图。具体实施方式：42.下面结合附图与实施例对本公开作进一步说明。43.应该指出，以下详细说明都是例示性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属
技术领域：
：的普通技术人员通常理解的相同含义。44.超分辨率模型是研究图像超分辨率的重要基础；正如
背景技术：
：中提到的超分辨率模型，虽然在一定程度上取得了部分效果，但是单一的卷积神经网络在并行计算能力和特征抽取能力上存在明显不足；本公开中所提出的w‑transformer与密集残差网络相结合的网络模型能够弥补单一卷积神经网络的并行计算力，提升对关键信息特征的提取能力，在网络性能上具有更好的表现力；在该模型中，本公开中将解决以下三个技术问题，问题如下：45.1.网络模型对输出图像的分辨率是否具有较大的提升；46.2.transformer和卷积神经网络结合之后在运行时间与网络性能的关系上能否产生一种良好的平衡关系；47.3.在预训练数据量很大的情况下，本公开中的网络模型是否具有较好的图像处理能力。48.实施例1：49.如图1所示，本实施例提供了一种基于密集残差网络的图像超分辨率重建方法，包括：50.获取图像信息：51.根据获取的图像信息和预设的图像超分辨率重建模型，得到图像超分辨率重建结果；52.其中，所述图像超分辨率重建模型由密集残差网络和改进的transformer网络结合得到；改进的transformer网络中，通过不断赋予新的权重以更新query与key的点乘结果，进而得到加权输出。53.具体的，首先，本实施例中采用密集残差网络(drn)作为主干，旨在通过增加分支层提高网络深度，进而提升网络的信息和梯度流动能力；所述密集残差网络(drn)在增加分支连接的同时保持直接连接，以进一步加强对关键信息特征的提取能力，避免由于网络过深而造成“信息丢失或过滤”的现象。其次，本实施例中提出一种新的自注意力机制‑加权自注意力机制(weightedself‑attention)，其通过不断赋予新的权重(weight)以更新query与key的点乘结果，进而得到一个更好的加权输出，weightedself‑attention通过不断的更新权重(weight)旨在关注重点图像信息特征，弱化无关特征，权自注意力机制的提出有利于进一步提升自注意力机制的建模能力，扩大感受野范围。最后，本实施例中将改进的transformer(w‑transformer)与drn进行结合，用以解决卷积神经网络所带来的并行计算能力问题以及特征抽取问题，另外，w‑transformer具备挖掘长距离依赖的能力，并且不受归纳偏置的限制，因此具有很强的表达性。通过实验，进一步证明本实施例中所提出的网络结构拥有更好的psnr(峰值信噪比)/ssim性(结构相似)性能以及更快的收敛速度。54.总体网络框图如图1所示，针对网络框架进行详细介绍，本实施例中采用残差网络与transformer相结合的方式以进一步提升图像的超分辨率；本实施例中所提出的密集残差网络(drn)采用传统残差网络的新形式，在现有直接路径的基础上增加分支连接，将每个卷积块进行跳跃连接，旨在更好提取关注语义特征，避免在信息提取过程中关键信息被过滤或丢失的问题；由于残差网络并行计算和特征抽取能力较为薄弱，因此，本实施例中将密集残差网络(drn)与transformer进行结合，为了更好的提升网络性能以得到更高质量的图像，本实施例中提出w‑transformer新形式，在原有基础上采用了一种加权自注意力机制(weightedself‑attention)，加权自注意力机制在提取图像纹理等信息特征上具有良好的表现能力。55.如图3所示，对密集残差网络的设计方法进行详细介绍；为了提升对关注信息的特征提取能力，本实施例采用了一种新的连接形式：在传统残差网络(resnet)基础上，在原有直接连接的基础上，每个卷积块都会产生新的分支路径，每个偶数层的卷积块分别与所处位置以下层数中的偶数层的卷积块进行交叉连接，每个奇数层的卷积块分别与所处位置以下的奇数层的卷积块进行交叉连接，旨在进一步提升各层之间的信息流动能力，通过奇偶卷积块的分支连接，能够更好的提升关注信息的提取能力，弱化无关信息的关注力。在密集残差网络(drn)中，本实施例采用了m个卷积层，每个卷积层中有一个3×3的卷积块，每个卷积层都会产生m个分支，共有个偶数层，产生个偶数分支，个奇数层，产生个奇数分支，每个支路中都会有一个1×1的卷积块和一个全局块(globalblock)，globalblock如图4所示。每个分支都采用非线性变换hm(·)，其中，hm(·)是进行批量归一化、校正线性单元、池化或卷积等操作的复合函数。最终，mth层接收了前面所有层(x0,…,xm‑1)的特征映射，即：56.xm＝hm([x0,…,xm‑1])ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(1)[0057]其中，[x0,…,xm‑1]表示在第0，…,m‑1个分支特征映射的级联；mth代表第m层卷积；hm代表m个卷积所采用的复合函数(复合函数包括：批量归一化、线性校正单元、池化和卷积等操作)。[0058]此外，在第一层与最后一层的分支连接中，为了弱化位置特征，增强语义特征，本实施例中在支路上增加特征金字塔模块(特征金字塔网络：featurepyramidnetworks，fpn)，将低级特征与高级特征进行融合，减少关注信息的丢失，从而获取更准确的信息特征，提升高质量图像的输出能力。[0059]如图5所示，对改进后的transformer，即：w‑transformer进行详细介绍；本实施例中采用1个w‑transformer与密集残差网络(drn)进行整体网络搭建，其中，w‑transformer中的编码层(encoderblock)由6个编码器(encoder)堆叠而成，解码层(decoderblock)由6个解码器(decoder)堆叠而成，每个encoder‑decoder框图都相同，图5展示了1个encoder‑decoder。w‑transformer主要流程为：输入‑编码‑解码‑输出。在使用w‑transformer之前，图像上的每个信息点都需要嵌入到一个模型样本维度等于512的向量中，即：dmodel＝512。编码器(encoder)主要包含2部分：加权自注意力机制(weightself‑attention)和前馈神经网络(feedforward)。解码器主要包含3部分：加权自注意力机制(weightself‑attention)、编码‑解码注意力(encoder‑decoderattention)和前馈神经网络(feedforward)。与编码器不同的是，在解码器中增加了编码‑解码注意力(encoder‑decoderattention)，其主要目的是帮助当前节点获取当前需要关注的重点语义特征。在得到z1后，并没有让其直接传入前馈神经网络，而是先经过归一化层，目的是为了防止在深度神经网络训练中产生退化问题。之后，增加多层感知机(mlp)，将query和key进行拼接之后通过一个激活函数为双曲正切函数(tanh)的全连接层，得到的结果再跟权重矩阵做乘积(公式2)，以此来更好的完成通道信息的交互任务。[0060][0061]其中，a为向量矩阵；q为加权自注意力机制中的向量query；k为加权自注意力机制中的向量key；为权重矩阵；w1为加权自注意力机制的权重；t为权值。[0062]图5中，增加了位置信息来改善加权自注意力机制中无法直接获取位置信息的缺点。位置信息采用的是正余弦位置编码，位置编码通过使用不同频率的正、余弦函数而生成，所用公式如下：[0063][0064][0065]其中，i为特征点向量的第几维；pos为图像特征点在图像中的绝对位置。[0066]如图6所示，为加权自注意力机制(weightedself‑attention)的细节图；自注意力机制主要是一种权重参数的分配机制，目的是协助网络模型捕捉关注信息。加权自注意力机制通过引入三个元素：query、key和value。计算query和每一组key的相似性，以得到每个key的权重系数，然后对value进行加权求和，进而得到最终的输出数值。其中，dq＝dv＝dk＝dmodel＝512。[0067]即：[0068][0069]假设x∈rn×d是一个输入样本序列的特征，其中，n为输入样本个数(序列长度)，d为单个样本维度，lx为source的长度；rn×d为自然序列矩阵；。query、key和value定义如下：[0070]query：q＝x·wq，其中[0071]key:k＝x·wk，其中[0072]value：v＝x·wv，其中[0073]图6中，本实施例中增加了权重块(weightedblock)，通过不断赋予新的权重(weight)以更新query与key的点乘结果，以得到一个更好的加权输出，该输出主要包含所有可见的输入序列信息，然后经过一个归一化指数函数(softmax)，得到一个新的向量矩阵l，之后将每个value向量和l中的值进行相乘。旨在通过不断的更新权(weight)以关注重点图像信息特征，弱化无关特征。最终将得到的结果进行相加求和然后输出。[0074]步骤1：计算不同输入向量之间的分数值，即：[0075]s＝q·kt[0076]其中，s代表scores即一个向量矩阵；[0077]步骤2：对梯度稳定后的scorces矩阵进行归一化处理，即：[0078][0079]其中，sn表示n维矩阵；[0080]步骤3：用softmax函数进行进一步处理，即：[0081]p＝softmax(sn)[0082]其中，p表示进行softmax函数处理后的向量值；[0083]步骤4：最终得到加权值矩阵，即：[0084]z＝v·p[0085]其中，z表示输出的加权值矩阵。[0086]step1:computescoresbetweendifferentinputvectorswiths＝q·kt；[0087]step2:normalizethescoresforthestabilityofgradientwith[0088]step3:translatethescoresintoprobabilitieswithsoftmaxfunctionp＝softmax(sn)；[0089]step4:obtaintheweightedvaluematrixwithz＝v·p。[0090]该过程的总体公式如下：[0091][0092]为了进一步证明本实施例中所提出的算法(w‑transdrn)在超分辨率应用中具有较好的网络性能和优秀的图像处理能力，本实施例展开了以下五部分实验，通过实验数据的对比和图像的视觉比较，旨在表明本实施例中算法的优势和可竞争性。[0093]1.如图7所示，现有四种算法与本实施例中的算法在网络性能上的可视化对比实验：[0094]图7展示了比例因子为2时，在bsds100数据集上，本实施例中的w‑transdrn模型以及密集残差网络(drn)模型与其他三种算法(vdsr、lapsrn和ipt)的可视化比较。图7进一步表明：(1)本实施例所提出的密集残差网络(drn)在psnr/ssim性能方面明显优于传统resnet网络(vdsr和lapsrn)；(2)drn在与ipt模型对比发现，其psnr值提升不明显(psnr仅提升0.01db)，而其ssim明显优于ipt，说明单一的drn网络仍旧缺乏优秀的性能表现力；(3)在drn基础上结合w‑transformer结构，即：本文算法(w‑transdrn)，相较于vdsr、lapsrn和ipt，psnr/ssim性能提升明显，说明w‑transdrn具备较高的网络性能。[0095]2.现有11种算法与本实施例中算法的数据对比实验：[0096]本实施例与11种现有先进算法：lapsrn、edsr、srmdnf、msrn、mrfn、oisr‑rk3、seanet、mdcn、mscn、lw‑csc、ipt进行实验比较，在该节中，本实施例中采用psnr和ssim两种评价指标对网络性能进行综合评定，如表1所示：[0097]表1：tablei所提出的算法与现有先进算法的对比数据图[0098][0099][0100][0101][0102]将实验所得数据汇总得到表1，所有次优结果在表中均标注下划线；表1中可以看出：在比例因子为2时，在set5、set14、bsds100、urban100四种数据集下，相较于次优结果，w‑transdrn的psnr值分别高出：0.51db、1.01db、1.13db和1.12db，w‑transdrn的ssim值分别高出：0.009db、0.0094db、0.0104db、0.0047db；在比例因子为3时，在set5、set14、bsds100、urban100四种数据集下，相较于次优结果，w‑transdrn的psnr值分别高出：0.3db、0.48db、0.84db和0.49db，w‑transdrn的ssim值分别高出：0.0014db、0.0096db、0.0098db和0.0112db；在比例因子为4时，在set5、set14、bsds100、urban100四种数据集下，相较于次优结果，w‑transdrn的psnr值分别高出：1.37db、1.1db、1.17db和1.27db，w‑transdrn的ssim值分别高出：0.0130db、0.0023db、0.0116db和0.0163db；[0103]综上所述，本实施例中所提出的w‑transdrn算法在比例因子为2、3、4时均取得了较好的结果。[0104]图8、图9、图10和图11展示了通过本实施例中所提出的算法模型和其他6种先进算法重建出来的图像，本实施例采用bsds100和urban100基准数据集，在比例因子为2和4时重建的图像。从图8、图9、图10和图11可以看出，相较于其他方法，本实施例中的方法在提升图像细节清晰度上是成功的，进一步表明w‑transdrn算法在从低分辨率图像种恢复复杂纹理方面是具有高度可靠性的。[0105]3.模型参数对比分析实验：[0106]在图12中，本实施例中展示了性能和模型大小之间的平衡关系。在bsds100基准数据集上比例因子为2的情况下，本实施例提出的算法与其他6种算法(lapsrn、drcn、mdsr、edsr、oisr‑rk3和ipt)在相同配置上进行测试比较。从图中可以看出，相较于lapsrn、drcn和mdsr，本实施例中所提出的算法虽然在参数量上较高，但是网络性能明显优于这三种算法(psnrw‑transdrn＝33.61db)；相较于edsr、oisr‑rk3和ipt，本实施例中所提出的算法在参数量和网络性能上均优于这三种算法。因此，本实施例中的算法在网络性能和参数量上能够达到较优的均衡关系。[0107]4.模型运行时间对比分析实验：[0108]图13中，展示了性能和运行时间大小之间的平衡关系。实验过程中，本实施例采用set14基准数据集，比例因子为4，在相同配置上进行测试比较。参与比较的算法包括：lapsrn、lw‑csc、mdcn、oisr‑rk3、edsr、ipt和w‑transdrn(ours)。从图中可以看出，lapsrn与lw‑csc在运行时间上优于本实施例中的算法，然而其psnr值明显低于w‑transdrn(psnrw‑transdrn＝30.11db)；本实施例中的算法与另外4种算法相比，在运行时间和网络性能上均优于其他4种算法。因此，本实施例中所提出的算法在网络性能和运行时间上表现出较优的均衡性。[0109]5.数据百分比分析实验：[0110]本实施例中进行了数据百分比的影响实验，旨在评价w‑transformer体系结构的有效性，通过实验结果分析基于cnn模型(edsr、lw‑csc)、基于transformer模型(ipt)以及基于trans‑cnn模型(w‑transdrn)预训练的性能提升力。该部分中，本实施例中使用20％、40％、60％、80％和100％合成百分比的imagenet数据集进行对数据数量的影响分析实验，实验结果如图14所示。图14可以看出：[0111](1)当模型没有进行预训练或进行少量预训练(<60％)时，基于cnn的模型较基于transformer以及基于trans‑cnn模型的模型表现出了更好的网络性能；[0112](2)当训练数据量增大(>60％)时，基于transformer的模型和基于trans‑cnn模型(w‑transdrn)性能明显优于基于cnn的模型；[0113](3)相较于单一的transformer模型(ipt)，基于transformer和cnn相结合的模型，即：w‑transdrn，网络性能(psnr)一直优于ipt模型，且在训练数据量>50％时，w‑transdrn模型完全压倒基于cnn的模型，展现出更为优异的网络性能。[0114]实施例2：[0115]本实施例提供了一种基于密集残差网络的图像超分辨率重建系统，包括数据收集模块和超分辨率重建模块；[0116]所述数据收集模块，被配置为：获取图像信息：[0117]所述超分辨率重建模块，被配置为：根据获取的图像信息和预设的图像超分辨率重建模型，得到图像超分辨率重建结果；[0118]其中，所述图像超分辨率重建模型由密集残差网络和改进的transformer网络结合得到；改进的transformer网络中，通过不断赋予新的权重以更新query与key的点乘结果，进而得到加权输出。[0119]实施例3：[0120]本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了实施例1所述的基于密集残差网络的图像超分辨率重建方法的步骤。[0121]实施例4：[0122]本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了实施例1所述的基于密集残差网络的图像超分辨率重建方法的步骤。[0123]以上所述仅为本实施例的优选实施例而已，并不用于限制本实施例，对于本领域的技术人员来说，本实施例可以有各种更改和变化。凡在本实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实施例的保护范围之内。当前第1页12当前第1页12