超分辨率轻量化的图像压缩感知重构系统及其方法

1.本发明涉及图像成像与重建技术领域，尤其涉及一种超分辨率轻量化的图像压缩感知重构系统及其方法；详细地说，本发明是一种基于超分辨率与深度卷积网络，利用超分辨率技术减少网络复杂度的高性能图像压缩感知重构系统及其方法。


背景技术：

2.压缩感知是一种新的信号采样理论。比较传统的香农采样，压缩感知证明了可实现对稀疏信号降维采样的准确重构，因此可大大减少采样的数据量，从而有效减少数据存储空间和数据传输带宽。压缩感知在图像成像中已得到广泛应用。图像压缩感知重构是压缩感知成像涉及的核心问题，自压缩感知理论提出至今一直是该领域关注的研究热点。近年来，随着深度学习在图像识别领域取得的成功应用，基于深度网络的压缩感知重构实现也得到了极大关注和飞速发展。【参见文献：[1]e.j.candes and t.tao，“near-optimal signal recovery from random projections:universal encoding strategies？”ieee transactions on information theory,vol.52,no.12,pp.5406
–
5425,2006；[2]w.dong,g.shi,x.li,y.ma,and f.huang,“compressive sensing via nonlocal low-rank regularization,”ieee transactions on image processing,vol.23,no.8,pp.3618
–
3632,2014；[3]a.mousavi,a.b.patel,and r.g.baraniuk,“a deep learning approach to structured signal recovery,”in proceedings of ieee annual allerton conference on communication,control,and computing,2015,pp.1336
–
1343；[4]w.shi,f.jiang,s.liu and d.zhao,"image compressed sensing using convolutional neural network,"ieee transactions on image processing,vol.29,pp.375-388,2020】。
[0003]
深度学习方法与传统方法比较，能够极大地提升压缩感知图像的重构质量，并且因为采用端对端映射，因此可以得到重构速度的极大提升。深度学习方法还可以实现压缩感知编码端的测量矩阵与重构网络的联合优化，因而可以更加有效地提升测量效率和重构性能。然而，图像的压缩感知因为图像的维度较高，面临的一个很重要的问题是如何减少采样及重构系统的复杂度。基于分块压缩感知的方案可以较好平衡重构性能和系统的复杂度。【参见文献：[6]l.gan,“block compressed sensing of natural images,”in proc.ieee 15th int.conf.digit.signal process.,jul.2007,pp.403
–
406】。但是，如何在保证系统重构性能的同时，有效减少系统的参数规模及计算复杂度，以更好满足系统实时和低成本应用的需要，仍然是一个具有挑战性的问题。


技术实现要素：

[0004]
本发明的目的就在于克服上述背景技术的缺点和不足，提供一种超分辨率轻量化的图像压缩感知重构系统及其方法；具体地说，本发明是基于超分辨率与深度卷积网络，采用分组低分辨率初始重构与超分辨率深度重构策略的复杂度减少的图像压缩感知重构系统及其方法，通过引入分组机制，对输入的测量值进行分组后先重构出原始图像的降维估
计，然后通过上采样和超分辨率深度重构，在有效降低重构系统复杂度的同时得到原始图像的高质量重建结果。
[0005]
本发明的技术思路是：
[0006]
首先采用分组策略对输入的图像测量值进行均等非重叠分解，得到测量值的多组分量表示；然后，利用多个并联的通路，每一通路分别对输入的一组分量表示进行变换，得到原始图像的降维重构表示；再对所有通路输出的降维重构表示联合进行上采样变换，得到原始图像的粗略估计，同时利用超分辨率深度卷积网络，得到原始图像的残差估计；最后通过相加运算得到原始图像的高质量重构结果。本发明通过采用分组低分辨率重构与上采样及超分辨率技术，有效降低重构系统的参数规模和计算复杂度，并通过引入卷积采样与重构网络的联合训练，保障了图像重构质量的有效提升。
[0007]
具体地说，本发明的技术方案是：
[0008]
一、超分辨率轻量化的图像压缩感知重构系统(简称系统)
[0009]
本系统包括输入的图像测量值y，设置有非重叠分组模块、多路并行的低分辨率图像重构模块、高分辨率图像上采样重构模块、残差图像超分辨率深度重构模块和加法器模块；
[0010]
输入的图像测量值y、非重叠分组模块和多路并行的低分辨率图像重构模块依次交互；多路并行的低分辨率图像重构模块分别与高分辨率图像上采样重构模块和残差图像超分辨率深度重构模块交互；高分辨率图像上采样重构模块和残差图像超分辨率深度重构模块分别与和加法器模块交互，加法器模块的输出为重构的图像
[0011]
二、超分辨率轻量化的图像压缩感知重构方法(简称方法)
[0012]
本方法包括下列步骤：
[0013]
①
非重叠分组
[0014]
非重叠分组模块(10)接收输入的图像测量值y，将对应所有块图像的测量值均等或近似均等地分成l等分，分别表示为y1、y2、
…
、y
l
；l为自然数，设定为4、8或16；
[0015]
②
多路并行的低分辨率图像重构
[0016]
多路并行的低分辨率图像重构模块(20)内并行的l个低分辨率图像重构lrir单元，对应第i低分辨率图像重构lriri单元接收输入yi，生成原始图像x的维度减少的低分辨率图像xi，i＝1、2、
…
、l，xi表示第i通道生成的第i幅图像，维度减少因子一般设定为s＝2；
[0017]
③
高分辨率图像上采样重构与残差图像超分辨率深度重构
[0018]
高分辨率图像上采样重构模块(30)并行接收低分辨率图像重构模块输出的低分辨率图像xi,i＝1、2
…
l，通过反卷积上采样运算，生成维度与原始图像相同的原始图像的粗略估计
[0019]
残差图像超分辨率深度重构模块(40)同时并行接收低分辨率图像重构模块输出的低分辨率图像xi,i＝1、2
…
l，通过深度神经网络进行超分辨率运算，生成维度与原始图像相同的原始图像的残差估计
[0020]
④
相加运算
[0021]
加法器模块(50)接收高分辨率图像上采样重构模块(30)输出的原始图像的粗略估计和残差图像超分辨率深度重构模块(40)输出的原始图像的残差估计通过相
加运算，生成原始图像x的最后重构图像
[0022]
图像的卷积采样：非重叠分组模块输入的图像测量值y，是采用一组共m个核大小为b
×
b的滤波器组，通过卷积运算生成的三维张量，一般设置b＝32，m/b2定义为压缩感知的测量比率；
[0023]
卷积采样与重构系统的联合优化：为了保证本系统生成高质量的最后重构，采用深度学习的网络训练方法，对卷积采样的滤波器组的系数和本系统的参数进行联合训练优化，所用的损失函数为原始图像x分别与粗略估计和最后重构的均方误差的加权和，即mse()表示求均方误差运算，α为加权因子，设定α＝0.01～1.0。
[0024]
工作机理：
[0025]
本发明的实现总体分为两个阶段：
[0026]
第一阶段，采用非重叠分组模块、多路并行的低分辨率图像重构模块，由已知的图像的测量值得到原始图像的多幅低分辨率估计；
[0027]
第二阶段，首先利用高分辨率图像上采样重构模块生成原始图像的粗略估计，同时利用残差图像超分辨率深度重构模块生成原始图像的残差估计，最后通过加法器模块进行相加运算，得到原始图像的高质量重建。
[0028]
与现有技术相比，本发明具有下列优点和积极效果：
[0029]
本发明在保证重构性能的同时，可显著降低重构系统的计算复杂度和资源消耗；适用于压缩成像等应用。
附图说明
[0030]
图1是本系统的结构方框图；
[0031]
图1中：
[0032]
y—输入的图像测量值；
[0033]
—重构的图像；
[0034]
10—非重叠分组模块；
[0035]
20—多路并行的低分辨率图像重构模块，
[0036]
21—第1低分辨率图像重构单元(lrir1单元)，
[0037]
22—第2低分辨率图像重构单元(lrir2单元)，
[0038]
…
，
[0039]
2l—第l低分辨率图像重构单元(lrir
l
单元)，
[0040]
l在本发明中推荐设定为4，也可设置为其它如8或者16等；
[0041]
30—高分辨率图像上采样重构模块；
[0042]
40—残差图像超分辨率深度重构模块；
[0043]
50—加法器模块。
[0044]
图2是本方法与同类方法的系统复杂度比较表。
[0045]
图3是本方法与同类方法的系统重构性能比较表。
具体实施方式
[0046]
下面结合附图和实施例详细说明：
[0047]
一、系统
[0048]
1、总体
[0049]
如图1，本系统包括输入的图像测量值y，设置有非重叠分组模块10、多路并行的低分辨率图像重构模块20、高分辨率图像上采样重构模块30、残差图像超分辨率深度重构模块40和加法器模块50；
[0050]
输入的图像测量值y、非重叠分组模块10和多路并行的低分辨率图像重构模块20依次交互；多路并行的低分辨率图像重构模块20分别与高分辨率图像上采样重构模块30和残差图像超分辨率深度重构模块40交互；高分辨率图像上采样重构模块30和残差图像超分辨率深度重构模块40分别与和加法器模块50交互，加法器模块50的输出为重构的图像
[0051]
详细地说：非重叠分组模块10有一个输入端、l个输出端，多路并行的低分辨率图像重构模块20有l个输入端和l个输出端，高分辨率图像上采样重构模块30有l个输入端和1个输出端，残差图像超分辨率深度重构模块40有l个输入端和一个输出端，加法器模块50有两个输入端和一个输出端；
[0052]
非重叠分组模块10的输入端连接到系统的输入端，即输入的图像测量值y；
[0053]
多路并行的低分辨率图像重构模块20的第1、2
…
l低分辨率图像重构单元21、22
…
2l并行对应与非重叠分组模块10的l个输出端分别交互；
[0054]
高分辨率图像上采样重构模块30的l个输入端并行对应与多路并行的低分辨率图像重构模块20的l个输出端分别交互；
[0055]
残差图像超分辨率深度重构模块40的l个输入端并行对应与多路并行的低分辨率图像重构模块20的l个输出端分别交互；
[0056]
加法器模块50的一个输入端与高分辨率图像上采样重构模块30的输出端交互，另一个输入端与残差图像超分辨率深度重构模块40的输出端交互，加法器模块50的输出端为系统的输出端，即重构的图像
[0057]
l是自然数，推荐设定为4，也可设置为其它如8或者16等。
[0058]
2、功能模块
[0059]
1)非重叠分组模块10
[0060]
如图1，非重叠分组模块10是一种数据分割模块，完成将输入的数据均匀分割成多组数据。
[0061]
非重叠分组模块10接收输入的图像测量值y，将对应图像的测量值均等或近似均等地分成l等分，分别表示为y1、y2…yl
，l为自然数，设定为4、8或16等；
[0062]
非重叠分组模块10和其它模块之间的关系：
[0063]
非重叠分组模块10接收输入的图像测量值y，将输入图像的测量值均等或近似均等地分成l等分y1、y2…yl
，分别送入多路并行的低分辨率图像重构模块20的输入端。
[0064]
2)多路并行的低分辨率图像重构模块20
[0065]
如图1，多路并行的低分辨率图像重构模块20是一种图像生成模块，利用输入的图像测量值，通过简单的卷积运算，并行生成原始图像的分辨率减少的多幅低分辨率图像。
[0066]
多路并行的低分辨率图像重构模块20包括并行的彼此独立的第1、2
…
l低分辨率
图像重构单元21、22
…
2l，l设定为4、8或16等；
[0067]
多路并行的低分辨率图像重构模块20和其它模块之间的关系：
[0068]
多路并行的低分辨率图像重构模块20内并行的l个低分辨率图像重构(lrir)单元21、22
…
2l，对应第i低分辨率图像重构(lriri)单元2i接收输入yi，生成原始块图像x的维度减少的图像xi,i＝1、2
…
l，xi表示第i通道生成的第i幅图像，维度减少因子一般设定为s＝2；
[0069]
多路并行的低分辨率图像重构模块20内并行的l个低分辨率图像重构(lrir)单元21、22
…
2l的输出，同时分别对应送入高分辨率图像上采样模块30和残差图像超分辨率深度重构模块40的l个输入端。
[0070]
3)高分辨率图像上采样模块30
[0071]
高分辨率图像上采样模块30是一种图像上采样模块，根据输入的多幅低分辨率图像，通过简单的上采样运算，生成原始图像的低质量重构结果。
[0072]
高分辨率图像上采样模块30接收多路并行的低分辨率图像重构模块20的输出，通过反卷积上采样运算，生成原始图像的粗略估计
[0073]
4)残差图像超分辨率深度重构模块40
[0074]
残差图像超分辨率深度重构模块40是一种采用深度网络的超分辨率模块，根据输入的多幅低分辨率图像，首先利用多层卷积网络进行深度特征提取，然后对深度特征进行升维和变换，预测出原始图像的残差图像。
[0075]
残差图像超分辨率深度重构模块40接收多路并行的低分辨率图像重构模块20的输出，采用深度卷积网络，生成原始图像的残差估计
[0076]
5)加法器模块50
[0077]
加法器模块50是一种执行加法运算的模块，完成将输入的原始图像的低质量估计与残差图像的相加，生成原始图像的高质量重建结果。
[0078]
加法器模块50接收高分辨率图像上采样模块30的输出和残差图像超分辨率深度重构模块40的输出，通过相加运算，生成原始图像的高质量重建输出，即重构的图像
[0079]
二、方法
[0080]
1、所述的步骤
①
[0081]
非重叠分组模块10对接收的图像测量值y进行均等划分，得到原始图像测量值的l组表示yi,i＝1、2
…
l，数学公式表示为：
[0082]
yi＝ri(y),
[0083]
其中：
[0084]ri
()表示提取y的第i段的运算。
[0085]
2、所述的步骤
②
[0086]
多路并行的低分辨率图像重构模块20内的并行的l个单元，第i低分辨率图像重构单元2i对接收的图像测量值yi，采用单层卷积网络，通过卷积运算与整形，得到原始图像x的维度减小的估计xi，维度减少因子一般设定为s＝2；第i低分辨率图像重构单元功能的数学公式表示为：
[0087]
xi＝f
lrir
(yi,θi),i＝1,2,
…
,l
[0088]
其中：xi为输出，yi为输入，f
lrir
()代表单层卷积网络，θi为网络参数。
[0089]
3、所述的步骤
③
[0090]
高分辨率图像上采样模块30的接收多路并行的低分辨率图像重构模块20的输出，通过单层的反卷积上采样运算，得到原始图像的粗略估计数学表示为：
[0091][0092]
其中的f
up
()为图像上采样运算，θ
up
为网络参数；
[0093]
残差图像超分辨率深度重构模块40对接收的原始图像的低分辨率估计xi,i＝1,2,
…
,l，采用深度卷积神经网络，得到原始图像x的残差估计数学表示为：
[0094][0095]
其中的f
sr
()表示超分辨率深度网络，θ
sr
为网络参数。
[0096]
4、所述的步骤
④
[0097]
加法器模块50对接收的原始图像x的残差估计和粗略估计进行相加运算，得到原始图像x的高质量重建输出数学表示为：
[0098][0099]
5、其它
[0100]
1)非重叠分组模块(10)输入的图像测量值y，由卷积采样方法得到，数学表示为：
[0101]
y＝f
cs
(x；θ
cs
)
[0102]
其中的f
cs
()表示卷积采样运算，θ
cs
表示网络参数。
[0103]
2)重构系统的参数与卷积采样网络的参数联合学习优化，在已知的图像集下，利用训练深度网络的方法，定义损失函数为用训练深度网络的方法，定义损失函数为mse()表示求均方误差运算，α为加权因子，设定α＝0.01～1.0，训练网络使得损失函数loss收敛到最小值。
[0104]
三、实验评估
[0105]
为了证明本发明实施例的有效性，发明人在pytorch深度学习框架下进行了实验评估。实验平台配置2张nvidia geforce gtx 1080ti显卡。多路并行的低分辨率图像重构模块的参数l选取为l＝4，降维因子设定为s＝2。测试系统性能用平均psnr指标度量图像重构质量，用参数规模度量系统复杂度。训练方法选用adam法，相关参数设置为β1＝0.9,β2＝0.999和ε＝10-8
；学习率为0.0002，batch size大小为64；α＝0.1。
[0106]
图2给出了本发明方法与同类方法的系统复杂度比较。
[0107]
图3给出了本发明方法与同类方法的在不同测试数据集的重构性能比较。
[0108]
由此可见：本发明在明显降低系统复杂度的同时，还得到了重构图像质量的进一步提升。
[0109]
本领域的技术人员可以对本发明实施例进行各种修改和变型，倘若这些修改和变型在本发明权利要求及其等同技术的范围之内，则这些修改和变型也在本发明的保护范围之内。
[0110]
说明书中未详细描述的内容为本领域技术人员公知的现有技术。