基于DCT特征增强网络的图像压缩感知重建方法

本发明涉及智能信息处理，具体是一种基于dct(discrete cosinetransform，简称dct)基于dct特征增强网络的图像压缩感知重建方。

背景技术：

1、压缩感知作为一种全新的信号获取和处理框架，相比于传统的香农-奈奎斯特采样理论对信号采样率的要求，能够以极低的采样率对特定域中具有稀疏性的信号进行压缩采样，并提供了准确重构信号的理论保证。利用压缩感知理论进行信号处理，能够大大减小存储空间和传输成本，并广泛应用于医学图像、单像素相机成像、遥感图像重建等研究中。

2、将压缩感知应用于图像重构的研究中，主要的挑战是采样矩阵的设计和图像重构算法的构建。传统的压缩感知图像重构算法，如amp-net、focuss、omp等，基于迭代优化的思想，在重构质量方面有很好的理论支撑，但是大量的迭代次数限制了重构速度。随着深度学习的发展，许多研究将深度网络应用于图像压缩感知重建问题，如sda、dr2-net、cs-net等纯深度网络利用大量数据训练重构模型，获得了不错的重建效果，但也存在细节恢复不好、数据依赖性强、网络可解释性差等问题。为了应对这些挑战，将图像结构先验与深度网络结合成为了压缩感知图像重建研究的热点。amp-net将近似信息传递算法展开到卷积神经网络中，获得了很好的解释性和重构速度；nl-csnet在测量域和多尺度特征域引入非局部自相似性先验，捕捉长距离依赖，提升了重构的质量；lapran利用拉普拉斯金字塔对测量向量进行多尺度重建，有效恢复图像的多尺度特征。

3、已有研究表明cnn网络偏向于捕获图像的低频特征，仅在图像空间域进行重建虽然能取得较好的全局重构效果，但对于边缘、细节等高频特征的恢复还存在较大的挑战。

技术实现思路

1、本发明的目的是针对现有技术的不足，而提供一种基于dct特征增强网络的图像压缩感知重建方法。这种方法能够有效捕获图像的高频细节特征、提升压缩感知图像重建性能。

2、实现本发明目的的技术方案是：

3、一种基于dct特征增强网络的图像压缩感知重建方法，包括如下步骤：

4、1)压缩采样得到图像的观测向量：以bsds500作为训练数据集，每次迭代训练随机裁剪s×s大小的图像对x进行分块卷积压缩采样，得到图像的观测向量如公式(1)所示：

5、xblk＝csm(unfold(x),wcsm) (1)，

6、其中unfold表示对图像进行无重叠分块操作，csm表示卷积压缩采样操作，wc表示卷积参数；

7、2)初始重构：采用像素上采样网络对步骤1)中得到的观测向量y进行初始重构，得到初始重建图像xinit，如公式(2)所示：

8、xinit＝fup(y,wup)(2)，

9、其中，wup是亚像素上采样网络fup的参数；

10、3)深度重建：采用dct特征增强网络对步骤2)中得到的xinit进行深度重建，dct特征增强网络设有dct特征增强模块、全局信息重建模块，以及特征融合重建模块，具体为：

11、3-1)dct特征增强模块：对初始重建图像xinit进行分块dct变换，得到初始重建图像的dct特征图，并采用深度可分离卷积残差网络对dct特征图进行高频特征增强，得到增强dct特征dr，如公式(3)所示：

12、dr＝fs(fbdct(xinit),ws)(3)，

13、其中fbdct表示分块dct变换，fs表示深度可分离卷积残差网络，ws表示网络fs的参数，增强后的dct特征图dr经过逆dct变换操作fibdct，得到高频细节增强的重建图像xr，如公式(4)所示：

14、xr＝fibdct(dr)(4)；

15、3-2)全局信息重建模块：采用卷积操作conv1对初始重构图像xinit进行通道转换，再经由4个残差块级联而成的残差网络fr1学习重构图像的全局信息，通过一个卷积层conv2得到全局重构特征图xg，如公式(5)所示：

16、xg＝conv2(fr1(conv1(xinit),wr1))(5)，

17、其中wr1表示fr1的网络参数；

18、3-3)特征融合重建模块：将全局重构特征图xg和高频细节增强的重构特征图xr在通道维度进行拼接融合，经通道变换操作conv3后通过4个残差块级联而成的残差网络和卷积层conv4，得到最终的深度重建图像xrec，如公式(6)所示：

19、xrec＝conv4(fr2(conv3(cat(xg,xr),wr2)))(6)，其中cat表示拼接操作，wr2表示残差网络fr2的参数；

20、4)网络进行训练：基于dct特征约束函数对网络进行训练，如公式(7)所示：

21、loss＝lossglobal+αlossdct(7)，其中，表示最终重构图像xrec和真实图像x之间的损失项，表示对dct特征增强模块的输出dr施加的损失项，α表示权重因子。

22、步骤3-1)中所述的dct特征增强模块过程为：

23、先将初始重建图像xinit分成k×k大小的图像块，并对每个图像块进行dct变换，得到图像的二维局部dct特征如公式(8)所示：

24、

25、其中unfold表示图像分块操作，dct表示dct变换；

26、然后采用重排操作reshape3将每个图像块相同频带的二维dct特征图排列到一个通道中，得到三维dct特征立方体如公式(9)所示：

27、

28、经过由4个深度可分离卷积残差单元组级联而成的特征增强网络fs，得到dct高频细节增强特征图dr，如公式(10)所示：

29、

30、其中，ws表示网络参数；

31、将dr重排成二维dct特征图后经过逆dct变换，得到高频细节特征增强的重建图像xr，如公式(11)所示：

32、xr＝idct(reshape2(dr)＝fibdct(dr)    (11)，

33、其中reshape2表示重排至二维特征图操作，idct表示逆dct变换。

34、本技术方案在现代深度神经网络框架下进行压缩感知图像重建，采用端到端网络训练的方式学习图像的采样和重建过程，基于dct特征增强网络采用两条重构支路，分别恢复图像的全局信息和高频细节信息，通过分块dct变换获得关于图像的局部dct特征，并将相同频带的特征排列到同一通道中，采用深度可分离卷积学习增强各频带的dct特征，将增强的dct特征通过逆变换高频细节增强的重构图，并全局信息特征图进行融合重建，得到最终的重建图像。

35、这种方法能够有效捕获图像的高频细节特征，提升压缩感知图像重建性能。

技术特征：

1.一种基于dct特征增强网络的图像压缩感知重建方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于dct特征增强网络的图像压缩感知重建方法，其特征在于，步骤3-1)中所述的dct特征增强模块过程为：

技术总结
本发明公开了基于DCT特征增强网络的图像压缩感知重建方法，其特征在于：包括如下步骤：1）对图像进行分块卷积压缩采样；2）采用亚像素上采样网络对观测向量进行初始重建；3）采用DCT特征增强网络对初始重建图进行深度重建；4）基于DCT特征约束函数进行网络训练。本发明提出的图像重建方法显式学习图像的DCT特征，有效恢复图像的高频细节信息，提升重建精度。

技术研发人员：林乐平,韦荣,欧阳宁,莫建文
受保护的技术使用者：桂林电子科技大学
技术研发日：
技术公布日：2024/1/12