一种多级交叉感知和频率分割的图像压缩传感方法

本发明涉及图像压缩感知(compressive sensing，cs)，尤其是基于深度神经网络的压缩感知(deep compressed sensing，dcs)技术。本发明关注的是在压缩感知领域中数据采样和图像重建的问题，旨在实现更高质量的图像压缩感知。

背景技术：

1、压缩感知(compressed sensing，cs)是一种通过采用亚奈奎斯特香农采样率，以较低的采样率获取图像并能够精确重建的技术。相比传统的奈奎斯特香农采样定理，cs方法可以在采集信号的同时保留重建所需的信息，从而实现高效的信号采样和重建。cs方法在遥感传输、磁共振成像(magnetic resonance imaging mri)、地震预测等成像领域得到广泛应用。

2、cs方法的核心问题主要包括采样策略和重构策略。目前已经提出了多种采样矩阵，如随机矩阵、二进制矩阵和结构矩阵等，用于解决采样策略问题。在重构策略方面，凸优化算法、贪婪算法和迭代阈值算法等方法被广泛应用。然而，这些方法存在一些问题，例如收敛速度较慢、对复杂信号的建模能力有限等。近年来，深度学习在机器视觉领域取得了显著的进展，并被应用于图像cs方法中。基于深度学习的图像cs方法利用神经网络的学习和表示能力，通过展开迭代阈值算法或设计自身独特的网络结构，实现了更高质量的图像重建。然而，现有的基于深度学习的方法在图像cs过程中仍存在一些问题，如特征丢失、前馈层特征传递不充分以及难以应对多样复杂场景等挑战。

技术实现思路

1、本发明解决技术问题：本发明提出了一种新颖的图像压缩感知方法，称为多级交叉感知和频率分割网络(multi-cross sampling and frequency-division network，mcfd-net)。本方法解决了现有深度压缩感知(deep compressed sensing，dcs)方法仅采用简单的卷积降采样，在信息域的重建优化中仅能参考低维信息，而难以利用原信号的高维特征，在迭代重建中忽略了区分高低频信息的不同重要性，以及应对复杂场景时性能欠缺的种种问题。

2、首先，我们从传感网络(dynamic multi-cross sampling，dmcs)获取测量值，然后初始重建网络映射生成初始重建图像。为了弥补初始重建质量缺陷，我们通过非线性深度重建网络模块(frequency-division reconstruction module，fdrm)进一步细化重建图像。

3、传感网络即sdmcs(·)，包含金字塔交叉卷积和多级池化的双分支采样，以便在逆映射重建时创新性地参考原信号的高级特征，依此指导更有效的重建，并在感知块间引入注意力机制，增加采样网络的适应性学习效应。采样可以表示为：

4、y＝φ(x)＝sdmcs(x)      (1.1)

5、其中φ即为广义采样矩阵，sdmcs(·)即为传感网络，y为降采样信号，x为原信号。当采样率为25％时，初始重构recinit对y进行卷积操作，拓展通道维度为并通过像素洗牌(ps)操作成为1×h×w，结果用于指导深度重建，并减轻块效应。

6、

7、其中即为初始重建值，ps(·)操作为像素重排操作，conv(·)为卷积操作。深度重构网络d(·)由8层堆叠的fdrm块构成，首先通过卷积层将初始重建的i(y)图像转换为高维特征，经过fdrm内特有的频率分割和卷积自相似补偿，并多次参考测量值y与采样网络sdmcs，优化不同级别的特征图。重建质量在级联的fdrm块中逐渐提高。最终的重建结果可以表示初始重建和深度重建的共同结果：

8、

9、i(·)作为初始重建网络，d(·)为初始重建网络，y为采样值，x为初始信号。两个新颖的模块dmcs和fdrm将在下面进行解释。

10、区别于仅从单一卷积和单一池化中获得特征图，因为这很有可能在传递中损失不同级别的特征。通常靠近输入的层可以学习低级特征，例如线条和简单纹理，而模型中更深的层可以学习高阶特征。基于以上原则，为了更有效地利用采样的低、中、高级特征共同指导重建，我们提出了新颖的动态多级交叉传感(dynamic multi-cross sampling，dmcs)，使用金字塔卷积提取特征，并和双分支金字塔池化层进行残差连接，以解决特征信息流在池化中的丢失问题。其核心结构是dmcs-block，感知块间应用不同层次级别之间，自适应的注意力机制，增强重点特征通道。dmcs-block算法流程可以定义为：

11、

12、其中pconv、ppoolmax和ppoolavg分别对应金字塔卷积和池化层，ma和aa分别计算分支的高维通道注意力，为张量相加操作，yc，yt，yt+1均为承接迭代变量，作为临时的采样特征。

13、具体而言，在25％采样率下，首先通过3×3大小卷积核，步长1的卷积层对图像进行1→n通道的拓展，然后在dmcs-block中首先对输入特征进行金字塔卷积操作，在特征图上进行多尺度池化后，得到两个分支的待融合特征。接着，将双通道注意力加权融合特征得到当前感知层的输出。其中，权重参数均通过反向传播进行训练。采样比例由构建块(dmcs-block)的数量控制，因此改变很灵活，可以通过重复构建块轻松地以各种采样比例使用。对于初始重建，我们采用卷积完成观测域到图像域的线性变换，完成转换，并辅以像素重排(pixel shuffle，ps)操作重组初始重构图

14、xinit＝i(y)＝ps(conv(y))    (1.5)

15、其中i(·)表示初始重构网络，xinit为初始重建值，y即为采样值。在后续的实验研究中，特别是在低采样率的情况下，dmcs展现出了显著的采样效果增益。

16、在重构过程中，传统优化算法通过近端梯度下降反复衡量观测值，以约束重构图像符合降采样过程y＝φx。深度压缩感知(deep compressed sensing，dcs)方法尝试参考观测结果、采样映射以及初始重建的整个过程，测量重用(measurements reuse block，mrb)方法受此启发取得了优秀效果。但由于仅在特征域进行不同尺度的卷积，将低频高频特征图一视同仁，在高频的细节收益部分大打折扣。并且mrb需要为不同采样率定制不同的重建块，增加了不必要的冗余，缺乏灵活性。对此，我们提出了频率分割重建模块(frequency-division reconstruction module，fdrm)，首先对于输入的测量结果，进行卷积和像素重排，区别于mrb单独定制卷积层数量和单独的像素洗牌维度，我们统一地将输入维度拓展到然后使用固定使用三个级联的卷积层(cv)，来获得压缩的特征图：

17、

18、其中同样为张量相加操作，yi表示i次采样值的复用，ps表示像素重排操作。通过对它们进行多尺度测量，然后从测量中提取三种匹配信息(y1，y2，y3)，其中为了保留现有的重建结果，我们复制f↓和f↓↓并通过卷积层将它与f↑↑↑以及f↑↑融合，最后使用像素洗牌层来扩展融合后的特征图以供下一步处理。

19、我们进一步使用离散小波变换dwt(·)将重建图像的频率分量进行四次分割，依次为低一低(ll)、低-高(lh)、高一低(hl)和高-高(hh)，我们将三个高频分量(lh、hl、hh)通过卷积合并到统一的通道维度并通过像素洗牌(pixel shuffle，ps)恢复尺寸，与低频分量分别融合重建，使用低频卷积convl和高频卷积convh进行细化，conv3×3表示卷积核大小为3的卷积操作。以上过程可以表示为：

20、

21、通常低频信号表征图像轮廓，高频信号表征图像细节，但同时包含噪声。而将特征图按频率分割，补偿了卷积只具有固定频率的缺陷。从而集中对高频特征图的去噪，边缘细节恢复。因此在特征融合时，为其分配了动态的注意力机制，包含通道和空间注意力，以学习两种频率特征的贡献因子，得到加权的特征图，增强重要特征表示，此处的注意力机制可以表示为：

22、

23、其中a1表示通道注意力，a2表示空间注意力，relu表示激活函数，表示平均和最大池化的混合，cat(·)表示维度拼接。在特征联合重建过程中，我们分阶段引入了自注意力机制，以补偿卷积核感受野局限性和权重共享的缺陷。并引入残差连接，跳过自注意力计算，以保留网络在特征域的信息流动通道。过程可以表示为：

24、

25、其中和表示高频低频特征，a表示注意力子网络a1+a2，sa表示自注意力子网络，conv表示卷积操作，表征重建特征值。受近端梯度下降思想启发，我们进一步利用了测量值和采样网络以学习特征在观测域的映射，从而最小化与观测值y的差异。过程可以抽象地看作：

26、

27、即为初始重建网络，即特征域的残差值，表征fdrm块内重建特征值，y即为初始采样值的复用，通过计算当前重构特征投影到观测域的残差信息，以此来不断校准特征图，使重构最大程度符合降采样过程：y＝φx。后续实验证明，fdrm相比其他重建方法节省了大量冗余的计算开销，同时获得了极佳的重建质量。

28、本发明的有益效果有：

29、高重构性能：通过设计fdrm模块，本发明的方法在各种采样率下实现了优于竞争方法的重建质量。特别是在低采样率下，本发明的模型仍然能够保持出色的性能，重建图像具有更高的清晰度和准确性。

30、细节保留和纹理重建：与其他方法相比，本发明的模型在处理细节和纹理特征时表现突出。通过dmcs测量模块和fdrm重构模块的强大特征提取和全局建模能力，模型能够更好地恢复图像中的细节特征，提供更清晰的边缘和纹理信息。

31、鲁棒性和通用性：本发明的方法在多个基准数据集上进行了全面测试，并且在不同采样率下都实现了更好的重建质量，为图像进行高斯加噪后，仍然领先其他方法。这表明该方法具有较强的鲁棒性和通用性，适用于各种采样率和图像场景。