基于深度低秩自适应的图像复原方法、装置、设备及介质

本发明涉及图像处理领域，尤其涉及一种基于深度低秩自适应的图像复原方法、装置、设备及介质。

背景技术：

1、图像恢复是一种图像处理领域的算法，其包括如图像压缩感知、图像去模糊和图像快照压缩成像等。对于图像压缩感知，其指出，当信号具有稀疏性质时，可以通过仅仅采样较少的数据来进行高效的原始信号重建。由于具有采集效率高，存储要求低等优点，图像压缩感知被广泛应用于图像压缩、医学影像成像等领域。具体来说，给定原始图像信号，其采样值可直接由一次随机线性采样得到。对于图像快照压缩成像，其指出，现实世界的三维多光谱或视频信号可以经过硬件编码压缩为二维测量结果，并通过图像恢复算法进行光谱或者视频重建，此处的图像恢复算法为二维测量到三维多光谱或视频的图像恢复。但同时，受限的采样规模导致图像的恢复是一个极度病态的问题。

2、由于从受限采样值恢复原始信号本质上是一个欠定方程组，现有的压缩感知算法往往会引入额外的先验信息来约束解空间。常见的先验有稀疏先验(sparse prior)，低秩先验(low-rank prior)和深度先验(deep prior)等。同时，伴有先验的压缩感知重建问题可以由许多非线性迭代算法来进行求解。比较流行的几种迭代算法有迭代阈值收缩算法(iterat iveshrinkage-thresholding algorithm，ista)，交替方向乘子法(alternatingdirection method of multipliers，admm)和近似消息传递算法(approximate message passing，amp)等。这些算法具有良好的可解释性，同时有可靠的数学收敛性证明。但由于其基于优化的迭代方式十分耗时，无法达到实际应用的需求。

3、伴随着深度学习的兴起，基于数据驱动的深度模型可以使用一次前向传播就将采样值重建为原始信号。因此，有研究将深度学习与传统的非线性迭代算法结合，提出深度展开式网络。这些模型基于不同的迭代算法，使用深度网络替换传统算法中人为设定的超参数，并将无限迭代的重建过程更改为截断式网络，使得信号在有限次的迭代中就可以达到令人满意的重建效果。但由于基于截断式迭代的方式，这些模型在设计中往往包含子模型的多次重复，导致模型规模的大幅上升，使其难以满足移动端轻量模型的需求。

技术实现思路

1、鉴于以上技术问题，本发明提供了一种基于深度低秩自适应的图像复原方法、装置、设备及介质，以解决现有技术中压缩图像恢复遇到的问题。

2、本公开的其他特征和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

3、根据本发明的一方面，公开一种基于深度低秩自适应的图像复原方法，所述方法包括：

4、获取预览图像及其关联的采样值，所述采样值根据用户选择的恢复任务和压缩比率获得，所述预览图像由原始图像按照所述压缩比率进行对应任务的压缩所得；

5、将所述采样值、所述预览图像和所述原始图像作为训练集，以训练具有低秩自适应的深度网络展开模型，所述深度网络展开模型包括用于投影的梯度下降模块、用于特征提取和去噪的提取器层组的去噪器，提取层组包括由卷积模块构成的神经网络和线性注意力网络构成的神经网络，在训练时，创建单模块深度网络展开模型，将所述单模块深度网络展开模型的去噪器参数作为冻结的深度展开网络的基础模块，以创建多模块深度网络展开模型，并将所述单模块深度网络展开模型的去噪器注入到所述多模块深度网络展开模型的所有模块中，并于每个模块处创建基于低秩自适应的用于动态调整每个模块的信息提取和去噪能力的动态适应模块，在训练所述多模块深度网络展开模型时，根据训练情况动态更新所述动态适应模块的参数；

6、将待恢复图像输入到训练好的所述多模块深度网络展开模型中，以计算输出重建图像。

7、进一步的，所述采样值由一次性随机采样得到，在采样时，计算以下公式：

8、y＝φx；

9、式中，φ表示线性采样矩阵，φ∈rm×n；x表示所述原始图像的向量表示，x∈rn。

10、进一步的，所述多模块深度网络展开模型在计算输出所述重建图像时，计算以下公式：

11、

12、其中，

13、

14、式中，

15、x表示需要重建得到的目标图像；

16、argminx表示寻找x的值，使得其目标函数达到最小；

17、φ表示线性采样矩阵，用于对所述原始图像进行压缩或转换为所述采样值；

18、rk表示投影算法的输出值；

19、xk表示当前迭代步骤中x的估计值；

20、y为预测的所述待恢复图像的采样值；

21、k表示第k次迭代，1≤k≤k；

22、<φt(φxk-y)，x-xk>表示当前估计与预测值之间差异，通过φ的转置与x和当前估计的xk之间的差异进行内积；

23、表示x和当前估计值xk之间欧几里得距离的平方，即估计平滑度；

24、λ表示参数p的设置，其中p表示通过深度神经网络自动学习获得的可变的步长；

25、g(x)表示正则化项。

26、进一步的，所述多模块深度网络展开模型在计算输出所述重建图像时，还计算：

27、

28、pro xλf(·)表示临近映射算子，表示寻找z的值，使其目标函数最小，f(z)表示特定的映射，所述特定的映射包括传统低秩或系数函数求解或具有深度先验的深度网络模型，b为已知量，z表示需要求解的未知量；

29、所述临近映射算子用于在每次迭代中更新估计值xk，表示为

30、进一步的，在训练所述单模块深度网络展开模型时，计算其预测输出与所述原始图像之间的差异，根据差异更新所述单模块深度网络展开模型的参数，直至差异小于设定的阈值后停止训练。

31、进一步的，在计算其预测输出与所述原始图像之间的差异时，计算如下公式：

32、

33、其中，xk表示预测输出，x表示所述原始图像，n为训练集元素个数，表示预测输出与所述原始图像之间的差异。

34、进一步的，所述根据训练情况动态更新所述动态适应模块的参数，包括：

35、根据给定预训练的权重矩阵w0∈rn1×n2，冻结所述权重矩阵并将其更新δw分解为两个因子矩阵的乘积，所述因子矩阵表示为a∈rn1×r和b∈rr×n2，其中，r<<min{n1，n2}，r为超参数，则，动态更新的过程表示为：

36、y＝(w0+δw)x＝(w0+ab)x；

37、b以随机高斯分布初始化，a为零，δw的初始状态为零。

38、根据本公开的第二方面，提供一种基于深度低秩自适应的图像复原装置，包括：数据获取模块，用于获取预览图像及其关联的采样值，所述采样值根据用户选择的恢复任务和压缩比率获得，所述预览图像由原始图像按照所述压缩比率进行对应任务的压缩所得；模型训练模块，用于将所述采样值、所述预览图像和所述原始图像作为训练集，以训练具有低秩自适应的深度网络展开模型，所述深度网络展开模型包括用于投影的梯度下降模块、用于特征提取和去噪的提取器层组的去噪器，提取层组包括由卷积模块构成的神经网络和线性注意力网络构成的神经网络，在训练时，创建单模块深度网络展开模型，将所述单模块深度网络展开模型的去噪器参数作为冻结的深度展开网络的基础模块，以创建多模块深度网络展开模型，并将所述单模块深度网络展开模型的去噪器注入到所述多模块深度网络展开模型的所有模块中，并于每个模块处创建基于低秩自适应的用于动态调整每个模块的信息提取和去噪能力的动态适应模块，在训练所述多模块深度网络展开模型时，根据训练情况动态更新所述动态适应模块的参数；计算模块，用于将待恢复图像输入到训练好的所述多模块深度网络展开模型中，以计算输出重建图像。

39、根据本公开的第三方面，提供一种基于深度低秩自适应的图像复原设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器实现如上述的基于深度低秩自适应的图像复原方法；

40、根据本公开的第四方面，提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述的基于深度低秩自适应的图像复原方法。

41、本公开的技术方案具有以下有益效果：

42、将多个模块的深度展开网络训练解耦为两步：单模块深度展开网络训练和多模块去噪器微调训练，在多区块造成的大内存占用和性能提升之间实现更好的权衡；且在训练过程中，训练一个主干的单模块，然后通过小型低秩自适应的动态适应模块管理所有区块，无需全面调，在适应不同的图像修复任务时，将主干块与低秩自适应模块解耦，只需更换低秩自适应的动态适应模块，就能在不同任务或同一任务的不同模式之间高效切换，从而减少存储空间，提高任务迁移的灵活性。