基于退化估计循环神经网络的压缩光谱成像重建方法及装置

本发明属于图像重建，具体涉及一种基于退化估计循环神经网络的压缩光谱成像重建方法及装置。

背景技术：

1、高光谱图像(hsi)中蕴含着场景的细节表征信息，在人脸识别和目标追踪等领域都有着广泛的应用前景。然而，由单个1d或2d传感器构成的成像系统在扫描成像时存在耗时长的问题，不利于动态场景的实时成像。近年来，基于压缩感知理论的编码孔径快照光谱成像系统(cassi)在各界受到了广泛关注。然而，cassi系统当前存在的关键问题是如何从二维的压缩光谱图像中精确地还原出三维的光谱数据。

2、现有的高光谱图像重建方法包括基于模型的方法、基于端到端神经网络的方法和基于深度展开网络的方法。然而，基于模型的方法使用手工定制的先验，需要手动调整参数，重建速度慢且重建效果差。基于端到端神经网络的方法利用了神经网络强大的表征能力取得了良好的性能，然而由于神经网络是一个黑盒，缺乏可解释性。此外，设计一个性能良好的神经网络结构也并非易事。深度展开网络通过将基于模型的方法深度展开为一组堆叠的神经网络，结合了前两者的优点，取得了良好的表现。然而深度展开网络需要堆叠多个神经网络，导致参数量大以及内存消耗显著。此外，之前的深度展开网络没有在一个框架里同时估计用于求解数据子问题的退化矩阵和用于求解先验子问题的噪声等级，这导致次优的重建结果。

3、综上，现有的高光谱图像重建方法导致重建的光谱图像质量不佳。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明提供了一种基于退化估计循环神经网络的压缩光谱成像重建方法及装置。本发明要解决的技术问题通过以下技术方案实现：

2、第一方面，本发明提供了一种基于退化估计循环神经网络的压缩光谱成像重建方法，包括：

3、s100，通过cassi系统获取压缩光谱图像以及感知矩阵，并提取压缩光谱图像的特征图；

4、s200，根据所述压缩光谱图像以及感知矩阵构建重构原始高光谱图像的优化问题，并将对所述优化问题的求解过程分解为交替求解一个数据子问题和一个先验子问题；

5、s300，获取预先构建的退化估计循环神经网络，所述退化估计循环神经网络包括退化估计网络、局部和非局部的变换网络；将所述特征图和感知矩阵作为所述退化估计网络的输入，并利用所述退化估计网络估计退化矩阵与感知矩阵的残差和噪声等级；将所述残差、感知矩阵、压缩光谱图像和特征图输入所述数据子问题得到求解的高光谱图像；其中，残差控制所述数据子问题求解的准确度，噪声等级控制求解所述先验子问题的准确度；

6、s400，将所述求解的高光谱图像以及所述噪声等级作为局部和非局部的变换网络的输入，并利用局部和非局部的变换网络对所述先验子问题进行求解，输出估计的高光谱图像；

7、s500，将所述估计的高光谱图像作为下一次循环的输入，重复s300-s400直至达到迭代次数，得到最终的原始高光谱图像。

8、第二方面，本发明提供了一种基于退化估计循环神经网络的压缩光谱成像重建装置包括：

9、特征提取模块，被配置为通过cassi系统获取压缩光谱图像以及感知矩阵，并提取压缩光谱图像的特征图；

10、问题分解模块，被配置为根据所述压缩光谱图像以及感知矩阵构建重构原始高光谱图像的优化问题，并将对所述优化问题的求解过程分解为交替求解一个数据子问题和一个先验子问题；

11、参数估计模块，被配置为获取预先构建的退化估计循环神经网络，所述退化估计循环神经网络包括退化估计网络、局部和非局部的变换网络；将所述特征图和感知矩阵作为所述退化估计网络的输入，并利用所述退化估计网络估计退化矩阵与感知矩阵的残差和噪声等级；将所述残差、感知矩阵、压缩光谱图像和特征图输入所述数据子问题得到求解的高光谱图像；其中，残差控制所述数据子问题求解的准确度，噪声等级控制求解所述先验子问题的准确度；

12、图像估计模块，被配置为将所述求解的高光谱图像以及所述噪声等级作为局部和非局部的变换网络的输入，并利用局部和非局部的变换网络对所述先验子问题进行求解，输出估计的高光谱图像；

13、图像重构模块，被配置为将所述估计的高光谱图像作为下一次循环的输入，重复参数估计模块和图像估计模块的处理过程直至达到迭代次数，得到最终的原始高光谱图像。有益效果：

14、1、本发明提供了一种基于退化估计循环神经网络的压缩光谱成像重建方法，通过不同阶段共享深度展开网络的参数将深度展开网络转化为了一个循环神经网络，不仅大幅减少了网络的参数数量和内存占用，还使神经网络能够从不同阶段的输入学习用于重构的表征，从而提升重建图像的质量。

15、2、本发明提出使用一个退化估计网络估计来估计感知矩阵与退化矩阵之间的差异解决了感知矩阵不能完全反映在真实拍摄场景时的退化过程的问题，从而提升重建图像的质量。此前的深度展开网络获取退化矩阵的方式主要可分为两种：一种是直接使用了感知矩阵作为退化矩阵，另一种是通过神经网络学习退化矩阵。第一种方法没有考虑由于设备误差引起的感知矩阵和退化过程之间的差异。而在第二种方法中，直接建模退化过程具有一定的挑战性。本发明所提出的退化估计网络以感知矩阵为参考，从cassi系统中估计感知矩阵与退化矩阵之间的残差，结合了两者的优点，并解决了各自的缺点。

16、3、本发明提出使用一个退化估计网络估计先验子问题中的噪声等级，显式估计噪声等级提高了去噪器的去噪能力，从而更清晰地重构高光谱图像。

17、4、本发明提出了一个局部和非局部变换网络，其以数据驱动的方式挖掘高光谱图像的局部和非局部先验信息，解决了此前深度展开网络无法同时挖掘高光谱图像的局部和非局部先验信息的问题，从而提升重建图像的质量。此前的深度展开网络分别使用基于卷积神经网络和基于transformer网络的方法以数据驱动方式挖掘先验信息。然而，卷积神经网络无法建模高光谱图像的非局部先验，transformer网络挖掘局部先验存在局限性，导致纹理和细节建模不足。

18、以下将结合附图及实施例对本发明做进一步详细说明。

技术特征：

1.一种基于退化估计循环神经网络的压缩光谱成像重建方法，其特征在于，包括：

2.根据权利要求1所述的基于退化估计循环神经网络的压缩光谱成像重建方法，其特征在于，所述退化估计网络包括多个依次连接的退化学习卷积块、全局平均池化层以及多层感知机；每个退化学习卷积块包括依次连接的第一卷积层、第一深度卷积层和第二卷积层。

3.根据权利要求2所述的基于退化估计循环神经网络的压缩光谱成像重建方法，其特征在于，所述退化学习卷积块中通过自身的三个卷积层对特征图以及感知矩阵进行卷积得到感知矩阵与退化矩阵之间残差；所述全局平均池化层对所述残差进行平均池化，多层感知层对平均池化的残差作非线性变换得到噪声等级。

4.根据权利要求1所述的基于退化估计循环神经网络的压缩光谱成像重建方法，其特征在于，所述局部和非局部的变换网络为u形状的网络；所述局部和非局部的变换网络包括多个局部和非局部块、2个第三卷积层、2个降采样层、2个上采样层、2个矩阵拼接算子、2个第四卷积层和一个第一矩阵加法算子；

5.根据权利要求4所述的基于退化估计循环神经网络的压缩光谱成像重建方法，其特征在于，所述局部和非局部的变换网络中的每个第三卷积层和第四卷积层均用于对输入特征进行卷积，所述每个局部和非局部块均用于对卷积的特征作非线性变换；每个降采样层均用于对输入的特征作降采样操作；每个矩阵拼接算子均用于对输入特征作拼接操作，每个上采样层均用于对输入的特征作上采样操作。

6.根据权利要求4所述的基于退化估计循环神经网络的压缩光谱成像重建方法，其特征在于，所述局部和非局部块包括三个归一化层，三个第二矩阵加法算子、一个局部多头自注意力模块，一个非局部多头自注意力模块和一个门控卷积前馈神经网络；

7.根据权利要求6所述的基于退化估计循环神经网络的压缩光谱成像重建方法，其特征在于，所述局部多头自注意力模块和非局部多头自注意力模块的结构相同，均包括：4个第五卷积层，3个第二深度卷积层、3个矩阵形状重塑算子和2个矩阵乘法算子；

8.根据权利要求6所述的基于退化估计循环神经网络的压缩光谱成像重建方法，其特征在于，所述门控卷积前馈神经网络包括：3个第六卷积层，2个第三深度卷积层和1个矩阵逐像素相乘算子；

9.根据权利要求1所述的基于退化估计循环神经网络的压缩光谱成像重建方法，其特征在于，s500包括：

10.一种基于退化估计循环神经网络的压缩光谱成像重建装置，其特征在于，包括：

技术总结
本发明提供了一种基于退化估计循环神经网络的压缩光谱成像重建方法及装置，通过不同阶段共享深度展开网络的参数从而将深度展开网络转换为循环神经网络。通过不同阶段共享参数，不仅大幅减少了网络的参数数量和内存占用，还使深度展开网络能够从不同阶段的输入学习用于重构的表征，这降低了深度展开网络的参数稀疏性，充分挖掘了网络的重构潜力，从而增强深度展开网络的重建性能，从而提升重建图像的质量。并且本发明引入退化估计网络估计退化矩阵和噪声等级，从而提高了数据子问题和先验子问题解的准确性，同时采用局部和非局部的变换网络求解先验子问题，能够更充分地挖掘高光谱图像的局部和非局部先验，进一步提升重建图像的质量。

技术研发人员：高大化,董宇波,李雨嫣,邱添,贺昱,鲁永红
受保护的技术使用者：西安电子科技大学
技术研发日：
技术公布日：2024/1/15