基于变换域高阶张量奇异值分解的高光谱图像超分辨方法

本发明属于图像融合，特别是一种基于变换域高阶张量奇异值分解的高光谱图像超分辨方法。

背景技术：

1、由于成像设备的局限性，高光谱图像虽然具有较高的光谱分辨率，但是其空间分辨率通常较低，这将对后续的高光谱分类、识别和目标检测等应用产生较大的影响。通过高光谱图像超分辨，可有效提高高光谱图像的空间分辨率，同时不影响其光谱分辨率。因而，高光谱图像超分辨成为高光谱图像处理中的研究重点和热点问题之一。

2、li等人提出了hsi-msi融合的耦合稀疏tucker分解(cstf)方法，该方法通过邻近交替优化估计每个模态的核心张量和字典。dian等人提出了一种张量列秩正则化的hsi-msi融合方法。他们首先将相似的全波段分块组成四维张量，然后利用四维张量的非局部空间谱相似性对其进行松弛的张量列秩约束。在t-svd的基础上，dian等人提出了一种新的张量多秩来度量张量的结构复杂度和信息，并结合子空间表示和张量多秩来融合hsi和msi。低维子空间表示利用谱维数的相似性，将融合hsi投影到低维谱子空间，大幅降低了谱的维数。继而利用观测的hsi的奇异值分解计算谱子空间基，并采用张量多秩正则化方法计算系数。

技术实现思路

1、本发明提出了一种基于变换域高阶张量奇异值分解的高光谱图像超分辨方法。

2、实现本发明目的的技术解决方案为：一种基于变换域高阶张量奇异值分解的高光谱图像超分辨方法，根据高光谱图像的空谱相关特性，将高分辨率的高光谱图像hr-hsi分解为高光谱图像的低维谱子空间和系数张量两部分；利用高阶张量奇异值分解研究系数张量在变换域的低秩性，并结合高光谱的子空间表示，建立高阶奇异值分解下的低秩正则的高光谱图像超分辨模型；通过对模型进行求解，得到聚类的融合图像块，最后再经过加权聚合，得到具有高空间分辨率的高光谱图像hr-his。

3、具体通过如下步骤实现：

4、第一步，建立基于变换域高阶张量奇异值分解的高光谱图像超分辨模型，其中在基本超分辨模型基础上，添加了高光谱图像的低秩先验约束项；

5、第二步，对低分辨率的高光谱图像lr-hsi进行奇异值分解，获取高分辨率高光谱图像hr-hsi的低维谱子空间的基和系数；

6、第三步，利用k-means聚类方法，对系数张量进行聚类，得到4阶系数张量，并对其进行高阶奇异值分解；

7、第四步，利用张量变换域低秩约束，计算4阶系数张量在高阶奇异值分解下的低秩约束；

8、第五步，对每类系数张量，建立高阶奇异值分解低秩正则的高光谱超分辨模型，并进行求解；

9、第六步，对得到的融合图像小块，经过聚合，得到最终的高分辨率高光谱图像。

10、进一步地，步骤一所述建立基于变换域高阶张量奇异值分解的高光谱图像超分辨模型的具体实现方法如下：

11、设为具有w×h空间像素和s个光谱波段的高空间分辨率的高光谱图像hr-his；是传感器观察到的高光谱图像lr-hsi，其空间大小为w×h，视为对进行空间下采样后得到的图像；代表同一场景下具有s个光谱波段的多光谱图像hr-msi，被视为对做了光谱下采样；一般的超分辨率基础的模型如下

12、

13、其中，矩阵分别是高度和宽度上的下采样矩阵，是光谱退化矩阵；

14、由于上式是不定的，添加先验项来缩小解的范围；一般的超分辨率模型如下

15、

16、其中为对高空间分辨率的高光谱图像z的先验项，常用的先验项有稀疏先验、光滑先验和低秩先验。

17、进一步地，步骤二所述的对低分辨率的高光谱图像lr-hsi进行奇异值分解的具体实现方法如下：

18、设高分辨率的高光谱图像投影到一个l维子空间，其中w、h为hr-hsi空间两个维度的大小，s为hr-hsi的光谱波段数，l＜＜s；设是子空间的基；hr-hsi表示为

19、

20、其中是系数张量，低维谱子空间的基d可通过对lr-hsi的奇异值分解来构造；

21、针对低分辨率的高光谱图像的三模展开求得其前l个左奇异向量，从而构造高光谱子空间的基d

22、d＝u(：，1：l)

23、其中u是由的奇异值分解得到的左酉矩阵。

24、进一步地，步骤三所述的对系数张量进行聚类，得到4阶系数张量，并对其进行高阶奇异值分解的具体实现方法如下：

25、首先提取高空间分辨的多光谱图像hr-msi大小为的空谱块，然后利用k-means方法对这些小块进行聚类，分为k组；并根据此聚类结果将系数c也聚类分为相应的k组，系数的每块大小为然后将每组的系数张量拼接为4阶张量大小为其中m表示第k组中的小块数，n表示每个小块的像素数；

26、考虑到系数张量是一个4阶张量，对其进行高阶张量奇异值分解：

27、

28、其中为对模n展开后的3阶张量进行t-svd分解的左酉张量；

29、由于是酉张量，因此有

30、

31、进一步地，步骤四中所述的计算4阶系数张量在高阶奇异值分解下的低秩约束的具体实现方法如下：

32、4阶张量的秩表示为其模n展开的管矩阵的秩，4阶系数张量的秩可表示为其模n展开的管矩阵的变换域核范数的组合，即有

33、

34、再根据高阶奇异值分解定义，对于系数张量小块的低秩约束表示为

35、

36、进一步地，步骤五中所述的对每类系数张量，建立高阶奇异值分解低秩正则的高光谱超分辨模型的具体实现方法如下：

37、将对系数张量小块的低秩约束加入到子空间低秩的高光谱超分辨模型中，得到如下的基于高阶奇异值分解低秩正则的高光谱超分辨模型

38、

39、其中ρn，n＝1，2，3，4是各个模态的加权系数，ρ1＝ρ2＝ρ3＝0。

40、进一步地，步骤六中所述的对融合图像小块，经过聚合得到融合的高分辨率高光谱图像hr-hsi的具体实现方法如下：

41、对于由超分辨模型得到的分类融合分块系数进行与分类字典的相乘，得到融合图像小块即再通过对图像小块的加权聚合，从而得到融合后的高分辨率高光谱图像

42、本发明与现有技术相比，其显著优点为：高阶张量奇异值分解没有破坏系数张量的空间结构，所以高阶张量奇异值分解能得到更加低秩的信息，能够在保持图像空间结构的基础上，充分挖掘和利用hsi图像和ms图像的光谱和空间信息，在光谱的保真和增强空间结构方面具有很好效果。能得到具有良好视觉效果的融合图像。

技术特征：

1.一种基于变换域高阶张量奇异值分解的高光谱图像超分辨方法，其特征在于：根据高光谱图像的空谱相关特性，将高分辨率的高光谱图像hr-hsi分解为高光谱图像的低维谱子空间和系数张量两部分；利用高阶张量奇异值分解研究系数张量在变换域的低秩性，并结合高光谱的子空间表示，建立高阶奇异值分解下的低秩正则的高光谱图像超分辨模型；通过对模型进行求解，得到聚类的融合图像块，最后再经过加权聚合，得到具有高空间分辨率的高光谱图像hr-hsi，具体通过如下步骤实现：

2.根据权利要求1所述的基于变换域高阶张量奇异值分解的高光谱图像超分辨方法，其特征在于，步骤一所述建立基于变换域高阶张量奇异值分解的高光谱图像超分辨模型的具体实现方法如下：

3.根据权利要求1所述的基于变换域高阶张量奇异值分解的高光谱图像超分辨方法，其特征在于，步骤二所述的对低分辨率的高光谱图像lr-hsi进行奇异值分解的具体实现方法如下：

4.根据权利要求1所述的基于变换域高阶张量奇异值分解的高光谱图像超分辨方法，其特征在于，步骤三所述的对系数张量进行聚类，得到4阶系数张量，并对其进行高阶奇异值分解的具体实现方法如下：

5.根据权利要求1所述的基于变换域高阶张量奇异值分解的高光谱图像超分辨方法，其特征在于，步骤四中所述的计算4阶系数张量在高阶奇异值分解下的低秩约束的具体实现方法如下：

6.根据权利要求1所述的基于变换域高阶张量奇异值分解的高光谱图像超分辨方法，其特征在于，步骤五中所述的对每类系数张量，建立高阶奇异值分解低秩正则的高光谱超分辨模型的具体实现方法如下：

7.根据权利要求1所述的基于变换域高阶张量奇异值分解的高光谱图像超分辨方法，其特征在于，步骤六中所述的对融合图像小块，经过聚合得到融合的高分辨率高光谱图像hr-hsi的具体实现方法如下：

技术总结
本发明公开了一种基于变换域高阶张量奇异值分解的高光谱图像超分辨方法，通过结合高空间分辨率多光谱图像(HR‑MSI)和低空间分辨率高光谱图像(LR‑HSI)的空谱信息，得到具有高空间分辨率的高光谱图像(HR‑HSI)。该方法根据高光谱图像的空谱相关特性，将HR‑HSI分解为高光谱图像的低维谱子空间和系数张量两部分。利用高阶张量奇异值分解研究系数张量在变换域的低秩性，并结合高光谱的子空间表示，建立了高阶奇异值分解下的低秩正则的高光谱图像超分辨模型。数值模拟实验表明，该方法在对图像进行超分辨时，具有很好光谱保真和空间结构保持性能。

技术研发人员：刘红毅,韩海波,韦志辉
受保护的技术使用者：南京理工大学
技术研发日：
技术公布日：2024/1/15