高光谱图像生成方法及装置与流程

本技术涉及图像处理，更具体地说，涉及一种高光谱图像生成方法、装置及电子设备和存储介质。

背景技术：

1、与普通的rgb图像相比，高光谱图像具有更多光谱波段来存储更多的场景信息，在目标检测等领域具有很高的应用价值。为了降低高光谱图像的获取难度，一般采用光谱重建的方法获取高光谱图像，目前主要通过增加额外成像系统的方法重建高光谱图像。而增加成像系统的方法依赖硬件设备，使得高光谱图像的获取成本较高。

技术实现思路

1、本技术的目的是提供一种高光谱图像生成方法、装置及电子设备和存储介质，包括如下技术方案：

2、一种高光谱图像生成方法，所述方法包括：

3、对第一图像进行对象分割，得到多个对象，以及各个对象在所述第一图像中的位置信息；其中，同一对象的各个像素的取值位于同一区间，不同对象的像素的取值位于不同的区间；任一像素的取值由所述任一像素对应的实物在各个第一类波段的光谱反射率确定；

4、根据所述对象中的像素在第一类波段的取值，预测所述对象的各像素在多个第二类波段的取值；

5、基于波段连续性原则，将所述对象的同一像素在所有第一类波段和所述多个第二类波段的取值组合，得到所述对象对应的高光谱图像；

6、按照各个对象在所述第一图像中的位置信息，将各个对象对应的高光谱图像组合，得到所述第一图像对应的高光谱图像。

7、上述方法，可选的，所述根据所述对象中的像素在第一类波段的取值，预测所述对象的各像素在多个第二类波段的取值，包括：

8、根据所述对象中的像素在第一波段的取值，预测所述对象的各像素在位于所述第一波段和第二波段之间的多个第二类波段的取值；

9、所述第一波段和所述第二波段为任意相邻的两个第一类波段。

10、上述方法，可选的，所述根据所述对象中的像素在第一类波段的取值，预测所述对象中的各像素在多个第二类波段的取值，包括：

11、通过级联网络根据所述对象中的像素在第一类波段的取值，预测所述对象的各像素在多个第二类波段的取值；

12、所述级联网络包括多个预测模块，分为目标预测模块和非目标预测模块；其中，

13、每个目标预测模块的输入至少包括所述对象中的像素在第一类波段的取值；其中，相邻两个目标预测模块输入所述对象中的像素在相邻的第一类波段的取值；

14、任意相邻两个目标预测模块之间具有多个非目标预测模块，所述非目标预测模块的输入包括：所述非目标预测模块的前一个预测模块输出的所述对象中的像素在一个第二类波段的取值，以及所述前一个预测模块的中间特征和作为所述前一个预测模块的输入的所述对象中的像素在一个波段的取值；

15、若所述目标预测模块不是所述级联网络的第一个预测模块，所述目标预测模块的输入还包括：所述目标预测模块的前一个非目标预测模块的中间特征以及作为所述前一个预测模块的输入的所述对象中的像素在一个波段的取值；

16、每个预测模块的输出为所述对象中的像素在第一类波段或第二类波段的取值；相邻两个预测模块输出所述对象中的像素在相邻波段的取值。

17、上述方法，可选的，其中，

18、所述第一个预测模块用于：对输入的所述对象中的像素在目标第一类波段的取值进行第一特征提取，得到第一特征；对所述第一特征进行第二特征提取，得到所述第一个预测模块的中间特征；对所述中间特征进行线性变换，得到第二特征；对所述第二特征进行第三特征提取，得到第三特征；所述第三特征提取为所述第二特征提取的逆过程；对所述第一特征和所述第三特征进行融合处理，得到所述对象的各像素在第二类波段的取值；

19、和/或，

20、所述级联网络的非第一个预测模块用于：对输入的所述对象中的像素在两个波段的取值分别进行第一特征提取，得到所述两个波段分别对应的第一特征；对各个第一特征分别进行所述第二特征提取，得到各个第一特征对应的第四特征；将各个第四特征以及前一个预测模块的中间特征融合，得到所述非第一个预测模块的中间特征；对所述非第一个预测模块的中间特征进行线性变换，得到第五特征；对所述第五特征进行所述第三特征提取，得到第六特征；对所述第六特征，以及所述两个波段分别对应的第一特征中的目标第一特征进行融合处理，得到所述对象的各个像素在第一类波段或第二类波段的取值。

21、上述方法，可选的，对第一图像进行对象分割，以及根据所述对象中的像素在第一类波段的取值，预测所述对象的各像素在多个第二类波段的取值的过程，包括：

22、通过高光谱图像生成模型对所述第一图像进行对象分割，得到多个对象；根据所述对象中的像素在第一类波段的取值，预测所述对象的各像素在多个第二类波段的取值；

23、所述高光谱图像生成模型通过第一样本集和第二样本集训练得到；其中，所述第一样本集中的第一样本为非高光谱图像，所述第二样本集中的第二样本为非高光谱图像-高光谱图像对。

24、上述方法，可选的，所述高光谱图像生成模型通过如下方法训练得到：

25、通过所述第一样本集对所述高光谱图像生成模型进行自监督训练，得到预训练的高光谱图像生成模型；

26、通过所述第二样本集对所述预训练的高光谱图像生成模型进行有监督训练，得到训练好的高光谱图像生成模型。

27、上述方法，可选的，所述通过所述第一样本集对所述高光谱图像生成模型进行自监督训练，包括：

28、通过所述高光谱图像生成模型对所述第一样本进行对象分割，得到多个样本对象，以及各个样本对象在所述第一样本中的位置信息；

29、对各个样本对象分别进行光谱反射逆变换，得到各个样本对象对应的逆变换对象；

30、通过所述高光谱图像生成模型根据所述样本对象中的像素在目标第一类波段的取值，预测所述样本对象中的像素在各个非目标第一类波段的取值，以及所述样本对象中的像素在多个第二类波段的取值；

31、通过所述高光谱图像生成模型根据所述逆变换对象中的像素在所述目标第一类波段的逆变换值，预测所述逆变换对象中的像素在各个非目标第一类波段的逆变换值，以及所述逆变换对象中的像素在多个第二类波段的逆变换值；

32、基于波段连续性原则，将预测得到的所述样本对象中的同一像素在所有第一类波段的取值、在所有第二类波段的取值以及在目标第一类波段的取值组合，得到所述样本对象对应的高光谱图像；

33、按照各个样本对象在所述第一样本中的位置信息，将各个样本对象对应的高光谱图像组合，得到所述第一样本对应的高光谱图像；

34、通过所述高光谱图像生成模型对所述第一样本对应的高光谱图像进行对象分割，得到分割结果；

35、基于预测得到的所述样本对象的像素在非目标第一类波段的取值、所述逆变换对象中的像素在非目标第一类波段的逆变换值、所述逆变换对象包含的像素在各个第一类波段和第二类波段的逆变换值的变化趋势、所述样本对象的像素在各个第一类波段和第二类波段的取值的变化趋势、所述分割结果，对所述高光谱图像生成模型的参数进行更新。

36、上述方法，可选的，对所述高光谱图像生成模型的参数进行更新的过程，包括：

37、以预测得到的所述样本对象的像素在非目标第一类波段的取值趋近于所述样本对象中的像素在所述非目标第一类波段的实际取值，预测得到的所述逆变换对象中的像素在非目标第一类波段的逆变换值趋近于所述逆变换对象中的像素在所述非目标第一类波段的实际逆变换值，预测得到的所述逆变换对象包含的像素在各个第一类波段和第二类波段的逆变换值的变化趋势，远离预测得到的所述样本对象的像素在各个第一类波段和第二类波段的取值的变化趋势，所述分割结果趋近于对所述第一样本进行对象分割的结果为目标，对所述高光谱图像生成模型的参数进行更新。

38、上述方法，可选的，所述通过所述第二样本集对所述预训练的高光谱图像生成模型进行有监督训练，得到训练好的高光谱图像生成模型，包括：

39、通过所述预训练的高光谱图像生成模型对所述第二样本中的非高光谱图像进行对象分割，得到多个样本对象，以及各个样本对象在所述第二样本中的非高光谱图像中的位置信息；

40、通过所述预训练的高光谱图像生成模型根据所述样本对象中的像素在目标第一类波段的取值，预测所述样本对象中的像素在各个非目标第一类波段的取值，以及所述样本对象的像素在多个第二类波段的取值；

41、基于波段连续性原则，将预测得到的所述样本对象的同一像素在所有非第一类波段的取值，在所有第二类波段的取值以及在目标第一类波段的取值组合，得到所述样本对象对应的高光谱图像；

42、按照各个样本对象在所述第二样本中的非高光谱图像中的位置信息，将各个样本对象对应的高光谱图像组合，得到所述第二样本对应的高光谱图像；

43、对所述第二样本对应的高光谱图像进行对象分割，得到分割结果；

44、以预测得到的所述样本对象的像素在非目标第一类波段和第二类波段的取值趋近于所述第二样本中的高光谱图像中所述样本对象的像素在非目标第一类波段和第二类波段取值，对所述第二样本对应的高光谱图像进行对象分割的分割结果趋近于对所述第二样本中的非高光谱图像进行对象分割的结果为目标，对所述预训练的高光谱图像生成模型的参数进行更新。

45、一种高光谱图像生成装置，包括：

46、分割单元，用于对第一图像进行对象分割，得到多个对象，以及各个对象在所述第一图像中的位置信息；其中，同一对象的各个像素的取值位于同一区间，不同对象的像素的取值位于不同的区间；任一像素的取值由所述任一像素对应的实物在各个第一类波段的光谱反射率确定；

47、预测单元，用于根据所述对象中的像素在第一类波段的取值，预测所述对象的各像素在多个第二类波段的取值；

48、第一组合单元，用于基于波段连续性原则，将所述对象的同一像素在所有第一类波段和所述多个第二类波段的取值组合，得到所述对象对应的高光谱图像；

49、第二组合单元，用于按照各个对象在所述第一图像中的位置信息，将各个对象对应的高光谱图像组合，得到所述第一图像对应的高光谱图像。

50、一种电子设备，包括：

51、存储器，用于存储程序；

52、处理器，用于调用并执行所述存储器中的所述程序，通过执行所述程序实现如上任一项所述的高光谱图像生成方法的各个步骤。

53、一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上任一项所述的高光谱图像生成方法的各个步骤。

54、通过以上方案可知，本技术提供的一种高光谱图像生成方法、装置及电子设备和存储介质，对第一图像进行对象分割，得到多个对象，以及对象在第一图像中的位置信息；同一对象的各个像素的取值位于同一区间，不同对象的像素的取值位于不同的区间；根据对象中的像素在第一类波段的取值，预测对象的每个像素在多个第二类波段的取值；基于波段连续性原则，将对象的同一像素在所有第一类波段和多个第二类波段的取值组合，得到对象对应的高光谱图像；按照各个对象在第一图像中的位置信息，将各个对象对应的高光谱图像组合，得到第一图像对应的高光谱图像。基于本技术，实现了直接计算得到高光谱图像的目的，而不再依赖于特定的成像系统，从而降低高光谱图像的获取成本。