一种基于知识图谱的多源异构遥感图像融合方法

1.本发明属于图像融合技术领域，具体涉及一种基于知识图谱的多源异构遥感图像融合方法。


背景技术：

2.图像融合的主要目的是将同一场景的多幅具有互补信息的图像合成一幅图像，是一种提高图像质量的技术，广泛应用于医学(一般使用ct(computed tomography，电子计算机断层扫描)、mri(magnetic resonance imaging，磁共振成像)和pet(positron emission tomography，正电子发射断层扫描)图像)、天文、监测(一般使用可见光和红外图像)等各个领域。图像融合可以使用在诸如目标识别等的应用场景中，也可以作为地物分类的前期工作，以提高分类性能，输出融合图像中的目标通常更容易识别，也更清晰。图像融合处理的要点在于从两种或多种模式中提取出显著图像内容，然后将其融合以产生增强输出。
3.图像融合可以分为三个层级：像素级，特征级和决策级，其中，像素级对图像纹理边缘色彩等方面融合精度较高，更有利于后续的地物分类和识别。图像分解一般为图像融合的第一步，常用的图像分解方法有基于空间域的图像分解和基于多尺度的图像分解。基于空间域的图像分解方法中具有代表性的方法是加权平均法和pca(principal component analysis，主成分分析法)，其优点是算法简单快捷，融合后图像信噪比较原图像有所提升，且融合图像中目标凸显明显，但是会损失部分光谱信息。基于多尺度的图像分解中具有代表性的是基于金字塔变换的多尺度分解、基于小波变换的多尺度分解以及基于几何特性的多尺度分解，其优点是可以有效提取不同分辨率下图像的重要特征，但是设计出的算法容易有较高的计算复杂度，且对于输入图像的数量和尺寸有较高的要求。此外，随着深度学习在各领域的发展，还出现了诸如densefuse，sdnet和seafusion等效果优良的基于深度学习的融合方法。
4.不同融合算法各有优劣，但是单一融合算法一般仅对特定类型图像具有显著的融合效果，且多数融合算法仅支持两个图像的融合，在原始图像分辨率差距较大时多数融合算法的融合性能均不佳。


技术实现要素：

5.为了解决现有技术中存在的上述问题，本发明提供了一种基于知识图谱的多源异构遥感图像融合方法。本发明要解决的技术问题通过以下技术方案实现：
6.本发明提供了一种基于知识图谱的多源异构遥感图像融合方法，包括：
7.获取待融合的同一场景不同类型的多张原始图像及所述多张原始图像的属性值，所述属性值包括图像类型和图像中待识别的目标类型；
8.获取待融合的原始图像的数量和每张原始图像的梯度信息；
9.利用多种不同的图像融合算法和同一图像融合算法不同参数的融合模型构造图像融合算法库，并为所述图像融合算法库每个图像融合算法或图像融合模型设置属性值标
记；
10.将所述原始图像的信息和属性值与所述图像融合算法库每个图像融合算法或图像融合模型的属性值进行对比，选取最优融合算法；
11.利用所述最优融合算法对待融合的原始图像进行融合，获得融合后的图像。
12.在本发明的一个实施例中，所述图像融合算法库中的图像融合算法包括主成分分析算法、非下采样剪切波变换算法、曲波变换算法、方向可控金字塔算法和基于深层图像分解的图像融合算法。
13.在本发明的一个实施例中，所述基于深层图像分解的图像融合算法中设置有融合模型1、融合模型2和融合模型3，其中，所述融合模型1用于多光谱图像和sar图像的融合，所述融合模型2用于可见光图像和远光红外图像的融合，所述融合模型3用于三张不同类型图像的融合。
14.在本发明的一个实施例中，利用多种不同的图像融合算法和同一图像融合算法不同参数的融合模型构造图像融合算法库，并为所述图像融合算法库每个图像融合算法或图像融合模型设置属性值标记，包括：
15.利用主成分分析算法、非下采样剪切波变换算法、曲波变换算法、方向可控金字塔算法和基于深层图像分解的图像融合算法整合在一起构成图像融合算法库；
16.选取不同类型的图像组合形成多个图像融合测试组；
17.利用所述多个图像融合测试组对所述图像融合算法库中的所有图像融合算法和图像融合算法中的每个图像融合模型进行测试，根据测试结果获得每个图像融合算法或图像融合模型最适合的输入图像组合类型；
18.利用所述测试结果对每个图像融合算法或图像融合模型进行属性值标注，所述属性值包括适用于当前图像融合算法或图像融合模型的图像类型、输入图像个数、应用目标类型和图像平均梯度。
19.在本发明的一个实施例中，所述基于深层图像分解的图像融合算法中的融合模型3具体用于：
20.对获取的不同类型的三个原始图像分别获得一个低秩图像和多层的细节部分矩阵；
21.对所有的低秩图像进行加权平均融合，获得融合后的低秩图像；
22.计算每层细节部分矩阵的融合权重并对三个原始图像的每层细节部分矩阵进行加权融合，得到每层融合后的细节部分图像；
23.对融合后的低秩图像和细节部分图像进行相加，得到最终的融合图像。
24.在本发明的一个实施例中，对获取的不同类型的三个原始图像分别获得一个低秩图像和多层的细节部分矩阵，包括：
25.获得每个原始图像的低秩图像；
26.为每个原始图像设定图像分解层数c1,c2,c3，并根据所述图像分解层数对三个原始图像分别进行多层潜在低秩分解，获得对应层数的细节部分矩阵；
27.对层数较少的细节部分矩阵进行补0，使得所有原始图像的细节部分矩阵均为c个，c＝max{c1,c2,c3}。
28.在本发明的一个实施例中，计算每层细节部分矩阵的融合权重并对三个原始图像
的每层细节部分矩阵进行加权融合，得到每层融合后的细节部分图像，包括：
29.基于核范数计算不同原始图像的每层细节部分矩阵的融合权重，融合权重计算公式为：
[0030][0031][0032]
其中，表示第k个原始图像的第i层细节部分矩阵中第j列的权重，表示第k个原始图像的第i层细节部分矩阵中第j列的元素，表示对进行重构操作，‖
·
‖
*
表示核范数；
[0033]
利用加权法获得三个原始图像每层融合后的细节部分矩阵，从而获得c个融合后的细节部分矩阵；
[0034]
对c个融合后的细节部分矩阵分别进行图像重构，获得c个细节图像：
[0035][0036]
其中，表示第k个原始图像的第i层细节部分矩阵，r(
·
)表示对进行重构。
[0037]
在本发明的一个实施例中，将所述原始图像的信息和属性值与所述图像融合算法库每个图像融合算法或图像融合模型的属性值进行对比，选取最优融合算法，包括：
[0038]
将输入原始图像的属性值与每个图像融合算法或图像融合模型的属性值进行比较，若输入原始图像的属性值与某一图像融合算法或图像融合模型所标记的属性值均相同，则选定当前图像融合算法或图像融合模型；若存在差异，则在原始图像属性值集合中按属性顺序逐级对图像融合算法库中每个图像融合算法或图像融合模型进行二元分类，最终选择与输入属性值最接近的图像融合算法或图像融合模型。
[0039]
与现有技术相比，本发明的有益效果在于：
[0040]
1、本发明的多源异构遥感图像融合方法基于知识图谱，将不同融合算法或同一融合算法的不同参数模型以图结构的形式加以集成，根据输入图像性质及选定的属性定向检索最优融合方案，搭建更通用且性能更好的融合算法库。
[0041]
2、现有图像融合算法仅能实现两个图像的融合，本发明的多源异构遥感图像融合方法在知识图谱中集成了一个基于深度图像分解的融合算法，该算法可以实现三个图像的融合，扩展了融合算法的输入数据形式和数量，同时针对不同图像类型设定的不同参数模型也实现了图像分解层级的智能化处理。
[0042]
3、本发明将不同融合算法或相同算法不同参数的融合方案根据自身特点赋予相应属性，并且依据属性对各个融合算法以知识图谱的形式进行互联，形成整体的融合算法库，整体的融合算法库对比单一融合算法具有更强的通用性和智能性。融合算法库中集成的基于深度图像分解的图像融合算法可以实现两个或三个图像的融合，对输入图像尺寸无要求且可根据输入图像的不同性质设定不同的分解层数，扩展了融合算法的输入数据形式
和数量的同时实现了图像分解层级的智能化处理。
[0043]
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
[0044]
图1是本发明实施例提供的一种基于知识图谱的多源异构遥感图像融合方法的流程图；
[0045]
图2是本发明实施例提供的一种基于知识图谱的多源异构遥感图像融合方法的详细处理过程示意图；
[0046]
图3是本发明实施例提供的一种基于深层图像分解的图像融合算法的具体融合流程；
[0047]
图4是本发明实施例提供的一种基于深层图像分解的图像融合算法的细节部分矩阵的融合过程示意图。
具体实施方式
[0048]
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的基于知识图谱的多源异构遥感图像融合方法进行详细说明。
[0049]
有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。
[0050]
应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
[0051]
实施例一
[0052]
本实施例提供了一种基于知识图谱的多源异构遥感图像融合方法，请参见图1和图2，该遥感图像融合方法包括：
[0053]
s1：获取待融合的同一场景不同类型的多张原始图像及所述多张原始图像的属性值，所述属性值包括图像类型和图像中待识别的目标类型。
[0054]
遥感图像中用于目标识别的常见图像类型包括高光谱图像、多光谱图像、可见光图像、sar(synthetic aperture radar，合成孔径雷达)图像、全色图像和近远红外图像等，其各自的优缺点如表1所示。针对诸如对地运动目标和对地不动目标等不同的目标识别场景，输入到下述所构建的图像融合库的数据输入端的图像可以有多种排列组合方式。例如：多光谱+sar(对地运动目标)，多光谱+全色图像(对地不动目标)，高光谱+全色图像，可见光+远光红外图像等。在实际应用过程中，可以根据现有数据和图像中所要识别的目的类型(对地运动目标或对地不动目标)选择合适的图像组合方式进行图像融合以及后续的目标
识别过程。
[0055]
需要说明的是，本实施例仅涉及图像融合过程，首先需要获得输入的各原始图像的属性值，其中，属性值包括图像类型(例如高光谱图像、多光谱图像或可见光图像)和应用目标(即需要识别的目标的类型，包括运动目标识别和不动目标识别)。
[0056]
表1各类图像的优缺点
[0057][0058]
s2：获取待融合的原始图像的数量和每张原始图像的梯度信息。
[0059]
具体地，根据待融合原始图像的图像类型组合方式以及对应的属性值，进行图像信息的抽取和知识融合。抽取的信息包括输入原始图像的数量以及每张原始图像的梯度信息，所述梯度信息指图像的平均梯度，平均梯度可以反应图像的清晰程度。具体地，可以把图像看成二维离散函数，求图像平均梯度就是对这个二维离散函数求导后求平均。
[0060]
知识融合过程是将抽取的原始图像的数量和梯度信息和每张原始图像的属性值加以整合，用以定向匹配下述融合算法库中的最优算法。
[0061]
s3：利用多种不同的图像融合算法和同一图像融合算法不同参数的融合模型构造图像融合算法库并为所述图像融合算法库每个图像融合算法或图像融合模型设置属性值标记。
[0062]
在本实施例中，所述s3包括：
[0063]
s31：利用主成分分析算法、非下采样剪切波变换算法、曲波变换算法、方向可控金字塔算法和基于深层图像分解的图像融合算法整合在一起构成图像融合算法库。
[0064]
本实施例所构造的图像融合算法库由多种不同图像融合算法和同一图像融合算法不同参数的融合模型构成，该融合算法库中包括主成分分析(pca)、非下采样剪切波变换(nsst)、曲波变换(curvelet变换)、方向可控金字塔算法和基于深层图像分解的图像融合算法，主成分分析(pca)、非下采样剪切波变换(nsst)、曲波变换(curvelet变换)、方向可控金字塔算法，其中，pca算法、nsst算法、curvelet变换算法和方向可控金字塔算法均为现有算法且均为适用于两张图像进行融合的融合算法，具体图像融合过程这里不再赘述。几种主要的融合算法及其优缺点如表2所示。在其他实施例中，该图像融合算法库中还可以包括能够用来进行遥感图像融合的其他算法。如图2所示，在本实施例中，所述融合算法库中设置有5种融合算法，其中，主成分分析(pca)、非下采样剪切波变换(nsst)、曲波变换(curvelet变换)和方向可控金字塔算法分别包括一种融合模型。本实施例的图像融合算法库以知识图谱的形式体现。
[0065]
表2融合算法库中的几种主要方法
[0066][0067]
本实施例提出的基于深层图像分解的图像融合算法根据输入图像数量和图像类型的不同设置了多种融合模型，对不同的输入图像组合类型分别设定了最优的分解层级。本实施例的基于深层图像分解的图像融合算法设置有三种融合模型，其中，融合模型1的输入图像类型为：多光谱图像和sar图像，融合模型2的输入图像类型为：可见光图像和远光红外图像，融合模型3用于三张不同类型图像的融合。
[0068]
s32：选取不同类型的图像组合形成多个图像融合测试组。
[0069]
在本实施例中，根据图像类型的不同，可以获得多种不同的图像融合测试组，例如多光谱+sar(对地运动目标)，多光谱+全色图像(对地不动目标)，高光谱+全色图像，可见光+远光红外图像或适合像素级融合的任意三张图像等。
[0070]
s33：利用所述多个图像融合测试组对所述图像融合算法库中的所有图像融合算法和图像融合算法中的每个图像融合模型进行测试，根据测试结果获得每个图像融合算法或图像融合模型最适合的输入图像组合类型。
[0071]
需要说明的是，所述融合算法库在搭建阶段需要针对各类图像集对库中各类算法进行测试，以完成各类算法和模型的属性值集合标记，具体地，测试过程包括如下步骤：
[0072]
融合算法和融合模型属性值标记：用图像融合测试组依次对各个融合算法和融合模型进行测试，根据测试结果和时效性得到各个融合算法和融合模型的最适合的输入图像组合类型以及各个融合算法和融合模型的最优参数组合。
[0073]
示例性地，将多光谱图像+sar图像分别输入到融合算法库中的不同融合算法或图像融合模型，融合过程中算法出结果会有快慢，识别运动目标的时候出结果得快，因此当应用目标为识别运动目标时优先选择快的算法，也就是说此时需要的时效性比较高。同时通过调整算法参数，建立最优参数的算法模型以获得最优的图像融合效果。
[0074]
s34：利用所述测试结果对每个图像融合算法或图像融合模型进行属性值标注，所述属性值包括适用于当前图像融合算法或图像融合模型的图像类型、输入图像个数、应用目标类型和图像平均梯度。
[0075]
例如当输入图像数量为2，图像类型为多光谱和全色图像且需要较强时效性时选择pca融合算法。在本实施例中，所述属性值包括：图像类型、输入图像个数、应用目标和图像平均梯度。其中，图像的平均梯度信息用来判断图像的纹理复杂度，如果图像纹理比较高
优先选择基于深层图像分解的图像融合算法。
[0076]
s4：将所述原始图像的信息和属性值与所述图像融合算法库每个图像融合算法或图像融合模型的属性值进行对比，选取最优融合算法。
[0077]
在属性值匹配阶段，将输入原始图像的属性值与每个图像融合算法或图像融合模型的属性值进行比较，若输入原始图像的属性值与某一图像融合算法或图像融合模型所标记的属性值均相同，则选定当前图像融合算法或图像融合模型；若存在差异，则则在原始图像属性值集合中按属性顺序逐级对图像融合算法库中每个图像融合算法或图像融合模型进行二元分类，最终选择与输入属性值最接近的融合模型进行图像融合，其中，属性顺序级别从高到底分别为：(1)输入图像数量、(2)输入图像平均梯度信息、(3)输入图像类型和(4)应用目标。
[0078]
具体地，例如，比如输入图像数量为2，那么先提出3图像模型，继续在2图像融合模型里搜索；接着比如纹理复杂度低，则在2图像融合模型中提出适合高纹理复杂度的模型，继续匹配，即根据属性一层层去掉不满足的模型，最后选出相对适合的融合模型。
[0079]
s5：利用所述最优融合算法对待融合的原始图像进行融合，获得融合后的图像。
[0080]
具体地，将待融合的多张原始图像输入到所选定的最优融合算法中，对待融合的原始图像进行融合，即可获得融合后的图像。
[0081]
本实施例将不同融合算法或相同算法不同参数的融合方案根据自身特点赋予相应属性，并且依据属性对各个融合算法以知识图谱的形式进行互联，形成整体的融合算法库，整体的融合算法库对比单一融合算法具有更强的通用性和智能性。融合算法库中集成的基于深度图像分解的图像融合算法可以实现两个或三个图像的融合，对输入图像尺寸无要求且可根据输入图像的不同性质设定不同的分解层数，扩展了融合算法的输入数据形式和数量的同时实现了图像分解层级的智能化处理。
[0082]
实施例二
[0083]
实施例一的基础上，本实施例对融合算法库中的基于深层图像分解的图像融合算法进行详细说明，该图像融合算法中的3图像融合的具体融合流程，参见图3，包括有如下步骤：
[0084]
(1)对获取的不同类型的三个原始图像分别获得一个低秩图像和多层的细节部分矩阵。
[0085]
具体地，首先获得每个原始图像的低秩图像，随后对输入的不同类型的三个原始图像分别设定图像分解层数c1,c2,c3，并根据设定的分解层数对三个原始图像分别进行多层潜在低秩分解，获得对应层数的细节部分矩阵。在本实施例中，单层分解公式如下：
[0086]ms
＝l
×
q(i),i
l
＝i-is[0087]
s.t.is＝r(ms)
[0088]
其中，i为待分解的原始图像，l为训练好的投影矩阵，ms为对输入图像进行分解后的细节部分矩阵，i
l
为低秩图像，is为细节部分图像，r(
·
)表示对细节部分矩阵的图像重构操作，q(.)表示用滑窗从原始图像中选取像素块的操作。若当前原始图像设定的分解层数大于1，则以第一次分解出的低秩图像i
l
作为待分解图像，重复进行图像分解操作，获得第二层的细节部分矩阵，以此类推。所有原始图像多层分解完成后，对每个图像的细节部分矩阵(图3中以细节矩阵表示)进行补0，使得所有原始图像均有c个细节部分矩阵，c＝max{c1,
c2,c3}。最终得到3张低秩图像和3c个细节部分矩阵。
[0089]
在本实施例中，其中，所述投影矩阵是可以从原始图像中提取出细节信息的矩阵，可由不精确的增广拉格朗日乘数(alm)算法求解，具体地，投影矩阵的表达式为：
[0090][0091]
s.t.，x＝xz+lx+e
[0092]
其中，‖
·
‖
*
表示矩阵的核范数(矩阵的奇异值之和)，‖
·
‖1表示矩阵的l1范数(所有矩阵列向量绝对值之和的最大值)，λ是大于0的平衡系数，本实施例取λ＝0.9。z为低秩系数矩阵，l为投影矩阵，e为稀疏噪声矩阵。x表示观测矩阵，每列表示原始图像中的一个图像块。z的大小与x的列数有关，在本实施例中，z的大小为2000
×
2000，x为16
×
2000，l为16
×
16，e的大小为16
×
2000。z、l、e的初始值均为0矩阵，x的初始值与原始图像中图像块的像素值有关。
[0093]
(2)对所有的低秩图像进行加权平均融合，获得融合后的低秩图像。
[0094]
具体地，对所有的低秩图像进行加权平均融合，其中，若为两个原始图像的融合，则权重均为0.5，若为三个图像进行融合，则权重均设为1/3。
[0095]
(3)计算每层细节部分矩阵的融合权重并对三个原始图像的每层细节部分矩阵进行加权融合，得到每层融合后的细节部分图像。
[0096]
基于核范数计算每层细节部分矩阵的融合权重，并依照细节部分矩阵融合的规则对所述细节部分矩阵进行加权融合，融合后对每层细节部分矩阵进行图像重构，得到每层融合后的细节部分图像。
[0097]
具体地，请参见图4，图4是本发明实施例提供的一种细节部分矩阵融合过程示意图，本实施例的步骤(3)中的细节部分矩阵融合过程包括如下步骤：
[0098]
(3a)基于核范数计算不同原始图像的每层细节部分矩阵的融合权重，融合权重计算公式为：
[0099][0100][0101]
其中，表示第k个原始图像的第i层细节部分矩阵中第j列的权重，表示第k个原始图像的第i层细节部分矩阵中第j列的元素，表示对进行重构操作，‖
·
‖
*
表示核范数，用于计算矩阵的奇异值之和。如果第k个图像没有第i层的细节部分矩阵，则将设置为零矩阵。
[0102]
(3b)利用加权法获得三个原始图像每层融合后的细节部分矩阵，从而获得c个融合后的细节部分矩阵：
[0103]
[0104]
其中，表示三个原始图像的第i层融合后的细节部分矩阵。
[0105]
(3c)对c个融合后的细节部分矩阵分别进行图像重构，获得c个细节图像：
[0106][0107]
其中，表示第k个原始图像的第i层细节部分矩阵，r(
·
)表示对进行重构。
[0108]
(4)对融合后的低秩图像和细节部分图像进行相加，得到最终的融合图像：
[0109][0110]
其中，f
l
(x,y)表示像素点(x,y)的低秩图像融合结果，表示像素点(x,y)细节部分融合结果。
[0111]
需要说明的是，基于深层图像分解的图像融合算法的2图像融合模型(模型1和模型2)的融合过程与3图像融合模型的融合过程相同，区别仅在于图像分解层数设定的区别，具体地，对于2图像融合过程，对输入的不同类型的两个原始图像分别设定图像分解层数c1,c2(c＝max{c1,c2})，并根据设定的分解层数对两个原始图像分别进行多层潜在低秩分解。
[0112]
本实施例的基于深层图像分解的图像融合算法对于2图像融合过程与3图像融合过程大致相同，区别点在于图像分解层数的差别。优选地，融合模型1：多光谱图像的分解层数为2层，sar图像的分解层数为3层；融合模型2：可见光图像的分解层数为2层，远光红外图像的分解层数为1层。
[0113]
本实施例的多源异构遥感图像融合方法在图像融合算法库中集成了一个基于深度图像分解的融合算法，该算法可以实现三个图像的融合，扩展了融合算法的输入数据形式和数量，同时针对不同图像类型设定的不同参数模型也实现了图像分解层级的智能化处理。
[0114]
本发明的又一实施例提供了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序用于执行上述实施例中所述基于知识图谱的多源异构遥感图像融合方法的步骤。本发明的再一方面提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上述实施例所述基于知识图谱的多源异构遥感图像融合方法的步骤。具体地，上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0115]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。