一种基于深度学习的多源导航图像融合方法及系统与流程

1.本发明涉及图像处理相关领域，尤其涉及一种基于深度学习的多源导航图像融合方法及系统。


背景技术：

2.机器人中相当重要的部分为自主导航，亦即，机器人自己行走而不需使用者控制，而通常其为透过传感器和处理器来辅助机器人行进，然而，机器人在行进时总会伴随摩擦力的产生，摩擦力则会造成传感器的误差，因此，如何精准演算出机器人的路径且考虑到摩擦力产生的误差，遂成为一个重要的议题。在机器人导航图像处理技术领域，由于不同传感器均存在一定的局限性(如激光雷达受天气影响大、摄像头传感器分辨率低而且存在斑点噪声等)，利用单个传感器对目标进行识别解译往往只能获得目标的某一方面特征，因此，在导航图像处理过程中，综合利用多源导航图像信息，是提升多源导航图像应用价值的一个重要途径。
3.然而，现有技术中存在多源导航图像的均等融合无法有效发挥多源特征互补优势，且浅层学习需要手工特征选择，融合精度低的技术问题。


技术实现要素：

4.针对现有技术中的缺陷，本技术实施例的目的是，通过提供一种基于深度学习的多源导航图像融合方法及系统，解决了现有技术中存在多源导航图像的均等融合无法有效发挥多源特征互补优势，且浅层学习需要手工特征选择，融合精度低的技术问题，达到了其利用深度学习方法自动实现多源待融合定位导航图像特征的自动选择，无需手工特征选择，省时省力，便于多源定位导航图像融合的工程应用，能够更加全面、深层地表达不同源图的自身特点，实现多个抽象层次上的图像的语义表征，提高了多源图像融合和分类的精度的技术效果。
5.一方面，本技术实施例提供一种基于深度学习的多源导航图像融合方法，所述方法包括：获得第一待融合图像，其中，所述第一待融合图像包括训练样本图像和测试样本图像；通过对所述训练样本图像和所述测试样本图像进行预处理和图像光谱特征提取，获得训练数据集和测试数据集；构建第一深度卷积神经网络模型；根据所述训练数据集对所述第一深度卷积神经网络模型进行训练，获得第二深度卷积神经网络模型；根据所述测试数据集和所述第二深度卷积神经网络模型，获得第一深度特征集；基于所述第一深度特征集，对所述测试样本图像中的第一传感图像和第二传感图像进行融合，获得第一融合图像；利用分类器对所述第一融合图像进行特征定位识别，获得第一导航输出结果。
6.另一方面，本技术还提供了一种基于深度学习的多源导航图像融合系统，所述系统包括：第一获得单元，所述第一获得单元用于获得第一待融合图像，其中，所述第一待融合图像包括训练样本图像和测试样本图像；第二获得单元，所述第二获得单元用于通过对所述训练样本图像和所述测试样本图像进行预处理和图像光谱特征提取，获得训练数据集
和测试数据集；第一构建单元，所述第一构建单元用于构建第一深度卷积神经网络模型；第三获得单元，所述第三获得单元用于根据所述训练数据集对所述第一深度卷积神经网络模型进行训练，获得第二深度卷积神经网络模型；第四获得单元，所述第四获得单元用于根据所述测试数据集和所述第二深度卷积神经网络模型，获得第一深度特征集；第一融合单元，所述第一融合单元用于基于所述第一深度特征集，对所述测试样本图像中的第一传感图像和第二传感图像进行融合，获得第一融合图像；第一识别单元，所述第一识别单元用于利用分类器对所述第一融合图像进行特征定位识别，获得第一导航输出结果。
7.第三方面，本技术实施例提供了一种基于深度学习的多源导航图像融合系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现第一方面任一项所述方法的步骤。
8.本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
9.由于采用了通过对多源导航图像的图像源进行分析，基于训练样本图像和测试样本图像，生成第一待融合图像，再对所述训练样本图像和所述测试样本图像进行预处理和图像光谱特征提取，获得训练数据集和测试数据集，从而根据提取获得的训练数据集和测试数据及对构建深度卷积神经网络模型进行训练测试，从而输出所述第一待融合图像中每一类图像代表的深度特征，获得第一深度特征集，基于所述第一深度特征集对所述测试样本图像中的第一传感图像和第二传感图像进行融合，获得第一融合图像，进而利用分类器对所述第一融合图像进行特征定位识别，获得第一导航输出结果。其利用深度学习方法自动实现多源待融合定位导航图像特征的自动选择，无需手工特征选择，省时省力，便于多源定位导航图像融合的工程应用，提高多源图像融合精度的技术效果。
10.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
11.通过阅读参照以下附图对非限制性实施例所做的详细描述，本发明的其它特征、目的和优点将会变得更明显：
12.图1为本技术实施例一种基于深度学习的多源导航图像融合方法的流程示意图；
13.图2为本技术实施例一种基于深度学习的多源导航图像融合方法的获得训练数据集和测试数据集的流程示意图；
14.图3为本技术实施例一种基于深度学习的多源导航图像融合方法的融合性能效果预测的流程示意图；
15.图4为本技术实施例一种基于深度学习的多源导航图像融合系统的结果示意图；
16.图5为本技术实施例示例性电子设备的结果示意图。
具体实施方式
17.本技术实施例通过提供一种基于深度学习的多源导航图像融合方法及系统，解决了现有技术中存在多源导航图像的均等融合无法有效发挥多源特征互补优势，且浅层学习需要手工特征选择，融合精度低的技术问题，达到了其利用深度学习方法自动实现多源待
融合定位导航图像特征的自动选择，提高了多源图像融合和分类的精度的技术效果。
18.下面，将参考附图详细的描述根据本技术的示例实施例。显然，所描述的实施例仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
19.申请概述
20.现有的多源融合方法往往采用均等融合处理策略，即对参与融合的每类数据均进行融合，然而，实际应用中发现：并非所有的融合均能对导航图像分类精度有提高，甚至在一定类别图像融合时会导致分类精度降低。另一方面，现有的多源融合方法主要基于浅层学习思想开展的，在融合过程中需要手工地进行特征的选择，不仅费时耗力，还致使多源图像融合精度很大程度上依赖于经验和运气，不利于多源导航图像融合的工程应用，因此本领域迫切需要一种能克服上述缺陷的多源导航图像融合方法。
21.针对上述技术问题，本技术提供的技术方案总体思路如下：
22.本发明提供了用于机器人导航的多源数据融合定位导航方法，其利用深度学习方法自动实现多源待融合定位导航图像特征的自动选择，无需手工特征选择，省时省力，便于多源定位导航图像融合的工程应用，能够更加全面、深层地表达不同源图的自身特点，实现多个抽象层次上的图像的语义表征，提高了多源图像融合和分类的精度。解决了现有技术中存在多源导航图像的均等融合无法有效发挥多源特征互补优势，且浅层学习需要手工特征选择，融合精度低的技术问题。进一步的，通过对多源导航图像的图像源进行分析，基于训练样本图像和测试样本图像，生成第一待融合图像，再对所述训练样本图像和所述测试样本图像进行预处理和图像光谱特征提取，获得训练数据集和测试数据集，从而根据提取获得的训练数据集和测试数据及对构建深度卷积神经网络模型进行训练测试，从而输出所述第一待融合图像中每一类图像代表的深度特征，获得第一深度特征集，基于所述第一深度特征集对所述测试样本图像中的第一传感图像和第二传感图像进行融合，获得第一融合图像，进而利用分类器对所述第一融合图像进行特征定位识别，获得第一导航输出结果。
23.为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
24.实施例一
25.如图1所示，本技术实施例提供了一种基于深度学习的多源导航图像融合方法，所述方法包括：
26.步骤s100：获得第一待融合图像，其中，所述第一待融合图像包括训练样本图像和测试样本图像；
27.步骤s200：通过对所述训练样本图像和所述测试样本图像进行预处理和图像光谱特征提取，获得训练数据集和测试数据集；
28.具体而言，在机器人导航图像处理技术领域，由于不同传感器均存在一定的局限性(如激光雷达受天气影响大、摄像头传感器分辨率低而且存在斑点噪声等)，利用单个传感器对目标进行识别解译往往只能获得目标的某一方面特征，因此，在导航图像处理过程中，综合利用多源导航图像信息，是提升多源导航图像应用价值的一个重要途径，因此提出一种基于深度学习的多源导航图像融合方法进行图像融合，从而提高图像融合精度和融合质量。
29.进一步的，所述第一待融合图像为基于多源传感器获得导航图像，包括至少两组不同传感源分别传感获得的图像，所述第一待融合图像包括训练样本图像和测试样本图像，所述训练样本图像和所述测试样本图像也包括两类传感源图像。举例来说，比如激光雷达图像和摄像头图像两类图像，在保证训练前提下将所有的激光雷达图像和摄像头图像分成两组，一组作为训练样本图像，一组作为测试样本图像，进而以训练样本图像和测试样本图像获得所述第一待融合图像。
30.再对所述第一待融合图像分别进行预处理和图像光谱特征提取，以获得所述第一待融合图像的图像特征，进而将提取出的图像特征作为所述训练数据集和所述测试数据集，从而能够准确分析和预处理特征提取，生成源数据便于之后的数据分析。
31.步骤s300：构建第一深度卷积神经网络模型；
32.具体而言，所述深度卷积神经网络模型的构建方式可以根据应用目的进行经验设置，包括网络层数、卷积层层数、池化层层数、卷积滤波器数目、卷积核大小、池化尺度等参数可以根据应用目的进行设置。示例性的，以子分步骤a1b中提取的光谱特征向量为输入，构建一个深度卷积神经网络模型，该深度卷积神经网络模型包括：1个输入层、5个卷积层、3个池化层、2个全连接层、1个softmax层和1个输出层，深度卷积神经网络模型的具体结果为：5个卷积层在输入层之后，3个池化层分别在第一、第二、第五卷积层之后，全连接层在第三池化层和输出层之间，全连接层后接softmax层，输出层在最后，即输入层—》卷积层—》池化层—》卷积层—》池化层—》卷积层—》卷积层—》卷积层—》池化层—》全连接层—》全连接层—》softmax层—》输出层。其中，5个卷积层的卷积滤波器的卷积核大小优选为13
×
13、5
×
5、3
×
3、3
×
3和6
×
6，卷积滤波器的数目优选128、256、512、512和256；池化层池化尺度大小优选3
×
3；输出层的大小优选256
×
256，输出层的节点数与样本数量(即激光雷达图像或摄像头图像的像素数量)一致；输入的选择优选全连接结果，即当前层的一个映射与前一层所有映射均相连。
33.进一步的，根据应用目的进行设置包括：通过卷积层正向运算设置卷积层参数，并且通过计算卷积核和偏置的偏导，更新卷积层参数。设置池化层参数，池化层的正向运算为下采样操作，池化层的正向运算优选取max-pooling池化模式，池化核大小为2
×
2，步长为2；当池化层的后连接层是卷积层时，池化层根据逆向误差传播运算公式计算；设置激励函数参数时优选sigmoid函数或者双曲线正切函数，最优选sigmoid函数。sigmoid将输出压缩到[0，1]，所以最后的输出平均值一般趋于0。softmax层通过正向计算和偏导计算设置softmax层参数。
[0034]
步骤s400：根据所述训练数据集对所述第一深度卷积神经网络模型进行训练，获得第二深度卷积神经网络模型；
[0035]
具体而言，根据所述训练数据集，采用hinge损失函数和随机梯度下降方法对所述第一深度卷积神经网络进行训练，当整个深度卷积神经网络的损失函数趋于局部最优解附近，即收敛时完成训练；其中，局部最优解事先由人工设定。进一步的，所述第二深度卷积神经模型是根据所述第一待融合图像中的融合传感源分别进行训练获得的，即所述第二深度卷积神经网络为训练后的模型。以激光雷达和摄像头两个传感源为例，根据激光雷达图像训练数据集和摄像头图像训练数据集分别训练一个深度卷积神经网络。
[0036]
步骤s500：根据所述测试数据集和所述第二深度卷积神经网络模型，获得第一深
度特征集；
[0037]
进一步的，通过对所述第一深度特征集进行归一化处理，获得第二深度特征集，其中，所述归一化处理的公式为：
[0038][0039]
其中，fd和分别表示归一化处理前后的深度特征。
[0040]
具体而言，将所述测试数据集作为所述第二深度卷积神经网络模型的输入数据进行模型识别，由于所述第二深度卷积神经网络模型为训练后的卷积神经网络模型，
[0041]
从而保证了所述第二深度卷积神经网络模型能够对输入数据进行准确识别，从而获得每一个传感源对应的深度特征，进而获得所述第一深度特征集。
[0042]
进一步的，示例性的，分别对激光雷达图像测试数据集和摄像头图像测试数据集进行处理，移除深度卷积神经网络模型末尾的softma x层，保留全连接层的输出分别作为激光雷达图像测试数据集和摄像头图像测试数据集上学习得到的深度特征集f
do
和f
ds
；深度特征集中每个特征向量、分别对应一个权重系数，为输入样本数(即激光雷达图像或摄像头图像的像素数量)，从而使得输出的所述第一深度特征集能够实现自主选择。采用归一化公式分别对激光雷达图像测试数据集和摄像头图像测试数据集的深度特征集的深度特征进行归一化处理；其中，fd和分别表示归一化处理前后的深度特征，fd为f
do
和f
ds
中的特征向量。
[0043]
步骤s600：基于所述第一深度特征集，对所述测试样本图像中的第一传感图像和第二传感图像进行融合，获得第一融合图像；
[0044]
步骤s700：利用分类器对所述第一融合图像进行特征定位识别，获得第一导航输出结果。
[0045]
具体而言，由于所述第一深度特征集是基于不同传感源的图像获得的图像特征，因此，根据所述测试样本图像进行融合，进而获得所述第一融合图像，示例性的，基于测试数据集的深度特征集，对测试样本图像的激光雷达图像和摄像头图像进行选择性融合，得到融合后的图像。分类器为已训练的分类器，其优选支持向量机分类器，支持向量机分类器的核函数优选高斯径向基核函数(gaussian radial bas is function,rbf)或多层感知器核函数(multi-layer perception,ml p)，分类器参数的训练优选监督学习方法。支持向量机分类器还可以使用其它方法替代，例如boosting分类器、高斯过程分类器、knn分类器，从而根据所述第一导航输出结果，达到了其利用深度学习方法自动实现多源待融合定位导航图像特征的自动选择，无需手工特征选择，省时省力，便于多源定位导航图像融合的工程应用，能够更加全面、深层地表达不同源图的自身特点，实现多个抽象层次上的图像的语义表征，提高了多源图像融合和分类的精度的技术效果。
[0046]
进一步的，如图2所示，所述通过对所述训练样本图像和所述测试样本图像进行预处理和图像光谱特征提取，获得训练数据集和测试数据集，本技术实施例步骤s200还包括：
[0047]
步骤s210：构建待融合图像预处理模型和图像光谱特征提取模型；
[0048]
步骤s220：根据所述待融合图像预处理模型对所述第一待融合图像进行预处理，
获得第二待融合图像；
[0049]
步骤s230：将所述第二待融合图像输入所述图像光谱特征提取模型中，根据所述图像光谱特征提取模型，获得第一输出信息，其中，所述第一输出信息包括所述训练数据集和所述测试数据集。
[0050]
进一步的，所述根据所述待融合图像预处理模型对所述第一待融合图像进行预处理的公式为：
[0051][0052]
其中，其中，s表示待融合图像的谱段，i，j分别表示待融合图像的位置坐标，和x
ijs
分别表示归一化处理前第s谱段的位置坐标(i，j)上像素的值和处理后第s谱段的位置坐标(i，j)上像素的值，和分别表示整个待融合图像s谱段中像素最小值和最大值。
[0053]
具体而言，利用待融合图像的预处理和图像光谱特征提取模型，对训练样本图像和测试样本图像进行预处理和图像光谱特征提取，得到激光雷达图像训练数据集和摄像头图像训练数据集。且对训练样本图像和测试样本图像可以同时进行预处理和特征提取，也可以顺序进行预处理和特征提取。
[0054]
进一步的，对待融合图像进行预处理采用归一化公式，对输入的待融合图像中每个像素进行归一化处理，由于训练样本图像包括激光雷达图像和摄像头图像，分别将激光雷达图像和摄像头图像作为待融合图像，进行预处理和图像光谱特征提取，从而得到训练数据集；其中x
ij
表示激光雷达图像和摄像头图像中位置坐标(i，j)的像素的光谱特征向量；y
ij
∈{1,2,...,k}表示位置坐标(i，j)的像素的类别，k为常数，表示总的类别数。其中，激光雷达图像优选包含r、g、b三个谱段，即s＝3，其位置坐标(i，j)的像素的光谱特征向量为1
×
3*w*w维；摄像头图像优选包含一个谱段，即s＝1，其位置坐标(i，j)的像素的光谱特征向量为1
×
w*w维。
[0055]
进一步的，如图3所示，本技术实施例步骤s100还包括：
[0056]
步骤s110：获得所述第一待融合图像的图像类别信息；
[0057]
步骤s120：根据所述图像类别信息，确定第一传感器和第二传感器；
[0058]
步骤s130：分别对所述第一传感器和所述第二传感器进行误差因子分析，获得第一误差因子和第二误差因子；
[0059]
步骤s140：通过对所述第一误差因子和所述第二误差因子进行重合度分析，获得第一重合度；
[0060]
步骤s150：根据所述第一重合度进行图像融合性能效果预测，输出第一预测信息。
[0061]
具体而言，由于所述第一待融合图像为基于多源传感器获得的图像，因此，首先对所述第一待融合图像中的图像类别进行分析，获得图像类别信息从而确定其传感器信息，比如，融合源包括激光雷达图像和摄像头图像，从而对不同的传感器进行误差因子分析，所述第一误差因子为第一传感器图像所受质量影响的因素；所述第二误差因为为所述第二传
感器所受质量影响的因素，进而通过对所述第一误差因子和所述第二误差因子进行重合度分析，获得第一重合度，比如，当所述第一误差因子与所述第二误差因子中的影响因素重合度较高，对于融合的效果具有较大影响，比如，若同时受到天气的影响造成图像质量不高，在图像融合后仍然不能准确识别定位，需要以受天气影响小的传感源进行融合。当所述第一误差因子和所述第二误差因子中的影响因素重合度不高，表示图像融合能够根据其自身的图像特征进行融合，从而得到较好的融合质量。
[0062]
因此，根据所述第一重合度进行图像融合性能效果预测，输出第一预测信息，根据所述第一预测信息能够根据融合目标进行融合源的分析和判断，保证多源融合的准确性和有效性。
[0063]
进一步的，所述基于所述第一深度特征集，对所述测试样本图像中的第一传感图像和第二传感图像进行融合，获得第一融合图像，本技术实施例步骤s600还包括：
[0064]
步骤s610：获得所述第一深度特征集中的特征类信息；
[0065]
步骤s620：根据所述特征类信息，获得第一权重系数和第二权重系数；
[0066]
步骤s630：获得预设权重系数；
[0067]
步骤s640：根据所述第一权重系数、所述第二权重系数和所述预设权重系数进行判断，根据判断结果，获得所述第一融合图像。
[0068]
进一步的，所述根据所述第一权重系数、所述第二权重系数和所述预设权重系数进行判断，根据判断结果，获得所述第一融合图像，本技术实施例步骤s640还包括：
[0069]
步骤s641：通过对所述第一权重系数和所述第二权重系数进行判断，将所述第一权重系数和所述第二权重系数中较大的权重系数进行输出，获得第一输出权重系数；
[0070]
步骤s642：判断所述第一输出权重系数是否大于所述预设权重系数；
[0071]
步骤s643：若所述第一输出权重系数小于所述预设权重系数，基于权重加权法对所述第一深度特征集进行计算，获得所述第一融合图像。
[0072]
具体而言，所述第一深度特征集中每个特征向量、分别对应一个权重系数，为输入样本数(即激光雷达图像或摄像头图像的像素数量)，从而使得输出的所述第一深度特征集能够实现自主选择。
[0073]
通过对所述第一深度特征集中的特征类，获得对应的第一权重系数和第二权重系数，所述预设权重系数为提前设置的融合权重判断阈值，从而根据所述第一权重系数、所述第二权重系数和所述预设权重系数进行融合策略的判断，并根据判断结果输出所述第一融合图像。
[0074]
按照如下策略进行融合：当所述第一权重系数和所述第二权重系数中较大者大于所述预设权重系数，将所述第一权重系数和所述第二权重系数中较大者对应的特征向量作为最终的融合图像特征；当所述第一权重系数和所述第二权重系数中较大者小于所述预设权重系数时，采用权重加权法对特征向量进行融合，其中，权重加权法中的权重分配可以根据其影响信息熵的大小进行智能设置，并将融合后的特征向量作为最终的融合图像特征，得到融合后的图像。达到了
[0075]
与现有技术相比，本发明具有如下的有益效果：
[0076]
1、由于采用了通过对多源导航图像的图像源进行分析，基于训练样本图像和测试样本图像，生成第一待融合图像，再对所述训练样本图像和所述测试样本图像进行预处理
和图像光谱特征提取，获得训练数据集和测试数据集，从而根据提取获得的训练数据集和测试数据及对构建深度卷积神经网络模型进行训练测试，从而输出所述第一待融合图像中每一类图像代表的深度特征，获得第一深度特征集，基于所述第一深度特征集对所述测试样本图像中的第一传感图像和第二传感图像进行融合，获得第一融合图像，进而利用分类器对所述第一融合图像进行特征定位识别，获得第一导航输出结果。其利用深度学习方法自动实现多源待融合定位导航图像特征的自动选择，无需手工特征选择，省时省力，便于多源定位导航图像融合的工程应用，提高多源图像融合精度的技术效果。
[0077]
2、由于采用了根据所述第一重合度进行图像融合性能效果预测，输出第一预测信息，根据所述第一预测信息能够根据融合目标进行融合源的分析和判断，保证多源融合的准确性和有效性。
[0078]
3、由于采用了根据策略进行融合权重分配因子可以根据其影响信息熵的大小进行智能设置，并将融合后的特征向量作为最终的融合图像特征，实现多源待融合定位导航图像特征的自动选择，提高多源图像融合效果。
[0079]
实施例二
[0080]
基于与前述实施例中一种基于深度学习的多源导航图像融合方法同样发明构思，本发明还提供了一种基于深度学习的多源导航图像融合系统，如图4所示，所述系统包括：
[0081]
第一获得单元11，所述第一获得单元11用于获得第一待融合图像，其中，所述第一待融合图像包括训练样本图像和测试样本图像；
[0082]
第二获得单元12，所述第二获得单元12用于通过对所述训练样本图像和所述测试样本图像进行预处理和图像光谱特征提取，获得训练数据集和测试数据集；
[0083]
第一构建单元13，所述第一构建单元13用于构建第一深度卷积神经网络模型；
[0084]
第三获得单元14，所述第三获得单元14用于根据所述训练数据集对所述第一深度卷积神经网络模型进行训练，获得第二深度卷积神经网络模型；
[0085]
第四获得单元15，所述第四获得单元15用于根据所述测试数据集和所述第二深度卷积神经网络模型，获得第一深度特征集；
[0086]
第一融合单元16，所述第一融合单元16用于基于所述第一深度特征集，对所述测试样本图像中的第一传感图像和第二传感图像进行融合，获得第一融合图像；
[0087]
第一识别单元17，所述第一识别单元17用于利用分类器对所述第一融合图像进行特征定位识别，获得第一导航输出结果。
[0088]
进一步的，所述系统还包括：
[0089]
第二构建单元，所述第二构建单元用于构建待融合图像预处理模型和图像光谱特征提取模型；
[0090]
第五获得单元，所述第五获得单元用于根据所述待融合图像预处理模型对所述第一待融合图像进行预处理，获得第二待融合图像；
[0091]
第一输入单元，所述第一输入单元用于将所述第二待融合图像输入所述图像光谱特征提取模型中，根据所述图像光谱特征提取模型，获得第一输出信息，其中，所述第一输出信息包括所述训练数据集和所述测试数据集。
[0092]
进一步的，所述系统还包括：
[0093]
第一处理单元，所述第一处理单元用于根据所述待融合图像预处理模型对所述第
一待融合图像进行预处理，获得所述第二待融合图像。
[0094]
进一步的，所述系统还包括：
[0095]
第二处理单元，所述第二处理单元用于通过对所述第一深度特征集进行归一化处理，获得第二深度特征集。
[0096]
进一步的，所述系统还包括：
[0097]
第六获得单元，所述第六获得单元用于获得所述第一待融合图像的图像类别信息；
[0098]
第一确定单元，所述第一确定单元用于根据所述图像类别信息，确定第一传感器和第二传感器；
[0099]
第七获得单元，所述第七获得单元用于分别对所述第一传感器和所述第二传感器进行误差因子分析，获得第一误差因子和第二误差因子；
[0100]
第八获得单元，所述第八获得单元用于通过对所述第一误差因子和所述第二误差因子进行重合度分析，获得第一重合度；
[0101]
第一预测单元，所述第一预测单元用于根据所述第一重合度进行图像融合性能效果预测，输出第一预测信息。
[0102]
进一步的，所述系统还包括：
[0103]
第九获得单元，所述第九获得单元用于获得所述第一深度特征集中的特征类信息；
[0104]
第十获得单元，所述第十获得单元用于根据所述特征类信息，获得第一权重系数和第二权重系数；
[0105]
第十一获得单元，所述第十一获得单元用于获得预设权重系数；
[0106]
第一判断单元，所述第一判断单元用于根据所述第一权重系数、所述第二权重系数和所述预设权重系数进行判断，根据判断结果，获得所述第一融合图像。
[0107]
进一步的，所述系统还包括：
[0108]
第二判断单元，所述第二判断单元用于通过对所述第一权重系数和所述第二权重系数进行判断，将所述第一权重系数和所述第二权重系数中较大的权重系数进行输出，获得第一输出权重系数；
[0109]
第三判断单元，所述第三判断单元用于判断所述第一输出权重系数是否大于所述预设权重系数；
[0110]
第十二获得单元，所述第十二获得单元用于若所述第一输出权重系数小于所述预设权重系数，基于权重加权法对所述第一深度特征集进行计算，获得所述第一融合图像。
[0111]
前述图1实施例一中的一种基于深度学习的多源导航图像融合方法的各种变化方式和具体实例同样适用于本实施例的一种基于深度学习的多源导航图像融合系统，通过前述对一种基于深度学习的多源导航图像融合方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种基于深度学习的多源导航图像融合系统的实施方法，所以为了说明书的简洁，在此不再详述。
[0112]
实施例三
[0113]
下面参考图5来描述本技术实施例的电子设备。
[0114]
图5图示了根据本技术实施例的电子设备的结果示意图。
[0115]
基于与前述实例施中一种基于深度学习的多源导航图像融合方法的发明构思，本发明还提供一种基于深度学习的多源导航图像融合系统，其上存储有计算机程序，该程序被处理器执行时实现前文所述一种基于深度学习的多源导航图像融合系统的任一方法的步骤。
[0116]
其中，在图5中，总线架构(用总线300来代表)，总线300可以包括任意数量的互联的总线和桥，总线300将包括由处理器302代表的一个或多个处理器和存储器304代表的存储器的各种电路链接在一起。总线300还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口305在总线300和接收器301和发送器303之间提供接口。接收器301和发送器303可以是同一个元件，即收发机，提供用于在传输介质上与各种其他系统通信的单元。处理器302负责管理总线300和通常的处理，而存储器304可以被用于存储处理器302在执行操作时所使用的数据。
[0117]
本技术实施例提供一种基于深度学习的多源导航图像融合方法，所述方法包括：获得第一待融合图像，其中，所述第一待融合图像包括训练样本图像和测试样本图像；通过对所述训练样本图像和所述测试样本图像进行预处理和图像光谱特征提取，获得训练数据集和测试数据集；构建第一深度卷积神经网络模型；根据所述训练数据集对所述第一深度卷积神经网络模型进行训练，获得第二深度卷积神经网络模型；根据所述测试数据集和所述第二深度卷积神经网络模型，获得第一深度特征集；基于所述第一深度特征集，对所述测试样本图像中的第一传感图像和第二传感图像进行融合，获得第一融合图像；利用分类器对所述第一融合图像进行特征定位识别，获得第一导航输出结果。解决了现有技术中存在多源导航图像的均等融合无法有效发挥多源特征互补优势，且浅层学习需要手工特征选择，融合精度低的技术问题，达到了其利用深度学习方法自动实现多源待融合定位导航图像特征的自动选择，无需手工特征选择，省时省力，便于多源定位导航图像融合的工程应用，能够更加全面、深层地表达不同源图的自身特点，实现多个抽象层次上的图像的语义表征，提高了多源图像融合和分类的精度的技术效果。
[0118]
本领域普通技术人员可以理解：本技术中涉及的第一、第二等各种数字编号仅为描述方便进行的区分，并不用来限制本技术实施例的范围，也不表示先后顺序。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“至少一个”是指一个或者多个。至少两个是指两个或者多个。“至少一个”、“任意一个”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个、种)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
[0119]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程系统。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机
指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0120]
本技术实施例中所描述的各种说明性的逻辑单元和电路可以通过通用处理器，数字信号处理器，专用集成电路(asic)，现场可编程门阵列(fpga)或其它可编程逻辑系统，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算系统的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
[0121]
本技术实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件单元、或者这两者的结合。软件单元可以存储于ra存储器、闪存、ro存储器、epro存储器、eepro存储器、寄存器、硬盘、可移动磁盘、cd-ro或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于asic中，asic可以设置于终端中。可选地，处理器和存储媒介也可以设置于终端中的不同的部件中。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0122]
尽管结合具体特征及其实施例对本技术进行了描述，显而易见的，在不脱离本技术的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附所界定的本技术的示例性说明，且视为已覆盖本技术范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的范围。这样，倘若本技术的这些修改和变型属于本技术及其等同技术的范围之内，则本技术意图包括这些改动和变型在内。