一种图像融合方法及相关装置与流程

本申请涉及图像处理技术领域，特别涉及一种图像融合方法、图像融合装置、图像融合设备以及计算机可读存储介质。

背景技术：

随着信息技术的不断发展，移动互联网技术不断深入消费者的生活，使得互联网中的图像数据越来越多。对于图像数据进行融合处理的需求也就越来越多。其中，图像融合是指将多源信道所采集到的关于同一目标的图像数据经过融合处理后生成包含更多信息的新图像。可以提高图像信息的利用率、改善计算机解译精度和可靠性，提升原始图像的空间分辨率和光谱分辨率等特性。

目前，现有技术中针对少量的图像数据，一般采用软件的方式进行图像融合处理，也就是在计算机上利用cpu(centralprocessingunit中央处理器)进行图像融合处理。但是当需要进行图像融合处理的图像数据变多时，通过软件的方式进行图像融合处理已经满足不了融合处理的速度要求，图像融合处理的效率极低，并且严重占用服务器的硬件资源，降低性能利用率。

因此，如何提高图像融合处理的速度是本领域技术人员关注的重点问题。

技术实现要素：

本申请的目的是提供一种图像融合方法、图像融合装置、图像融合设备以及计算机可读存储介质，通过fpga实现图像融合，利用了fpga可编辑逻辑阵列的特点，对图像融合过程进行加速，提高了图像融合的效率。

为解决上述技术问题，本申请提供一种图像融合方法，包括：

fpga接收服务器发送的多个待融合图像数据；

对所述多个待融合图像数据进行图像配准，得到每个所述待融合图像数据的配准参数；

根据所有所述配准参数对所述多个待融合图像数据进行图像融合，得到已融合图像数据；

将所述已融合图像数据发送至所述服务器。

可选的，对所述多个待融合图像数据进行图像配准，得到每个所述待融合图像数据的配准参数，包括：

采用互信息算法查找每个所述待融合图像数据之间互信息最大的变换参数，将每个所述待融合图像数据对应的互信息最大的变换参数作为每个所述待融合图像数据的配准参数。

可选的，对所述多个待融合图像数据进行图像配准，得到每个所述待融合图像数据的配准参数，包括：

根据sobel算子对每个所述待融合图像数据进行边缘检测，得到多个边缘信息；

采用互信息算法查找每个所述边缘信息之间互信息最大的变换参数，将每个所述边缘信息对应的互信息最大的变换参数作为每个所述待融合图像数据的配准参数。

可选的，根据所有所述配准参数对所述多个待融合图像数据进行图像融合，得到已融合图像数据，包括：

根据每个所述配准参数对对应的待融合图像数据进行图像变换，得到多个配准图像数据；

根据离散小波变换算法对所述多个配准图像数据进行图像融合，得到所述已融合图像数据。

本申请还提供一种图像融合装置，包括：

图像数据接收模块，用于接收服务器发送的多个待融合图像数据；

图像配准模块，用于对所述多个待融合图像数据进行图像配准，得到每个所述待融合图像数据的配准参数；

图像融合模块，用于根据所有所述配准参数对所述多个待融合图像数据进行图像融合，得到已融合图像数据；

已融合图像发送模块，用于将所述已融合图像数据发送至所述服务器。

可选的，所述图像配准模块，具体用于采用互信息算法查找每个所述待融合图像数据之间互信息最大的变换参数，将每个所述待融合图像数据对应的互信息最大的变换参数作为每个所述待融合图像数据的配准参数。

可选的，所述图像配准模块，包括：

边缘检测单元，用于根据sobel算子对每个所述待融合图像数据进行边缘检测，得到多个边缘信息；

互信息配准单元，用于采用互信息算法查找每个所述边缘信息之间互信息最大的变换参数，将每个所述边缘信息对应的互信息最大的变换参数作为每个所述待融合图像数据的配准参数。

可选的，所述图像融合模块，包括：

图像变换单元，用于根据每个所述配准参数对对应的待融合图像数据进行图像变换，得到多个配准图像数据；

小波变换融合单元，用于根据离散小波变换算法对所述多个配准图像数据进行图像融合，得到所述已融合图像数据。

本申请还提供一种图像融合设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上所述的图像融合方法的步骤。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的图像融合方法的步骤。

本申请所提供的一种图像融合方法，包括：fpga接收服务器发送的多个待融合图像数据；对所述多个待融合图像数据进行图像配准，得到每个所述待融合图像数据的配准参数；根据所有所述配准参数对所述多个待融合图像数据进行图像融合，得到已融合图像数据；将所述已融合图像数据发送至所述服务器。

通过fpga对多个待融合图像数据进行图像配准，根据得到的配准参数对所有待融合图像数据进行图像融合，得到已融合图像数据，再将已融合图像数据返回至服务器中，也就是服务器采用fpga实现了图像融合，利用了fpga可编辑逻辑阵列的特点，对图像融合过程进行加速，提高了图像融合的效率，使得服务器可以更快速的获取到已融合图像，并且节约了服务器自身的硬件性能，尽可能得使服务器硬件利用率最大化。

本申请还提供一种图像融合装置、图像融合设备以及计算机可读存储介质，具有上述有益效果，在此不做赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种图像融合方法的流程图；

图2为本申请实施例所提供的一种图像融合装置的结构示意图。

具体实施方式

本申请的核心是提供一种图像融合方法、图像融合装置、图像融合设备以及计算机可读存储介质，通过fpga实现图像融合，利用了fpga可编辑逻辑阵列的特点，对图像融合过程进行加速，提高了图像融合的效率。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现有技术中针对少量的图像数据，一般采用软件的方式进行图像融合处理，也就是在计算机上利用cpu进行图像融合处理。但是当需要进行图像融合处理的图像数据变多时，通过软件的方式进行图像融合处理已经满足不了融合处理的速度要求，图像融合处理的效率极低，并且严重占用服务器的硬件资源，降低性能利用率。

因此，本申请提供一种图像融合方法，通过fpga对多个待融合图像数据进行图像配准，根据得到的配准参数对所有待融合图像数据进行图像融合，得到已融合图像数据，再将已融合图像数据返回至服务器中，也就是服务器采用fpga实现了图像融合，利用了fpga可编辑逻辑阵列的特点，对图像融合过程进行加速，提高了图像融合的效率，使得服务器可以更快速的获取到已融合图像，并且节约了服务器自身的硬件性能，尽可能得使服务器硬件利用率最大化。

请参考图1，图1为本申请实施例所提供的一种图像融合方法的流程图。

本实施例中，该方法可以包括：

s101，fpga(field－programmablegatearray现场可编程门阵列)接收服务器发送的多个待融合图像数据；

本步骤旨在使fpga从服务器中获取到需要进行图像融合的多个待融合图像数据。

需要说明的是，一般的图像融合需求中主要是对两个图像进行融合，也就是将本实施例应用在更加具体的环境中时，fpga在单次图像融合任务只会接收到两个待融合图像数据。但是，这并不说明只可以对两个待融合图像进行融合处理，因此fpga可以接收到的待融合图像数据的数量并不做限定，也即本步骤中接收到多个待融合图像数据。

s102，对多个待融合图像数据进行图像配准，得到每个待融合图像数据的配准参数；

在s101的基础上，本步骤旨在将多个待融合图像数据进行图像配准，以便所有的待融合图像数据在同一个像素坐标系下实现统一，减少每个待融合图像之间的差别。通过得到的配准参数对每个待融合图像数据进行变换处理，就可以得到差距较少的配准后的图像，以便进行相应的图像融合处理。

其中，配准参数可以包括缩放参数、旋转参数以及平移参数。

一般进行配准的过程就是寻找使两个待融合图像数据之间相似性最大的变换参数，当相似性最大时，表示此时的变换参数对应的变换方式可以使得两个待融合图像之间配准，该变换参数为配准参数。

需要说明的是，图像配准同样可以在多个待融合图像数据之间进行。也就是寻找所有待融合图像数据之间相似性最大的变换方式。

进一步的，本步骤中寻找相似性最大的变换参数的过程，可以采用待融合图像数据的原始图像进行寻找。同样，为了提高寻找过程的效率，也就是为了提高图像配准的速度，可以采用原始图像对应的边缘信息进行寻找，还可以采用原始图像对应的二值图像进行寻找，也可以采用原始图像对应的灰度图像进行寻找，可见本步骤的图像配准的方法并不唯一，可以根据对图像配准过程的速度和准确度的要求进行选择，在此不作限定。

s103，根据所有配准参数对多个待融合图像数据进行图像融合，得到已融合图像数据；

在s102的基础上，本步骤旨在实现最后的图像融合处理。也就是根据得到所有配准参数，对多个待融合图像数据进行图像融合。

其中，图像融合处理可以采用离散小波变换算法进行图像融合处理，还可以采用现有技术提供的任意一种图像融合方法进行图像融合处理，因此，本步骤中并不对具体的进行图像融合的方式做限定。

s104，将已融合图像数据发送至服务器。

在s103的基础上，本步骤旨在将融合得到的已融合图像数据发送至服务器，以便服务器对接收到的已融合图像数据进行后续的处理或者是显示。

可见，通过s101至s103，使得原本在服务器中进行的图像融合操作，在fpga中执行，利用了fpga自身的硬件特性对图像数据进行融合，提高了图像融合过程的效率。并且，还应该说明的是，为了实现通过fpga进行图像融合处理，需要获取到fpga对应的编程语言编写的程序，以便对相应的程序进行执行。其中，对应的编程语言包括但不限定于hdl(hardwaredescriptionlanguage硬件描述语言)和opencl(opencomputinglanguage开放运算语言)，其中，hdl可以最大化利用fpga的硬件性能，opencl可以加快开发速度。

可选的，本实施例中的s102可以包括：

采用互信息算法查找每个待融合图像数据之间互信息最大的变换参数，将每个待融合图像数据对应的互信息最大的变换参数作为每个待融合图像数据的配准参数。

本可选方案主要是通过互信息算法计算得到的互信息，确定待融合图像数据之间的相似度。以便查找出相似度最大的，也就是互信息最大的变换参数，将其作为每个待融合图像数据的配准参数。

可选的，本实施例中的s102也可以包括：

步骤1，根据sobel(像素图像边缘检测的算子名称)算子对每个待融合图像数据进行边缘检测，得到多个边缘信息；

步骤2，采用互信息算法查找每个边缘信息之间互信息最大的变换参数，将每个边缘信息对应的互信息最大的变换参数作为每个待融合图像数据的配准参数。

本可选方案主要是通过待融合图像数据对应的原始图像的边缘信息，确定待融合图像数据之间的相似度，并且同样是通过互信息算法确定相似度。

可选的，本实施例中的s103可以包括：

步骤1，根据每个配准参数对对应的待融合图像数据进行图像变换，得到多个配准图像数据；

步骤2，根据离散小波变换算法对多个配准图像数据进行图像融合，得到已融合图像数据。

本可选方案主要是通过离散小波变换算法对待融合图像进行图像融合，以提升图像融合的效果。

综上，本实施例通过fpga对多个待融合图像数据进行图像配准，根据得到的配准参数对所有待融合图像数据进行图像融合，得到已融合图像数据，再将已融合图像数据返回至服务器中，也就是服务器采用fpga实现了图像融合，利用了fpga可编辑逻辑阵列的特点，对图像融合过程进行加速，提高了图像融合的效率，使得服务器可以更快速的获取到已融合图像，并且节约了服务器自身的硬件性能，尽可能得使服务器硬件利用率最大化。

在上一实施例的基础上，本实施例提供一种更加具体的图像融合方法。本实施例中采用原始图像的边缘信息进行图像配准，并且计算相似性的方法采用互信息法，提高了图像配准的速度和精度，并且采用离散小波变换进行图像融合处理，提升了图像融合的效果。

本实施例提出一种利用fpga加速实现快速图像融合的方法，实现该方法的硬件平台为fpga加速卡，主要采用hdl和opencl语言实现图像融合的处理过程。

其中，fpga加速卡是标准的半高半长的pcie板卡，可以插在服务器上，仅占用一个pcie槽位。该板卡基于intel的arria10系列fpga开发，能够支持高级编程语言opencl，具有高性能低功耗的优点。

服务器端将需要融合的图像通过pcie接口传输给fpga加速卡，fpga完成融合处理后再将融合后的图像传回给服务器端，可以用于后续的处理及显示。

图像融合处理过程主要包含图像配准和像素级融合(也就是图像融合)两个步骤，其中图像配准属于图像预处理过程。图像配准指的是对两幅图像的像素坐标进行匹配、叠加处理的过程，是从空间层面探寻转变模型或者变换关系，让待融合的图像在同一个像素坐标系下实现统一，进而减轻图像中间的差别。图像的像素级融合指的是对源自于不同传感器所获得的原始图像给予直接整合的融合方式，可以认为是对图像的每个像素点所包含的信息进行直接整合。

其中，图像配准是利用图像特征提取来实现的，具体方法是利用sobel算子对两幅输入图像的边缘特征进行提取，然后通过互信息法计算出两幅图像之间的配准参数，包括缩放参数、旋转参数和平移参数。最后对两幅图像基于小波变换进行像素级的融合。

其中，sobel算子是一种离散型的差分算子，用来计算图像亮度函数梯度的近似值。它包含两组3×3的矩阵，分别为横向模板gx及纵向模板gy，将两个模板分别与图像做平面卷积，便能得到横向和纵向的亮度差分近似值。

横向模板：

纵向模板：

利用gx和gy可计算得出像素点灰度的梯度大小为：再通过阈值处理即可得到边缘图像。具体实现办法是：设定灰度阈值t，将小于t的像素灰度设置为0，大于t的像素灰度设置为1。

得到边缘图像后，下一步是利用互信息法进行配准参数计算。两幅图像在几何上配准的越好，一幅图包含另一幅图的信息量越大，即两幅图像的互信息越大。从原始图像的边缘信息来看，两幅边缘配准的越好，表示两幅原始图像的互信息越大。可见，配准的过程就是寻找使得两幅边缘图像之间互信息最大的配准参数的过程。

首先建立两幅图像之间的变换模型，本发明选择刚性仿射变换模型。对待配准的图像a和b建立刚性仿射变换关系如下：

其中ρ为图像a和b之间的缩放参数，θ为旋转参数，δx和δy为平移参数。

互信息的计算过程如下：

图像a的熵定义为：

图像b的熵定义为：

a和b的联合熵定义为：其中a∈a，b∈b；

图像a和b的互信息可定义为：

其中，pa(a)、pb(b)分别是图像a和b的边缘概率分布，pab(a,b)是两幅图像的联合概率分布。

通过计算图像a和b在不同的ρ、θ、δx和δy下的互信息值，找到使得i(a,b)最大时的参数值，作为配准参数，便实现了两幅图像的配准。

完成两幅图像的配准之后，进行像素级的图像融合，本发明采用的是基于离散小波变换的融合方法，主要包含以下步骤：

对图像a和b分别进行n层小波分解，建立两幅图像的金字塔分解；

对各分解层分别进行融合处理，采用不同的融合策略对各分解层的不同融合分量进行融合处理，得到融合后的小波金字塔；

对融合后的小波金字塔进行小波逆变换进行小波重构，所得图像即为融合后最终图像。

上述图像融合的过程中，sobel边缘检测是利用hdl语言实现的，图像配准和基于小波变换的融合是利用opencl语言实现的。利用hdl语言联合opencl进行程序开发，能够加快开发流程，并且更充分地利用fpga的加速效果。通过实际测试，fpga加速卡实现的图像融合过程相对于cpu处理能有10倍以上的速度提升。

本申请实施例提供了一种图像融合方法，可以通过fpga对多个待融合图像数据进行图像配准，根据得到的配准参数对所有待融合图像数据进行图像融合，得到已融合图像数据，再将已融合图像数据返回至服务器中，也就是服务器采用fpga实现了图像融合，利用了fpga可编辑逻辑阵列的特点，对图像融合过程进行加速，提高了图像融合的效率，使得服务器可以更快速的获取到已融合图像，并且节约了服务器自身的硬件性能，尽可能得使服务器硬件利用率最大化。

下面对本申请实施例提供的一种图像融合装置进行介绍，下文描述的一种图像融合装置与上文描述的一种图像融合方法可相互对应参照。

请参考图2，图2为本申请实施例所提供的一种图像融合装置的结构示意图。

本实施例中，该装置可以包括：

图像数据接收模块100，用于接收服务器发送的多个待融合图像数据；

图像配准模块200，用于对多个待融合图像数据进行图像配准，得到每个待融合图像数据的配准参数；

图像融合模块300，用于根据所有配准参数对多个待融合图像数据进行图像融合，得到已融合图像数据；

已融合图像发送模块400，用于将已融合图像数据发送至服务器。

可选的，该图像配准模块200，具体可以用于采用互信息算法查找每个待融合图像数据之间互信息最大的变换参数，将每个待融合图像数据对应的互信息最大的变换参数作为每个待融合图像数据的配准参数。

可选的，该图像配准模块200，可以包括：

边缘检测单元，用于根据sobel算子对每个待融合图像数据进行边缘检测，得到多个边缘信息；

互信息配准单元，用于采用互信息算法查找每个边缘信息之间互信息最大的变换参数，将每个边缘信息对应的互信息最大的变换参数作为每个待融合图像数据的配准参数。

可选的，该图像融合模块300，可以包括：

图像变换单元，用于根据每个配准参数对对应的待融合图像数据进行图像变换，得到多个配准图像数据；

小波变换融合单元，用于根据离散小波变换算法对多个配准图像数据进行图像融合，得到已融合图像数据。

本申请实施例还提供一种图像融合设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如以上实施例所述的图像融合方法的步骤。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如以上实施例所述的图像融合方法的步骤。

该计算机可读存储介质可以包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种图像融合方法、图像融合装置、图像融合设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。