图像融合方法、装置及终端设备与流程

本发明涉及图像处理技术领域，特别是涉及一种图像融合方法、装置及终端设备。

背景技术：

图像融合，是指将多源信道所采集到的同一目标的图像数据经过图像处理等，以最大限度地提取各自信道中的有利信息，最终合成高质量的图像。图像融合的目的是将单一传感器的多波段信息或不同类传感器所提供的信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，以增强影像中信息透明度，改善解译的精度、可靠性以及使用率，以形成对目标的清晰、完整、准确的信息描述。图像融合的诸多方面的优点使得其在医学、遥感、计算机视觉、气象预报及军事目标识别，尤其在计算机视觉等领域得到了广泛地应用。

现有技术中，在使用图像融合方法生成高动态范围(High-Dynamic Range，HDR)时，在计算像素在相应图层的权重值时，仅仅考虑像素的亮度值，导致最终合成的图像质量较差。

技术实现要素：

本发明实施例解决的技术问题是如何提高图像融合得到的图像质量。

为解决上述问题，本发明实施例提供了一种图像融合方法，所述方法包括：

将待融合的多个图像分别进行分解得到多个图层；

根据图像的曝光程度和所述图像中像素的亮度值，采用不同的权重函数分别计算所述图像中的像素在相应图层中的权重值；

采用计算得到的权重值对所述多个图像同一图层的像素进行融合，得到所述图层对应的融合图层；

采用得到的各个图层的融合图层生成对应的高动态范围图片。

可选地，所述根据图像的曝光程度和所述图像中像素的亮度值，采用不同的权重函数分别计算所述图像中的像素在相应图层中的权重值，包括：

将所述多个图像按照曝光程度分为欠曝光图像和非欠曝光图像；

当所述欠曝光图像中的像素的亮度值小于等于第一阈值时，采用第一权重函数计算所述像素在相应图层中的权重值；

当所述欠曝光图像中的像素的亮度值大于所述第一阈值时，采用第二权重函数计算所述像素在相应图层中的权重值；

当所述非欠曝光图像中的像素的亮度小于等于第二阈值时，采用所述第一权重函数计算所述像素在相应图层中的权重值，所述第二阈值大于所述第一阈值；

当所述非欠曝光图像中的像素的亮度大于所述第二阈值时，采用所述第三权重函数计算所述像素在相应图层中的权重值。

可选地，所述第一权重函数为：

其中，W表示像素的权重值，I表示像素的亮度值，σ_u表示曲线控制参数。

可选地，所述第二权重函数为：

其中，W表示像素的权重值，α为预设的第一权值系数，0＜α≤1，I表示像素的亮度值，σ_u表示曲线控制参数。

可选地，所述第一权值系数的α的取值范围为0.6～1。

可选地，所述第三权重函数为：

其中，W表示像素的权重值，β为预设的第二权值系数，0＜β＜α，I表示像素的亮度值，σ_u表示曲线控制参数。

可选地，所述第二权值系数β的取值范围0～0.6。

可选地，所述将待融合的多个图像分别进行分解得到多个图层，包括：采用哈尔小波将待融合的多个图像分别进行分解得到两个图层。

本发明实施例还提供了一种图像融合装置，所述装置包括：

分解单元，适于将待融合的多个图像分别进行分解得到多个图层；

计算单元，适于根据图像的曝光程度和所述图像中像素的亮度值，采用不同的权重函数分别计算所述图像中的像素在相应图层中的权重值；

融合单元，适于采用计算得到的权重值对所述多个图像同一图层的像素进行融合，得到所述图层对应的融合图层；

生成单元，适于采用得到的各个图层的融合图层生成对应的高动态范围图片。

所述计算单元适于将所述多个图像按照曝光程度分为欠曝光图像和非欠曝光图像；当所述欠曝光图像中的像素的亮度值小于等于第一阈值时，采用第一权重函数计算所述像素在相应图层中的权重值；当所述欠曝光图像中的像素的亮度值大于所述第一阈值时，采用第二权重函数计算所述像素在相应图层中的权重值；当所述非欠曝光图像中的像素的亮度小于等于第二阈值时，采用所述第一权重函数计算所述像素在相应图层中的权重值，所述第二阈值大于所述第一阈值；当所述非欠曝光图像中的像素的亮度大于所述第二阈值时，采用所述第三权重函数计算所述像素在相应图层中的权重值。

可选地，所述分解单元适于采用哈尔小波将待融合的多个图像分别进行分解得到两个图层。

本发明实施例还提供了一种终端设备，所述终端设备包括上述的图像融合装置

与现有技术相比，本发明的技术方案具有以下的优点：

上述的方案，对于不同曝光程度的图像中不同的像素分别采用不同的权重函数进行计算像素在相应图层中的权重值，可以保存欠曝光图像中高亮度值的像素所携带的信息，并可以抑制过饱和现象的发生，因此，可以提高合 成图像的质量。

附图说明

图1是本发明实施例中的一种图像融合方法的流程图；

图2是本发明实施例中的另一种图像融合方法的流程图；

图3是本发明实施例中的一种图像融合装置的结构示意图。

具体实施方式

为解决现有技术中存在的上述问题，本发明实施例采用的技术方案对于不同曝光程度的图像中不同的像素分别采用不同的权重函数进行计算像素在相应图层中的权重值，可以保存欠曝光图像中高亮度值的像素所携带的信息，并可以抑制过饱和现象的发生，可以提高合成图像的质量。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1示出了本发明实施例中一种图像融合方法的流程图。如图1所示的图像融合方法，可以包括：

步骤S101：将待融合的多个图像分别进行分解得到多个图层。

在具体实施中，首先从多个待融合的图像按照曝光程度进行排序，并从中选取曝光程度适中的图像作为参考图像，并将其他待融合的图像与所述参考图像进行对齐，且根据实际的需要将对齐以后的图像进行裁剪。

在将待融合的多个图像进行对齐和裁剪之后，可以分别进行分解。

在本发明一实施例中，可以采用哈尔小波(Harr Wavelet)将对齐并裁剪之后的图像分别分解成两个图层。这里需要指出的是，也可以采用其他的方法将对齐并裁剪后的图像进行图层分解，且分解得到图层的数量可以根据实际的需要进行选择，在此不做限制。

步骤S102：根据图像的曝光程度和所述图像中像素的亮度值，采用不同的权重函数分别计算所述图像中的像素在相应图层中的权重值。

在具体实施中，在不同曝光程度的图像中，不同亮度的像素所携带信息 的重要性不同。根据图像的曝光程度和所述图像中像素的亮度值，采用不同的权重函数分别计算所述图像中的像素在相应图层中的权重值，可以使得像素携带的重要信息被保存下来，并可以抑制最终生成的HDR图像中像素呈现过饱和状态，因此，可以提高最终生成的HDR图像的质量。

步骤S103：采用计算得到的权重值对所述多个图像同一图层的像素进行融合，得到所述图层对应的融合图层。

在具体实施中，当计算得到各个图像中的像素在不同图层中的权重值之后，便可以采用计算得到的权重值，对所述多个图像的同一图层的像素进行融合。

步骤S104：采用得到的各个图层的融合图层生成对应的高动态范围图片。

在具体实施中，当得到各个图层对应的融合图层之后，将不同图层的对应的融合图层进行图像合成，便可以得到最终的HDR图像。

下面将结合图2对本发明实施例中的图像融合方法作进一步详细的介绍。

图2示出了本发明实施例中另一种图像融合方法的流程图。如图2所示的图像融合方法，可以包括：

步骤S201：根据曝光程度，将待融合的多个图像分为欠曝光图像和非欠曝光图像，并将待融合的多个图像分别进行分解得到多个图层。

在具体实施中，可以首先将待融合的多个图像按照曝光程度递增的顺序进行排序，将排在前列的图像作为欠曝光图像，将序列中其他的图像作为非欠曝光图像。其中，所述非前曝光的图像包括正常曝光的图像和过度曝光的图像。

例如，当待融合的图像为三张图像时，可以将三张图像按照曝光时间递增的顺序进行排列后，将排在第一位序的图像作为欠曝光图像，将第二和第三位序的图像作为非欠曝光图像。

在具体实施中，当确定图像为欠曝光图像时，可以依次执行步骤S202；当确定图像为非欠曝光图像时，可以执行步骤S205。

步骤S202：判断所述欠曝光图像中的像素的亮度值是否大于第一阈值； 当判断结果为否时，可以执行步骤S203；反之，则可以执行步骤S204。

在具体实施中，欠曝光图像中存在高亮度像素，这些高亮度像素携带有重要的信息，且在正常曝光或者过度曝光的条件下，这些高亮度的像素将呈现过饱和的状态，使得其所携带的信息完全丢失。

因此，为了将欠曝光图像中的高亮度的像素所携带的信息保存下来，并抑制像素的过饱和状态，可以在计算像素的权重值之前，通过判断像素的亮度值是否小于第一阈值，可以从欠前曝光图像中区分出高亮度像素。其中，当确定所述欠曝光图像中的像素的亮度值大于第一阈值时，所述像素为所述高亮度像素，反之，则为正常亮度或者低亮度的像素。

在具体实施中，所述第一阈值可以根据实际的需要进行设置。在本发明一实施例中，所述第一阈值为210。

步骤S203：采用第一权重函数计算所述像素在相应图层中的权重值。

在具体实施中，当确定所述欠曝光图像中的像素的亮度值小于等于所述第一阈值时，即所述欠曝光图像中正常亮度和低亮度的像素可以采用如下的第一权重函数来计算得到对应的权重值：

其中，W表示像素的权重值，I表示像素的亮度值，σ_u表示曲线控制参数。

步骤S204：采用第二权重函数计算所述像素在相应图层中的权重值。

在具体实施中，当确定所述欠曝光图像中的像素的亮度值大于所述第一阈值时，即所述欠曝光图像中高亮度的像素可以采用如下的第二权重函数计算所述像素的权重值：

其中，α为预设的第一权值系数，0＜α≤1。

步骤S205：判断所述非欠曝光图像中的像素的亮度值是否大于第二阈值，当判断结果为否时，可以执行步骤S203，反之，则可以执行步骤S207。

在具体实施中，所述第二阈值大于第一阈值，并可以根据实际的需要进行设置。在本发明一实施例中，所述第二阈值为230。

在具体实施中，当确定所述非欠曝光图像中的像素的亮度值大于所述第二阈值时，即所述正常曝光或者过度曝光图像中正常亮度或者低亮度的像素可以采用公式(1)所示的第一权重函数计算所述像素的权重值。

步骤S206：采用所述第三权重函数计算所述像素在相应图层中的权重值。

在具体实施中，当确定所述欠曝光图像中的像素的亮度值大于所述第一阈值时，即所述欠曝光图像中高亮度的像素可以采用如下的第三权重函数计算所述像素的权重值：

其中，β为预设的第二权值系数，0＜β＜α。

通过上述的公式(1)、(2)和(3)可以看出，由于所述第一权值系数α大于第二权值系数β，使得欠曝光图像中的高亮度的像素的权重值将显著大于所述欠曝光图像中其他像素和非欠曝光图像中像素的权重值。因此，可以将欠曝光图像中高亮度像素所携带的信息保存下来，并可以抑制最终生成的高动态范围图像中所述像素呈现过饱和的状态，进而可以提高最终生成的高动态范围图像的质量。

在具体实施中，所述第一权值系数α和第二权值系数β的数值可以根据实际的需要进行设置。在本发明一实施例中，所述第一权值系数α的取值范围为0.6～1，所述第二权值系数β的取值范围为0～0.6。

步骤S208：采用计算得到的权重值对所述多个图像同一图层的像素进行融合，得到所述图层对应的融合图层。

在具体实施中，当计算得到各个图像中的像素在不同图层中的权重值之后，便可以采用计算得到的权重值，对所述多个图像的同一图层的像素进行 融合。

例如，当采用哈尔小波将三张图像分别进行图层分解后得到第一图层和第二图层，且采用公式(1)计算得出三张图像中的像素分别在第一图层和第二图层中的权重值之后，将三张图像中的第一图层中的像素采用相应的权重值进行融合，可以得到第一融合图层。同样，将三张图像中的第二图层中的像素采用相应的权重值进行融合，便可以得到第二融合图层。

步骤S209：采用得到的各个图层的融合图层生成对应的高动态范围图像。

在具体实施中，当得到各个图层对应的融合图层之后，将不同图层的对应的融合图层进行图像合成，便可以得到最终的HDR图像。

图3示出了本发明实施例中的一种图像融合装置的结构示意图。如图3所示的图像融合装置300，可以包括分解单元301、计算单元302、融合单元303和生成单元304，其中：

分解单元301，适于将待融合的多个图像分别进行分解得到多个图层。

在具体实施中，所述分解单元301适于采用哈尔小波将待融合的多个图像分别进行分解得到两个图层。

计算单元302，适于根据图像的曝光程度和所述图像中像素的亮度值，采用不同的权重函数分别计算所述图像中的像素在相应图层中的权重值。

所述计算单元302适于将所述多个图像按照曝光程度分为欠曝光图像和非欠曝光图像；当所述欠曝光图像中的像素的亮度值小于等于第一阈值时，采用第一权重函数计算所述像素在相应图层中的权重值；当所述欠曝光图像中的像素的亮度值大于所述第一阈值时，采用第二权重函数计算所述像素在相应图层中的权重值；当所述非欠曝光图像中的像素的亮度小于等于第二阈值时，采用所述第一权重函数计算所述像素在相应图层中的权重值，所述第二阈值大于所述第一阈值；当所述非欠曝光图像中的像素的亮度大于所述第二阈值时，采用所述第三权重函数计算所述像素在相应图层中的权重值。

融合单元303，适于采用计算得到的权重值对所述多个图像同一图层的像素进行融合，得到所述图层对应的融合图层。

生成单元304，适于采用得到的各个图层的融合图层生成对应的高动态范围图片。

本发明实施例还提供了一种终端设备，所述终端设备包括上述的图像融合装置

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上对本发明实施例的方法及系统做了详细的介绍，本发明并不限于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。