一种可见光图像与红外图像的融合方法、装置与流程

1.本发明涉及图像融合领域，特别地，涉及一种可见光图像与红外图像的融合方法。


背景技术：

2.目前，在图像处理领域中有许多图像融合的方案，多数是利用单摄像头分光结构或者双摄像头结构来获取不同谱段的信息，以可见光图像和非可见光图像为主，然后结合两者的优势进行图像融合，从而得到更好的图像效果。尽管各个方案的融合算法迥异，但最终目的是提升低照度下的图像效果，具体可以体现在信噪比、颜色、细节轮廓等多个方面。
3.鉴于物体对于不同光谱的反射和吸收特性不同，同一物体在可见光图像和红外图像中的亮度及纹理表现可能差异很大，尤其是在低照度环境下。对于监控领域而言，在合理的补光条件下，往往红外图像的信噪比和景物的纹理较优，但红外图像不具备真实颜色信息，过多红外信息容易导致颜色失真、纹理表现不自然等现象。


技术实现要素：

4.本发明提供了一种可见光图像与红外图像的融合方法，以提高融合图像中色彩的真实性。
5.本发明提供的一种可见光图像与红外图像的融合方法是这样实现的：
6.基于可见光图像获取可见光亮度图像，基于红外图像获取红外亮度图像；
7.利用可见光亮度图像和红外亮度图像，确定可见光亮度图像目标区域中第一像素点的坐标信息，以及非目标区域中第二像素点的坐标信息；
8.将可见光亮度图像和红外亮度图像进行融合，得到亮度融合的第一图像；
9.根据第一像素点的坐标信息确定第一图像中的目标区域，根据第二像素点的坐标信息确定第一图像中非目标区域；
10.调整第一图像中像素点的亮度分量，使得第一图像中目标区域与非目标区域的第二亮度对比度与第一亮度对比度相同，得到第二图像；其中，第一亮度对比度根据可见光亮度图像的目标区域中第一像素点和非目标区域中第二像素点的亮度分量计算得到；第二亮度对比度根据第一图像的目标区域中第三像素点和非目标区域中第四像素点的亮度分量计算得到；
11.对于第二图像中每个像素点，将该像素点的亮度分量与可见光图像中具有与该像素相同坐标的像素点的色度分量融合，得到融合后的图像。
12.较佳地，所述利用可见光亮度图像和红外亮度图像，确定可见光亮度图像目标区域中第一像素点的坐标信息，以及非目标区域中第二像素点的坐标信息，包括：
13.计算红外亮度图像中每个像素点的亮度分量与可见光亮度图像中对应像素点的亮度分量之间亮度残差，得到每个像素点的亮度残差；
14.采用基于可见光图像中每个像素点的亮度分量所计算的第一权值、以及基于红外图像中该像素点的亮度分量所计算的第二权值，对每个像素点的亮度残差进行加权，使得
每个像素点的亮度残差被修正，
15.基于每个像素点修正后的亮度残差，将亮度残差大于或等于预设亮度阈值的像素点的坐标信息作为可见光亮度图像目标区域中第一像素点的坐标信息，将亮度残差小于所述亮度阈值的像素点的坐标信息作为可见光亮度图像非目标区域中第二像素点的坐标信息。
16.较佳地，所述计算红外亮度图像中每个像素点的亮度分量与可见光亮度图像中对应像素点的亮度分量之间亮度残差，包括，
17.对于可见光亮度图像和/或红外亮度图像中每个像素点：
18.如果红外亮度图像中该像素点的第一亮度分量大于等于可见光亮度图像中该像素点的第二亮度分量，则计算第一亮度分量与第二亮度分量之间的差值，得到该像素点的亮度残差；
19.如果红外亮度图像中该像素点的第一亮度分量小于可见光亮度图像中该像素点的第二亮度分量，则将该像素点的亮度残差设置为0。
20.较佳地，所述采用基于可见光图像中每个像素点的亮度分量所计算的第一权值、以及基于红外图像中该像素点的亮度分量所计算的第二权值，对每个像素点的亮度残差加权，包括，
21.对于每个像素点的亮度残差：
22.将该像素点的亮度残差采用滤波函数进行过滤，并用该像素点的第一权值、以及第二权值对过滤后的亮度残差进行相乘，得到该像素点修正后的亮度残差；
23.或者，
24.用该像素点的第一权值、以及第二权值对该像素点的亮度残差进行相乘，得到该像素点修正后的亮度残差；其中，
25.所述第一权值按照如下方式确定：
26.当可见光亮度图像中该像素点的亮度分量小于或等于设定的第一阈值时，第一权值取值为预设的权值上限；
27.当可见光亮度图像中该像素点的亮度分量大于设定的第一阈值时，第一权值取值在预设的权值下限到预设的权值上限之间，
28.所述第二权值按照如下方式确定：
29.当红外亮度图像中该像素点的亮度分量小于或等于设定的第二阈值时，第二权值取值小于预设的权值上限；
30.当红外亮度图像中该像素点的亮度分量大于或等于第二阈值、且小于第三阈值时，第二权值取值为预设的权值上限；
31.当红外亮度图像中该像素点的亮度大于或等于第三阈值时，第二权值取值在预设的权值下限到预设权值上限之间；
32.所述第一阈值根据可见光亮度图像的亮度分量取值上限确定；
33.所述第二阈值、第三阈值根据红外亮度图像的亮度分量取值上限确定。
34.较佳地，当可见光亮度图像中该像素点的亮度分量大于设定的第一阈值时，所述第一权值取值的取值为：可见光亮度图像亮度分量取值上限与所述像素点的亮度分量之差，与，可见光亮度图像亮度分量取值上限与第一阈值之差的比值；
35.当红外亮度图像中该像素点的亮度分量小于或等于设定的第二阈值时，所述第二权值的取值为：所述像素点的亮度分量与第二阈值的比值，
36.当红外亮度图像中该像素点的亮度大于或等于第三阈值时，所述第二权值的取值为：红外亮度图像亮度分量取值上限与所述像素点的亮度分量之差，与，红外亮度图像亮度分量取值上限与第三阈值之差的比值。
37.较佳地，所述调整第一图像像素点的亮度分量，使得第一图像中目标区域与非目标区域的第二亮度对比度与第一亮度对比度相同，得到第二图像，包括，
38.计算第一亮度对比度，
39.计算第一图像目标区域中第三像素点的第三亮度均值，以及第一图像非目标区域中第四像素点的第四亮度均值；
40.计算第一亮度对比度与第四亮度均值的乘积，得到使得第一亮度对比度与第二亮度对比度相等的第一图像目标区域中第三像素点的期望亮度均值，
41.对于第一图像中的每个像素点，以该像素点的第三权值，加权第一图像中该像素点的亮度分量，得到第二图像；
42.其中，
43.第三权值与亮度调整比例相关，所述亮度调整比例根据期望亮度均值与第三亮度均值确定。
44.较佳地，所述计算第一亮度对比度包括，
45.根据可见光亮度图像目标区域中第一像素点的第一亮度均值、以及非目标区域中第二像素点的第二亮度均值，得到第一亮度对比度；
46.所述对于第一图像中的每个像素点，以该像素点的第三权值，加权第一图像中该像素点的亮度分量，得到第二图像，包括：
47.计算第三亮度均值与期望亮度均值之比值，得到亮度调整比例，
48.按照亮度调整比例、以及每个像素点修正后的亮度残差，计算每个像素点的第三权值，
49.对于第一图像中的每个像素点，将该像素点第三权值乘以第一图像中每个像素点的亮度分量，
50.其中，具有加权后的亮度分量的所有像素点形成第二图像。
51.较佳地，所述按照亮度调整比例、以及每个像素点修正后的亮度残差，计算每个像素点的第三权值，包括，
52.计算亮度调整比例与所述像素点修正后的亮度残差之乘积，得到乘积结果，
53.计算所述乘积结果与修正后的亮度残差取值上限之比值，得到像素点的第三权值。
54.本发明还提供一种可见光图像与红外图像的融合装置，该装置包括：
55.亮度图像获取模块，用于基于可见光图像获取可见光亮度图像，基于红外图像获取红外亮度图像；
56.区域确定模块，用于利用可见光亮度图像和红外亮度图像，确定可见光亮度图像目标区域中第一像素点的坐标信息，以及非目标区域中第二像素点的坐标信息；
57.第一融合模块，用于将可见光亮度图像和红外亮度图像进行融合，得到亮度融合
的第一图像；
58.调整模块，用于调整第一图像中像素点的亮度分量，使得第一图像中目标区域与非目标区域的第二亮度对比度与第一亮度对比度相同，得到第二图像；其中，第一亮度对比度根据可见光亮度图像的目标区域中第一像素点和非目标区域中第二像素点的亮度分量计算得到；第二亮度对比度根据第一图像的目标区域中第三像素点和非目标区域中第四像素点的亮度分量计算得到；
59.第二融合模块，用于对于第二图像中每个像素点，将该像素点的亮度分量与可见光图像中具有与该像素相同坐标的像素点的色度分量融合，得到融合后的图像。
60.本发明提供一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述可见光图像与红外图像的融合方法的步骤。
61.本发明还提供一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如上述可见光图像与红外图像的融合方法的步骤。
62.本技术基于待融合可见光图像的可见光亮度图像和待融合红外图像的红外亮度图像，确定可见光图像亮度与红外图像亮度之间具有差异的目标区域、以及可见光图像亮度与红外图像亮度相同的非目标区域，按照使得融合后的亮度图像目标区域的期望对比度(第二亮度对比度)与可见光亮度图像中目标区域的第一亮度对比度相等的方式，调整融合后的亮度图像中目标区域的亮度信息，从而保持局部亮度对比度在融合前和融合后不变，既保证了融合后的图像具有较好的信噪比、细节和轮廓，又能够提高了色彩的真实性，解决了视觉效果上的偏色问题，降低了同时对比效应，使得融合后的图像具有较强的保色能力。
附图说明
63.图1同时对比效应的一种示意图。
64.图2为本技术可见光图像与红外图像的融合方法的一种流程示意图。
65.图3为本技术实施例可见光图像与红外图像的融合方法的一种流程示意图。
66.图4为本技术实施例可见光图像与红外图像的融合装置的一种示意图。
67.图5为本技术实施例可见光图像与红外图像的融合装置的另一种示意图。
68.图6为本技术实施例各物理量、图像之间的逻辑关系示意图。
具体实施方式
69.为了使本技术的目的、技术手段和优点更加清楚明白，以下结合附图对本技术做进一步详细说明。
70.申请人注意到，由于人眼对亮度有很强的适应性，因此很难精确地识别图像上各像素点的绝对亮度，即使融合图像中部分区域亮度与可见光图像的亮度一致，但由于其背景亮度不同，人眼所感受的主观亮度也是不一样的，从而导致视觉上的颜色表现也有差异，特别是针对黑白灰这三种颜色。参见图1所示，中间的小方块的亮度都是一样的，而其在不同亮度的背景下，表现在人眼视觉效果上是有明显差异，这种效应叫做同时对比效应。因此，在提升信噪比和细节的同时下，保证颜色的真实性和整体画面的自然度是图像融合算法的主要难点之一。
71.申请人发现，仅根据权重进行融合，一定程度上在某些区域倾向于选择更多红外
图像的亮度，这使得该区域与背景的亮度对比度发生变化，从而产生了视觉效果上的偏色问题。
72.本技术结合人眼视觉特性的特点，基于所选择的局部区域的亮度对比度调整，使得融合图像色彩保持，在保证融合图像具有较好的信噪比、细节和轮廓的基础上，进一步复原出色彩的真实性。
73.参见图2所示，图2为本技术可见光图像与红外图像的融合方法的一种流程示意图。该融合方法包括，对于待融合的可见光图像和红外图像：
74.步骤201，分别提取可见光图像和红外图像的亮度信息，得到可见光亮度图像和红外亮度图像；
75.步骤202，基于所提取的可见光图像的亮度信息、以及红外图像的亮度信息，确定可见光图像亮度与红外图像亮度之间具有差异的目标区域，确定可见光图像亮度与红外图像亮度之间不具有差异的非目标区域，
76.步骤203，计算可见光图像中目标区域与非目标区域的第一亮度对比度，
77.其中，第一亮度对比度根据可见光亮度图像的目标区域中第一像素点和非目标区域中第二像素点的亮度分量计算得到，
78.步骤204，将可见光亮度图像和红外亮度图像进行亮度融合，得到第一图像；
79.步骤205，调整第一图像中的亮度信息，使得第一图像中目标区域与非目标区域的第二亮度对比度与第一亮度对比度相同，得到亮度信息被调整后的第二图像；
80.其中，第二亮度对比度根据第一图像的目标区域中第三像素点和非目标区域中第四像素点的亮度分量计算得到；
81.步骤206，将第二图像中的亮度信息与可见光图像中的色度信息融合，得到融合后的图像。
82.其中，步骤204与步骤202、203无严格的执行顺序，可以并行执行。
83.本技术基于可见光图像和红外图像的亮度信息来确定目标区域和非目标区域，能够准确地选择出亮度差异明显的区域，通过保持局部区域亮度对比度来对融合图像(第一图像)中的目标区域亮度进行调整，在一定程度上复原融合图像中目标区域的色彩视觉效果，改善了因亮度对比度变化而导致的视觉上的色彩效果偏差。
84.为便于理解本技术，以下以图像位宽大小为8比特的待融合图像为例展开说明。所应理解的是，本技术不限于上述图像位宽大小，对于其他图像位宽大小，可以参照本技术进行相应的变通。
85.参见图3所示，图3为本技术实施例可见光图像与红外图像的融合方法的一种流程示意图。对于待融合的可见光图像和红外图像，该方法包括，
86.步骤301，分别提取可见光图像和红外图像的亮度信息，得到可见光亮度图像和红外亮度图像；
87.可见光亮度图像与待融合的可见光图像的位宽相同，红外亮度图像与待融合的可见光图像的位宽相同。
88.在该步骤中，鉴于待融合的可见光图像和红外图像通常分别来自于可见光传感器和红外传感器，实际应用中，可见光图像与红外图像的像素尺寸、图像畸变可能不同，故而，较佳地，将可见光图像的像素点和红外图像的像素点进行匹配，以使得可见光图像的像素
点所对应的空间点和红外图像的像素点所对应的空间点相同，这样，可以得到配准后的可见光图像和配准后的红外图像。较佳地，配准后的可见光图像的位宽与配准后的红外图像的位宽相同。
89.对于可见光图像，若图像数据格式为rgb格式，则先将其转换为yuv格式，然后提取可见光分量y
vis
(亮度信息)；若为yuv数据，则可直接分离可见光分量y和uv分量(色度信息)。从而得到可见光亮度图像。
90.对于红外图像，只需取其可见光分量(亮度信息)y
nir
即可，从而得到红外亮度图像。
91.较佳地，基于配准后的红外图像、配准后的可见光图像来提取亮度信息，这样，可见光亮度图像的位宽和红外亮度图像的位宽相同，并且，可见光亮度图像中的像素点与红外亮度图像中的像素点匹配，也就是说，可以得到配准后的可见光亮度图像以及配准后的红外亮度图像。
92.步骤302，对可见光亮度图像和红外亮度图像进行初步融合，得到亮度融合图像ym，为便于描述，后文称为第一图像。
93.在该步骤中，融合可见光亮度图像和红外亮度图像的方法可采用多尺度分层融合方法，例如，金字塔多尺度分解融合法，也可以基于预设的融合权重进行融合，可以不限具体融合方法。
94.在以下的步骤303～306，以实现基于所提取的可见光图像的亮度信息、以及红外图像的亮度信息，确定可见光图像亮度与红外图像亮度之间具有差异的目标区域，确定可见光图像亮度与红外图像亮度之间不具有差异的非目标区域，也就是说，利用可见光亮度图像和红外亮度图像，确定可见光亮度图像目标区域中第一像素点的坐标信息，以及非目标区域中第二像素点的坐标信息。
95.步骤303，基于所提取的可见光图像的亮度信息和红外图像的亮度信息，计算亮度残差，
96.例如，对于可见光亮度图像和/或红外亮度图像中每个像素点：
97.如果红外亮度图像中该像素点的第一亮度分量y
nir
(i，j)大于等于可见光亮度图像中该像素点的第二亮度分量y
vis
(i，j)，则计算第一亮度分量与第二亮度分量之间的差值，得到该像素点的亮度残差；
98.否则，将该像素点的亮度残差设置为不同于任一亮度残差的第一值，例如设置为0；
99.用数学式表示为：
[0100][0101]
其中，(i，j)为像素点的坐标，rd为亮度残差数据，y
nir
(i，j)为红外亮度图像中像素点(i，j)的第一亮度分量，y
vis
(i，j)为可见光亮度图像中像素点(i，j)的第二亮度分量。
[0102]
从亮度残差的计算可见，红外亮度和可见光亮度之间差异越大，mask图的亮度强度也越大。
[0103]
所有像素点的亮度残差数据组成亮度残差图。
[0104]
步骤304，对所得到的亮度残差数据进行亮度修正，以得到掩膜mask图。
[0105]
在该步骤中，可以对亮度残差数据进行滤波，并基于所提取的可见光图像亮度信息和所提取的红外图像亮度信息对亮度残差图进行亮度修正，得到mask图，以避免对一些过曝或过暗的亮度残差数据进行处理。
[0106]
其中，滤波可以是高斯滤波或引导滤波等，若用引导滤波，则引导图选用红外亮度图。
[0107]
较佳地，亮度修正可以是，对于亮度残差数据中每个像素点：
[0108]
将该像素点的亮度残差采用滤波函数进行过滤，并用该像素点的第一权值、以及第二权值对滤波后的亮度残差进行加权计算，得到该像素点修正后的亮度残差，即，mask图中该像素点的亮度分量；
[0109]
或者，
[0110]
不进行滤波，直接用该像素点的第一权值、以及第二权值对亮度残差进行加权计算，得到该像素点修正后的亮度残差，
[0111]
其中，
[0112]
第一权值按照如下方式确定：
[0113]
若可见光亮度图像中该像素点的亮度分量(即亮度图像的像素值)小于等于第一阈值，则该像素点的第一权值取值为权值上限，例如，取值为1，
[0114]
否则，该像素点的第一权值为：可见光图像的亮度分量取值上限与该像素点亮度分量之差，与，可见光图像亮度分量取值上限与第一阈值之差的比值；其中，亮度分量取值上限由图像位宽确定。
[0115]
第二权值按照如下方式确定：
[0116]
若红外亮度图像中该像素点的亮度分量小于第二阈值，则该像素点的第二权值取值为该像素点的亮度分量与第二阈值的比值，
[0117]
若红外亮度图像中该像素点的亮度分量大于等于第二阈值、且小于第三阈值，则该像素点的第二权值取值为权值上限，例如，取值为1；
[0118]
若红外亮度图像中该像素点的亮度分量大于等于第三阈值，则该像素点的第二权值取值为：红外亮度图像亮度分量取值上限与该像素点亮度分量之差，与，红外亮度图像亮度分量取值上限与第三阈值之差的比值。
[0119]
所述第一阈值、第二阈值、第三阈值的取值范围根据图像的位宽大小所确定的亮度分量取值上限确定。具体而言，所述第一阈值的取值范围根据可见光亮度图像亮度分量取值上限确定，第二阈值、第三阈值的取值范围根据红外亮度图像亮度分量取值上限确定。对于配准后的可见光图像和配准后的红外图像，两种亮度图像的位宽相同，则亮度分量取值范围为[0，2
b-1]，其中，b为亮度图像的位宽大小，亮度分量取值上限为2
b-1。例如，待融合图像的位宽为8比特，该位宽所确定的亮度分量的取值范围为0～255，则，阈值取值范围为0～255以内，即，阈值取值范围大于等于0、小于等于255。
[0120]
亮度修正可以用数学式表示为：
[0121]
m(i，j)＝w
vis
(y
vis
(i，j))
×wnir
(y
nir
(i，j))
×ffilter
(rd(i，j))
[0122]
[0123][0124]
其中，w
vis
(y
vis
(i，j))为可见光亮度图像中像素点(i，j)的第一权值，w
nir
(y
nir
(i，j))为红外亮度图像中像素点(i，j)的第二权值，f
filter
为滤波函数，y
vis-max
为可见光亮度图像的亮度分量取值上限，根据2
b1-1确定，b1为可见光亮度图像的位宽大小，y
nir-max
为红外亮度图像的亮度分量取值上限，根据2
b2-1确定，b2为红外亮度图像的位宽大小。
[0125]
当待融合图像的位宽为8比特时，则第一权值和第二权值可以表示为：
[0126][0127][0128]
从第一权值和第二权值的数学式可见：
[0129]
当可见光图像的亮度小于等于设定的第一阈值时，第一权值取值为权值上限，例如取值为1，当可见光图像的亮度大于等于设定的第一阈值时，第一权值取值在权值上限和权值下限之间，例如，0到1之间，
[0130]
当红外图像的亮度小于等于设定的第二阈值时，第二权值取值小于权值上限，例如取值为1，当红外图像的亮度大于等于第二阈值、且小于第三阈值时，第二权值取值为权值上限，例如取值为1，当红外图像的亮度大于等于第三阈值时，第一权值取值在权值上限和权值下限之间，例如，0到1之间。
[0131]
步骤305，将mask图进行二值化，
[0132]
在该步骤中，对于mask图中每个像素点：
[0133]
若该像素点的亮度分量大于等于设定的亮度阈值，则该像素点的亮度分量取值为第二值，
[0134]
否则，该像素点的亮度分量取值为第三值；
[0135]
其中，第二值大于第三值；
[0136]
较佳地，第二值取值为1，第三值取值为0。
[0137]
用数学式表达为：
[0138][0139]
其中，m表示mask图，mb表示二值化后的mask图，t4为亮度阈值，取值范围根据mask图像的位宽b大小确定，鉴于mask图像的位宽与亮度图像相同，因此，第四阈值的取值范围为[0，2
b-1]。
[0140]
步骤306，将二值化后的mask图中具有第二值的区域确定为目标区域，
[0141]
较佳地，将具有第三值的区域确定为非目标区域；
[0142]
或者，将所确定的目标区域一定邻域范围内具有第三值的区域确定为非目标区
域，或者，将将所确定的目标区域一定邻域范围内的区域确定为非目标区域，或者，将图像中除去目标区域之外的区域确定为非目标区域。
[0143]
基于所确定的目标区域和非目标区域，可确定目标区域中像素位置信息以及非目标区域中像素位置信息，用数学式表达为：
[0144]sobj
＝{(i，j)|mb(i，j)＝1}
[0145]sbk
＝{(i，j)|mb(i，j)＝0}
[0146]
其中，s
obj
为目标区域的位置信息集，s
bk
为非目标区域的位置信息集。
[0147]
根据目标区域的位置信息集中像素点的坐标信息，可以确定可见光亮度图像中具有相同坐标信息的第一像素点，该第一像素点所在区域为目标区域，类似地，根据非目标区域的位置信息集中像素点的坐标信息，可以确定可见光亮度图像中具有相同坐标信息的第二像素点，该第二像素点所在区域为非目标区域。
[0148]
通过步骤305、306，使得亮度残差大于或等于预设亮度阈值的像素点的坐标信息作为可见光亮度图像目标区域中第一像素点的坐标信息，亮度残差小于所述亮度阈值的像素点的坐标信息作为可见光亮度图像非目标区域中第二像素点的坐标信息。
[0149]
步骤307，根据所确定的目标区域和非目标区域的位置信息，计算可见光亮度图像中目标区域与非目标区域的第一亮度对比度，
[0150]
在该步骤中，根据可见光亮度图像中目标区域和非目标区域，获取包括第一像素点的目标亮度集和包括第二像素点的非目标亮度集，并分别计算均值，得到可见光亮度图像中目标区域的第一亮度均值和非目标区域的第二亮度均值，根据第一亮度均值与第二亮度均值，计算局部亮度对比度，即，第一亮度对比度。例如，第一亮度均值与第二亮度均值的比值作为第一亮度对比度，还可以是对均值取对数之后再做比。其中，所述均值可以是求和平均，也可以是根据mask图的亮度强度进行加权平均。
[0151]
本实施例中，采用求和平均。用数学式表示为：
[0152][0153][0154]
c1＝l
a1
/l
b1
[0155]
其中，l
a1
为可见光图像中目标区域的第一亮度均值，l
b1
为可见光图像中非目标区域的第二亮度均值，c1为第一亮度对比度，n1为目标区域中的第一像素点数量，n2为非目标区域中的第二像素点数量。
[0156]
在以下步骤中，调整第一图像中目标区域的亮度信息，使得第一图像中目标区域与非目标区域的第二亮度对比度与第一亮度对比度相同，具体地，确定第一图像中目标区域与非目标区域的第二亮度对比度，根据第一亮度对比度和第二亮度对比度，调整第一图像中目标区域的亮度信息，所对应的步骤如下：
[0157]
步骤308，根据所确定的目标区域和非目标区域的位置信息，计算第一图像中目标区域的第三亮度均值、以及非目标区域的第四亮度均值。
[0158]
在该步骤中，将所确定的目标区域和非目标区域的位置信息对应到第一图像上，
获取第一图像中包括第四像素点的非目标区域的第四亮度均值，以及包括第三像素点的目标区域的第三亮度均值，其中，第三像素点与第一像素点具有相同的坐标信息，第四像素点与第二像素点具有相同的坐标信息。
[0159]
用数学式表示为：
[0160][0161][0162]
其中，l
a2
为第一图像目标区域的第三亮度均值，l
b2
为第一图像非目标区域的第四亮度均值，n3为第一图像目标区域中的第三像素点数量，其与第一像素点数量相同，n4为第一图像非目标区域中的第四像素点数量，其与第二像素点数量相同。
[0163]
步骤309，计算使得第一亮度对比度与第二亮度对比度相等的第一图像中目标区域的期望亮度均值，所述第二亮度对比度为期望亮度均值与第四亮度均值的比值。
[0164]
在该步骤中，为了保持视觉上的色彩效果，因此需要使得第一图像目标区域的局部亮度对比度和可见光亮度图上对应目标区域的局部亮度对比度一致，也就是说，使得第一亮度对比度与第二亮度对比度相等。
[0165]
假设第一图像中目标区域与非目标区域的第二亮度对比度为c2，那么有c1＝c2，因此可以计算出目标区域期望亮度均值，为第一亮度对比度与第四亮度均值的乘积。
[0166]
数学式表示为：
[0167][0168]
则：
[0169]
其中，l
a3
为第一图像中目标区域期望亮度均值。
[0170]
在以下步骤310-311中，根据第三亮度均值、以及期望亮度均值，调整第一图像中目标区域的亮度信息，
[0171]
步骤310，根据第三亮度均值和期望亮度均值计算出亮度调整比例，结合mask图，计算得到用于亮度调整的第三权值，
[0172]
例如，对于mask图中的每个像素点：
[0173]
计算：亮度调整比例与该像素点的亮度分量之积，与，mask图亮度分量取值上限之比值，得到该像素点的第三权值，
[0174]
用数学式表示为：
[0175]
r＝l
a3
/l
a2
[0176]
wr(i，j)＝r
×
m(i，j)/y
r-max
[0177]
其中，r为亮度调整比例，y
r-max
为mask图像的亮度分量取值上限，即，修正后的亮度残差取值上限，由(2
b3-1)确定，b3为mask图像的位宽，所有像素点可以形成用于亮度调整的权值图。
[0178]
步骤311，根据第三权值，调整第一图像中的亮度信息，使得第一图像中目标区域
的亮度信息被调整，得到第二图像；
[0179]
在该步骤中，将权重图作用于第一图像上，进行亮度调整，得到调整后的第二图像。例如，
[0180]
对于第一图像中的每个像素点：
[0181]
计算该像素点的第三权值加权第一图像中该像素点亮度分量的加权值，得到该像素点加权后的亮度分量，
[0182]
其中，加权后的所有像素点形成第二图像。
[0183]
用数学式表示为：
[0184]y′
m(i，j)＝wr(i，j)
×
ym(i，j)
[0185]
其中，y
′
m(i，j)为第二图像，ym(i，j)为第一图像。
[0186]
步骤312，将第二图像与可见光图像的色度信息融合，得到最终的融合图像。
[0187]
在该步骤中，将第二图像的亮度信息与可见光图像中的u、v分量组成yuv格式，将yuv格式转化为rgb格式，得到最终的融合图像。
[0188]
在上述步骤中，步骤303～307、步骤302和308没有严格的顺序关系，可以并行地执行。
[0189]
本实施例最终的融合图像在信噪比、细节轮廓等方面都有较好的提升，同时还具有较为真实的色彩效果。
[0190]
参见图4所示，图4为本技术可见光图像与红外图像的一种融合装置的示意图。该融合装置包括，
[0191]
亮度图像获取模块，用于基于可见光图像获取可见光亮度图像，基于红外图像获取红外亮度图像；
[0192]
区域确定模块，用于利用可见光亮度图像和红外亮度图像，确定可见光亮度图像目标区域中第一像素点的坐标信息，以及非目标区域中第二像素点的坐标信息；
[0193]
第一融合模块，用于将可见光亮度图像和红外亮度图像进行融合，得到亮度融合的第一图像；
[0194]
调整模块，用于调整第一图像中像素点的亮度分量，使得第一图像中目标区域与非目标区域的第二亮度对比度与第一亮度对比度相同，得到第二图像；其中，第一亮度对比度根据可见光亮度图像的目标区域中第一像素点和非目标区域中第二像素点的亮度分量计算得到；第二亮度对比度根据第一图像的目标区域中第三像素点和非目标区域中第四像素点的亮度分量计算得到；
[0195]
第二融合模块，用于对于第二图像中每个像素点，将该像素点的亮度分量与可见光图像中具有与该像素相同坐标的像素点的色度分量融合，得到融合后的图像。
[0196]
较佳地，所述对比度计算模块包括，
[0197]
第一对比度计算子模块，用于根据目标区域、以及非目标区域的位置信息，获取可见光亮度图像中目标区域的第一亮度均值、以及可见光亮度图像中非目标区域的第二亮度均值，根据第一亮度均值与第二亮度均值的比值，得到第一亮度对比度；
[0198]
期望对比度计算子模块，用于根据目标区域、以及非目标区域的位置信息，获取第一图像中目标区域的第三亮度均值，以及第一图像中非目标区域的第四亮度均值；计算使得第一亮度对比度与第二亮度对比度相等的第一图像中目标区域的期望亮度均值，其中，
第二亮度对比度为期望亮度均值与第四亮度均值的比值。
[0199]
参见图5所示，图5为本技术可见光图像与红外图像的另一种融合装置的示意图。该融合装置包括，处理器和存储器，所述存储器存储有计算机程序，所述处理器被配置执行所述计算机程序实现所述可见光亮度图像和红外亮度图像的融合方法的步骤。
[0200]
存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0201]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0202]
为便于理解各个物理量的关系，参见图6所示，图6为本技术实施例各物理量、图像之间的关系示意图。
[0203]
本发明实施例还提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述可见光亮度图像和红外亮度图像的融合方法的步骤。
[0204]
对于装置/网络侧设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0205]
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0206]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。