弱光图像增强方法、介质、装置和计算设备与流程

1.本公开的实施方式涉及计算机视觉领域，更具体地，本公开的实施方式涉及一种弱光图像增强方法、介质、装置和计算设备。


背景技术：

2.本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
3.在整个计算机视觉领域，随着多媒体技术和人工智能的飞速发展和广泛应用，人们在日常生活中大量使用图像信息。然而目前的成像技术，弱光条件下，受到低信噪比和低亮度的影响，图像的质量会受到很大的影响，需要进行图像提亮，图像修复和图像增强，改善图像的视觉效果。
4.随着深度学习技术的快速发展，深度学习在图像恢复和图像增强等领域展现出广阔的应用前景，成为计算机视觉领域的研究热点，受到学术界和工业界的关注和重视。
5.目前，已经出现一些基于深度学习实现图像恢复和增强的方法。然而，相关技术中主要依赖于合成或捕获的弱光和正常光的成对图像进行模型的训练。实际应用中，捕获大量相同图像内容的弱光和正常光的成对图像存在困难，导致数据集不足，影响模型的训练和应用中弱光图像增强的质量。


技术实现要素：

6.本公开提供一种弱光图像增强方法、介质、装置和计算设备，以提高弱光图像增强质量。
7.在本公开实施方式的第一方面中，提供了一种方法，包括：根据第一弱光图像，经过伽马曲线调整，获得不同曝光度的多个第一图像；其中，所述第一弱光图像为待处理的对应于所述多个第一图像的低曝光度图像；将所述多个第一图像输入相应的生成对抗网络模型的生成器，获得所述生成器输出的、与所述第一弱光图像对应的增强图像；所述增强图像融合了多个第一图像的暗部细节特征；所述增强图像的曝光度高于所述第一弱光图像；其中，所述生成对抗网络模型的生成器是根据第一样本集预先训练得到的，所述第一样本集包括第二弱光图像、以及与所述第二弱光图像相对应的、经过伽马曲线调整获得的具有不同曝光度的多个第二图像。
8.在本公开的一个实施例中，该弱光图像增强方法包括：所述生成对抗网络模型还包括判别器，所述判别器是根据第二样本集训练获得的，所述方法还包括：根据第二弱光图像，经过伽马曲线调整，获得不同曝光度的多个第二图像；所述第二弱光图像为对应于所述多个第二图像的低曝光度图像；将所述多个第二图像输入所述生成对抗网络模型的生成器，获得所述生成器输出的增强图像；将真实的正常光图像和所述生成器输出的增强图像作为第二样本集，输入所述生成对抗网络模型的判别器，得到所述判别器输出的判别结果，直至判别器无法正确判别所述生成器输出的增强图像和采集的真实的正常光图像，则完成
对所述判别器的训练；所述真实的正常光图像是在自然光环境下采集的，图像内容与所述第二弱光图像不一致的图像；所述真实的正常光图像的曝光度高于所述第二弱光图像。
9.在本公开的另一实施例中，该弱光图像增强方法包括：所述生成器包括u-net网络，所述u-net网络包括卷积层、激活层以及归一化层；所述生成器用于执行以下处理：所述卷积层从所述多个第一图像中提取浅层特征和深层特征；所述激活层基于相应的激活函数，分别对所述浅层特征和深层特征进行非线性变换；所述归一化层基于非线性变换后的浅层特征和深层特征，重建得到所述第一弱光图像对应的增强图像；所述卷积层的每一个尺度均提供一个跳过连接到归一化层。
10.在本公开的又一个实施例中，该弱光图像增强方法包括：所述判别器包括全局判别器和局部判别器；将真实的正常光图像和所述生成器输出的增强图像作为第二样本集，输入所述生成对抗网络模型的判别器，得到所述判别器输出的判别结果，包括：将真实的正常光图像和所述生成器输出的增强图像输入所述全局判别器，获得所述全局判别器输出的全局概率结果；所述全局概率结果表征所述全局判别器基于全局特征，以所述真实的正常光图像为参照，将所述生成器输出的增强图像判定为真实的概率；所述全局判别器依据生成器输出的增强图像的光分布以及真实的正常光图像的光分布进行判别；从所述真实的正常光图像，随机选取多个第一局部区域；以及，从所述生成器输出的增强图像，选取与所述第一局部区域相对应位置处的多个第二局部区域；将所述多个第一局部区域和所述多个第二局部区域输入所述局部判别器，获得所述局部判别器输出的局部概率结果；所述局部概率结果表征所述局部判别器基于局部特征，以所述真实的正常光图像的局部区域为参照，将所述生成器输出的增强图像的局部区域判定为真实的概率；所述局部判别器依据生成器输出的增强图像的第二局部区域的光分布以及真实的正常光图像的第一局部区域的光分布进行判别；基于所述全局概率结果以及所述局部概率结果确定最终概率结果，所述最终概率结果表征所述判别器在融合了全局特征和局部特征后，以所述真实的正常光图像的为参照，将所述生成器输出的增强图像判定为真实的概率。
11.在本公开的再一个实施例中，该弱光图像增强方法包括：所述将真实的正常光图像和所述生成器输出的增强图像输入所述全局判别器，获得所述全局判别器输出的全局概率结果，包括：全局判别器对真实的正常光图像输出第一判别结果；全局判别器对生成器输出的增强图像输出第二判别结果；基于对抗性损失函数，根据所述第一判别结果以及所述第二判别结果确定所述全局概率结果。
12.在本公开的再一个实施例中，该弱光图像增强方法包括：所述将所述多个第一局部区域和所述多个第二局部区域输入所述局部判别器，获得所述局部判别器输出的局部概率结果，包括：局部判别器对每个第一局部区域输出第三判别结果；局部判别器对每个第二局部区域输出第四判别结果；基于对抗性损失函数，根据所述第三判别结果以及所述第四判别结果确定所述第一局部区域的区域概率结果；所述区域概率结果表征所述局部判别器基于局部特征，以所述真实的正常光图像的第一局部区域为参照，将所述生成器输出的增强图像的第二局部区域判定为真实的概率；计算所述多个第一局部区域的区域概率结果的算术平均值，作为所述局部概率结果。
13.在本公开实施方式的第二方面中，提供了一种计算机可读存储介质，包括：所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实
现如本公开实施方式的第一方面中任一项所述的弱光图像增强方法。
14.在本公开实施方式的第三方面中，提供了一种弱光图像增强装置，包括：获取模块，用于根据第一弱光图像，经过伽马曲线调整，获得不同曝光度的多个第一图像；其中，所述第一弱光图像为待处理的对应于所述多个第一图像的低曝光度图像；处理模块，用于将所述多个第一图像输入相应的生成对抗网络模型的生成器，获得所述生成器输出的、与所述第一弱光图像对应的增强图像；所述增强图像融合了多个第一图像的暗部细节特征；所述增强图像的曝光度高于所述第一弱光图像；其中，所述生成对抗网络模型包括所述生成器和判别器，所述生成器是根据所述判别器的历史预测结果预先训练得到的，所述历史预测结果基于真实的正常光图像和所述生成器输出的历史增强图像得到；其中，所述真实的正常光图像为所述第一弱光图像的非配对图像。
15.在本公开的一个实施例中，所述生成对抗网络模型还包括判别器，所述判别器是根据第二样本集训练获得的，所述装置还包括训练模块，用于根据第二弱光图像，经过伽马曲线调整，获得不同曝光度的多个第二图像；所述第二弱光图像为对应于所述多个第二图像的低曝光度图像；所述训练模块，还用于将所述多个第二图像输入所述生成对抗网络模型的生成器，获得所述生成器输出的增强图像；所述训练模块，还用于将真实的正常光图像和所述生成器输出的增强图像输入所述生成对抗网络模型的判别器，得到所述判别器输出的概率结果，所述概率结果反映所述判别器认定的所述生成器输出的增强图像相对于真实的正常光图像真实的概率；所述训练模块，还用于将真实的正常光图像和所述生成器输出的增强图像作为第二样本集，输入所述生成对抗网络模型的判别器，得到所述判别器输出的判别结果，直至判别器无法正确判别所述生成器输出的增强图像和采集的真实的正常光图像，则完成对所述判别器的训练；所述真实的正常光图像是在自然光环境下采集的，图像内容与所述第二弱光图像不一致的图像；所述真实的正常光图像的曝光度高于所述第二弱光图像。
16.在本公开的另一个实施例中，该弱光图像增强装置还包括：所述生成器为u-net网络，所述u-net网络包括卷积层、激活层以及归一化层；其中，所述卷积层，用于从所述多个第一图像中提取浅层特征和深层特征；所述激活层，用于基于相应的激活函数，分别对所述浅层特征和深层特征进行非线性变换；所述归一化层，用于基于非线性变换后的浅层特征和深层特征，重建得到所述第一弱光图像对应的增强图像；所述卷积层的每一个尺度均提供一个跳过连接到归一化层。
17.在本公开的又一个实施例中，该弱光图像增强装置还包括：所述判别器包括全局判别器和局部判别器；所述训练模块，具体用于将真实的正常光图像和所述生成器输出的增强图像输入所述全局判别器，获得所述全局判别器输出的全局概率结果；所述全局概率结果表征所述全局判别器基于全局特征，以所述真实的正常光图像为参照，将所述生成器输出的增强图像判定为真实的概率；所述全局判别器依据生成器输出的增强图像的光分布以及真实的正常光图像的光分布进行判别；所述训练模块，具体还用于从所述真实的正常光图像，随机选取多个第一局部区域；以及，从所述生成器输出的增强图像，选取与所述第一局部区域相对应位置处的多个第二局部区域；所述训练模块，具体还用于将所述多个第一局部区域和所述多个第二局部区域输入所述局部判别器，获得所述局部判别器输出的局部概率结果；所述局部概率结果表征所述局部判别器基于局部特征，以所述真实的正常光
图像的局部区域为参照，将所述生成器输出的增强图像的局部区域判定为真实的概率；所述局部判别器依据生成器输出的增强图像的第二局部区域的光分布以及真实的正常光图像的第一局部区域的光分布进行判别；所述训练模块，具体还用于基于所述全局概率结果以及所述局部概率结果确定最终概率结果，所述最终概率结果表征所述判别器在融合了全局特征和局部特征后，以所述真实的正常光图像的为参照，将所述生成器输出的增强图像判定为真实的概率。
18.在本公开的再一个实施例中，该弱光图像增强装置还包括：所述全局判别器，用于执行以下处理：对真实的正常光图像输出第一判别结果；全局判别器对生成器输出的增强图像输出第二判别结果；基于对抗性损失函数，根据所述第一判别结果以及所述第二判别结果确定所述全局概率结果。
19.在本公开的再一个实施例中，该弱光图像增强装置还包括：所述局部判别器，用于执行以下处理：对每个第一局部区域输出第三判别结果；局部判别器对每个第二局部区域输出第四判别结果；基于对抗性损失函数，根据所述第三判别结果以及所述第四判别结果确定所述第一局部区域的区域概率结果；所述区域概率结果表征所述局部判别器基于局部特征，以所述真实的正常光图像的第一局部区域为参照，将所述生成器输出的增强图像的第二局部区域判定为真实的概率；计算所述多个第一局部区域的区域概率结果的算术平均值，作为所述局部概率结果。
20.在本公开实施方式的第四方面中，提供了一种计算设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述计算设备执行如本公开实施方式的第一方面中任一项所述的弱光图像增强方法。
21.根据本公开实施方式的伽马曲线调整，可以对一张弱光图像，获得不同曝光度的多张弱光图像，从而显著增加了数据集，并且通过不同曝光度的多个图像重建更多图像细节，提高弱光图像增强质量，为用户带来了更好的体验。
附图说明
22.通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
23.图1示意性地示出了根据本公开实施方式的应用场景的示意图；
24.图2示意性地示出了根据本公开一实施例的提供的弱光图像增强方法的流程示意图；
25.图3示意性地示出了根据本公开一实施例提供的生成器的示例图；
26.图4示意性地示出了根据本公开又一实施例提供的弱光图像增强方法的流程示意图；
27.图5示意性地示出了根据本公开一实施例提供的判别器的示例图；
28.图6示意性地示出了根据本公开一实施例提供的存储介质的结构示意图；
29.图7示意性地示出了根据本公开一实施例提供的弱光图像增强装置的结构示意图；
30.图8示意性地示出了根据本公开一实施例提供的计算设备的结构示意图。
31.在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
32.下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
33.本领域技术人员知道，本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
34.根据本公开的实施方式，提出了一种弱光图像增强的方法、介质、装置和计算设备。
35.在本文中，需要理解的是，所涉及的术语含义如下：
36.生成对抗网络模型：一种深度学习模型，模型通过框架中(至少)两个模块：生成模型和判别模型的互相博弈学习产生相当好的输出。
37.此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
38.下面参考本公开的若干代表性实施方式，详细阐释本公开的原理和精神。
39.发明概述
40.本发明人发现，在相关技术中，采用深度学习通过模型对输入的一张弱光图像进行处理，输出得到一张增强图像。模型对弱光图像的处理过程中对弱光图像的暗部细节的处理效果，会受到模型训练程度的影响。同一个模型对不同的弱光图像的暗部细节特征的提取效果不同，导致图像增强的效果不同，影响用户的使用。
41.模型的训练过程主要依赖合成或捕获的图像内容相同的弱光和正常光图像对作为训练集。该方法存在以下不足：
42.1)从正常光图像中合成的弱光图像通常真实度低，不能完全体现图像的真实内容，通过合成的弱光图像训练出的模型在应用场景输出的增强图像会产生伪影。
43.2)对于捕获图像内容相同的弱光和正常光图像对，在实际应用中，难以捕获大规模图像内容相同的弱光和正常光图像对，导致数据集缺少，模型的训练效果不理想。
44.相关技术中，模型的训练和应用过程是针对图像整体进行处理的，在实际应用中，对于局部过曝或者低曝的图像的适应能力差，模型输出的增强图像可能存在局部区域过曝或低曝的问题。
45.为了解决模型对弱光图像暗部细节处理效果不理想的问题。本发明人通过输入多个不同曝光度的图像进行融合来得到更多暗部细节。
46.在介绍了本公开的基本原理之后，下面具体介绍本公开的各种非限制性实施方式。
47.应用场景总览
48.首先参考图1，图1为本公开实施方式提供的应用场景示意图。
49.如图1所示，当需要对弱光图像进行图像增强时，可参照图示流程，首先对该弱光图像进行伽马曲线调整，获得不同曝光度的多个图像。然后，将这些不同曝光度的多个图像输入生成器，获得生成器输出的，与所述弱光图像对应的增强图像。所述增强图像的曝光度高于所述弱光图像，即所述弱光图像经过图像增强的图像，即为所述增强图像。
50.示例性方法
51.下面结合图1的应用场景，参考图2-5来描述根据本公开示例性实施方式提供的弱光图像增强方法。需要注意的是，上述应用场景仅是为了便于理解本公开的精神和原理而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何场景。
52.本公开的实施方式的执行主体可以为弱光图像增强装置，该弱光图像增强装置的实现有多种。例如，可以为程序软件，也可以为存储有相关计算机程序的介质，例如，u盘等；或者，该装置还可以为集成或安装有相关计算机程序的实体设备，例如，芯片、智能终端、电脑、服务器等。
53.参考图2，图2为本公开一实施例提供的弱光图像增强方法的流程示意图。如图2所示，弱光图像增强方法包括：
54.s201、根据第一弱光图像，经过伽马曲线调整，获得不同曝光度的多个第一图像；其中，所述第一弱光图像为待处理的对应于所述多个第一图像的低曝光度图像。
55.其中，第一弱光图像为需要进行图像增强的图像。实际应用中，所述第一弱光图像可以为图像采集设备采集的低曝光度图像。结合实际场景示例，所述图像采集设备包括但不限于照相机、集成在智能终端(比如手机)的拍摄装置以及集成在无人机的拍摄装置等。对图像进行伽马曲线调整包括：检出图像信号中的深色部分和浅色部分，调整深色部分和浅色部分的比例可以改变图像的对比度，固定深色部分和浅色部分的比例可以改变图像的曝光度。本实施例中，伽马曲线调整用于调整第一弱光图像的曝光度，以获得不同曝光度的多个第一图像。可以理解，多个第一图像的图像内容一致，多个第一图像与第一弱光图像的图像内容一致。通过伽马曲线调整，可以大规模获得曝光度不同、但图像内容相同的数据集，而数据集的丰富有助于进一步提高弱光图像增强的效果。
56.s202、将所述多个第一图像输入相应的生成对抗网络模型的生成器，获得所述生成器输出的、与所述第一弱光图像对应的增强图像；所述增强图像融合了多个第一图像的暗部细节特征；所述增强图像的曝光度高于所述第一弱光图像。本实施例中，将基于第一弱光图像经过伽马曲线调整，获得的不同曝光度的多个第一图像输入经过训练的生成器，获得生成器输出的一个增强图像。所述增强图像与所述第一图像的内容一致，所述增强图像的曝光度高于所述第一弱光图像。
57.其中，所述生成对抗网络模型的生成器是根据第一样本集预先训练得到的，所述第一样本集包括第二弱光图像、以及与所述第二弱光图像相对应的、经过伽马曲线调整获得的具有不同曝光度的多个第二图像。可以理解，这里所说的第二弱光图像用于作为训练样本集，来对生成对抗网络模型进行训练。
58.在一个示例中，所述生成器包括u-net网络，所述u-net网络包括卷积层、激活层以及归一化层；所述生成器用于执行以下处理：所述卷积层从所述多个第一图像中提取浅层特征和深层特征；所述激活层基于相应的激活函数，分别对所述浅层特征和深层特征进行
非线性变换；所述归一化层基于非线性变换后的浅层特征和深层特征，重建得到所述第一弱光图像对应的增强图像；所述卷积层的每一个尺度均提供一个跳过连接到归一化层。
59.结合图示的示例对生成器进行举例介绍，参考图3，图3为本公开一示例的生成器的示例图。图中的生成器包括卷积层、激活层和归一化层。如图所示，卷积层包含3个尺度，通过这3个尺度能够从输入的多个第一图像中提取浅层特征和深层特征。激活层分别对所述浅层特征和深层特征进行非线性变换，使得归一化层可以通过非线性函数对图像进行曝光度处理。因为相比于线性函数，非线性函数的处理能力更强。归一化层同样包含3个尺寸，通过3个尺度对曝光度处理后的浅层特征和深层特征进行重建，得到曝光度处理后的图像。如图所示，卷积层的每一个尺度均提供一个跳过连接到归一化层，通过跳过连接的方式，生成器可以将提取的浅层特征和深层特征分别独立进行重建。而相关技术中的将浅层特征和深层特征融合后进行重建的方式，在融合过程会减弱浅层特征和深层特征的细节。通过跳过连接的方式可以分别突出浅层特征和深层特征的细节，提高生成器的效果。
60.需要说明的是，本公开不限制卷积层和归一化层具体的尺度数量。
61.基于以上实施方式，本公开实施例所提供的弱光图像增强方法，通过多个第一图像代替一个第一弱光图像作为生成器的输入。生成器能够融合多个第一图像的暗部细节特征，从而更好地提取第一图像的暗部细节特征，生成的增强图像能真实反应输入图像内容。所述生成器的训练过程以伽马曲线调整获得的多个第二弱光图像作为输入。因此训练的生成器能够融合多个输入图像的暗部细节特征。
62.在一个示例中，生成对抗网络模型还包括判别器。具体的，生成对抗网络模型包括两套独立的网络，即生成器和判别器。生成器，用于生成类似于真实的正常光图像的图像。判别器，用来分辨生成器生成的图像是真实的还是虚假的。根据判别器的分辨结果，可以对生成器和判别器的参数进行调优。举例来说，如果判别器识别出了生成器输出的图像不是真实图像，那就需要调整生成器的参数从而使得生成器生成的图像更为逼真；如果判别器未能识别出生成器生成的图像为虚假图像，则需调节判别器的参数。通过这样的训练可以获得质量较高的生成器和判别能力较强的判别器。
63.在一个示例中，参考图4，图4为本公开又一实施例提供的弱光图像增强方法的流程示意图。如图4所示，对判别器的训练过程进行示例说明。相应的，在其它任一示例的基础上，所述生成对抗网络模型还包括判别器，所述判别器是根据第二样本集训练获得的，方法还包括：
64.s301、根据第二弱光图像，经过伽马曲线调整，获得不同曝光度的多个第二图像；所述第二弱光图像为对应于所述多个第二图像的低曝光度图像。
65.本实施例中，伽马曲线调整用于调整第二弱光图像的曝光度。多个第二图像的图像内容一致，多个第二图像与第二弱光图像的图像内容一致。
66.s302、将所述多个第二图像输入所述生成对抗网络模型的生成器，获得所述生成器输出的增强图像。
67.本实施例中，所述生成器输出的增强图像与所述第二图像内容一致，所述生成器输出的增强图像用于对判别器进行训练。
68.s303、将真实的正常光图像和所述生成器输出的增强图像作为第二样本集，输入所述生成对抗网络模型的判别器，得到所述判别器输出的判别结果，直至判别器无法正确
判别所述生成器输出的增强图像和采集的真实的正常光图像，则完成对所述判别器的训练；所述真实的正常光图像是在自然光环境下采集的，图像内容与所述第二弱光图像不一致的图像；所述真实的正常光图像的曝光度高于所述第二弱光图像。
69.其中，真实的正常光图像和第二弱光图像为非配对关系。真实的正常光图像和第二弱光图像的图像内容不一致，真实的正常光图像的曝光度高于所述第二弱光图像。所述非配对关系即是指真实的正常光图像和第二弱光图像的图像内容不一致，因此，本实施例中第二训练样本集的真实正常光图像较容易获得。与相关技术中需要获取配对图像作为训练样本集相比，本实施例中可以采用具有不同图像内容的真实的正常光图像作为第二训练样本集，从而大大拓宽了可供选择的数据源，使得样本数据集得以丰富，进而有助于提高判别器的训练效果。
70.本实施例中，判别器根据生成器输出的增强图像和采集的真实的正常光图像的光分布进行判别，而不对生成器输出的增强图像和采集的真实的正常光图像的内容进行判别，因此可以使用非配对图像。所述光分布为图像中不同光亮度的分布情况。若判别器能够正确判别生成器输出的增强图像和采集的真实的正常光图像，则生成器继续输出增强图像，直至判别器无法判别生成器输出的增强图像和采集的真实的正常光图像。
71.示例来说，若判别器能够正确判别生成器输出的增强图像和采集的真实的正常光图像，说明生成器输出的增强图像的光分布和真实的正常光图像的光分布之间有差距，因此需要生成器继续输出增强图像，直至判别器不能判别生成器输出的增强图像和采集的真实的正常光图像。
72.基于以上实施方式，本公开实施例所提供的方法，通过容易获得的非配对的真实的正常光图像，可以丰富训练集，提高训练的效果。
73.接下来，对判别器的具体工作流程进行示例性说明。
74.在一个示例中，所述判别器包括全局判别器和局部判别器；s303包括：将真实的正常光图像和所述生成器输出的增强图像输入所述全局判别器，获得所述全局判别器输出的全局概率结果；所述全局概率结果表征所述全局判别器基于全局特征，以所述真实的正常光图像为参照，将所述生成器输出的增强图像判定为真实的概率；所述全局判别器依据生成器输出的增强图像的光分布以及真实的正常光图像的光分布进行判别；从所述真实的正常光图像，随机选取多个第一局部区域；以及，从所述生成器输出的增强图像，选取与所述第一局部区域相对应位置处的多个第二局部区域；将所述多个第一局部区域和所述多个第二局部区域输入所述局部判别器，获得所述局部判别器输出的局部概率结果；所述局部概率结果表征所述局部判别器基于局部特征，以所述真实的正常光图像的局部区域为参照，将所述生成器输出的增强图像的局部区域判定为真实的概率；所述局部判别器依据生成器输出的增强图像的第二局部区域的光分布以及真实的正常光图像的第一局部区域的光分布进行判别；基于所述全局概率结果以及所述局部概率结果确定最终概率结果，所述最终概率结果表征所述判别器在融合了全局特征和局部特征后，以所述真实的正常光图像的为参照，将所述生成器输出的增强图像判定为真实的概率。举例来说，图像级的全局判别器不能判别出像素级的光分布，若整体黑暗的背景中有一处局部亮区域，全局判别器不能判别。因此，该实施例中还设置有局部判别器，其随机选取局部区域并加以判别，能够对像素级局部区域进行自适应判别。
75.结合图示进行示例说明，参考图5，图5为本公开一示例提供的判别器的示例图。所述判别器包括全局判别器和局部判别器，全局判别器和局部判别器包括多个尺度。将生成器输出的增强图像和采集的真实的正常光图像输入全局判别器，全局判别器依据生成器输出的增强图像的光分布和真实的正常光图像的光分布进行判别，以真实的正常光图像的光分布作为参照，输出判别器对生成器输出的增强图像的光分布的判别结果。所述判别结果表征生成器输出的增强图像的光分布和真实的正常光图像的光分布的接近程度，通过概率来表示。所述判别结果概率越高，说明判别器认定生成器输出的增强图像的光分布越接近真实的正常光图像的光分布，说明生成器输出的增强图像越真实。将生成器输出的增强图像的局部区域和真实的正常光图像相对应位置的局部区域输入全局判别器。局部判别器的判别过程与全局判别器的判别过程类似，此处不再赘述。结合全局判别器的判别结果和局部判别器的判别结果确定最终的概率结果。
76.示例来说，全局判别器对图像的整体进行判别，对于生成器输出的局部过曝或者低曝的图像，全局判别器无法准确识别。例如在整体黑暗背景中有一个小的亮区域，那么单独使用全局判别器往往无法提供所需的自适应判别能力。因此，引入局部判别器针对局部过曝或者低曝的图像进行判别。
77.基于以上实施方式，本公开实施例所提供的方法，采用全局-局部判别器结合的方式，相比于单纯使用全局判别器的方式，能够在整体上判别增强图像和真实的正常光图像接近程度的同时，也对增强图像的所有局部区域与真实的正常光图像的接近程度作出判别，避免局部过曝或低曝的图像无法被判别的情况，从而提高判别器的精确度。
78.在另一个示例中，所述将真实的正常光图像和所述生成器输出的增强图像输入所述全局判别器，获得所述全局判别器输出的全局概率结果，包括：全局判别器对真实的正常光图像输出第一判别结果；全局判别器对生成器输出的增强图像输出第二判别结果；基于对抗性损失函数，根据所述第一判别结果以及所述第二判别结果确定所述全局概率结果。
79.作为一种可实施方式，基于对抗性损失函数计算全局概率结果，所述全局判别器的对抗性损失函数包括：
[0080][0081]
其中，是全局判别器的对抗性损失函数，xr是真实的正常光图像，xf是生成器输出的增强图像，d(xr)表示判别器对真实的正常光图像的输出结果，d(xf)表示判别器对增强图像的输出结果，m表示第二样本集的样本数量。
[0082]
所述全局判别器的对抗性损失函数综合第二样本集所有样本的输出结果，得到全局概率结果。
[0083]
基于以上实施方式，本公开实施例所提供的方法，通过全局判别器的对抗性损失函数，综合全局判别器对所有样本的输出结果，提高判别器判别结果的精确度。全局判别器的对抗性损失函数基于图像光分布进行计算，可以得到真实的正常光图像整体的光分布和生成器输出的增强图像整体的光分布之间的距离。通过所述距离计算全局概率结果，可以从图像整体角度准确体现真实的正常光图像和生成器输出的增强图像在曝光度上的接近程度。其中，光分布为图像中的高光区域和低光区域的分布情况。
[0084]
在又一个示例中，所述将所述多个第一局部区域和所述多个第二局部区域输入所
述局部判别器，获得所述局部判别器输出的局部概率结果，包括：局部判别器对每个第一局部区域输出第三判别结果；局部判别器对每个第二局部区域输出第四判别结果；基于对抗性损失函数，根据所述第三判别结果以及所述第四判别结果确定所述第一局部区域的区域概率结果；所述区域概率结果表征所述局部判别器基于局部特征，以所述真实的正常光图像的第一局部区域为参照，将所述生成器输出的增强图像的第二局部区域判定为真实的概率；计算所述多个第一局部区域的区域概率结果的算术平均值，作为所述局部概率结果。
[0085]
作为一种可实施方式，基于对抗性损失函数计算局部概率结果，所述局部判别器的对抗性损失函数包括：
[0086][0087]
其中，是局部判别器的对抗性损失函数，x
r_patches
是真实的正常光图像的局部区域，x
f_patches
是生成器输出的增强图像，d(x
r_patches
)表示判别器对真实的正常光图像的局部区域的输出结果，d(x
f_patches
)表示判别器对增强图像的局部区域的输出结果，m表示第二样本集的样本数量，n表示第二样本集中每个样本选取的局部区域的数量。
[0088]
作为一种可实施方式，判别器的整体损失函数为通过整体损失函数计算概率结果，能够综合全局判别器和局部判别器的结果，从而提高判别器的精确度。
[0089]
所述局部判别器的对抗性损失函数综合第二样本集所有样本下的局部区域输出结果，得到局部概率结果。
[0090]
基于以上实施方式，本公开实施例所提供的方法，通过局部判别器的对抗性损失函数，综合局部判别器对每个样本下的局部区域的输出结果，提高判别器判别结果的精确度。局部判别器的对抗性损失函数基于图像局部区域的光分布进行计算，可以得到真实的正常光图像局部区域的光分布和生成器输出的增强图像局部区域的光分布之间的距离。通过所述距离计算局部概率结果，可以准确体现真实的正常光图像局部区域和生成器输出的增强图像局部区域在曝光度上的接近程度。
[0091]
本实施例提供的弱光图像增强方法，根据第一弱光图像，经过伽马曲线调整，获得不同曝光度的多个第一图像；其中，所述第一弱光图像为待处理的对应于所述多个第一图像的低曝光度图像；将所述多个第一图像输入相应的生成对抗网络模型的生成器，获得所述生成器输出的、与所述第一弱光图像对应的增强图像；所述增强图像融合了多个第一图像的暗部细节特征；所述增强图像的曝光度高于所述第一弱光图像。以上方法，通过伽马曲线调整，可以对一张弱光图像，获得不同曝光度的多张弱光图像，从而显著增加了数据集，并且通过不同曝光度的多个图像重建更多图像细节，提高弱光图像增强质量，为用户带来了更好的体验。
[0092]
示例性介质
[0093]
在介绍了本公开示例性实施方式的方法之后，接下来，参考图6对本公开示例性实施方式的存储介质进行说明。
[0094]
参考图6所示，存储介质60中存储着根据本公开的实施方式的用于实现上述方法
的程序产品，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此。
[0095]
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0096]
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质。
[0097]
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备。
[0098]
示例性装置
[0099]
在介绍了本公开示例性实施方式的介质之后，接下来，参考图7对本公开示例性实施方式的弱光图像增强装置进行说明，用于实现上述任一方法实施例中的方法，其实现原理和技术效果类似，在此不再赘述。
[0100]
参考图7，图7为本公开一实施例提供的弱光图像增强装置的结构示意图。如图7所示，弱光图像增强装置包括：
[0101]
获取模块71，用于根据第一弱光图像，经过伽马曲线调整，获得不同曝光度的多个第一图像；其中，所述第一弱光图像为待处理的对应于所述多个第一图像的低曝光度图像。
[0102]
处理模块72，用于将所述多个第一图像输入相应的生成对抗网络模型的生成器，获得所述生成器输出的、与所述第一弱光图像对应的增强图像；所述增强图像融合了多个第一图像的暗部细节特征；所述增强图像的曝光度高于所述第一弱光图像。
[0103]
其中，所述生成对抗网络模型的生成器是根据第一样本集预先训练得到的，所述第一样本集包括第二弱光图像、以及与所述第二弱光图像相对应的、经过伽马曲线调整获得的具有不同曝光度的多个第二图像。可以理解，这里所说的第二弱光图像用于作为训练样本集，来对生成对抗网络模型进行训练。
[0104]
在一个示例中，生成对抗网络模型还包括判别器。具体的，生成对抗网络模型包括两套独立的网络，即生成器和判别器，两者之间作为互相对抗的目标。生成器，用于生成类似于真实的正常光图像的图像。判别器，用来分辨生成器生成的图像是真实的还是虚假的。根据判别器的分辨结果，可以对生成器和判别器的参数进行调优。
[0105]
在一个示例中，生成对抗网络模型还包括判别器，所述判别器是根据第二样本集训练获得的，所述弱光图像增强装置还包括：训练模块73，用于根据第二弱光图像，经过伽马曲线调整，获得不同曝光度的多个第二图像；所述第二弱光图像为对应于所述多个第二
图像的低曝光度图像。所述训练模块73，还用于将所述多个第二图像输入所述生成对抗网络模型的生成器，获得所述生成器输出的增强图像。所述训练模块73，还用于将真实的正常光图像和所述生成器输出的增强图像作为第二样本集，输入所述生成对抗网络模型的判别器，得到所述判别器输出的判别结果，直至判别器无法正确判别所述生成器输出的增强图像和采集的真实的正常光图像，则完成对所述判别器的训练；所述真实的正常光图像是在自然光环境下采集的，图像内容与所述第二弱光图像不一致的图像；所述真实的正常光图像的曝光度高于所述第二弱光图像。
[0106]
在一个示例中，所述生成器包括u-net网络，所述u-net网络包括卷积层、激活层以及归一化层；其中，所述卷积层，用于从所述多个第一图像中提取浅层特征和深层特征；所述激活层，用于基于相应的激活函数，分别对所述浅层特征和深层特征进行非线性变换；所述归一化层，用于基于非线性变换后的浅层特征和深层特征，重建得到所述第一弱光图像对应的增强图像；所述卷积层的每一个尺度均提供一个跳过连接到归一化层。
[0107]
在一个示例中，所述判别器包括全局判别器和局部判别器；所述训练模块73，具体用于将真实的正常光图像和所述生成器输出的增强图像输入所述全局判别器，获得所述全局判别器输出的全局概率结果；所述全局概率结果表征所述全局判别器基于全局特征，以所述真实的正常光图像为参照，将所述生成器输出的增强图像判定为真实的概率；所述全局判别器依据生成器输出的增强图像的光分布以及真实的正常光图像的光分布进行判别；所述训练模块，具体还用于从所述真实的正常光图像，随机选取多个第一局部区域；以及，从所述生成器输出的增强图像，选取与所述第一局部区域相对应位置处的多个第二局部区域；所述训练模块，具体还用于将所述多个第一局部区域和所述多个第二局部区域输入所述局部判别器，获得所述局部判别器输出的局部概率结果；所述局部概率结果表征所述局部判别器基于局部特征，以所述真实的正常光图像的局部区域为参照，将所述生成器输出的增强图像的局部区域判定为真实的概率；所述局部判别器依据生成器输出的增强图像的第二局部区域的光分布以及真实的正常光图像的第一局部区域的光分布进行判别；所述训练模块，具体还用于基于所述全局概率结果以及所述局部概率结果确定最终概率结果，所述最终概率结果表征所述判别器在融合了全局特征和局部特征后，以所述真实的正常光图像的为参照，将所述生成器输出的增强图像判定为真实的概率。
[0108]
在另一个示例中，所述将真实的正常光图像和所述生成器输出的增强图像输入所述全局判别器，获得所述全局判别器输出的全局概率结果，包括：全局判别器对真实的正常光图像输出第一判别结果；全局判别器对生成器输出的增强图像输出第二判别结果；基于对抗性损失函数，根据所述第一判别结果以及所述第二判别结果确定所述全局概率结果。
[0109]
作为一种可实施方式，所述全局判别器，具体用于基于对抗性损失函数计算全局概率结果，所述全局判别器的对抗性损失函数包括：
[0110][0111]
其中，是全局判别器的对抗性损失函数，xr是真实的正常光图像，xf是生成器输出的增强图像，d(xr)表示判别器对真实的正常光图像的输出结果，d(xf)表示判别器对增强图像的输出结果，m表示第二样本集的样本数量。
[0112]
所述全局判别器的对抗性损失函数综合第二样本集所有样本的输出结果，得到全
局概率结果。
[0113]
在又一个示例中，所述局部判别器，用于执行以下处理：对每个第一局部区域输出第三判别结果；局部判别器对每个第二局部区域输出第四判别结果；基于对抗性损失函数，根据所述第三判别结果以及所述第四判别结果确定所述第一局部区域的区域概率结果；所述区域概率结果表征所述局部判别器基于局部特征，以所述真实的正常光图像的第一局部区域为参照，将所述生成器输出的增强图像的第二局部区域判定为真实的概率；计算所述多个第一局部区域的区域概率结果的算术平均值，作为所述局部概率结果。
[0114]
作为一种可实施方式，所述局部判别器，具体用于基于对抗性损失函数计算局部概率结果，所述局部判别器的对抗性损失函数包括：
[0115][0116]
其中，是局部判别器的对抗性损失函数，x
r_patches
是真实的正常光图像的局部区域，x
f_patches
是生成器输出的增强图像，d(x
r_patches
)表示判别器对真实的正常光图像的局部区域的输出结果，d(x
f_patches
)表示判别器对增强图像的局部区域的输出结果，m表示第二样本集的样本数量，n表示第二样本集中每个样本选取的局部区域的数量。
[0117]
作为一种可实施方式，判别器的整体损失函数为通过整体损失函数计算概率结果，能够综合全局判别器和局部判别器的结果，从而提高判别器的精确度。
[0118]
所述局部判别器的对抗性损失函数综合第二样本集所有样本下的局部区域输出结果，得到局部概率结果。
[0119]
本实施例提供的弱光图像增强装置，获取模块，用于根据第一弱光图像，经过伽马曲线调整，获得不同曝光度的多个第一图像；其中，所述第一弱光图像为待处理的对应于所述多个第一图像的低曝光度图像；处理模块，用于将所述多个第一图像输入相应的生成对抗网络模型的生成器，获得所述生成器输出的、与所述第一弱光图像对应的增强图像；所述增强图像融合了多个第一图像的暗部细节特征；所述增强图像的曝光度高于所述第一弱光图像。以上方案，通过伽马曲线调整，可以对一张弱光图像，获得不同曝光度的多张弱光图像，从而显著增加了数据集，并且通过不同曝光度的多个图像重建更多图像细节，提高弱光图像增强质量，为用户带来了更好的体验。
[0120]
示例性计算设备
[0121]
在介绍了本公开示例性实施方式的方法、介质和装置之后，接下来，参考图8对本公开示例性实施方式的计算设备进行说明。
[0122]
图8显示的计算设备80仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0123]
如图8所示，计算设备80以通用计算设备的形式表现。计算设备80的组件可以包括但不限于：上述至少一个处理单元801、上述至少一个存储单元802，连接不同系统组件(包括处理单元801和存储单元802)的总线803。
[0124]
总线803包括数据总线、控制总线和地址总线。
[0125]
存储单元802可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)4021和/或高速缓存存储器4022，可以进一步包括非易失性存储器形式的可读介质，例如只读存储器(rom)4023。
[0126]
存储单元802还可以包括具有一组(至少一个)程序模块8024的程序/实用工具8025，这样的程序模块8024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0127]
计算设备80也可以与一个或多个外部设备804(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(i/o)接口805进行。并且，计算设备80还可以通过网络适配器806与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图8所示，网络适配器806通过总线803与计算设备80的其它模块通信。应当理解，尽管图中未示出，可以结合计算设备80使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0128]
应当注意，尽管在上文详细描述中提及了弱光图像增强装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
[0129]
此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0130]
虽然已经参考若干具体实施方式描述了本公开的精神和原理，但是应该理解，本公开并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。