图像处理方法和装置与流程

本申请涉及成像技术领域，尤其涉及一种图像处理方法和装置。

背景技术：

随着科技的发展，依托于科技的摄像头技术已经越来越成熟，在日常生产和生活中，使用智能移动终端(如智能手机、平板电脑等)的内置摄像头进行拍照已经成为一种常态。因此，随着拍照的需求的常态化发展，如何更优的满足用户的拍照需求成为发展的主要方向，比如，满足用户在夜间、日间的多场场景中的清晰拍照需求。

相关技术中，为了弥补采集的一张图像无法清晰地对图像中每个细节呈现的弊端，采用高动态范围图像(high-dynamicrange，简称hdr)技术进行拍照，即根据不同的曝光时间拍摄多张图像，并基于多张图像进行合成来提供更多的动态范围和图像细节。

然而，上述hdr拍照技术，一方面，无法保证拍摄多张图像时摄像头没有抖动，一旦存在抖动，在合成最终的图像时则会出现图像之间对位错误导致“鬼影”，另一方面，拍摄多帧图像导致成像效率较慢，影响了拍照体验。

申请内容

本申请提供一种图像处理方法和装置，以解决现有技术中，基于hdr技术进行图像处理导致的图像处理效果具有鬼影以及图像处理效率较低的技术问题。

本申请一方面实施例提供了一种图像处理方法，包括以下步骤：获取原始图像；对所述原始图像进行亮度调整生成至少一张参考图像；对所述原始图像和所有的参考图像分别进行基于人工智能的降噪生成多张降噪图像；对所有的降噪图像进行高动态合成生成目标图像。

本申请另一方面实施例提供了一种图像处理装置，包括：拍摄模块，用于获取原始图像；生成模块，用于对所述原始图像进行亮度调整生成至少一张参考图像；降噪模块，用于对所述原始图像和所有的参考图像分别进行基于人工智能的降噪生成多张降噪图像；合成模块，用于对所有的降噪图像进行高动态合成生成目标图像。

本申请又一方面实施例提供了一种电子设备，包括：图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述图像传感器与所述处理器电连接，所述处理器执行所述程序时，实现如上述实施例描述的图像处理方法。

本申请再一方面实施例提供了一种图像处理电路，所述图像处理电路包括图像信号处理isp处理器和图形处理器gpu；所述isp处理器，与图像传感器电连接，用于控制所述图像传感器采集原始图像，以及对所述原始图像和所有的参考图像对应的所有的降噪图像进行高动态合成生成目标图像；所述gpu，与所述isp处理器电连接，用对所述原始图像和所有的参考图像进行基于人工智能的降噪，以得到多张降噪图像。

本申请还一方面实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例所描述的图像处理方法。

本申请提供的图像处理方法实施例，至少包括如下有益技术效果：

对原始图像进行亮度调整生成至少一张参考图像，对原始图像和所有的参考图像分别进行基于人工智能的降噪生成多张降噪图像，进而，对所有的降噪图像进行高动态合成生成目标图像。由此，一方面，采用基于人工智能的降噪方式对图像降噪，在保证图像纯净度的同时保留了更多的图像细节，另一方面，用于合成的多张图像都来源于原始图像，避免合成后的目标图像出现误叠合鬼影现象，又一方面，基于拍摄的原始图像的亮度调整来获取参考图像，无需拍摄参考图像，提高了目标图像的成像效率

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例所提供的一种图像处理方法的流程示意图；

图2为本申请实施例所提供的第一种图像处理方法的应用场景示意图；

图3为本申请实施例所提供的第二种图像处理方法的应用场景示意图；

图4为本申请实施例所提供的另一种图像处理方法的流程示意图；

图5-1为本申请实施例所提供的第三种图像处理方法的应用场景示意图；

图5-2为本申请实施例所提供的第四种图像处理方法的应用场景示意图；

图5-3为本申请实施例所提供的第五种图像处理方法的应用场景示意图；

图5-4为本申请实施例所提供的第六种图像处理方法的应用场景示意图；

图6为本申请实施例所提供的第七种图像处理方法的应用场景示意图；

图7为本申请实施例所提供的又一种图像处理方法的流程示意图；

图8为本申请实施例所提供的第八种图像处理方法的应用场景示意图；

图9为本申请实施例所提供的再一种图像处理方法的流程示意图；

图10-1为本申请实施例所提供的第九种图像处理方法的应用场景示意图；

图10-2为本申请实施例所提供的第十种图像处理方法的应用场景示意图；

图10-3为本申请实施例所提供的第十一种图像处理方法的应用场景示意图；

图10-4为本申请实施例所提供的第十二种图像处理方法的应用场景示意图；

图11是根据本申请第一个实施例的图像处理装置的结构示意图；

图12是根据本申请第二个实施例的图像处理装置的结构示意图；

图13是根据本申请第三个实施例的图像处理装置的结构示意图；

图14是根据本申请第四个实施例的图像处理装置的结构示意图；

图15是根据本申请第五个实施例的图像处理装置的结构示意图；

图16是根据本申请第六个实施例的图像处理装置的结构示意图；

图17是根据本申请第七个实施例的图像处理装置的结构示意图；

图18是根据本申请第八个实施例的图像处理装置的结构示意图；

图19是根据本申请第九个实施例的图像处理装置的结构示意图；

图20为本申请实施例提供的一种电子设备的结构示意图；

图21为本申请实施例提供的一种电子设备的原理示意图；

图22为本申请实施例提供的一种图像处理电路的原理示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

针对上述背景技术中提到的，现有技术中hdr拍照技术可能导致出现对位错误出现“鬼影”以及拖慢拍照速度的问题，本申请提出了一种优化的图像处理方法，在本申请提供的方法中，一方面，降低拍摄的原始图像的数量，提高拍照速度，另一方面，基于原始图像生成多张参考图像，从而参考图像和原始图像不存在对位错误的问题，避免了出现“鬼影”，提高了最后生成的图像的纯净度。

为了便于理解本申请，在对本申请实施例的图像处理方法进行说明之前，首先对本申请涉及的技术用于的含义进行定义，定义如下：

抖动：指的是摄像头在拍摄同一个场景的多张图像时，摄像头相对于拍摄场景的位移；

曝光量：也可以理解为曝光值(exposurevalue，简称ev)，在曝光值最初的定义中，曝光值并不是指一个准确的数值，而是指“能够给出相同的曝光量的所有相机光圈与曝光时长的组合”。感光度、光圈和曝光时长确定了相机的曝光量，不同的参数组合可以产生相等的曝光量，即这些不同组合的ev值是一样的，比如，在感光度相同的情况下，使用1/125秒曝光时长和f/11的光圈组合，与使用1/250秒曝光时间与f/8.0快门的组合，获得的曝光量是相同的，即ev值是相同的。ev值为0时，是指感光度为100、光圈系数为f/1、曝光时长为1秒时获得的曝光量；曝光量增加一档，即曝光时长增加一倍，或者感光度增加一倍，或者光圈增加一档，ev值增加1，也就是说，1ev对应的曝光量是0ev对应的曝光量的两倍。如表1所示，为曝光时长、光圈、感光度分别单独变化时，与ev值的对应关系。

表1

摄影技术进入到数码时代之后，相机内部的测光功能已经非常强大，ev则经常用来表示曝光刻度上的一个级差，许多相机都允许设置曝光补偿，并通常用ev来表示。在这种情况下，ev是指相机测光数据对应的曝光量与实际曝光量的差值，比如+1ev的曝光补偿是指相对于相机测光数据对应的曝光量增加一档曝光，即实际曝光量为相机测光数据对应的曝光量的两倍。

在本申请实施例中，可以将确定的基准曝光量对应的ev值预设为0，+1ev是指增加一档曝光，即曝光量为基准曝光量的2倍，+2ev是指增加两档曝光，即曝光量为基准曝光量的4倍，-1ev是指减少一档曝光，即曝光量为基准曝光量的0.5倍等等。

举例来说，若多帧图像的数量为7帧，则预设的曝光补偿策略对应的ev值范围可以是[+1,+1,+1,+1,0,-3,-6]。其中，曝光补偿策略为+1ev的帧，可以解决噪声问题，通过亮度比较高的帧进行时域降噪，在提升暗部细节的同时抑制噪声；曝光补偿策略为-6ev的帧，可以解决高光过曝的问题，保留高光区域的细节；曝光补偿策略为0ev和-3ev的帧，则可以用于保持高光到暗区之间的过渡，保持较好的明暗过渡的效果。

下面参考附图描述本申请实施例的图像处理方法和装置。

图1为本申请实施例所提供的一种图像处理方法的流程示意图。如图1所示，该方法包括以下步骤：

步骤101，获取原始图像。

其中，原始图像可以为一张也可以为多张，当原始图像为多张时，该多张对应的数量值也应当小于现有技术中hdr成像所需要拍摄的图像的张数，由此，降低了获取的原始图像的数量，大大提高了拍照速度，尤其是仅仅拍摄一张原始图像时，可以更明显的提高拍照速度，本申请的实施例，主要集中在原始图像为一张进行说明。

具体的，为了达到使用最少的原始图像得到可以保留更多图像细节的最终图像，需要保证获取的原始图像的图像质量，即保证原始图像得到合适的曝光，其中，获取原始图像的方式可以为拍摄获取的，即在拍摄初始时刻即拍摄得到一张原始图像，或者，还可以是从存储器等位置提取的一张原始图像，在这种情况下，存储器等位置存储的图像可以为一张也可以为多张，在此不再限制，下面以拍摄得到一张原始图像为例进行举例说明。

第一种示例：

在本示例中，在拍摄原始图像时，获取和环境光线强度，比如，基于光线传感器检测的亮度确定环境光线强度，又比如，根据iso值等感光参数确定环境光线强度，进而，基于环境光线强度确定初始曝光量，根据初始曝光量拍摄原始图像。也可以理解，在本示例中，选择在环境光线强度下，可以保留更多图像细节的初始曝光量来进行原始图像的拍摄。也就是说，本示例中的初始曝光量并不仅仅局限于上述提及的基准曝光量，而是根据当前环境光线强度下，可以保留更多图像细节的方式确定的，即该初始曝光量可以为ev-、ev0、ev+中的任意一种。

在本示例中，可以根据大量实验构建环境光线强度的三个亮度阈值，分为为：第一亮度阈值、第二亮度阈值和第三亮度阈值，其中，第一亮度阈值小于第二亮度阈值，第二亮度阈值小于第三亮度阈值，第一亮度阈值可以理解为对应夜晚等较为黑暗的场景，第二亮度阈值可以理解为对应傍晚或者早晨等亮度一般的场景，第三亮度阈值可以理解为对应光照下等较为明亮的场景，另外，预先设置初始曝光量的三个等级，分别为：第一曝光量、第二曝光量和第三曝光量，其中，第一曝光量小于第二曝光量，第二曝光量小于第三曝光量，比如，第一曝光量为ev-、第二曝光量为ev0,第三曝光量为ev+。

具体而言，当环境光线强度小于等于第一亮度阈值时，确定初始曝光量为第一曝光量，即在较为黑暗的场景下，以较低的曝光量曝光得到原始图像，由此，亮部也不会过曝失去细节，并且，还需要强调的是，采用曝光量较低的第一曝光量进行拍照，显然也会降低拍照时间，进一步提高了图像处理效率。

当环境光线强度大于第一亮度阈值且小于等于第二亮度阈值时，确定初始曝光量为第二曝光量，即在亮度一般的场景下，以较标准的曝光量曝光得到原始图像，由此，原始图像中可以保留大量的细节。

当环境光线强度大于第二亮度阈值时，确定初始曝光量为第三曝光量，即在较为明亮的场景下，以较高的曝光量曝光得到原始图像，由此保证暗部也不会欠曝失去细节。

第二种示例：

在本示例中，在上述示例一的基础上，为了照顾到图像中的人脸区域，进一步提升用户的拍照体验，还可检测预览图像检测是否包含人脸区域，如果包含人脸区域，则根据环境光线强度确定人脸拍摄模式，比如，当环境光线强度对应于白天人脸拍照模式时，则确定在包含人脸区域时，该拍摄模式对应的曝光量调整值，根据该曝光量调整值调整示例一中获取的初始曝光量，由此，在保证了整张图像的细节保存的基础上，兼顾了人脸区域的细节保留的质量。其中，本示例中的曝光量调整值可以是预先根据拍摄硬件参数与拍摄模式对应存储设置的。

举例而言，在根据环境光线强度确定的初始曝光量为ev-5时，若检测到预览图像中包含人脸图像，则根据环境光线强度确定当前拍摄模式为夜景人脸拍摄模式，从而，考虑到夜景人脸拍摄模式下人脸区域相对于其他区域较亮，采用更低的曝光量可能保留更多的亮部图像细节，因此，确定降低0.5的曝光量(曝光量调整值)，将初始曝光量调整为ev-5.5。

步骤102，对原始图像进行亮度调整生成至少一张参考图像。

具体地，在本申请的实施例中，不是一次拍摄多张高动态范围成像所需要的图像，而是基于原始图像进行亮度调整，由原始图像得到参考图像，由此，参考图像和原始图像在对齐时不存在对齐错位的现象，保证了合成后的图像的纯净度。具体而言，对原始图像进行亮度调整生成参考图像，由此，参考图像和原始图像分别对应于不同的亮度呈现，可以对图像中的不同亮度区域进行清晰呈现。

在不同的拍摄场景中，参考图像所需要的亮度也不同，比如，在原始图像为夜景拍摄的图像对应的初始曝光量为ev-，此时，由于夜景拍摄场景下大部分的场景处于欠曝状态，因此，如图2左图所示，原始图像中仅仅高亮部分得到了相对合适的曝光，亮部的图像细节得到了保留，因此，如果调整原始图像的亮度，使其处于一个标准的曝光量ev0对应的亮度呈现，则如图2中所示，较暗和较亮区域的图像细节得到了保留，此时，如果调整原始图像的亮度，使其处于一个较高曝光量ev+对应的亮度呈现，则如图2右所示，较亮区域的图像细节已经过曝，更暗部分的细节得到了呈现。

步骤103，对原始图像和所有的参考图像分别进行基于人工智能的降噪生成多张降噪图像。

可以理解，由于电子设备中的图像传感器在拍摄的过程中会受到不同程度的来自周边电路和本身像素间的光电磁干扰，因此拍摄得到的原始图像不可避免的存在噪声，例如，在夜景拍摄场景中，通常使用较大的光圈和较长的曝光时间拍摄得到原始图像，此时如果选择较高的感光度来减少了曝光时间，拍摄得到的原始图像必然会产生噪声。并且，干扰程度的不同，拍摄得到的图像的清晰度也不相同。因此参考图像也必然存在噪声，需要进一步对参考图像和原始图像进行降噪处理。

具体地，基于以基于人工智能的降噪方法对原始图像和所有的参考图像进行降噪处理，基于人工智能的降噪，是基于噪声特性进行的降噪，本申请实施例中，噪声特性，可以是由于图像传感器引起的随机噪声的统计特性。这里说的噪声主要包括热噪声和散粒噪声，其中，热噪声符合高斯分布，散粒噪声符合泊松分布，本申请实施例中的统计特性可以指噪声的方差值，当然也可以是其他可能情况的值，在此不做限定，由于基于噪声特定进行降噪，使得不同的噪声特定对应的噪点得到不同的去噪处理，处理后的降噪图像更加真实可以保留更多的动态信息，相对于传统的使用插值法等统一的降噪方法，可以区分不同的噪点，并对不同的噪点适配不同的降噪处理方式，实现了降噪后图像更加生动的效果。

作为一种可能的实现方式，预先训练神经网络模型，该神经网络模型已学习得到原始图像和所有的参考图像的感光度与噪声特性之间的映射关系，其中，感光度又称为iso值，是指衡量底片对于光的灵敏程度的指标，iso值越低，采集的图像质量越高，图像细节表现越细腻，iso值越高，光线感应性能越强，也就越能接收更多的光线，从而产生更多的热量，因此，使用相对较高的感光度通常会引入较多的噪声，从而导致图像质量降低，即iso值与噪声特性具有密不可分的关系。其中，参考图像由于并未经过iso的调整实际拍摄得到，因此，参考图像的iso值通过获取参考图像的像素亮度等来计算获取。

可以理解，采用各感光度的样本图像对神经网络模型进行训练，直至神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时，神经网络模型训练完成。也就是说，环境亮度应为多种，在每一种环境亮度下，分别在不同感光度情况下拍摄多帧图像，作为样本图像。为了获得更准确的噪声特性识别结果，可以对环境亮度和iso进行细分，还可以增加样本图像的帧数，以使高动态合成的合成图像输入神经网络模型后，该神经网络能准确的识别出图像的统计特性。参照图3，可以将上述神经网络模型和降噪处理的功能设计为一个整体模型，实现该降噪功能的模型可以为基于人工智能的降噪模型(ainoisereduction，ainr)。

获取到不同环境光亮度下拍摄得到的各感光度的样本图像后，采用样本图像对神经网络模型进行训练。将样本图像中标注的统计特性作为模型训练的特性，将经过统计特性标注的样本图像输入神经网络模型，以对神经网络模型进行训练，进而识别出图像的统计特性。当然，神经网络模型仅仅是实现基于人工智能的降噪的一种可能的实现方式，在实际执行过程中，可以通过其他任意可能的方式来实现基于人工智能的降噪，比如，还可以采用传统的编程技术(比如模拟法和工程学方法)实现，又比如，还可以遗传学算法和人工神经网络的方法来实现。

需要说明的是，在样本图像中标注统计特性对神经网络模型进行训练，是因为已标注的样本图像能够清楚的表示出图像的噪声位置和噪声类型，从而将标注的统计特性作为模型训练的特性，将合成图像输入神经网络模型后，能够识别出图像中的统计特性。

进而，基于采用神经网络模型，分别对原始图像和所有的参考图像进行噪声特性识别，根据识别出的噪声特性，对原始图像和所有的参考图像分别进行降噪，以得到降噪图像。

步骤104，对所有的降噪图像进行高动态合成生成目标图像。

具体的，参照图3，当基于原始图像的像素亮度平均值较低，且初始曝光量为ev-，确定的参考图像的亮度调整对应的曝光补偿量为ev+和ev0，在获取到多个降噪图像后，对所有的降噪图像进行高动态合成生成目标图像，该目标图像出进度较高，图像细节丰富，作为一种可能的实现方式，对所有的降噪图像进行hdr合成得到目标图像，作为另一种可能的实现方式，对所有的降噪图像进行图像的直接合成得到目标图像。

在本申请的一个实施例中，电子设备的显示器能够处理的图像格式为yuv格式，其中，图像的亮度信号被称作y，色度信号是由两个互相独立的信号组成，视颜色系统和格式不同，两种色度信号经常被称作u和v。在这种情况下，得到raw格式的所有的降噪图像之后，如图3所示，可通过图像信号处理器(imagesignalprocessing，isp)对所有的降噪图像进行格式转换，将raw格式的降噪图像转换为yuv格式图像。由于显示器的显示界面尺寸有限，为了达到更好的预览效果，可以将转换得到的yuv格式图像压缩至预览尺寸以进行预览显示。

当然，原始图像和参考图像的曝光量均不同，呈现的图像细节也不同，每一张图像的较为清晰地区域可能不同，比如，如图2所示，右图可以清晰的呈现非常暗的区域，但是中图可以清晰的呈现较亮和较暗的区域，因此，在高动态合成时，如果可以提高中图中较亮和较暗的区域的权重，提高右图中非常暗的区域的权重，则能够使得图像在各区域均能够实现恰当曝光效果，提高成像质量。

因此，在本申请的一个实施例中，获取与所有的降噪图像输入高动态合成模型，获取相应原始图像中各区域的合成权重；其中，高动态合成模型，已学习得到各区域的特征与合成权重之间的映射关系；特征用于表征曝光量和相应图像区域的图像亮度，根据合成权重，分区域对所有的降噪图像进行合成，生成目标图像。

进一步地，为了使得本申请实施例的图像处理方法具有良性循环，可以通过使用不断优化处理效果，还可的基于图像处理的结果对神经网络模型进行不断的反馈以优化对应的参数，即在获取目标图像后，作为一种可能的实现方式，还可以确定目标图像中的多个参考像素点，根据预设梯度函数计算多个参考像素点之间的像素灰度差值，当像素灰度差值大于预设阈值时，对神经网络模型的对应参数进行修正。

综上，本申请实施例的图像处理方法，拍摄原始图像，对原始图像进行亮度调整生成至少一张参考图像，对原始图像和所有的参考图像分别进行基于人工智能的降噪生成多张降噪图像，进而，对所有的降噪图像进行高动态合成生成目标图像。由此，一方面，采用基于人工智能的降噪方式对图像降噪，在保证图像纯净度的同时保留了更多的图像细节，另一方面，用于合成的多张图像都来源于原始图像，避免合成后的目标图像出现误叠合鬼影现象，又一方面，基于拍摄的原始图像的亮度调整来获取参考图像，无需拍摄参考图像，提高了目标图像的成像效率。

基于上述实施例，显然，图像的亮度调整的梯度越多，得到的参考图像可以更全面的还原图像的细节，然而在有些场景下，比如，在场景中均包含了较暗的区域，则显然采用欠曝的曝光补偿量对图像细节的呈现积极影响不高，又比如，在场景中均包含了较亮的区域，则显然过曝的曝光补偿量对图像细节的呈现积极影响也不高，因此，为了提高图像处理效率，在本申请的实施例中，基于原始图像的亮度来确定参考图像的亮度调整策略。

具体而言，第一种示例，如图4所示，上述步骤102包括：

步骤201，获取原始图像的像素亮度平均值。

步骤202，根据像素亮度平均值确定至少一个曝光补偿量。

步骤203，根据至少一个曝光补偿量分别对原始图像进行亮度调整，生成至少一张参考图像。

具体的，采集原始图像中每个像素点的像素亮度，并基于像素亮度计算原始图像的像素亮度平均值，基于像素亮度平均值确定至少一个曝光补偿量，其中，曝光补偿量是基于基准感光度设置的，比如，基准感光度对应的曝光补偿量为ev0，是与当前预览图像的亮度平均值确定的最合适的曝光量，则曝光补偿量可取值范围可以为ev-5至ev-1，以及ev+1至ev+5，进而，基于至少一个曝光补偿量分别对原始图像进行亮度调整，生成至少一张参考图像。

可以理解，在本实施例中，基于原始图像的整体亮度确定保留更多图像细节所需要的曝光补偿量，举例而言，如图5-1所示，当基于原始图像的像素亮度平均值很低，且初始曝光量为ev0，则表明当前场景中基本上是十分暗的区域，因此，可以选择更多过曝的参考图像进行图像细节的还原，因此，如图5-1所示，确定的曝光补偿量为ev+1和ev+2，基于ev+1和ev+2对原始图像进行提亮获取对应的参考图像。

举例而言，如图5-2所示，当基于原始图像的像素亮度平均值较低，且初始曝光量为ev-，则表明当前场景中基本上是较暗的区域，因此，可以选择标准的或者稍微过曝的参考图像进行图像细节的还原，因此，如图5-2所示，确定的曝光补偿量为ev+和ev0，基于ev+和ev0对原始图像进行提亮获取对应的参考图像。

举例而言，如图5-3所示，当基于原始图像的像素亮度平均值较高，且初始曝光量为ev+，则表明当前场景中基本上是较亮的区域，因此，可以选择标准的或者稍微欠曝的参考图像进行图像细节的还原，因此，如图5-3所示，确定的曝光补偿量为ev-和ev0，基于ev-和ev0对原始图像进行提亮获取对应的参考图像。

举例而言，如图5-4所示，当基于原始图像的像素亮度平均值一般，且初始曝光量为ev-1，则表明当前场景中基本上是亮度比较均衡的区域，存在的亮部和暗部基本上差不多，因此，可以选择曝光量较为全面的参考图像进行图像细节的还原，因此，如图5-4所示，确定的曝光补偿量为ev+1、ev+2、ev-2和ev0，基于ev+1、ev+2、ev-2和ev0对原始图像进行提亮获取对应的参考图像。

基于以上的描述内容可知，参考图像是和原始图像亮度呈现不同的图像，由此，清晰呈现了不同部位的图像细节，相当于采用不同的曝光量拍摄得到的，然而这种参考图像是通过算法处理来实现不同曝光量拍摄效果的呈现，作为一种可能的示例，预先设置提亮模型，该提亮模型是基于人工智能的提亮模型(aibrightnessenhancement，aibr)，可以基于原始图像的像素亮度和噪点特定进行与目标补偿量对应的亮度调整，这种模型可以在将原始图像提亮到与对应曝光量拍摄效果的呈现一致的前提下，保留更多的图像细节，而不是将图像强行提亮失去了图像的动态感，针对每一个曝光补偿量调整提亮模型的参数，使得提亮模型可以输出对应曝光量拍摄效果的呈现一致的参考图像。

在本示例中，调整提亮模型的参数，获取与至少一个曝光补偿量中每个曝光补偿量对应的基于人工智能的提亮模型，将原始图像分别输入与每个曝光补偿量对应的提亮模型，得到对应的参考图像，以上述图5-2所示的场景为例，如图3所示，将原始图像输入到与ev+和ev0对应的提亮模型，获取对应的参考图像。

在本申请的另一个实施例中，为了避免原始图像像素亮度均值一样，但是亮部和暗部的分布情况不一致，比如，有些原始图像虽然像素亮度平均值较为一般，但是由于两极分化的亮度和暗部构成的，比如，如图6左图和右图所示(图中以灰度值代表暗部的黑暗程度)，原始图像的像素亮度平均值一致，可能得到的参考图像获取策略是一致的，但是明显，右图存在两级分化的亮部和暗部，显然，将其判断为像素亮度平均值一般进行参考图像的获取，导致参考图像无法较好的还原出图像的暗部和亮部的细节。

为了兼顾更多的图像细节，第二种示例，如图7所示，上述步骤102包括：

步骤301，将原始图像划分为多个子区域，并获取每个子区域的像素亮度平均值。

步骤302，计算每两个子区域对应的像素亮度平均值的亮度差值。

步骤303，当亮度差值全部属于第一预设范围时，确定对原始图像进行亮度调整生成一张参考图像。

步骤304，当亮度差值既包含属于第一预设范围的第一亮度差值，也包含属第二预设范围的第二亮度差值时，确定对原始图像进行不同程度的亮度调整生成两张参考图像，其中，第二亮度差值大于第一亮度差值。

可以理解的是，通过将原始图像划分为多个子区域，基于子区域之间的亮度差值来检测原始图像的亮度分布是否均匀，预先根据大量实验数据设置第一预设范围和第二预设范围，其中，当两个子区域对应的像素亮度平均值的亮度差值在第一预范围，表明两个子区域对应的亮度比较接近，当两个子区域对应的像素亮度平均值的亮度差值在第一预范围，表明两个子区域对应的亮度比较不接近，具有亮度跳变，即计算每两个子区域对应的像素亮度平均值的亮度差值，当亮度差值全部属于第一预设范围时，表明原始图像亮度分布均衡，由此，确定对原始图像进行亮度调整生成一张参考图像，当亮度差值既包含属于第一预设范围的第一亮度差值，也包含属第二预设范围的第二亮度差值时，确定对原始图像进行不同程度的亮度调整生成多张参考图像，确保每个区域的图像细节得到了保留。作为一种可能的示例，根据亮度差值确定不同亮度级别的子区域集合，对每个子区域集合所在的区域分别进行对应的亮度调整。

举例而言，如图8所示，对原始图像划分为9个子区域，进过计算子区域对应的像素亮度平均值的差值，确定子区域1-4和其他区域的像素亮度平均值的差值与其他子区域不同，则对原始图像的1-4和其他区域分别进行不同程度的亮度调整生成多个参考图像。

考虑到在一些拍照场景中，用户希望重点拍摄的图像不同，比如，在人像拍摄模式下，用户比较希望人脸区域拍摄的比较清楚，又比如，在风景拍摄模式下，用户可能比较希望拍摄的目标建筑物比较清楚，因此，为了满足用户的个性化拍照需求，基于原始图像中是否包含用户可能会关注清晰度的目标图像所在的目标区域进行针对性的处理。

具体而言，第三种示例，如图9所示，上述步骤102包括：

步骤401，根据预设图像语义识别算法检测原始图像中是否包含目标区域。

其中，目标区域可以是用户自定义的物体类型对应的图形所在区域，比如人脸区域、著名建筑物区域等，目标区域也可以由系统根据大数据分析自行设置的。

具体的，当原始图像中包含目标区域时，为了针对性的对目标区域进行处理，确定目标区域即像素位置。

在本申请的一个实施例中，当原始图像中不包含目标区域时，对原始图像进行整张亮度调整生成至少一张参考图像，即不分区考虑原始图像。

步骤402，当原始图像中包含所述目标区域时，根据目标区域的像素亮度均值确定第一曝光补偿量。

步骤403，根据非目标区域的像素亮度确定第二曝光补偿量。

步骤404，根据第一曝光补偿量对原始图像的目标区域进行亮度调整生成对应参考图像。

步骤405，根据第二曝光补偿量对原始图像的非目标区域进行亮度调整生成对应参考图像。

具体地，基于目标区域的像素亮度均值确定第一曝光补偿量，该第一曝光补偿量对应于对目标区域得到较好的曝光，使得目标区域的图像细节得到较好的还原，比如，当基于目标区域的像素亮度均值较低，则认为人脸区域较暗，则表明原始图像可能对人脸区域曝光不足，从而，提亮人脸区域，第一曝光补偿量用户正向提高初始曝光量，进而，基于第一曝光补偿量对原始图像的目标区域进行亮度调整生成对应参考图像，其中，第一曝光补偿量为一个或多个。

在本申请的实施例中，可以仅仅考虑原始图像中目标区域进行参考图像的生成，这处理方式保证了目标区域的细节呈现，为了进一步提高图像处理效率，还可针对非目标区域也进行针对性的提亮处理，即根据非目标区域的像素亮度确定第二曝光补偿量，根据第二曝光补偿量对原始图像的非目标区域进行亮度调整生成对应参考图像，其中，第二曝光补偿量为一个或多个。由此，保证了合成后的最后图像的每个区域都有丰富的细节呈现，当然，在兼顾非目标区域的图像细节呈现时，还可为了提高图像的处理效率，降低与非目标区域对应的参考图像的数量。

举例而言，如图10-1所示，当目标区域为人脸区域，初始曝光量为ev-，其中，第一曝光补偿量为两个时，可以检测人脸区域的像素亮度均值，该像素亮度均值较低，表明人脸区域欠曝，此时，基于该人脸区域的像素亮度均值确定第一曝光补偿量为ev0和ev+，进而，仅仅基于人脸区域根据第一曝光补偿量进行参考图像的获取，此时，由于仅仅考虑了人脸区域，因此，提高了图像处理效率，并且满足了用户的个性化图像处理需求。

举例而言，如图10-2所示，当目标区域为人脸区域，初始曝光量为ev-，其中，第一曝光补偿量为两个，第二曝光补偿量为1个时，可以检测人脸区域的像素亮度均值，该像素亮度均值较低，表明人脸区域欠曝，此时，基于该人脸区域的像素亮度均值确定第一曝光补偿量为ev0和ev+，另外，基于非人脸区域的像素亮度均值确定非人脸区域较亮，则表明非人脸区域可能过曝，进而，确定第二曝光补偿量为ev-2,基于人脸区域根据第一曝光补偿量进行参考图像的获取，此时，由于考虑了人脸区域和非人脸区域，分别进行了不同的针对性处理，满足了最后获取的图像的每个区域的细节动态。

在本示例中，为了进一步满足对目标区域的针对性处理的图像质量要求，还可在包含多个目标区域时，针对不同的目标区域分别获取不同的第一曝光补偿量，以目标区域为人脸区域为例进行说明，根据每个人脸区域的像素亮度均值确定与每个人脸区域对应的第一曝光补偿量，根据与每个人脸区域对应的第一曝光补偿量，对原始图像中对应的人脸区域进行亮度调整生成与每个人脸区域对应的参考图像。

举例而言，如图10-3所示，当目标区域为人脸区域，人脸区域包括第一人脸区域1和第二人脸区域2，初始曝光量为ev-时，其中，第一曝光补偿量为两个时，可以检测人脸区域1的像素亮度均值，该亮度均值较低，表明人脸区域1欠曝(站在阴影区)，此时，基于该人脸区域的像素亮度均值确定人脸区域1的第一曝光补偿量为ev0和ev+，检测人脸区域1的像素亮度均值，该亮度均值较高，表明人脸区域2过曝(站在灯光下)，此时，基于该人脸区域2的像素亮度均值确定人脸区域2的第一曝光补偿量为ev0和ev-2，此时，根据与每个人脸区域对应的第一曝光补偿量，对原始图像中对应的人脸区域进行亮度调整生成与每个人脸区域对应的参考图像，其中，由于人脸区域1和2包含了同样的第一曝光补偿量ev0，因而，此时可同时对相同第一曝光补偿量的人脸区域1和2生成一张参考图像，避免分别对人脸区域1和2基于第一曝光补偿量ev0生成参考图像导致拍照速度变慢。

第四种示例，在本示例中，为了保证整张图像的纯净度，基于原始图像发现清晰度不高的区域和清晰度满足要求的区域，如图10-4所示，进而，仅仅基于清晰度不高的区域进行亮度调整得到对应的参考图像，从而在保证整张图像的纯净度的基础上，提高了图像处理效率。

综上，本申请实施例的图像处理方法，可以基于不同的拍照场景需要，基于不同的维度获取参考图像，实现了图像处理放的灵活性，提高了图像处理的实用性。

为了实现上述实施例，本申请还提出一种图像处理装置。

图11是根据本申请第一个实施例的图像处理装置的结构示意图，如图11所示，该图像处理装置包括：拍摄模块10、生成模块20、降噪模块30和合成模块40，其中，

拍摄模块10，用于获取原始图像。

生成模块20，用于对原始图像进行亮度调整生成至少一张参考图像。

降噪模块30，用于对原始图像和所有的参考图像分别进行基于人工智能的降噪生成多张降噪图像。

合成模块40，用于对所有的降噪图像进行高动态合成生成目标图像。

在本申请的一个实施例中，如图12所示，在如图11所示的基础上，拍摄模块10包括：第一获取单元11和拍摄单元12，其中，

第一获取单元11，用于获取环境光线强度。

拍摄单元12，用于根据环境光线强度确定初始曝光量，根据初始曝光量拍摄原始图像。

在本实施例中，拍摄单元12具体用于当环境光线强度小于等于第一亮度阈值时，确定初始曝光量为第一曝光量；

当环境光线强度大于第一亮度阈值且小于等于第二亮度阈值时，确定初始曝光量为第二曝光量；

当环境光线强度大于第二亮度阈值时，确定初始曝光量为第三曝光量，其中，第一曝光量小于第二曝光量，第二曝光量小于第三曝光量。

在本申请的一个实施例中，如图13所示，在如图11所示的基础上，生成模块20包括：第二获取单元21、第一确定单元22和生成单元23，其中，

第二获取单元21，用于获取原始图像的像素亮度平均值。

第一确定单元22，用于根据像素亮度平均值确定至少一个曝光补偿量。

生成单元23，用于根据至少一个曝光补偿量分别对原始图像进行亮度调整，生成至少一张参考图像。

在本实施例中，第一确定单元22具体用于：

将原始图像分别输入与至少一个曝光补偿量中每个曝光补偿量对应的基于人工智能的提亮模型。

在本申请的一个实施例中，如图14所示，在如图11所示的基础上，生成模块20包括：第三获取单元24、计算单元25和第二确定单元26，其中，

第三获取单元24，用于将原始图像划分为多个子区域，并获取每个子区域的像素亮度平均值。

计算单元25，用于当亮度差值全部属于第一预设范围时，确定对原始图像进行亮度调整生成一张参考图像。

第二确定单元26，用于当亮度差值既包含属于第一预设范围的第一亮度差值，也包含属第二预设范围的第二亮度差值时，确定对原始图像进行不同程度的亮度调整生成多张参考图像，其中，第二亮度差值大于第一亮度差值。

在本申请的一个实施例中，如图15所示，在如图11所示的基础上，生成模块20包括：检测单元27、第三确定单元28、第四确定单元29、第一亮度调整单元210和第二亮度调整单元211，其中，

检测单元27，用于根据预设图像语义识别算法检测原始图像中是否包含目标区域。

第三确定单元28，用于当原始图像中包含目标区域时，根据目标区域的像素亮度均值确定第一曝光补偿量。

第四确定单元29，用于根据非目标区域的像素亮度确定第二曝光补偿量。

第一亮度调整单元210，用于根据第一曝光补偿量对原始图像的目标区域进行亮度调整生成对应参考图像。

第二亮度调整单元211，用于根据第二曝光补偿量对原始图像的非目标区域进行亮度调整生成对应参考图像。

在本申请的一个实施例中，如图16所示，在如图15所示的基础上，生成模块20包括：第三亮度调整单元212，其中，第三亮度调整单元212，用于当原始图像中不包含目标区域时，对原始图像进行整张亮度调整生成至少一张参考图像。

在本申请的一个实施例中，如图17所示，在如图11所示的基础上，降噪模块30包括识别单元31和降噪单元32，其中，

识别单元31，用于采用神经网络模型，分别对原始图像和所有的参考图像进行噪声特性识别；其中，神经网络模型，已学习得到原始图像和所有的参考图像的感光度与噪声特性之间的映射关系。

降噪单元32，用于根据识别出的噪声特性，对原始图像和所有的参考图像分别进行降噪，以得到降噪图像。

在本实施例中，神经网络模型，是采用各感光度的样本图像对神经网络模型进行训练，直至神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时，神经网络模型训练完成。

在本申请的一个实施例中，如图18所示，在如图11所示的基础上，该装置还包括：确定模块50、计算模块60和修正模块70，其中，

确定模块50，用于确定目标图像中的多个参考像素点。

计算模块60，用于根据预设梯度函数计算多个参考像素点之间的像素灰度差值。

修正模块70，用于当像素灰度差值大于预设阈值时，对神经网络模型的对应参数进行修正。

在本申请的一个实施例中，如图19所示，在如图11所示的基础上，合成模块40包括：第四获取单元41、第五获取单元42和合成单元43，其中，

第四获取单元41，用于获取与所有的降噪图像输入高动态合成模型。

第五获取单元42，用于获取相应原始图像中各区域的合成权重；其中，高动态合成模型，已学习得到各区域的特征与合成权重之间的映射关系；特征用于表征曝光量和相应图像区域的图像亮度。

合成单元43，用于根据合成权重，分区域对所有的降噪图像进行合成，生成目标图像。

需要说明的是，前述对图像处理方法的说明，也适用于本申请实施例的图像处理装置，其实现原理类似，在此不再赘述。

综上，本申请实施例的图像处理装置，拍摄原始图像，对原始图像进行亮度调整生成至少一张参考图像，对原始图像和所有的参考图像分别进行基于人工智能的降噪生成多张降噪图像，进而，对所有的降噪图像进行高动态合成生成目标图像。由此，一方面，采用基于人工智能的降噪方式对图像降噪，在保证图像纯净度的同时保留了更多的图像细节，另一方面，用于合成的多张图像都来源于原始图像，避免合成后的目标图像出现误叠合鬼影现象，又一方面，基于拍摄的原始图像的亮度调整来获取参考图像，无需拍摄参考图像，提高了目标图像的成像效率。

为了实现上述实施例，本申请还提出一种电子设备200，参见图20，包括：图像传感器210、处理器220、存储器230及存储在存储器230上并可在处理器220上运行的计算机程序，所述图像传感器210与所述处理器220电连接，所述处理器220执行所述程序时，实现如上述实施例中所述的图像处理方法。

作为一种可能的情况，处理器220可以包括：图像信号处理isp处理器。

其中，isp处理器，用于控制所述图像传感器采集原始图像，以及对所述原始图像和所有的参考图像对应的所有的降噪图像进行高动态合成生成目标图像。

作为另一种可能的情况，处理器220还可以包括：与所述isp处理器连接的图形处理器gpu，其中，所述gpu，用于对所述原始图像和所有的参考图像进行基于人工智能的降噪，以得到所述所有的降噪图像。

作为一种示例，请参阅图21，在图20所述电子设备的基础上，图21中为本申请实施例提供的一种电子设备的原理示例图。电子设备200的存储器230包括非易失性存储器80、内存储器82和处理器220。存储器230中存储有计算机可读指令。计算机可读指令被存储器执行时，使得处理器230执行上述任一实施方式的图像处理方法。

如图21所示，该电子设备200包括通过系统总线81连接的处理器220、非易失性存储器80、内存储器82、显示屏83和输入装置84。其中，电子设备200的非易失性存储器80存储有操作系统和计算机可读指令。该计算机可读指令可被处理器220执行，以实现本申请实施方式的曝光控制方法。该处理器220用于提供计算和控制能力，支撑整个电子设备200的运行。电子设备200的内存储器82为非易失性存储器80中的计算机可读指令的运行提供环境。电子设备200的显示屏83可以是液晶显示屏或者电子墨水显示屏等，输入装置84可以是显示屏83上覆盖的触摸层，也可以是电子设备200外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备200可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。本领域技术人员可以理解，图21中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用于其上的电子设备200的限定，具体的电子设备200可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

为了实现上述实施例，本申请还提出一种图像处理电路，请参阅图22，图22为本申请实施例提供的一种图像处理电路的原理示意图，如图22所示，图像处理电路90包括图像信号处理isp处理器91(isp处理器91作为处理器220)和图形处理器gpu。

所述isp处理器，与图像传感器电连接，用于控制所述图像传感器采集原始图像，以及对所述原始图像和所有的参考图像对应的所有的降噪图像进行高动态合成生成目标图像；

所述gpu，与所述isp处理器电连接，用对所述原始图像和所有的参考图像进行基于人工智能的降噪，以得到多张降噪图像。

摄像头93捕捉的图像数据首先由isp处理器91处理，isp处理器91对图像数据进行分析以捕捉可用于确定摄像头93的一个或多个控制参数的图像统计信息。摄像模组310可包括一个或多个透镜932和图像传感器934。图像传感器934可包括色彩滤镜阵列(如bayer滤镜)，图像传感器934可获取每个成像像素捕捉的光强度和波长信息，并提供可由isp处理器91处理的一组原始图像数据。传感器94(如陀螺仪)可基于传感器94接口类型把采集的图像处理的参数(如防抖参数)提供给isp处理器91。传感器94接口可以为smia(standardmobileimagingarchitecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器934也可将原始图像数据发送给传感器94，传感器94可基于传感器94接口类型把原始图像数据提供给isp处理器91，或者传感器94将原始图像数据存储到图像存储器95中。

isp处理器91按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，isp处理器91可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

isp处理器91还可从图像存储器95接收图像数据。例如，传感器94接口将原始图像数据发送给图像存储器95，图像存储器95中的原始图像数据再提供给isp处理器91以供处理。图像存储器95可为存储器330、存储器330的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括dma(directmemoryaccess，直接直接存储器存取)特征。

当接收到来自图像传感器934接口或来自传感器94接口或来自图像存储器95的原始图像数据时，isp处理器91可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器95，以便在被显示之前进行另外的处理。isp处理器91从图像存储器95接收处理数据，并对处理数据进行原始域中以及rgb和ycbcr颜色空间中的图像数据处理。isp处理器91处理后的图像数据可输出给显示器97(显示器97可包括显示屏83)，以供用户观看和/或由图形引擎或gpu进一步处理。此外，isp处理器91的输出还可发送给图像存储器95，且显示器97可从图像存储器95读取图像数据。在一个实施例中，图像存储器95可被配置为实现一个或多个帧缓冲器。此外，isp处理器91的输出可发送给编码器/解码器96，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器97设备上之前解压缩。编码器/解码器96可由cpu或gpu或协处理器实现。

isp处理器91确定的统计数据可发送给控制逻辑器92单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜932阴影校正等图像传感器934统计信息。控制逻辑器92可包括执行一个或多个例程(如固件)的处理元件和/或微控制器，一个或多个例程可根据接收的统计数据，确定摄像头93的控制参数及isp处理器91的控制参数。例如，摄像头93的控制参数可包括传感器94控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜932控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。isp控制参数可包括用于自动白平衡和颜色调整(例如，在rgb处理期间)的增益水平和色彩校正矩阵，以及透镜932阴影校正参数。

以下为运用图22中图像处理技术实现图像处理方法的步骤：获取原始图像；

对所述原始图像进行亮度调整生成至少一张参考图像；

对所述原始图像和所有的参考图像分别进行基于人工智能的降噪生成多张降噪图像；

对所有的降噪图像进行高动态合成生成目标图像。

为了实现上述实施例，本申请实施例还提供了一种存储介质，当所述存储介质中的指令由处理器执行时，使得所述处理器执行以下步骤：获取原始图像；

对所述原始图像进行亮度调整生成至少一张参考图像；

对所述原始图像和所有的参考图像分别进行基于人工智能的降噪生成多张降噪图像；

对所有的降噪图像进行高动态合成生成目标图像。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)等。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。