摄像装置、图像处理装置及系统、控制方法和存储介质与流程

本公开涉及对通过合成多个图像而获取的捕获图像的每个区域应用校正处理的技术。

背景技术：

近年来，采用网络相机的监控系统已经广泛普及。由于这种网络相机在各个领域用作大型公共机构和大规模零售商处的监控相机，因此对于具有大照度差的环境或者具有不同照度的环境需要扩展动态范围。

另外，需要更精确的色彩显示。例如，日本特开第2016-192606号公报公开了一种用于对基于所识别被摄体的特性差异而分类的多个区域确定包括曝光条件和图像处理条件的拍摄条件的方法。日本特开第2015-192152号公报提出了针对多个区域中的每一个区域计算和校正白平衡。

但是，由于扩展动态范围，因此在对图像内具有多个应用不同输入/输出特性(伽马曲线)的划分区域的图像进行校正处理的情况下可能会出现故障。例如，当用户没有考虑应用到划分区域的输入/输出特性而对整个图像进行调整白平衡的处理时，可能难以实现预期的色彩再现。

技术实现要素：

根据本公开的一个方面，提供一种图像处理系统，所述图像处理系统包括摄像装置和图像处理装置。所述摄像装置具有：摄像单元，配置为获取捕获的图像；设置单元，配置为在所述摄像单元获取的所述捕获的图像中设置应用第一输入/输出特性的第一区域和应用第二输入/输出特性的第二区域；以及输出单元，配置为输出表示所述第一区域和所述第二区域中的至少一者的区域信息。所述图像处理装置具有显示控制单元，所述显示控制单元配置为从所述摄像装置获取所述区域信息并且控制以可区分的方式显示所述第一区域和所述第二区域。

根据以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是例示系统配置的示意图。

图2是例示相机配置的框图。

图3是例示客户端配置的框图。

图4是例示相机中图像处理单元的配置细节的框图。

图5是例示伽马调整处理的流程图。

图6a是例示场景示例的示意图。图6b是用于解释直方图的示意图。图6c是用于解释伽马曲线的示意图。图6d是例示图谱的示意图。

图7是例示图形用户界面(gui)的概况的示意图。

图8是例示图像处理单元进行的处理的概况的流程图。

图9a至图9d是例示具有不同曝光的场景的示例的示意图。

图10a是解释图像合成比率的示意图。图10b是例示图谱的示意图。

图11a是例示gui的概况的示意图。图11b是例示在应用优先模式的情况下相机设置的表。

图12是例示用于设置白平衡的处理的流程图。

图13是例示为图像处理单元的组件设置的多个参数的示例的示意图。

图14是例示图像处理单元的配置细节的框图。

图15是例示图像处理单元进行的处理的概况的流程图。

图16是例示gui的概况的示意图。

具体实施方式

下面将参照附图详细描述实施例。

实施例1

下面将参照图1至图10a和图10b描述本公开的实施例1。作为本公开的实施例，下面将描述网络相机。

图1例示根据实施例1对应于图像处理系统的网络相机系统的示意性配置的示例。参照图1，网络相机系统100包括对应于摄像装置的网络相机(下文称为相机)110、浏览器客户端(下文称为客户端)120和网络130。相机110与客户端120通过网络130彼此可通信地连接。应当注意，摄像装置并不局限于这种网络相机，而是可以由数码单镜头反光相机、无镜单镜头反光相机、小型数码相机、摄像机、平板终端、phs、智能手机、功能电话、移动游戏机或具有拍摄功能的其他移动装置替代。

相机110配置为通过网络130分配包括拍摄(或捕获)的图像的图像数据。客户端120可以访问相机110，为相机110定义初始设置，为相机110设置拍摄参数，以及定义分配设置以便可获取期望的图像数据。客户端120可以处理从相机110分配的图像数据，存储分配的图像数据，处理所存储的图像数据，以及基于所处理的图像数据显示图像。网络130将相机110与客户端120彼此可通信地连接并且可以包括多个满足诸如以太网的通信标准的路由器、开关以及线缆。根据该实施例，如果网络130可在相机110与客户端120之间实现无障碍通信(用于图像分配和定义相机设置)，则网络130可以基于任意通信标准并且可以具有任意尺寸和任意配置。因此，任意包括通过有线lan和无线lan的互联网的网络均适合用作网络130。

图2是例示根据该实施例的相机110的配置的框图。拍摄光学系统201包括物镜、变焦透镜、对焦透镜和光圈并且配置为将关于被摄体的光学信息聚集到将在下面描述的摄像元件单元202。摄像元件单元202配置为将拍摄光学系统201聚集的光学信息转换为电流值并且包括ccd或cmos传感器，所述ccd或cmos传感器配置为例如与滤色器结合获取色彩信息。本文中的摄像元件单元202实质上是可为各像素设置任意曝光周期的成像传感器。

cpu203涉及由连接到总线210的组件进行的处理。例如，cpu203可以依序读出并解译存储在rom(只读存储器)204或ram(随机存储器)205中的指令，并且基于解译结果执行处理。拍摄系统控制单元206配置为：驱动对焦透镜以在拍摄光学系统201上对焦，并且控制拍摄光学系统201以按照来自cpu203的指令(如果有)执行诸如调整光圈的处理。

更具体而言，基于通过用户设置的拍摄模式指定的诸如程序ae(自动曝光)、快门速度优先ae或光圈优先ae等ae功能计算的曝光值进行光圈驱动控制。

cpu203配置为在ae控制下进行af(自动对焦)控制。af控制可以应用主动方法、相位差检测系统、对比度检测方法等。由于这些种类的ae和af配置和控制可以应用公知的通用技术，因此将省略其详细描述。

将在摄像元件单元202中数字化的图像信号输入到图像处理单元207。图像处理单元207配置为进行将在下面描述的图像处理，以生成亮度信号y和色差信号cb*cr。

编码器单元208配置为进行编码处理，以将在图像处理单元207中处理的图像数据转换为具有诸如jpeg、h.264或h.265的预定格式。

通信单元209配置为基于诸如onvif的相机控制协议执行与客户端120的通信，并且通过网络130将捕获的图像数据分配给客户端120。基于相机控制协议的通信包括从客户端120接收例如相机操作命令、相机设置命令和有关功能的查询以及对其传输响应并传输除图像数据之外的必要数据。

图3是例示根据该实施例的客户端120的示意性配置的框图。cpu301配置为整体控制要在客户端120中进行的操作。rom302是配置为存储用于cpu301执行处理的控制程序的非易失性存储器。ram303用作cpu301的主要存储器、工作区域等。换言之，cpu301可以将程序从rom302加载到ram303以便执行对应处理，并且可以执行加载的程序以实现功能操作并执行将在下面描述的图5和图8中例示的处理。

hdd304是配置为存储例如将在cpu301进行的处理中使用的数据、图像数据和信息的大容量辅助存储单元。hdd304可以存储通过cpu301使用程序执行的处理而获得的数据、图像数据和信息。

操作输入单元305是包括诸如电源按钮、键盘和鼠标等操作设备的输入单元，并且用作配置为从用户接收设置(包括将在下面描述的针对每一个区域的图像处理设置和优先级的设置)的接收单元。通信单元306配置为进行客户端120与网络130之间的通信处理。更具体而言，通信单元306配置为通过网络130接收由相机110捕获的图像数据。通信单元306还配置为将相机操作命令传输到相机110并且接收响应和除图像数据之外的数据。

显示单元307包括图形用户界面或gui(将在下面进行详细描述)以及用于输入相机110的控制参数的显示器。显示单元307可以配置为进行用于在外部显示器上显示gui(将在下面进行描述)的显示控制。可通过cpu301执行的程序实现客户端120的组件的部分或全部功能。客户端120的至少部分组件(诸如gpu和dma)可以作为专用硬件模块与cpu301分开操作。在该情况下，专用硬件模块在cpu301的控制下操作。

图4是例示根据该实施例的图像处理单元207的配置的细节的框图。可以将图像处理单元207大致划分为显影处理单元400和动态范围扩展处理单元410两个块，并且经由局部总线430连接到存储器420。

显影处理单元400包括光学校正单元401、传感器校正单元402和增益调整单元403。光学校正单元401配置为通过校正透镜像差或者校正从摄像元件单元202输入的图像数据的周边亮度来校正拍摄光学系统201。传感器校正单元402配置为通过校正传感器的划痕或缺陷或者通过进行偏移调整来校正摄像元件单元202。增益调整单元403配置为使用包括传感器增益的数字值来进行增益调整。显影处理单元400还包括配置为对图像数据进行校正处理的组件，所述组件包括配置为进行降噪处理的nr处理单元404、配置为调整白平衡的wb调整单元405、配置为进行伽马校正的伽马校正单元406、配置为进行锐度处理的锐度处理单元407以及配置为进行诸如对比度调整处理、饱和度调整处理和色彩转换处理等色彩处理的色彩处理单元408。来自显影处理单元400的输出临时存储在存储器420中。

动态范围扩展处理单元410包括直方图分析处理单元411、将在下面描述的图谱生成处理单元412、伽马调整单元413以及wdr合成处理单元414。图谱生成处理单元412生成的图谱信息也存储在存储器420中。下面将描述动态范围扩展处理单元410的功能模块。

属性生成单元409配置为将属性信息输出到图像处理单元207(显影处理单元400)的组件，以基于像素亮度改变图像处理细节。参照从属性生成单元409输出的属性信息，组件可改变用于处理图像数据的处理参数。

例如，可以在属性生成单元409中设置亮度阈值y^th。之后，属性生成单元409针对每一个处理被摄体像素将亮度值与亮度阈值y^th进行比较，并且将表示亮度值是否高于阈值的信息作为属性信息添加到像素的亮度信息。例如，属性信息可以是布尔值(booleanvalue)。如果像素的亮度值高于y^th，则将布尔值保持为“1”。否则，将布尔值保持为“0”。参照属性信息，光学校正单元401到色彩处理单元408设置对应于属性信息的处理参数。

接下来，将参照图5描述图像处理单元207进行的操作的流程。在步骤s501中，图像处理单元207从摄像元件单元202接收图像数据。接下来，在步骤s502中，图像处理单元207对显影处理单元400的组件接收到的图像数据进行各种处理。

接下来，在步骤s503中，图像处理单元207确定是否已从客户端120接收到生成图谱的指令。根据该实施例，此处该指令对应于用户开始关于例如白平衡的图像调整作业时从客户端传输的命令。例如，在图谱信息表示区域基于其亮度将经受不同显影处理细节的情况下，指令可以对应于意味着已从客户端120接收到关于图谱信息的请求的命令。如果没有接收到命令，则在步骤s507中进行将在下面描述的伽马调整处理。之后，处理结束。另一方面，如果接收到图谱生成指令，则处理进行到步骤s504。

在步骤s504中，直方图分析处理单元411进行直方图分析。将参照图6a至图6d描述直方图。图6a例示图像捕获场景并且范围包括阴影窗户601的外部区域和室内区域602的示例。窗户601的外部区域和室内区域602受到不同光源的影响，并且窗户601的构成图像区域和室内区域602的构成图像区域之间具有大的亮度差。如图6b中所示，具有这种大亮度差的场景产生这样的直方图：其包括具有对应于室内区域602的峰值702的直方图和具有对应于窗户601的峰值701的直方图，在两个峰值之间具有谷值703。

直方图分析处理单元411在步骤s504中从图像数据生成每一个像素的亮度值的直方图并且检测所生成的直方图具有两个峰值还是仅具有一个峰值。基于作为分析结果的峰值数，处理在步骤s505中分岔。

如果检测到一个或小于一个峰值，则进行将在下面描述的伽马调整处理507。之后，图像处理单元207退出处理。如果检测到两个峰值，则在步骤s506中进行图谱生成处理。如果检测到两个峰值，则直方图分析处理单元411将两个峰值之间的谷值703的亮度值设置到属性生成单元409。可以进行配置以检测到三个或多个峰值，并且可以将区域划分为对应于检测到的峰值数的数量。还可以进行配置以在其中包括较小数量像素(或者如果具有峰值区域的尺寸为小)的情况下，可忽略峰值。

在步骤s506中，图谱生成处理单元412生成图谱。针对检测到两个峰值的图像，图谱在图像上显示区域属于直方图两个峰值中的哪一个。首先，图谱生成处理单元412将图像划分为多个亮度区域。根据该实施例，对象图像604的分辨率为1920×1080且因此被划分为64×36个块603。要生成图谱，可以将这些块划分为像素多于亮度值高于直方图中谷值703的亮度值的块的像素数的2/3的块603及其他块603。图6c例示对应于图6a中例示的图像的图谱。由于窗户部分具有较高亮度，因此可以看到对应于窗户601的区域与其他区域之间的明确划分。动态范围扩展处理单元410将图谱信息和在步骤s505中检测到的峰值数输出到存储器420，并且通信单元209通知客户端120。

在步骤s507中，伽马调整单元413进行伽马调整处理。如果不进行步骤s506中的图谱生成处理，则由图6c中的点线801表示的伽马曲线代表用于调整的伽马。如果生成图谱，则将用于调整的伽马调整为具有由图6c中的实线802(第一输入/输出特性)和803(第二输入/输出特性)代表的特性。如图6c中所示，伽马特性是不连续的。以不连续的亮度处为边界划分亮度区域。换言之，参照图6b，进行调整以减小具有谷值703之后的亮度的区域的亮度，以获取整体动态范围。输出值在对应于谷值703的亮度值处减小，但是可通过使用伽马曲线进行亮度调整，使得可扩展动态范围并且可提高明亮区域的可视性。图像处理单元207的处理至此完成。

接下来，将描述在相机110接收到从客户端120传输的设置参数之后进行的处理。从客户端120接收到的设置参数反映用于图像处理模块(图4中的组件401至409)进行图像处理的参数，并且参照在属性生成单元409中设置的阈值而改变。更具体而言，将对应于直方图的谷值703的值的亮度阈值作为亮度阈值设置到属性生成单元409，并且参照所述值改变图像处理参数。因此，即使在被摄体运动时，如果被摄体相同仍可应用相同的伽马校正。并且，维持要对具有较高亮度的像素进行的白平衡处理。

接下来，将详细描述白平衡处理。对于白平衡，将提供包括自动设置和手动设置两种操作模式。可由客户端120指定一种操作模式。下面将描述由客户端进行的操作。

如果指定白平衡自动设置模式，则也将表示白平衡测量区域的区域信息从客户端120传输到相机110。在白平衡手动设置模式下，从客户端120接收关于白平衡的色温信息和光源信息。如果在步骤s504中通过直方图分析检测到两个区域，则可针对两个区域中的每一个设置手动设置模式或自动设置模式。因此，从相机110接收到两条设置信息。

如果选择自动设置模式，则可从客户端120指定的测量区域提取确定为处于白色的像素(例如，可以提取像素值最接近对应于白色的值的像素，不包括噪声)。计算色彩转换系数，所述色彩转换系数使得提取的被确定为处于白色的像素的值更接近对应于白色的值。将基于所计算系数的色彩转换处理应用于处理对象的所有像素以进行白平衡调整。另一方面，如果没有从客户端120指定测量区域，则从基于图谱划分的区域提取确定为处于白色的像素。针对每一个区域计算色彩转换系数，并且对所述区域进行色彩转换以实现白平衡调整。

在手动设置模式下，对基于图谱划分的每一个区域进行基于客户端120指定的色温和光源信息的白平衡调整。在亮度值高于阈值的像素与亮度值等于或低于阈值的像素之间应用不同处理参数来设置白平衡。

对于除白平衡调整以外的图像处理(诸如，降噪处理、锐度处理、对比度调整和饱和度调整)，也可参照在属性生成单元409中设置的亮度阈值来改变处理设置。

图13例示基于属性生成单元409设置的阈值用于图像处理单元207的组件的参数的改变。对于图像处理单元207的每一个组件，可基于与属性生成单元409设置的亮度阈值的比较结果来定义处理细节。针对白平衡调整，为亮度值低于阈值的较暗区域设置自动，为亮度值等于或高于阈值的较亮区域设置手动(5500k)。针对降噪和锐度，同样以图13中所示的方式设置参数。

例如，针对降噪，与亮度值低于阈值的区域相比，对亮度值等于或高于阈值的明亮区域设置用于进行较弱降噪的参数。针对锐度、对比度和饱和度调整，与亮度值低于阈值的区域相比，对亮度值等于或高于阈值的明亮区域设置用于进行较强降噪的参数。以上述方式，根据合成明亮区域的区域改变参数可实现更高的色彩再现性。

接下来，将描述在客户端120中进行的处理。在客户端120中，可显示从相机110分配的运动图像，并且可定义与通过相机110进行的拍摄相关的设置以及与网络相关的设置。

接下来，将参照图12描述用户定义的用于白平衡的设置。首先，在步骤s1201中，客户端120在转换为用于白平衡设置的模式之后针对相机110确定是否已更新了图像处理单元207在步骤s504中检测到的峰值数以及在步骤s505中生成的图谱。如果已经更新，则在步骤s1202中由相机110中的通信单元209分配并且在步骤s1203中由客户端120中的通信单元306接收，在步骤s504中在图像处理单元207中检测到的峰值数以及在步骤s505中生成的图谱。

接下来，在步骤s1204中，通信单元306从相机110接收分配的图像。在步骤s1205中，显示单元307在用户所用的监控器或显示设备的显示画面上在从相机110分配的捕获的图像上方显示接收到的图谱。在该情况下，图谱上具有不同输入/输出特性的区域可以位于一个帧内或可以不同色彩显示，或者其中一个区域可以闪烁。另一选择是，在点击要选择的区域时，可显示对应于输入/输出特性的字符串或符号。

图7例示用于用户选择白平衡调整区域和白平衡调整方法(操作模式)的显示画面的示例。图7是例示其中拍摄了具有窗户的房间并且左侧具有明亮窗户而人物在外部行走的示例的示意图。图7中的示例在房间内部还具有另一人物以及植物。用户可针对基于显示的图谱划分的每一个区域选择用于白平衡调整的白色基准的选择区域。参照图7，将应用互不相同的伽马曲线的区域显示为使得可将窗户外部的明亮区域1001与通过拍摄房间内部获取的比窗户外部暗的区域1002区分开的图谱。因此，可选择对应于每一个区域的白平衡调整方法。

在该情况下，多个白平衡调整模式适用于指定区域，并且可选择用于自动处理的模式或者用于手动选择一种类型环境的光源或色温的模式。在图7中所示的示例中，用户可针对对应于区域1001的区域1和对应于区域1002的区域2从所显示的白平衡调整模式逐一选择选择字段1006和选择字段1007。白平衡调整模式可以包括“awb(自动白平衡)”、“荧光3000k、4000k、6500k(荧光灯和色温开尔文)”、“室内(房间内部)”以及“室外(房间外部)”。可以下拉格式显示模式以供选择。每一个区域默认设置为“自动”，并且可选择选择字段1006来设置“手动”。

在自动处理的模式下，可通过进行拖放操作将图像上的任意位置(诸如，图7中的区域1003和区域1004)指定为用于测量基于图谱划分的每一个区域的白平衡的区域。因此，为了提高白平衡校正精度，用户可预先指定作为白色基准的区域(参照区域)。参照图7，可以为白色墙壁指定矩形1004以实现预期的白平衡校正精度。

在用户指定白平衡测量区域的情况下，将表示测量区域的区域信息传输到相机110作为图像处理单元207中wb调整单元405的设置值。用户指定并传输到相机110的区域的形状可以是除矩形以外的任意形状。在用户没有具体指定白平衡区域的情况下，将“自动”通知给相机110，以便在相机110中对基于图谱划分的每一个区域自动进行白平衡调整。

根据本公开，对每一条伽马曲线应用白平衡校正，以便可针对具有照度差或环境差的区域精确地再现色彩。

根据该实施例，根据具有高亮度或低亮度的亮度区域而非位置区域改变要进行的处理。因此，例如，在因相机摇动或倾斜等不同方式所致的视角不同的场景中或者在明亮被摄体在夜晚进行交通监控的画面上运动的场景中，可针对具有照度差或环境差的区域精确地再现色彩。

实施例2

接下来，将描述本公开的实施例2。根据实施例1，对一个图像的明亮部分进行直方图分析，并且针对基于亮度划分的部分区域使用不同伽马调整值(伽马曲线)生成图像，以使明亮部分和较暗部分可具有不同白平衡。根据实施例2，将多个具有不同曝光的图像进行合成以生成合成图像。

相同数字在实施例1和实施例2中指代相同组件和处理，并且将省略对这些具有相似配置或功能的组件和处理的重复描述。

根据该实施例，在彼此具有不同曝光的拍摄条件下获取两个帧(捕获的图像)，并且通过根据实施例1的方法对所述帧中对应于较亮被摄体的一个帧进行直方图分析、显影处理和伽马调整处理。之后，将两个帧进行合成以作为合成图像输出。要捕获的具有不同曝光并且要合成的图像数并不限于两个，可对三个或更多捕获的图像进行合成。为简单描述，根据该实施例对对应于整个拍摄区域的帧进行合成。然而，本公开的实施例并不局限于此，可以对捕获的图像的至少一部分进行合成。

首先，将参照图8描述在图像处理单元207中进行的操作的流程。如同实施例1，根据该实施例，在步骤s1101中，图像处理单元207接收用于要合成的帧的图像，并确定是否已对所述图像进行了显影处理。根据该实施例，获取在彼此曝光不同的条件下捕获的两个图像。对于获取不同的曝光条件，可以应用不同的快门速度和/或不同的摄像元件增益。如果接收到所需要合成的图像数，则处理进行到步骤s503。否则，处理返回步骤s501。

接下来，在步骤s503中，与根据实施例1的步骤s503同样地，确定是否已从客户端120传输了生成图谱的指令。接下来，将描述根据实施例2的图谱生成。如果指示生成图谱，则与实施例1同样地，在步骤s504中进行直方图分析，并且在步骤s505中确定峰值数。此处假设直方图分析处理单元411对高ev帧进行直方图分析，将在下面进行描述。由于应用的直方图分析方法与实施例1的方法相同，因此将省略重复描述。接下来，将进一步详细描述高ev帧和低ev帧。图9a例示使用针对明亮目标的曝光捕获的帧(下文称为高ev帧)，而图9c例示使用针对黑暗目标的曝光捕获的帧(下文称为低ev帧)。当在对应于黑暗内部的区域中可获得接近适当值的曝光时，图9c中的低ev帧在对应于明亮窗户外部的区域中过曝光(whiteout)。此处，ev代表曝光值。

如果在步骤s505中峰值数等于2，则在步骤s506中生成图谱。由于该实施例假设合成具有不同曝光的两个帧，因此图谱将基于多个图像的合成比率。更具体而言，从较低亮度侧，产生的图谱具有四个种类：具有100％低ev帧率的区域、低ev帧与高ev帧的混合区域、具有100％高ev帧率的区域以及具有100％高ev帧率并且具有多个检测到的具有不同伽马特性的峰值的区域。可以对高ev帧或低ev帧进行图谱生成。图10b例示根据该实施例基于图9a至图9d中的图像捕获场景生成的图谱的示例。

参照图10b，图10b中的黑暗阴影区域1401具有100％低ev帧率。最宽区域1402是低ev帧与高ev帧的混合区域。由于房间内部的人物显示得较亮，因此区域1403对应于具有100％高ev帧率的区域。显示窗户外部的区域1404显示得最亮，具有100％高ev帧率并且具有多个检测到的具有不同伽马特性的峰值。因此，将生成的图谱传输到客户端120。

此后，以与实施例1相同的方式进行步骤s507中的处理。图9b例示通过对图9a中所示的使用针对明亮目标的曝光捕获的图像进行直方图分析且然后进行显影和伽马调整处理而获取的图像。伽马调整将窗户外部明亮区域的亮度降低到合适亮度。

接下来，在步骤s1103中，wdr合成处理单元414对高ev帧伽马调整之后的图像和低ev帧进行合成处理。将参照图10a描述wdr合成处理单元414的合成处理。图10a的横轴表示基准亮度，纵轴表示用于合成图像的合成比率。实线1301表示低ev帧相对于基准亮度的合成比率，并且点划线1302表示高ev帧合成比率相对于基准亮度的合成比率。低ev帧仅可以用于比合成的基准亮度的阈值y1暗的区域，而高ev帧仅可以用于比基准亮度的阈值y2亮的区域。在接近基准亮度阈值的边界y1至y2之间的中间区域中，可以逐渐改变合成比率以使图像之间的过渡平滑。根据该实施例，将高ev帧用作基准亮度。

图9d例示合成处理之后的图像。对图9a和图9c中的图像进行合成将产生具有可代表从明亮区域到黑暗区域的较宽动态范围的图像。除图谱信息中表示的区域数等于4之外，以与实施例1中相同的方式进行客户端120中的处理。

根据该实施例，可在wdr拍摄中对每一条伽马曲线应用白平衡校正，以便可针对具有照度差或环境差的区域精确地再现色彩。

根据该实施例，根据具有高亮度或低亮度的亮度区域而非位置区域改变要进行的处理。因此，例如，在因相机摇动或倾斜等不同方式所致的视角不同的场景中或者在明亮被摄体在夜晚进行交通监控的画面上运动的场景中，可针对具有照度差或环境差的区域更精确地再现色彩。

实施例3

接下来，将描述本公开的实施例3。根据实施例1和实施例2，为基于亮度划分的范围设置不同的伽马调整值来进行白平衡调整。另一方面，根据实施例3，将不同的伽马调整值和优先模式应用于基于亮度划分的范围。相同数字在实施例1至实施例3中指代相同组件和处理，并且将省略对这些具有相似配置或功能的组件和处理的重复描述。

下面将描述要在客户端中进行的操作。图11a例示供用户设置的显示画面(gui)的示例。用户可基于在客户端120中的显示画面上叠加的图谱信息选择高优先级模式，诸如“运动优先”、“噪声优先”或“分辨率优先”。根据该实施例，图谱最多具有四个区域。然而，例如，在改变快门速度的情况下，根据该实施例对两个图像进行合成。因此，由于可能不将低ev帧和高ev帧划分成具有不同伽马特性的区域，因此可根据选择的模式减少要向用户显示的区域数。

图11b例示在应用用户选择的优先模式的情况下相机设置的改变的示例。将以针对图11a中所示的区域601选择“运动优先”的情况为例进行描述。

参照图11b，对应于区域601的帧的快门速度与选择其他项目的情况相比具有较快值。此产生具有较少运动模糊的图像。根据实施例1，由于可减小降噪强度从而减少运动模糊，因此该方法适用。

在区域602中设置“分辨率优先”的情况下，可进行图11b中所示的诸如边缘强度的锐度调整或伽马曲线调整，以获取具有高对比度和高清晰感的图像。应注意，可进行校正以减小降噪强度来增强对比度。

根据本公开，针对每一条不同的伽马曲线选择优先模式，以便可针对具有照度差和环境差的每一个区域设置诸如具有较少运动模糊、较低噪声和高锐度的详细设置，以获取用户期望的图像。

根据该实施例，主要描述彼此应用不同的伽马曲线的区域(诸如，第一区域和第二区域)。然而，本公开也适用于彼此应用不同的曝光设置的区域。更具体而言，在将不同曝光校正应用于合成图像的区域的情况下，可以针对每一个区域定义根据前述实施例的校正处理以供应用。

实施例4

接下来，将描述本公开的实施例4。在为基于亮度划分的每一个范围设置不同的伽马调整值来根据实施例1和实施例2执行白平衡调整时，根据实施例4进行对焦调整。相同数字在实施例1、实施例2和实施例4中指代相同组件和处理，并且将省略对这些具有相似配置或功能的组件和处理的重复描述。

虽然在该实施例中描述了将根据实施例2的具有不同曝光的多个图像进行合成以生成合成图像，但该实施例也适用于基于实施例1的一个图像。

图14例示根据该实施例的图像处理单元207的配置的细节。根据该实施例，图像处理单元207中的显影处理单元400具有对焦评估值获取单元1701。对焦评估值获取单元1701配置为获取针对具有不同曝光的多个图像中的每一个图像在指定区域上对焦的评估值。

接下来，将参照图15描述由拍摄系统控制单元206和图像处理单元207进行的操作的流程。根据该实施例，在步骤s501中接收图像之后，对焦评估值获取单元1701获取对焦评估值(步骤s1501)。由于步骤s502和步骤s1101中的后续处理与实施例2的处理相同，因此将省略重复描述。

接下来，在步骤s1502中，使用在步骤s1501中获取的对焦评估值进行对焦处理。对焦评估值针对用户指定的区域并且针对具有不同曝光的图像中对应的一个图像保存。在该步骤中，基于用户指定曝光的图像的对焦评估值驱动对焦操作。

下面将详细描述用户指定区域和对焦评估值。用户可以与实施例1和实施例2中相同的方式从图10b中所示的图谱的区域1401至1404中选择用于对焦判断的区域。

如果用户选择区域1401，则由于区域1401具有100％低ev帧率，因此基于低ev帧计算对焦评估值。如果用户选择区域1403或区域1404，则由于区域1403和区域1404具有100％高ev帧率，因此基于高ev帧率计算对焦评估值。

区域1402是低ev帧与高ev帧的混合区域。如果用户选择区域1402，则可以使用高ev帧或低ev帧。根据该实施例，采用帧的对焦评估值较高的一个。

由于后续步骤s503至s1103中的处理与实施例2中的相同，因此将省略重复描述。

通过如上所述的配置，用户可指定将要对焦的区域。这意味着用户可选择要对焦的区域以及用于提高期望区域的可视性的曝光。由于指定曝光来获取对焦评估值，因此即使在被摄体运动的情况下，仍可获取稳定的评估值而非根据被摄体运动而变化的值。

可以独立于该实施例设置是否可执行在实施例1和实施例2中进行的步骤s507中的伽马调整处理。

其他实施例

虽然根据实施例1和实施例2进行白平衡调整，根据实施例3进行图像参数调整并根据实施例4进行对焦调整，但是可以根据其他实施例在指定区域上有选择地进行多个调整。

图16例示用户设置可用的显示画面(gui)的示例。用户可基于在客户端120呈现的显示画面上叠加的图谱信息，选择要调整的诸如“噪声优先”、“对焦”和“白平衡”等多个模式。然而，仅使用一条图谱信息即可设置对焦。

因此，可针对用户关注的曝光区域有选择地同时设置调整处理，以便可容易地获取期望的图像。

上述实施例可便于用户识别应用不同伽马曲线的区域，以便可易于对每一个区域进行诸如白平衡调整的校正处理并且可实现较高的色彩再现性。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围赋予最宽泛的解释，以使其涵盖所有这些变型例以及等同的结构及功能。