图像处理设备及其控制方法与流程

本发明涉及一种图像处理设备及其控制方法，尤其涉及用于校正图像的明度的技术。

背景技术：

传统上，已知有用于通过向图像中的被摄体应用虚拟光效果来校正该被摄体的暗部的明度的技术(日本特开2010-135996)。这样使得可以在拍摄之后调整环境光所产生的被摄体的阴影(shading)。

被摄体的阴影依赖于被摄体的三维形状和照射被摄体的光的方向。此外，照射被摄体的光的方向依赖于虚拟光源和被摄体之间的相对位置关系。因此，在用于使用虚拟光来校正被摄体的阴影的重新照亮(re-lighting)处理中，需要适当地确定虚拟光源的位置。然而，在日本特开2010-135996所述的技术中，为了减少被摄体的阴(shade)的目的，在与环境光相反的方向上照射被摄体，因此利用重新照亮处理可以实现的阴影的调整受到限制。

技术实现要素：

本发明是有鉴于这种传统技术的问题而作出的，并且提供如下的图像处理设备及其控制方法，其中该图像处理设备可以通过灵活地控制重新照亮处理所使用的虚拟光源的位置来校正被摄体的阴影。

根据本发明的方面，提供一种图像处理设备，包括：计算部件，用于针对图像中的被摄体区域来计算表示阴影的状态的评价值；设置部件，用于基于所述评价值来设置虚拟光源；以及校正部件，用于将所述虚拟光源所照射的虚拟光的影响施加到所述图像中。

根据本发明的另一方面，提供一种摄像设备，包括：根据本发明的图像处理设备；以及摄像部件，用于通过拍摄来获取所述图像。

根据本发明的又一方面，提供一种图像处理设备的控制方法，包括以下步骤：计算步骤，用于针对图像中的被摄体区域来计算表示阴影的状态的评价值；设置步骤，用于基于所述评价值来设置虚拟光源；以及校正步骤，用于将所述虚拟光源所照射的虚拟光的影响施加到所述图像中。

根据本发明的又一方面，提供一种图像处理设备，包括：计算部件，用于计算表示图像中的关注区域的对比度的评价值；获取部件，用于获取照射所述图像中的关注区域的环境光的照射方向；设置部件，用于基于所述计算部件所计算出的评价值和所述获取部件所获取到的环境光的照射方向，来设置虚拟光源；以及校正部件，用于通过将所述虚拟光源的照明效果施加到所述图像中的关注区域内，来校正所述图像中的关注区域的对比度。

根据本发明的另一方面，提供一种图像处理设备的控制方法，包括以下步骤：计算步骤，用于计算表示图像中的关注区域的对比度的评价值；获取步骤，用于获取照射所述图像中的关注区域的环境光的照射方向；基于所述计算步骤中所计算出的评价值和所述获取步骤中所获取到的环境光的照射方向，来设置虚拟光源；以及通过将所述虚拟光源的照明效果施加到所述图像中的关注区域内，来校正所述图像中的关注区域的对比度。

根据本发明的又一方面，提供一种程序，用于使计算机用作根据本发明的图像处理设备。

根据本发明的再一方面，提供一种计算机可读存储介质，用于存储根据本发明的程序。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出本发明中的数字照相机的结构的框图。

图2是示出本发明中的图像处理单元的结构的框图。

图3A是示出本发明的第一实施例中的阴影状态检测单元所进行的处理的流程图。

图3B是示出被摄体和被摄体区域的示例的示意图。

图4是示出第一实施例中的虚拟光源控制单元所进行的处理的流程图。

图5是用于说明第一实施例中的用于确定虚拟光的照射方向的方法的示意图。

图6A是示意性示出第二实施例中的被摄体和虚拟光源之间的关系的图。

图6B是示意性示出第二实施例中的被摄体和虚拟光源之间的关系的图。

图7是示出第二实施例中的虚拟光源控制单元所进行的处理的流程图。

具体实施方式

现在将根据附图来详细说明本发明的典型实施例。

第一实施例

图1是示出作为根据本发明的第一实施例的图像处理设备的示例的数字照相机100的结构的示例的框图。本发明的特征在于应用于拍摄图像的图像处理，并且更具体地，本发明的特征在于重新照亮处理的方法。因此，与拍摄或记录有关的结构并非必须的。

在图1中，透镜组101是包括调焦透镜的变焦镜头。在透镜组101和摄像单元103之间设置配备有光圈功能的快门102。摄像单元103具有用于将透镜组101在摄像面上形成的光学图像转换成以像素为单位的电气信号的、以CCD或CMOS图像传感器为代表的图像传感器。A/D转换器104将摄像单元103所输出的模拟信号转换成数字信号(图像数据)。

图像处理单元105对从A/D转换器104输出的图像数据进行诸如颜色插值(去马赛克)、白平衡调整和伽玛校正等的各种图像处理。图像处理单元105还对拍摄图像进行重新照亮处理。图像存储器106临时存储图像数据。存储器控制单元107控制相对于图像存储器106的(图像数据的)写入/读取。D/A转换器108将图像数据转换成模拟信号。显示单元109具有诸如LCD或有机EL显示器等的显示设备，并且显示各种GUI、实时取景图像和从记录介质112读出并再现的图像等。编解码单元110利用预定方法对图像存储器106中所存储的图像数据进行编码以将该图像数据记录到记录介质，并且对图像文件中所包括的编码图像数据进行解码以例如显示该图像数据。

接口(I/F)111例如使诸如半导体存储卡或卡型硬盘等的可拆卸的记录介质112以机械和电气方式连接至数字照相机100。系统控制单元50例如可以是诸如CPU或MPU等的可编程处理器。系统控制单元50例如通过执行非易失性存储器121或内置非易失性存储器中所记录的程序以控制所需的块和电路，来实现数字照相机100的各功能。

面部检测单元113检测拍摄图像中所包括的面部区域，并且针对所检测到的各面部区域获得诸如位置、大小和可靠度等的面部信息。注意，面部检测单元113可以使用诸如以下方法等的任意方法来检测面部区域：使用以神经网络为代表的学习的方法；或者用于使用模板匹配在图像区域中发现诸如眼睛、鼻子或嘴等的特征部位并且在相似度高的情况下识别出面部的方法。

操作单元120整体指代用户向数字照相机100输入各种指示所使用的诸如按钮和开关等的输入装置。在显示单元109是触摸显示器的情况下，在操作单元120中包括触摸面板。在操作单元120中还可以包括以诸如语音输入或眼睛注视输入等的非接触方式输入指示的类型的输入装置。

非易失性存储器121例如是电可擦除且可记录的EEPROM等。非易失性存储器121存储各种设置值和GUI数据、以及在系统控制单元50是MPU或CPU的情况下系统控制单元50要执行的程序。

系统存储器122用于展开系统控制单元50的操作所用的(系统控制单元50的操作中使用的)常数和变量、或者从非易失性存储器121读出的程序等。

接着，将说明数字照相机100所进行的用于拍摄图像的操作。

例如，摄像单元103在快门102打开时，使用图像传感器对透镜组101在摄像面上形成的被摄体图像进行光电转换，并且将该图像作为模拟图像信号输出至A/D转换器104。A/D转换器104将从摄像单元103输出的模拟图像信号转换成数字图像信号(图像数据)，并且将该数字图像信号输出至图像处理单元105。

图像处理单元105对来自A/D转换器104的图像数据或来自存储器控制单元107的图像数据进行诸如同步处理(去马赛克处理)和伽玛校正等的各种图像处理。

此外，在图像处理单元105中，使用通过拍摄所获得的图像数据来进行与亮度和对比度等有关的预定计算处理，并且系统控制单元50基于所获得的计算结果来进行焦点调节或曝光控制。可以在焦点检测或曝光控制中考虑面部检测单元113的检测结果。这样，在本实施例的数字照相机100中，进行使用TTL(通过镜头)方法的AF(自动调焦)处理和AE(自动曝光)处理。此外，在图像处理单元105中，还进行使用拍摄时所获取到的图像数据的自动白平衡(AWB)调整。

将从图像处理单元105输出的图像数据经由存储器控制单元107写入图像存储器106。图像存储器106存储从摄像单元103输出的图像数据和要显示在显示单元109上的图像数据。

此外，D/A转换器108将图像存储器106中所存储的图像显示所用的数据转换成模拟信号并且将该模拟信号供给至显示单元109。显示单元109根据来自D/A转换器108的模拟信号来在诸如LCD等的显示设备上进行显示。

编解码单元110基于诸如JPEG或MPEG等的标准来对图像存储器106中所存储的图像数据进行编码。系统控制单元50向编码后的图像数据分配预定义的头部等以形成图像文件，并且将该数据经由接口111记录至记录介质112。

注意，在当前的数字照相机中，通常在拍摄待机状态中，进行运动图像拍摄并且将所拍摄到的运动图像连续地显示在显示单元109上以使显示单元109用作电子取景器(EVF)。在这种情况下，假定快门102处于打开状态，并且例如使用摄像单元103的所谓的电子快门来进行30帧/秒的拍摄。

此外，如果半按下操作单元120中所包括的快门按钮，则进行上述的AF控制和AE控制，并且如果全按下该按钮，则执行要记录的静止图像的实际拍摄，并且将该静止图像记录至记录介质112。此外，在使用运动图像拍摄按钮等指示运动图像的拍摄的情况下，开始运动图像向记录介质112的记录。

图2是示出与图像处理单元105的重新照亮处理有关的功能结构的示例的框图。注意，图2所示的功能块中的一个或多个可以利用微处理器和软件的组合来实现，或者可以利用诸如ASIC(专用集成电路)或PLD(可编程逻辑装置)等的硬件来实现。PLD包括FPGA(现场可编程门阵列)和PLA(可编程逻辑阵列)等。

注意，可以对以下图像进行重新照亮处理：

-在指定了重新照亮处理的执行的状态下所拍摄到的图像，以及

-例如从菜单画面等指示了重新照亮处理的执行的记录至记录介质112的图像。

注意，假定：在重新照亮处理中需要拍摄时的信息的情况下，从非易失性存储器121或系统存储器122读出该信息，或者从图像文件的头部等获得该信息。

用作重新照亮处理单元的图像处理单元105具有图像信号生成单元201、WB放大单元202、伽玛处理单元203、去伽玛处理单元204、虚拟光添加单元205、再伽玛处理单元206、阴影状态检测单元207和虚拟光源控制单元208。

将从图1的A/D转换器104输入至图1的图像处理单元105的图像信号输入至图像信号生成单元201。图像信号生成单元201对针对各像素具有一个颜色(R、G和B中的任一个)的信息的图像数据进行同步处理(去马赛克处理)，并且生成各像素具有三个颜色(RGB)的信息的图像信号。图像信号生成单元201将所生成的图像信号输出至WB放大单元202。

WB放大单元202根据图像信号计算白平衡增益值，并且将该白平衡增益应用于该图像信号的颜色成分R、G和B。WB放大单元202将白平衡调整之后的图像信号RGB输出至伽玛处理单元203和阴影状态检测单元207。

阴影状态检测单元207基于所输入的图像信号RGB来计算评价值，其中该评价值表示由于在拍摄时照射被摄体的环境光而在被摄体区域上产生的阴影的状态。此外，阴影状态检测单元207检测环境光的照射方向。这里，环境光是在拍摄时照射被摄体的光源，并且包括诸如太阳光或室内照明等的除数字照相机100所控制的光源以外的光源以及诸如内置和/或外部闪光灯等的数字照相机100所控制的光源。阴影状态检测单元207将评价值和环境光的照射方向作为阴影信息输出至虚拟光源控制单元208。后面将说明阴影状态检测单元207的详细操作。

虚拟光源控制单元208基于阴影信息来确定用于对被摄体进行重新照亮的虚拟光的照射方向，并且将该虚拟光的照射方向作为虚拟光源信息输出至虚拟光添加单元205。后面将说明用于确定虚拟光的照射方向的方法的详情。注意，本实施例不依赖于虚拟光源的放射特性(例如，点光源、线光源、面光源)，因此使用表述“虚拟光的照射方向”，但如果例如虚拟光源是点光源，则虚拟点光源将配置在虚拟光的照射方向的延长线上。因此，确定虚拟光的照射方向与确定虚拟点光源所配置的方向同义。

另一方面，伽玛处理单元203向图像信号RGB应用伽玛校正，并且将校正后的图像信号RGB输出至去伽玛处理单元204。注意，在不进行重新照亮处理的拍摄的情况下，伽玛处理单元203将校正后的图像信号RGB经由存储器控制单元107输出至图像存储器106。例如，可以根据用户设置来判断是否要将重新照亮处理应用于拍摄图像。注意，这里给出将重新照亮处理作为拍摄操作的一部分来进行的说明，但还可以通过从记录介质112进行读出来对所记录图像进行重新照亮处理。

去伽玛处理单元204对所输入的图像信号RGB进行去伽玛处理，在伽玛校正之前生成图像信号RGB，并且将该信号输出至虚拟光添加单元205。注意，在进行重新照亮处理的拍摄的情况下，可以采用将图像信号RGB从WB放大单元202直接输入至虚拟光添加单元205的结构。

在虚拟光添加单元205中，基于虚拟光源信息来配置虚拟光源，并且进行用于将虚拟光的效果施加到所输入的图像信号RGB的重新照亮处理。虚拟光添加单元205将经过了重新照亮处理的图像信号RGB输出至再伽玛处理单元206。在再伽玛处理单元206中，将与伽玛处理单元203的处理相同的伽玛校正应用于经过了重新照亮处理的所输入的图像信号，并且将该信号经由存储器控制单元107输出至图像存储器106。

接着，将参考图3A所示的流程图来说明阴影状态检测单元207所进行的详细处理，其中该详细处理用于进行表示环境光所产生的被摄体的阴影状态的评价值的计算以及环境光的照射方向的检测。

在步骤S301中，阴影状态检测单元207在从WB放大单元202输入的图像信号RGB中提取与要经过重新照亮处理的被摄体区域相对应的图像信号。例如，在要对面部检测单元113检测到的人物的面部区域进行重新照亮处理的情况下，阴影状态检测单元207从面部检测单元113获得面部信息并且提取与该面部区域相对应的图像信号RGB。没有特别限制要经过重新照亮处理的被摄体区域，并且该被摄体区域可以是如利用面部检测单元113根据图像的特征而自动检测到的区域，或者可以是用户经由操作单元120所指定的区域。作为示例，以下将说明要对面部区域进行重新照亮处理的情况。

图3B示出人物被摄体和面部区域的示例，并且斜线表示阴影区域(shaded region)。所检测到的面部区域401包括阴影区域。

在步骤S302中，阴影状态检测单元207基于所提取的面部区域401中所包括的图像信号RGB来计算面部区域的明度信息。具体地，如图3B所示，将面部区域401分割成多个块(例如，包括8个纵向块×8个横向块的64个块)，针对各块计算像素的亮度平均值和颜色平均值。注意，例如，进行诸如“RGB→YUV(YCbCr)或RGB→HSL”等的颜色空间转换处理以从RGB的信号值获得亮度信号值和颜色信号值，这就足够了。

在步骤S303中，阴影状态检测单元207计算颜色接近的块之间的对比度值，作为表示要经过重新照亮处理的区域中的被摄体的阴影状态的评价值。例如，阴影状态检测单元207基于颜色平均值来对具有相似颜色的块进行分组，并且在该组中检测平均亮度值最大的块(假定为块402)和平均亮度值最小的块(假定为块403)。然后，计算最大平均亮度值相对于最小平均亮度值的比作为对比度值。注意，可以预先定义针对类似颜色的判断条件。此外，在可以预先假定要经过重新照亮处理的区域的颜色的情况下，可以采用如下结构：预先定义所假定的颜色信号的范围，并且针对具有该范围内的颜色信号值的块计算对比度值。例如，在要对面部区域进行重新照亮处理的情况下，可以预先定义作为肌肤颜色所假定的颜色信号的范围并且针对具有该范围内的颜色信号值的块计算对比度值。注意，在针对多个组计算对比度值的情况下，阴影状态检测单元207可以输出一个值作为代表值，或者可以输出所有的值。例如，代表值可以是最大的对比度值。

在步骤S304中，阴影状态检测单元207估计环境光的照射方向。阴影状态检测单元207使用各种已知方法来估计环境光的照射方向。例如，在被摄体中可以检测到发生了规则反射的(最明亮)区域，使得估计出从相对于该区域的法线向量与视点位置对称的位置向着该区域的方向作为环境光的照射方向。此外，如果被摄体区域是人物的面部区域，则可以检测到诸如鼻子等的器官，使得可以估计出与该区域的阴(shade)或影(shadow)的方向相反的方向作为环境光的照射方向。阴影状态检测单元207将所计算出的对比度值和所估计的环境光的方向信息作为阴影信息输出至虚拟光源控制单元208。

接着，将说明虚拟光源控制单元208所进行的、用于基于阴影信息和与环境光的照射方向有关的信息来确定虚拟光的照射方向的虚拟光源控制处理。

图5是示意性示出如从正上方观看到的、用于应用重新照亮处理的被摄体区域与环境光和虚拟光的照射方向之间的关系的图。这里，与图3B相同，假定向面部区域401应用重新照亮处理。

在图5中，为了简单，利用平面表示作为用于应用重新照亮处理的被摄体区域的面部区域401。此外，法线向量602是表示面部区域401的方向的代表法线向量。可以使用已知方法来计算表示被摄体区域的方向的法线向量。例如，可以通过根据被摄体区域中所包括的被摄体的距离信息估计被摄体的三维形状来计算法线向量。例如，被摄体的距离信息可以是基于聚焦部分和焦距之间的关系、根据在焦点检测处理中改变焦距时所获取到的多个图像而获取到的，或者可以是根据使用测距传感器所获取到的距离图像而获取到的，但(距离信息的获取)不限于此。

此外，如被摄体区域是人物的面部区域的情况那样，在具有特征部位(其中，这些特征部位的大小和形状以及这些特征部位的位置关系根据被摄体的方向而改变)的区域的情况下，可以通过基于这些特征部位的检测结果估计被摄体的方向来计算代表法线向量。例如，在面部区域的情况下，使用针对面部的轮廓以及诸如眼睛和鼻子等的器官的检测结果作为特征部位以估计面部的方向，并且可以计算代表法线向量。

此外，可以通过针对通过分割被摄体区域所创建的各个区域对表示被摄体的方向的法线向量进行平均，来计算该法线向量。可选地，可以使用要经过重新照亮的被摄体区域的中心或重心位置处的法线向量作为表示被摄体的方向的代表法线向量。

环境光603从阴影状态检测单元207所估计出的方向照射代表法线向量602和面部区域401相交的坐标(像素)610。附图标记604a是从虚拟点光源604a’照射坐标610的虚拟光的图像，并且附图标记604b是从虚拟点光源604b’照射坐标610的虚拟光的图像。虚拟点光源604a’和604b’相对于法线向量602配置于对称位置。这里，如果假定由法线向量和照射方向形成的角度在逆时针方向上取正值，则由虚拟点光源604a’和法线向量形成的角度以及由虚拟点光源604b’和法线向量形成的角度的绝对值相同且符号相反。注意，适当地定义虚拟点光源604a’和面部区域401之间的距离以及虚拟点光源604b’和面部区域401之间的距离就足够了。

接着，将参考图4的流程图来说明虚拟光源控制单元208的详细处理。

在步骤S501中，虚拟光源控制单元208例如从系统控制单元50获取使用重新照亮处理所实现的对比度值的目标值。例如，可以将该目标值预先设置在非易失性存储器121中。注意，可以根据要进行重新照亮处理的被摄体区域的类型来设置不同的目标值。

在步骤S502中，虚拟光源控制单元208获取阴影状态检测单元207在拍摄图像中检测到的由于环境光而产生的对比度值。

在步骤S503中，虚拟光源控制单元208将所检测到的对比度值与目标值进行比较。在所检测到的值大于目标值的情况下，过程进入步骤S504，并且在所检测到的值小于或等于目标值的情况下，过程进入步骤S505。

在判断为由于环境光所引起的被摄体区域的对比度高的情况下，过程进入步骤S504。因此，在步骤S504中，虚拟光源控制单元208确定虚拟光的照射方向，使得由虚拟光的照射方向和法线向量602形成的角度α的符号与由环境光的照射方向和法线向量602形成的角度β的符号相反。注意，可以认为，角度α是将虚拟光源的坐标和法线向量的起点(法线向量和被摄体区域的交点)连结的线与法线向量所形成的角度。同样，可以认为，角度β是将环境光源的坐标和法线向量的起点(法线向量和被摄体区域的交点)连结的线与法线向量所形成的角度。

在图5的示例中，例如，虚拟光604b的照射方向可以是相对于法线向量602成-45度的方向(α＝-45°)，或者可以是与环境光以夹持法线向量602的方式对称的方向(-β)。然而，这些仅是示例，并且虚拟光的照射方向的确定不限于此，只要可以使用虚拟光来校正被摄体的阴影部分以使其变明亮并且可以降低被摄体区域的对比度即可。在确定了虚拟光的照射方向的情况下，虚拟光源控制单元208使过程进入步骤S508。

另一方面，在判断为由于环境光所引起的被摄体区域的对比度低的情况下，过程进入步骤S505。因此，虚拟光源控制单元208确定虚拟光源的配置，使得环境光和虚拟光的照射区域重叠，由此提高对比度。

具体地，在步骤S505中，虚拟光源控制单元208判断所检测到的对比度值是否小于预定的下限阈值。在该值小于预定的下限阈值的情况下，过程进入步骤S506，并且在该值大于或等于预定的下限阈值的情况下，过程进入步骤S507。

在环境光大致从正面大致均匀地照射被摄体区域、并且几乎没有由于环境光而产生阴影的情况下，过程进入步骤S506。在这种情况下，由于被摄体的立体效果差，因此使用虚拟光的重新照亮处理向被摄体添加自然阴影以提高被摄体的立体效果。因此，虚拟光源控制单元208确定虚拟光的照射方向，使得由虚拟光的照射方向和法线向量602所形成的角度α的符号与由环境光的照射方向和法线向量602所形成的角度β的符号相同。特别地，在步骤S506中，虚拟光源控制单元208确定虚拟光的照射方向，使得由虚拟光的照射方向和法线向量602所形成的角度α的绝对值在以45°为中心的预定范围内，从而提高对比度。这是因为，如果以相对于法线向量602成45°的角度照射一般的被摄体，则经常实现了适当的对比度。具体地，虚拟光源控制单元208可以将由虚拟光的照射方向和法线向量602所形成的角度α的绝对值确定为处于45°±15°、优选为45°±10°并且更优选为45°±5°的范围内。当然可以将角度α的绝对值设置为固定值α＝45°。在确定了虚拟光的照射方向的情况下，虚拟光源控制单元208使过程进入步骤S508。

在由于环境光而在被摄体上产生了特定量的阴影、但无法实现目标对比度的情况下，过程进入步骤S507。此外在这种情况下，使用虚拟光的重新照亮处理向被摄体添加自然阴影以提高被摄体的立体效果。因此，虚拟光源控制单元208确定虚拟光的照射方向，使得由虚拟光的照射方向和法线向量602所形成的角度α的符号与由环境光的照射方向和法线向量602所形成的角度β的符号相同。然而，由于因环境光而获取到特定量的对比度，因此不同于步骤S506的情况，没有限制角度α的范围。

然而，从与没有经过重新照亮处理的其它区域的阴影的协调的观点，可以使用环境光的照射方向作为基准来确定虚拟光的照射方向。在这种情况下，虚拟光源控制单元208可以确定由虚拟光的照射方向和法线向量602所形成的角度α的绝对值处于|β|±15°、优选为|β|±10°且更优选为|β|±5°的范围内。可选地，可以确定α＝β、即虚拟光的照射方向与环境光的照射方向相同。在确定了虚拟光的照射方向的情况下，虚拟光源控制单元208使过程进入步骤S508。

在步骤S508中，虚拟光源控制单元208将所确定的虚拟光的照射方向作为虚拟光源信息输出至虚拟光添加单元205。注意，虚拟光源控制单元208可以将与预先设置的虚拟光源的位置(从虚拟光源到被摄体的距离)有关的信息作为虚拟光源信息输出至虚拟光添加单元205。

接着，将说明虚拟光添加单元205的用于施加虚拟光的效果的重新照亮处理。在本实施例中，虚拟光添加单元205根据以下等式来计算利用虚拟光所照射的要经过该处理的像素的输出RGB值(Rout,Gout,Bout)。

Rout＝[Rt+A*cos(θ)*(1/D^2)*Rv]/M

Gout＝[Gt+A*cos(θ)*(1/D^2)*Gv]/M

Bout＝[Bt+A*cos(θ)*(1/D^2)*Bv]/M

这里，(Rt,Gt,Bt)是要经过该处理的像素值，A是表示虚拟光源的强度的预定常数，D是虚拟光源和要经过重新照亮的区域内的被摄体之间的距离，并且(Rv,Gv,Bv)是光源反射颜色。此外，M是用于对重新照亮之后的输出RGB值进行标准化的预设常数，角度θ是由虚拟光源控制单元208所确定的虚拟光的照射方向和要经过该处理的像素的被摄体的法线向量所形成的角度。这里，针对要经过重新照亮的区域的各像素来计算被摄体的法线向量，并且可以根据法线向量的方向和虚拟光的照射方向来计算角度θ。

可选地，如图3B所示，可以通过将要经过重新照亮的被摄体区域分割成多个块并且针对各块计算法线向量，来针对各块计算角度θ。可选地，在如要经过重新照亮的区域是人物的面部区域的情况那样、预先假定要经过重新照亮处理的区域中所包括的被摄体的三维形状的情况下，可以通过根据该区域中的像素的位置估计与要经过该处理的像素相对应的被摄体的法线向量来计算角度θ。

此外，光源反射颜色(Rv,Gv,Bv)表示虚拟光通过被摄体表面反射时的颜色，并且可以根据预设的虚拟光源颜色和要经过处理的像素的颜色来进行估计。此外，根据对比度值的检测值和目标值之间的差来确定虚拟光源的强度A就足够了。因此，关于对比度值的检测值小于对比度下限阈值的情况和对比度值的检测值大于或等于对比度下限阈值的情况，在前者的情况下所确定的虚拟光源的强度A更大。对比度值的检测值和目标值之间的差与强度A的具体关系可以是预先定义的。

如上所述，在本实施例中，针对要经过重新照亮处理的被摄体区域来计算表示阴影的状态的评价值，并且确定虚拟光的照射方向，使得评价值接近目标值。具体地，确定虚拟光的照射方向，以在评价值小于目标值的情况下增加由于环境光而产生的阴影，并且在评价值大于目标值的情况下减少由于环境光而产生的阴影。因此，不仅可以实现减少环境光所引起的阴影的重新照亮处理，而且还可以实现增加环境光所引起的阴影的重新照亮处理。此外，由于基于根据阴影的缺少而改变的方向来确定照射方向，因此可以实现重视有效地增加阴影的调整和重视与环境光的协调的调整。

注意，在本实施例中，说明了使用与对比度有关的信息作为表示要经过重新照亮处理的区域的阴影状态的评价值的情况，但还可以使用其它评价值。例如，可以检测由于环境光而产生的被摄体的阴影区域，并且可以使用表示该区域的边界的特性的信息作为表示阴影的状态的评价值。具体地，计算被摄体的阴影区域的边界附近的明度的梯度，并且可以确定虚拟光的照射方向，以在该梯度大于(小于)预定目标的情况下减少(增加)由于环境光而产生的阴影。这样使得能够进行在被摄体的阴影的边界明确的情况下使被摄体的阴影区域的边界变得不明显、并且在被摄体的阴影不明确的情况下强调被摄体的阴影的重新照亮处理，由此使得可以获取到具有良好阴影的图像。

此外，可以计算被摄体区域中的阴影的面积，以使用该结果作为表示被摄体的阴影的状态的评价值。具体地，计算构成被摄体区域的阴影区域的比例，并且在该比例大于预定目标的情况下，可以确定虚拟光的照射方向以减弱由于环境光而产生的阴影。此外，在该比例小于预定目标的情况下，虚拟光源控制单元208使被摄体区域的亮度减少了所确定的量，并且增加阴影的面积(平均亮度值小于或等于预定义阈值的区域的面积)。然后，可以确定虚拟光的照射方向，使得角度α的符号和角度β的符号相同，并且角度α的绝对值大于或等于角度β的绝对值。因此，能够进行在被摄体区域中存在大量阴影的情况下减少阴影的面积、并且在被摄体区域中阴影较少的情况下增加阴影的面积的重新照亮处理，由此使得可以获取到具有良好阴影的图像。

此外，可以计算被摄体区域的像素的亮度直方图，使得根据该亮度直方图的频度分布的偏差来确定虚拟光的照射方向。具体地，使用与比预定阈值小的亮度值范围相对应的频度的合计值作为评价值，并且在该评价值大于预定目标的情况下，可以确定虚拟光的照射方向以减弱由于环境光所引起的阴影。此外，在评价值小于预定目标的情况下，虚拟光源控制单元208可以使被摄体区域的亮度减少预定量，并且确定虚拟光的照射方向，使得角度α和角度β具有相同的符号，并且角度α的绝对值大于或等于角度β的绝对值。

此外，在本实施例中，给出了预先定义表示阴影的状态的评价值的目标值的说明，但可以动态地设置目标值。例如，可以设置与用于拍摄图像的拍摄模式或照相机参数相对应的目标值。基于照相机参数的目标值的动态设置的示例包括与记录图像时所使用的或者伽玛处理单元203所使用的伽玛曲线的特性相对应的目标值的设置。例如，在伽玛曲线的特性(形状)是强烈地表现对比度的特性的情况下，可以设置高的目标值，并且在伽玛曲线的特性(形状)是微弱地表现对比度的特性的情况下，可以设置低的目标值。

此外，可以根据位于要经过重新照亮处理的区域的背面或周围的背景被摄体的对比度来设置目标值。具体地，通过在背景被摄体的对比度高(低)的情况下设置高(低)的目标值，可以使要经过重新照亮处理的被摄体的对比度更接近周围被摄体的对比度。因此，可以抑制由于重新照亮处理所引起的不自然感。

此外，在本实施例中，说明了根据评价值和目标值的比较结果来确定虚拟光的照射方向的结构。然而，可以使用其它方法，只要这些方法是用于基于被摄体的阴影来确定虚拟光的照射方向的方法即可。例如，如果被摄体区域的对比度值大于或等于(小于)预定阈值，则可以确定虚拟光的照射方向以使用虚拟光来减少(增加)由于环境光而产生的阴影。由此，即使在没有定义评价值的目标值的情况下，也可以控制重新照亮处理。可选地，在评价值和目标值之间的差小于或等于预定阈值的情况下，可以进行控制使得不进行重新照亮处理。

此外，还可以对没有经过重新照亮处理的被摄体进行明度校正处理。具体地，计算经过了重新照亮处理的被摄体的重新照亮之后的对比度值，并且校正明度以使没有经过重新照亮处理的被摄体的对比度更接近该值。由此，可以减少在经过了重新照亮处理的被摄体和没有经过重新照亮处理的被摄体之间发生的任何不自然感。针对没过经过重新照亮处理的被摄体，可以均匀地调整像素的明度。

此外，在本实施例中，说明了使用由要经过重新照亮处理的区域的代表法线向量和虚拟光的方向所形成的角度来确定虚拟光的照射方向的结构，但可以使用其它方法来确定虚拟光的照射方向。例如，可以确定是从上方、下方、左方还是右方来照射要经过重新照亮处理的区域内的被摄体。

此外，在本实施例中，说明了要经过重新照亮处理的区域的数量是1个的情况，但可能存在多个要经过重新照亮处理的区域。例如，在面部检测单元113检测到多个面部区域的情况下，可以将各个面部区域视为要经过重新照亮处理的区域。在这种情况下，存在面部区域内的被摄体的方向各自不同的可能性，因此针对各个面部区域进行上述的利用阴影状态检测单元207、虚拟光源控制单元208和虚拟光添加单元205的处理。然而，假定表示阴影状态的评价值的类型和目标值在所有的面部区域中是共通的。由此，即使在重新照亮处理所用的被摄体区域存在多个的情况下，也可以进行重新照亮处理，使得各个阴影状态是良好状态。

可选地，在拍摄多个被摄体的情况下，可以进行控制，使得基于多个被摄体中的最重要的被摄体的阴影状态来确定虚拟光源的位置，并且使用同一位置的虚拟光源来对其它被摄体进行重新照亮。由此，可以防止从不同方向照射相同环境中的被摄体的不自然感。

此外，在本实施例中，将虚拟光源作为点光源进行了说明，但虚拟光源的特性不会直接影响本发明，并且可以使用具有其它特性的光源。例如，可以使用照射平行光的虚拟光源。在这种情况下，虚拟光的照射方向将是平行光的照射方向。

此外，在上述说明中，为了简单，从相对于水平面的二维观点说明了法线向量以及环境光和虚拟光的照射方向等。然而，实际上，利用法线向量和这些方向作为三维空间中的向量和方向来进行处理。

第二实施例

接着，将参考图6A、6B和7来说明本发明的第二实施例。在第一实施例中，基于表示要经过重新照亮处理的区域内的被摄体的阴影状态的评价值以及环境光的照射方向来确定虚拟光的照射方向，但在本实施例中，更具体地确定虚拟光的照射方向。

可以通过使用第一实施例所述的数字照相机100和图像处理单元105的结构来实现本实施例。因此，省略了针对第一实施例所述的事项的说明，并且将说明阴影状态检测单元207、虚拟光源控制单元208和虚拟光添加单元205的操作。

图6A示意性示出第二实施例中的被摄体700和要经过重新照亮处理的图像内的被摄体区域701。

阴影状态检测单元207将被摄体区域701分割成多个块(包括8个纵向块×8个横向块的64个块)，并且针对各个块计算像素的亮度平均值。

此外，在本实施例中，阴影状态检测单元207还计算阴影区域的面积相对于被摄体区域701的面积的比例(阴影比例)。具体地，阴影状态检测单元207计算该阴影比例作为(平均亮度值小于预定阈值的块数)/(块总数)。此外，阴影状态检测单元207针对各块计算被摄体的法线向量的方向。

图6B示意性示出针对图6A的块B1～B8所计算出的法线向量702的示例、以及被摄体700的水平截面形状A-A。在第一实施例的说明中，为了简单，将被摄体表面整体视为一个平面，但本实施例与第一实施例的不同之处在于将被摄体表面作为分割得到的各个块的平面进行应对。

阴影状态检测单元207将所计算出的针对各块的与法线向量有关的信息和作为表示要经过重新照亮的区域内的被摄体的阴影状态的评价值的阴影比例输出至虚拟光源控制单元208。

接着，将参考图7所示的流程图来说明第二实施例中的虚拟光源控制单元208所进行的虚拟光源控制处理。

在步骤S801中，虚拟光源控制单元208例如从系统控制单元50获取目标阴影比例作为被摄体的阴影状态的目标值，这通过重新照亮处理来实现。

在步骤S802中，虚拟光源控制单元208从拍摄图像中获取阴影状态检测单元207所计算出的、针对各块的与被摄体区域701的法线向量有关的信息和阴影比例。

在步骤S803中，虚拟光源控制单元208将阴影比例与目标值进行比较，并且判断该差是否在预定阈值的范围内(即，阴影比例是否在目标范围内)。虚拟光源控制单元208在获取到目标范围内的阴影比例的情况下，判断为不必进行重新照亮处理，结束该过程，并且将图像输出至再伽玛处理单元206。在没有获取到目标范围内的阴影比例的情况下，过程进入步骤S804。

在步骤S804中，虚拟光源控制单元208判断阴影比例是否超过目标范围的上限值。如果阴影比例超过该上限值，则过程进入步骤S805，并且如果阴影比例没有超过该上限值(即，如果阴影比例小于目标比例的下限值)，则过程进入步骤S806。

在步骤S805中，虚拟光源控制单元208设置虚拟光源的位置的初始值，使得虚拟光照射当前阴影区域(平均亮度值小于阈值的块)，并且使过程进入步骤S808。进行如下假定：使用两个信息、即重新照亮处理所用的块的中心的坐标(与图6B的附图标记705和706相对应)和从这些中心的点起直到虚拟光源为止的距离，来定义虚拟光源的位置。注意，可以使用来自相对于区域(块)的法线向量超过90°的方向的光没有到达该区域这一事实，根据虚拟光源的位置和被摄体区域的各块的法线向量的方向来判断虚拟光所照射的范围。

另一方面，在步骤S806中，虚拟光源控制单元208首先降低被摄体区域的亮度，直到阴影比例超过目标范围的上限值为止(使亮度减少了特定量，并且重复阴影状态检测单元207所进行的用于计算阴影比例的处理，直到阴影比例超过目标范围的上限值为止)。

在步骤S807中，虚拟光源控制单元208设置虚拟光源的位置的初始值，使得利用虚拟光来照射由于亮度降低而增加的阴影区域(亮度下降至相当于阴影区域的亮度的区域)的一部分，并且使过程进入步骤S808。

在步骤S808中，虚拟光源控制单元208将所设置的虚拟光源的位置输出至虚拟光添加单元205，进行重新照亮，并且针对阴影状态检测单元207的处理之后的被摄体区域计算阴影比例。具体地，虚拟光添加单元205根据以下等式来计算在由虚拟光和法线向量所形成的角度小于或等于90°的区域中所包括的像素(要经过处理的像素)的输出RGB值(Rout,Gout,Bout)。

Rout＝[Rt+A*cos(θ_n)*(1/Dn^2)*Rv]/M

Gout＝[Gt+A*cos(θ_n)*(1/Dn^2)*Gv]/M

Bout＝[Bt+A*cos(θ_n)*(1/Dn^2)*Bv]/M

这里，(Rt,Gt,Bt)是要经过处理的像素值，A是表示虚拟光源的强度的预定常数，D是虚拟光源和要经过重新照亮的区域内的被摄体之间的距离，并且(Rv,Gv,Bv)是光源反射颜色。此外，M是为了对重新照亮之后的输出RGB值进行标准化而预先设置的常数。θ_n是第n个(n是1～64的整数)块的法线向量与将该法线向量的起点(块的中心)和虚拟光源的位置相连结的线所形成的角度，并且Dn是第n个块的中心和虚拟光源之间的距离。

然后，虚拟光源控制单元208获取虚拟光添加单元205所计算出的输出RGB值并且将这些值输出至阴影状态检测单元207，由此获得重新照亮处理之后的阴影比例。具体地，阴影状态检测单元207针对分割得到的各个块计算平均亮度值，计算重新照亮处理之后的阴影比例作为(平均亮度值小于预定阈值的块总数)/分割数(64)，并且将该阴影比例输出至虚拟光源控制单元208。

在步骤S809中，虚拟光源控制单元208根据所计算出的重新照亮处理之后的阴影比例以及目标值来与步骤S803同样地进行判断。虚拟光源控制单元208在重新照亮处理之后的阴影比例在目标范围内的情况下结束该过程，并且将重新照亮处理之后的图像输出至再伽玛处理单元206。另一方面，如果阴影比例在预定阈值范围外，则虚拟光源控制单元208使过程进入步骤S811。

在步骤S811中，与步骤S804同样地，虚拟光源控制单元208判断重新照亮之后的阴影比例是否超过目标范围的上限值。如果阴影比例超过上限值，则过程进入步骤S812，并且如果阴影比例没有超过上限值(即，阴影比例小于目标比例的下限值)，则过程进入步骤S813。

在步骤S812中，虚拟光源控制单元208改变并重新设置虚拟光源的位置，使得阴影区域块中的一部分阴影区域块的平均亮度增加，并且使过程返回至步骤S808。

在步骤S813中，虚拟光源控制单元208改变并重新设置虚拟光源的位置，使得阴影区域块中的一部分阴影区域块的平均亮度减少，并且使过程返回至步骤S808。

这里，将参考图6B来说明步骤S812和步骤S813中的用于改变虚拟光源的位置的方法。在图6B中，附图标记707表示示意性示出的环境光源。一般地，在环境光源和虚拟光源的特性和位置相同的情况下，在虚拟光的照射区域和环境光的照射区域之间不存在差异，因此被摄体区域的阴影比例在重新照亮处理之前和之后没有发生改变。然后，环境光源和虚拟光源彼此分离得越大，由于重新照亮处理所引起的阴影比例的下降越大。

例如，来自图6B的虚拟光源703的虚拟光到达块B1～B6的范围，但没有到达块B7和B8。此外，来自虚拟光源704的虚拟光达到块B3～B8的范围，但没有到达块B1和B2。因此，由于虚拟光源控制单元208可以通过适当地确定虚拟光源的位置来控制要通过重新照亮处理校正得明亮的被摄体区域，因此可以使被摄体的阴影区域的面积比例更接近预定目标值。特别地，在如块B1和B2那样、虚拟光入射到在重新照亮之前处于阴影的区域的情况下，重新照亮之后的阴影比例大幅减少。因此，如果阴影比例的值和阴影比例的目标值之间的差大，则可以通过设置虚拟光源的位置以使得虚拟光照射低亮度块，来有效地使阴影比例更接近目标值。

另一方面，在需要增加阴影比例的情况下，针对由于步骤S806中的亮度下降而增加的阴影区域，改变虚拟光源的位置，使得虚拟光所照射的范围小于先前的重新照亮时的范围，或者减少虚拟光量。这可以通过包括以下处理至少之一的调整来实现：改变重新照亮处理所用的中心位置，以及调整从重新照亮所用的中心位置起的距离。

这样，虚拟光源控制单元208重复步骤S808及其后续步骤的处理，直到重新照亮之后的被摄体的阴影比例落在预定阈值范围内为止。然而，可以采用如下结构：设置该重复次数的上限值，并且在达到该上限值的情况下结束该过程。

注意，在本实施例中，说明了使用阴影比例作为表示被摄体的阴影的状态的评价值的情况，但还可以通过使用第一实施例所述的对比度值来进行相同的控制。在这种情况下，确定虚拟光源的位置，从而在期望增大对比度值的情况下使用虚拟光来照射并非阴影区域的区域，并且在期望减小对比度值的情况下使用虚拟光来照射阴影区域，这就足够了。此外，可以通过在步骤S812和步骤S813中调整照射区域来实现期望目标值的范围。

注意，在本实施例中，说明了重复虚拟光源的位置的重新设置、直到阴影比例达到预定目标范围为止的结构，但重新设置并非必须的。例如，基于所检测到的阴影比例和目标值之间的差的大小，可以通过执行一次处理来确定虚拟光源的位置。例如，可以确定虚拟光源的位置，使得阴影比例与目标值相比越大，虚拟光的照射区域中所包括的阴影区域的面积增加得越多。还可以确定虚拟光源的位置，使得阴影比例与目标值相比越小，由于亮度下降而产生的阴影区域中的包括在虚拟光的照射区域内的面积减少得越多。由此，在无需重复确定虚拟光源的配置的情况下，可以进行重新照亮处理，以使阴影的状态接近作为目标的阴影状态。

这样，根据本实施例，除与第一实施例的效果相同的效果外，还可以精细地调整虚拟光源的位置，从而使得能够实现阴影状态的灵活调整。

其它实施例

还可以通过读出并执行记录在存储介质(还可被更完整地称为“非瞬态计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以进行上述实施例中的一个或多个的功能以及/或者包括用于进行上述实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或设备的计算机和通过下面的方法来实现本发明的实施例，其中，该系统或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进行上述实施例中的一个或多个的功能以及/或者控制该一个或多个电路以进行上述实施例中的一个或多个的功能来进行上述方法。该计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独计算机或单独计算机处理器的网络，以读出并执行计算机可执行指令。例如可以从网络或存储介质将这些计算机可执行指令提供至计算机。该存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算机系统的存储器、光盘(诸如致密盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)^TM等)、闪速存储装置和存储卡等中的一个或多个。

尽管已经参考典型实施例说明了本发明，但是应该理解，这些典型实施例不应被视为限制性的。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2014年9月26日提交的日本专利申请2014-197506的优先权，在此通过引用包含其全部内容。