计算光量变化特性的方法、摄像设备和电子设备的制造方法

计算光量变化特性的方法、摄像设备和电子设备的制造方法
【专利摘要】本发明涉及一种计算光量变化特性的方法、摄像设备和电子设备。该摄像设备能够根据物体的状态来计算来自物体的光的光量变化特性。在该摄像设备中，根据拍摄环境的明度来选择性地进行基于亮度变化的闪烁检测和基于亮度分布的闪烁检测，其中该基于亮度变化的闪烁检测用于通过基于摄像装置所获得的连续的图像数据计算来自被摄体的光的光量变化特性来检测光源的闪烁，并且该基于亮度分布的闪烁检测用于通过基于根据图像数据所生成的亮度分布数据计算光量变化特性来检测闪烁。
【专利说明】
计算光量变化特性的方法、摄像设备和电子设备
技术领域
[0001] 本发明涉及诸如数字照相机等的摄像设备、电子设备和用于计算来自被摄体的光 的光量变化特性的方法。
【背景技术】
[0002] 近年来，诸如数字照相机等的摄像设备已开始配备有在感光度方面有所提高的摄 像装置。这样已使得即使在诸如室内等的相对较暗的环境下、也可以以高快门速度拍摄到 无模糊的照片。然而，广泛用作室内光源的荧光灯由于电源(通常是商用电源）的频率的影 响因而产生照明光周期性地发生波动的、被称为闪烁(flicker)的现象。在产生闪烁的这种 光源（以下称为"闪烁光源"）下以高快门速度进行摄像的情况下，由于闪烁的影响因而在帧 之间可能发生图像的曝光不均匀或色温变化，并且此外，在一个帧内有时发生曝光不均匀 和/或颜色不均匀。
[0003] 配备有实时取景功能的摄像设备已变得普遍，其中该实时取景功能用于将摄像装 置定期拍摄到的图像连续地显示在该摄像设备中所配备的显示部上。同样在该实时取景功 能中，在各拍摄帧的电荷累积时间段短的情况下，由于闪烁的影响因而在帧内有时发生曝 光不均匀。
[0004] 为了解决该问题，在日本特开2006-222935中，提出了如下技术，其中该技术用于 检测照明光的闪烁的状态，并且调整摄像的时间，使得曝光时间的中心与照明光的光量变 为极大值的时间大致一致。此外，在日本特开2006-222935中，提出了如下技术，其中该技术 用于按Imsec的采样间隔检测照明光的照度，并且基于该照度的检测结果来检测照明光的 闪烁周期。
[0005] 然而，在日本特开2006-222935所述的用于检测照明光的闪烁的状态的方法中，检 测所使用的光电转换装置的电荷累积时间段是有限的。这样引起在环境光暗的状况下有可 能发生闪烁的误检测的问题。此外，同样在由于拍摄图像中出现被摄体而引起亮度变化的 情况下，有可能发生闪烁的误检测。

【发明内容】

[0006] 本发明提供能够根据物体的状态来计算来自物体的光的光量变化特性的摄像设 备、电子设备和用于计算光量变化特性的方法。
[0007] 在本发明的第一方面中，提供一种摄像设备，包括:摄像单元;第一计算单元，用于 基于所述摄像单元所获得的连续的图像数据，来计算来自被摄体的光的光量变化特性;第 二计算单元，用于基于根据所述摄像单元所获得的图像数据而生成的亮度分布数据，来计 算所述光量变化特性；以及控制单元，用于根据所述被摄体的状态，来控制是使用所述第一 计算单元计算所述光量变化特性还是使用所述第二计算单元计算所述光量变化特性。
[0008] 在本发明的第二方面中，提供一种电子设备，包括:第一计算单元，用于基于以比 预定时间段短的时间段的间隔所获得的多个测光值，来计算来自物体的光的光量变化特 性;第二计算单元，用于基于通过在比获得所述多个测光值中的各测光值的时间段长的电 荷累积时间段内以开始时间依区域而不同的方式针对各个区域进行电荷累积所获得的与 图像内的亮度变化有关的信息，来计算所述光量变化特性；以及控制单元，用于根据所述物 体的状态，来控制是使用所述第一计算单元计算所述光量变化特性还是使用所述第二计算 单元计算所述光量变化特性。
[0009] 在本发明的第三方面中，提供一种用于计算光量变化特性的方法，包括以下步骤： 进行摄像;第一计算步骤，用于基于通过所述摄像所获得的连续的图像数据，来计算来自被 摄体的光的光量变化特性;第二计算步骤，用于基于通过所述摄像所获得的图像数据而生 成的亮度分布数据，来计算所述光量变化特性；以及根据所述被摄体的状态，来控制是通过 所述第一计算步骤计算所述光量变化特性还是通过所述第二计算步骤计算所述光量变化 特性。
[0010] 在本发明的第四方面中，提供一种用于计算光量变化特性的方法，包括以下步骤： 第一计算步骤，用于基于按比预定时间段短的时间段的间隔所获得的多个测光值，来计算 来自物体的光的光量变化特性;第二计算步骤，用于基于通过在比用于获得所述多个测光 值中的各测光值的时间段长的电荷累积时间段内以开始时间依区域而不同的方式针对各 个区域进行电荷累积所获得的与图像内的亮度变化有关的信息，来计算所述光量变化特 性；以及根据所述物体的状态，来控制是通过所述第一计算步骤计算所述光量变化特性还 是通过所述第二计算步骤计算所述光量变化特性。
[0011]根据本发明的摄像设备，可以根据物体的状态来计算来自物体的光的光量变化特 性。
[0012] 通过以下(参考附图）对典型实施例的说明，本发明的其它特征将变得明显。
【附图说明】
[0013] 图1是作为根据本发明实施例的摄像设备的数字照相机的示意图。
[0014] 图2是数字照相机所进行的第一闪烁检测处理的流程图。
[0015] 图3A是示出在利用频率是50Hz的电源使闪烁光源点亮的情况下的基于亮度变化 的闪烁检测所使用的、测光传感器中的电荷累积和从测光传感器输出的测光值的变化的 图。
[0016] 图3B是示出在利用频率是60Hz的电源使闪烁光源点亮的情况下的基于亮度变化 的闪烁检测所使用的、测光传感器中的电荷累积和从测光传感器输出的测光值的变化的 图。
[0017] 图3C是示出CCD传感器中的垂直相加像素数和读出时间之间的关系的图。
[0018]图4A是用于说明在利用频率是50Hz的电源使闪烁光源点亮的情况下的基于画面 内映射的闪烁检测所用的、摄像装置中的电荷累积的示意图。
[0019] 图4B是用于说明在利用频率是60Hz的电源使闪烁光源点亮的情况下的基于画面 内映射的闪烁检测所用的、摄像装置中的电荷累积的示意图。
[0020] 图5A是用于说明在数字照相机所进行的第二闪烁检测处理中所使用的、摄像装置 中的亮度评价值获取区域的图。
[0021] 图5B是用于说明在用于获取亮度评价值的区域中被摄体出现的情况下所检测到 的亮度评价值的变化的图。
[0022]图6A是用于说明在不是处于闪烁光源下的拍摄环境中被摄体出现在帧中的情况 下所获取到的画面内映射的示意图。
[0023]图6B是用于说明在处于闪烁光源下的拍摄环境中被摄体出现在帧中的情况下所 获取到的画面内映射的示意图。
[0024]图7是数字照相机所进行的第二闪烁检测处理的流程图。
[0025]图8是用于说明图7的步骤中的被摄体追踪处理的示意图。
[0026]图9是数字照相机所进行的第三闪烁检测处理的流程图。
【具体实施方式】
[0027] 以下将参考示出本发明的实施例的附图来详细说明本发明。这里，作为根据本发 明的摄像设备，以示例方式说明所谓的数字照相机。然而，这并非限制性的，而且本发明还 可以应用于具有照相机功能的各种电子设备。例如，根据本发明的摄像设备例如可以是诸 如移动电话或智能电话等的配备有照相机功能的移动通信终端、配备有照相机功能的便携 型计算机以及配备有照相机功能的便携视频游戏机。
[0028] 图1是作为根据本发明实施例的摄像设备的数字照相机100的示意图。数字照相机 100通常包括照相机本体100A和镜筒100B。作为摄像光学系统的镜筒100B可以是与照相机 本体100A-体设置的、或者可以是相对于照相机本体100A以可移除的方式设置的。在以下 说明中，将来自物体的光的光量变化特性的计算称为闪烁检测。
[0029] 照相机本体100A包括CPU 101、存储器102、摄像装置103、快门104、半透半反镜 105、聚焦板106、显示元件107和测光(AE)传感器108。此外，照相机本体100A还包括五棱镜 109、未示出的光学取景器、AF传感器110、AF镜111、ICPU 112和存储器113。镜筒100B包括多 个透镜121、未示出的光圈和LPU 122。
[0030] CPU 101是控制数字照相机100的各组件的处理单元。存储器102包括ROM和RAM，其 中该ROM存储CPU 101所执行的程序、变量等，并且该RAM具有CPU 101将程序载入的工作区 域和用于暂时存储图像数据等的存储区域。LPU 122是镜头中所设置的CPU，其中该LPU 122 发送例如表示相对于被摄体的距离的距离信息，并且还基于来自CPU 101的命令进行透镜 121的驱动控制等。摄像装置103是包括光电转换装置(诸如包括红外截止滤波器和低通滤 波器等的CMOS图像传感器等）的图像传感器。摄像装置103不仅用于进行正常摄像，而且还 用于在数字照相机100所进行的以下所述的第一闪烁检测处理中进行基于亮度分布的闪烁 检测。注意，以下将说明基于亮度分布的闪烁检测(基于画面内映射的闪烁检测）的定义。快 门104在不进行拍摄的情况下闭合，以对摄像装置103进行遮光，并且在进行拍摄的情况下 开放，以将穿过了镜筒100B的入射光(光束）引导至摄像装置103。
[0031]在不进行拍摄的情况下，配置于摄像装置103的前面侧(被摄体侧）的半透半反镜 105反射经由透镜121所入射的光的一部分，由此使得在聚焦板106上形成光学图像。显示元 件107显示例如PN(聚合物网络)液晶的AF测距框，由此经由光学取景器向拍摄者（用户）示 出被摄体的进行AF控制的点。测光传感器108包括诸如CCD传感器或CMOS传感器等的光电转 换装置，并且为了进行曝光控制而针对视野进行测光，以由此测量被摄体的明度(亮度）。注 意，在数字照相机100所进行的以下所述的第三闪烁检测处理中，使用来自测光传感器108 的输出信号来进行基于亮度变化的闪烁检测等。注意，以下将说明基于亮度变化的闪烁检 测的定义。
[0032]五棱镜109将聚焦板106上所形成的被摄体的图像引导至测光传感器108和光学取 景器。注意，测光传感器108经由五棱镜109从相对于光学取景器的倾斜方向上的位置观看 聚焦板106上所形成的被摄体的图像。AF镜111将经由镜头100B所入射的并且穿过了半透半 反镜105的光束的一部分引导至AF传感器IlO 13AF传感器110基于所接收到的光束来测量相 对于被摄体的自动聚焦所用的距离。
[0033] ICPU 112是控制测光传感器108的驱动的CPU，并且进行诸如测光计算、包括面部 检测计算和追踪计算的被摄体识别处理以及闪烁检测计算等的各种运算处理操作。存储器 113包括ROM和RAM，其中该ROM存储ICPU 112所执行的程序和变量等，并且该RAM具有ICPU 112将程序载入的工作区域和用于暂时存储计算结果的存储区域。
[0034]尽管没有示出，但数字照相机100包括电源开关和快门开关。快门开关包括通过半 按下快门开关(第一行程)而接通的第一开关和通过全按下快门开关(第二行程)而接通的 第二开关。在第一开关接通的情况下，进行基于来自测光传感器108的输出的曝光控制和基 于来自AF传感器110的输出的自动聚焦控制。此外，在第二开关接通的情况下，进行实际拍 摄。在实际拍摄中，摄像装置103上所形成的光学图像由摄像装置103转换成模拟电气信号， 并且该模拟电气信号由未示出的图像处理器转换成数字图像数据，其中该数字图像数据被 存储在未示出的诸如存储卡等的存储部中。
[0035]图2是数字照相机100所进行的第一闪烁检测处理的流程图。控制数字照相机100 的各组件的操作的CPU 101通过将存储器102的ROM中所存储的程序载入RAM来实现图2的各 处理步骤。注意，图2所示的第一闪烁检测处理包括ICPU 112在CPU 101的控制下实际进行 的处理，并且将这种处理作为ICPU112所执行的处理来进行说明。
[0036]为了在进行摄像时进行闪烁检测，需要获取拍摄环境的明度。这是因为，除非获取 到拍摄环境的明度，否则不能适当地设置对摄像装置103进行驱动所用的电荷累积时间段 和增益。由于该原因，在步骤S201中，ICPU 112在CPUlOl的控制下使用测光传感器108来进 行正常测光的操作，由此检测拍摄环境的明度。ICPU 112基于从测光传感器108获得的输出 信号来进行测光计算，并且通过诸如串行通信等的CPU间通信来向CPU 101通知该计算的结 果。没有特别限制测光计算的方法，而且例如，可以通过将从测光传感器108获得的摄像区 域分割成多个区域、并且使用针对各区域所分配的权重对从各分割区域检测到的图像信号 进行加权计算，来获得测光值。
[0037] 在下一步骤S202中，CPU 101将步骤S201中所获得的测光值与预定阈值进行比较， 并且判断测光值是否大于阈值。该判断是由于以下原因而进行的：尽管在步骤S203和S204 中进行基于亮度变化的闪烁检测，但在进行基于亮度变化的闪烁检测的情况下驱动摄像装 置103时，不能设置长的电荷累积时间段。因此，如果在环境光暗的环境中进行基于亮度变 化的闪烁检测，则有可能发生误检测。为了应对该情况，预先确定与亮度(其中，在该亮度以 下的情况下有可能发生误检测）相对应的测光值(上述的阈值），并且基于正常测光的结果 和阈值之间的比较结果来确定是进行基于亮度变化的闪烁检测还是进行基于画面内映射 的闪烁检测。
[0038]注意，基于亮度变化的闪烁检测是用于通过基于按比预定时间段短的时间段的间 隔所获得的多个测光值计算来自物体的光的光量变化特性来检测光源的闪烁的处理。此 外，基于画面内映射的闪烁检测是用于基于通过在比用于获得多个测光值各自的时间段长 的电荷累积时间段内以开始时间依区域而不同的方式针对各个区域进行电荷累积所获得 的与图像内的亮度变化有关的信息计算来自物体的光的光量变化特性来检测光源的闪烁 的处理。
[0039] 如果测光值不小于阈值(步骤S202中为"否"），则CPU 101进入步骤S203,而如果测 光值小于阈值(步骤S202中为"是"），则CPU 101进入步骤S205。
[0040] 在环境光并不暗的情况下所执行的步骤S203和S204中，CPU 101进行基于亮度变 化的闪烁检测。在步骤S203中，CPU 101以基于亮度变化的闪烁检测所用的驱动模式驱动摄 像装置103。现在，将参考图3A~3C来说明基于亮度变化的闪烁检测所用的摄像装置103的 驱动模式。
[0041 ]图3A和3B是示出为了针对利用频率是50Hz和60Hz的电源所点亮的各个闪烁光源 的基于亮度变化的闪烁检测所进行的摄像装置103的电荷累积以及各个输出测光值的变化 的图。在基于亮度变化的闪烁检测中，为了检测闪烁，如图3A和3B所示，按约600fps( =约 1.667ms)的重复周期连续进行12次电荷累积和读出。该重复周期600fps是闪烁光源的可能 预期频率（100Hz和120Hz)的公倍数。因此，在基于亮度变化的闪烁检测中用于获得连续的 图像数据的摄像的电荷累积时间段短于作为闪烁光源的光量变化的可能预期重复周期中 的较短重复周期的1/120秒(预定时间段）。注意，闪烁光源的明度和暗度之间的变化频率是 电源频率的两倍，因而该频率在商用电源的频率是50Hz的区域中变为等于IOOHz，并且在商 用电源的频率是60Hz的区域中变为等于120Hz。
[0042] 在基于亮度变化的闪烁检测中，可以在20msec( = 1.667msec X 12)内获取一组连 续的图像数据项，因而可以实现高速的闪烁检测。因此，在本实施例中，基于亮度变化的闪 烁检测与以下所述的基于画面内映射的闪烁检测相比在进行闪烁检测所需的时间方面变 短，因而向基于亮度变化的闪烁检测给予执行优先级。
[0043] 现在将说明用于按约600fps驱动摄像装置103的方法。
[0044] 例如，为了以不低于约600fps的帧频驱动（读出）像素数不小于QVGA的摄像装置 103的所有像素，例如可以设想用于增加驱动频率的方法和用于配置多个A/D转换器的方 法。然而，这些方法使电路结构复杂化，因而增加了制造成本，并且此外，这些方法从技术上 不容易进行。为了应对该情况，在本实施例中，在进行面部检测和被摄体追踪时，（以低于约 6〇〇f PS的帧频)在较长的时间段内读出所有像素，并且在进行闪烁检测时，通过像素相加读 出或间隔剔除读出来读出像素，由此将帧频调整为约600fps。
[0045] 假定摄像装置103是CCD传感器，则对于CCD传感器而言，通常不能进行像素的部分 读出，因而仅要求通过经由像素相加所实现的读出行数的伪减少来以高速驱动摄像装置 103。图3C是示出CCD传感器中的垂直相加像素数和读出时间之间的关系的图。例如，通过在 像素排列呈条纹状的传感器中进行垂直像素相加，如图3C所示，可以缩短读出时间（1个垂 直扫描时间段、即IV时间段）。在图3C所示的摄像装置103的情况下，可以通过在垂直方向上 对九个像素进行相加来将帧频调整为约600fps，并且在这种情况下所获得的图像与通过将 垂直方向上的像素数缩减成1/9所获得的图像相对应。
[0046] 另一方面，假定摄像装置103是CMOS传感器，则对于CMOS传感器而言，相对容易进 行像素的部分读出，因而可以以通过间隔剔除读出将电荷累积时间和像素读出时间的总和 调整成约等于1.667msec的方式驱动摄像装置103。
[0047]再次参考图2,在步骤S203中基于亮度变化的闪烁检测所用的摄像装置103的驱动 (电荷累积和像素读出）终止的情况下，ICPU 112在步骤S204中进行基于亮度变化的闪烁检 测计算，并且向CPU 101通知该计算的结果。在图3A和3B各自中，利用"累积η"表示第η次累 积，利用"读出η"表示"累积η"的读出，并且利用"ΑΕ(ηΓ表示通过"读出η"的结果所获得的 测光值。电荷累积在有限的时间内进行，因而利用累积时间段的中央值来表示获取到各测 光值的时间。
[0048]在商用电源的频率是50Hz的情况下的闪烁发光重复周期约为10msec，从而得到 10/1.667 ? 6,因而如图3A所示，与累积时间无关地，按六个重复周期的间隔获得相同的测 光值。也就是说，AE(n)=AE(n+6)的关系成立。同样，在商用电源的频率是60Hz的情况下的 闪烁发光重复周期约为8.33msec，从而得到8.33/1.667 ? 5，因而如图3B所示，与累积时间 无关地，按五个重复周期的间隔获得相同的测光值。因此，AE(n)=AE(n+5)的关系成立。另 一方面，在没有发生闪烁的环境下，与η无关地，AE(n)是恒定的。
[0049]通过以下的等式（1)和（2)来定义评价值F50和评价值F60,其中该评价值F50是在 判断为拍摄环境处于电源频率是50Hz的闪烁光源下时、为了与以下所述的评价值F60相组 合进行使用所计算出的，并且该评价值F60是在判断为拍摄环境处于电源频率是60Hz的闪 烁光源下时、为了与以上所述的评价值F50相组合进行使用所计算出的。
[0050] …(1)
[0051] …(2)
[0052] 在这种情况下，使用预定阈值?_让，如果"F50〈F_th且F60〈F_th"成立，则可以判断 为不存在闪烁（拍摄环境不是处于闪烁光源下）。此外，如果"F50〈F_th且F602F_th"成立， 则可以判断为拍摄环境处于电源频率是50Hz的闪烁光源下。此外，如果"F50 2 F_th且F60〈 F_th"成立，则可以判断为拍摄环境处于电源频率是60Hz的闪烁光源下。在执行了步骤S204 之后，CPU 101进入步骤S207。
[0053] 在环境光暗的情况下所执行的步骤S205和步骤S206中，CPU 101进行基于画面内 映射的闪烁检测。在步骤S205中，CPU 101以基于画面内映射的闪烁检测所用的驱动模式驱 动摄像装置103,并且获取亮度分布数据(映射数据）。这里，将说明基于画面内映射的闪烁 检测。
[0054]图4A和4B是用于说明为了针对利用频率是50Hz和60Hz的电源所点亮的各个闪烁 光源的基于画面内映射的闪烁检测所进行的摄像装置103中的电荷累积的示意图。
[0055]在基于画面内映射的闪烁检测中，在半透半反镜105上升以使得经由镜筒100B所 入射的光在摄像装置103上成像的镜上升状态下，以22fps驱动摄像装置103，由此获取到图 像数据。在以22fps驱动摄像装置103的情况下，每帧的处理时间是1000/22 ? 44.45msec。因 此，在基于画面内映射的闪烁检测中用于获得画面内映射数据的摄像的电荷累积时间段长 于作为闪烁光源的光量变化的可能预期重复周期中的较长重复周期的时间段1/100秒。 [0056]注意，电荷累积时间段表示从摄像装置103的电荷累积首先开始的区域中的电荷 累积开始起、直到摄像装置103的电荷累积最后开始的区域中的电荷累积结束为止的时间 段，并且约等于每帧的处理时间。此外，在摄像装置103的电荷累积时间段过短的情况下，不 太可能出现曝光不均匀，因而期望通过设置下限值(例如，1/600秒)来设置电荷累积时间段 的长度。此外，在摄像装置103的电荷累积时间段过长的情况下，不太可能出现曝光不均匀， 因而期望通过设置上限值(例如，1/30秒)来设置电荷累积时间段的长度。此外，在摄像装置 103的电荷累积时间段是1/100秒的倍数或1/120秒的倍数的情况下，该电荷累积时间段等 于闪烁光源的光量变化的一个重复周期的整数倍，这样有时使得难以出现曝光不均匀。因 此，可以将摄像装置103的电荷累积时间段设置为在上述的上限值和下限值之间的范围内 的电荷累积时间段，并且不同于1/100秒的倍数和1/120秒的倍数。电荷累积时间段可以是 预先设置的电荷累积时间段或者根据拍摄环境所设置的电荷累积时间段，只要满足这些条 件即可。
[0057] 使用频率是50Hz的商用电源的闪烁光源的发光周期约为10msec，从而得到44.45/ 10 ? 4.45。此外，摄像装置103是诸如CMOS传感器等的、通过使各行的电荷累积的开始时间 以及结束时间不同来进行控制的光电转换装置。因此，如图4A所示，在连续获取到第一帧 (帧1)的图像数据项和第二帧(帧2)的图像数据项的情况下，由于闪烁而在第一帧中出现的 曝光不均匀和由于闪烁而在第二帧中出现的曝光不均匀在相位方面相反。如上所述，由于 通过使电荷累积的开始时间以及结束时间不同来控制摄像装置103,因此在出现如图4A所 示的条纹状曝光不均匀的图像数据项中，时间轴方向与摄像装置103的垂直方向相对应，并 且映射生成方向与摄像装置103的水平方向相对应。也就是说，在以22fps驱动摄像装置103 的情况下，生成出现水平条纹的图像数据。
[0058]同样，使用频率是60Hz的商用电源的闪烁光源的发光周期约为8.33msec，从而得 到44.45/8.33 ? 5.46。因此，如图4B所示，在连续获取到第一帧的图像数据项和第二帧的图 像数据项的情况下，由于闪烁而在第一帧中出现的曝光不均匀和由于闪烁而在第二帧中出 现的曝光不均匀在相位方面相反。
[0059]在步骤S205中，CPU 101针对如此获取到的各帧，在水平方向（映射生成方向）上生 成映射，并且在时间轴方向上获取映射数据作为亮度分布数据。该映射数据是针对摄像装 置103的各行逐行计算出的代表值沿时间轴方向排列的数据，并且没有特别限制用于计算 各代表值的方法，只要该方法是用于以帧内的代表值的变化与闪烁光源的光量变化相对应 的方式计算代表值的方法即可。例如，代表值是通过对各行中所包括的像素的像素信号进 行平均所计算出的平均值、或者通过对这些像素信号进行积分所计算出的积分值。接着，在 步骤S206中，CPU 101使用步骤S205中所获取到的画面内映射数据来进行基于画面内映射 的闪烁检测计算。在基于画面内映射的闪烁检测计算中，将第一帧的映射数据除以第二帧 的映射数据，使得映射数据的极大值和极小值变大。这是因为，由于以第一帧和第二帧的映 射的相位相反的帧频拍摄图像，因而可以通过该相除来更增强映射数据，从而便于判断由 于闪烁所引起的曝光不均匀。通过计算如此增强的映射数据的极大值和极小值以及这些值 的出现的重复周期，可以判断闪烁的有无(来自物体的光的光量是否周期性地改变)和闪烁 的重复周期（闪烁光源的电源频率(50Hz还是60Hz))。
[0060] 在执行了步骤S204或S206之后，CPU 101进入步骤S207。在步骤S207中，CPU 101基 于步骤S204或S206的判断结果来判断闪烁的有无。也就是说，由于获得了步骤S204中的基 于亮度变化的闪烁检测计算的结果和步骤S206中的基于画面内映射的闪烁检测计算的结 果其中之一，因此CPU 101基于所获得的闪烁检测计算的结果来确定数字照相机100的拍摄 环境中的闪烁的有无。
[0061] 如上所述，在数字照相机100所进行的第一闪烁检测处理中，根据拍摄环境的明度 来对基于亮度变化的闪烁检测和基于画面内映射的闪烁检测进行切换，并且检测拍摄环境 中的闪烁的有无。这样使得可以根据物体的状态来计算来自物体的光的光量变化特性，由 此在实现高速的闪烁检测的同时提高闪烁检测的精度。
[0062] 接着，将说明数字照相机100所进行的第二闪烁检测处理。图5A是用于说明数字照 相机100所进行的第二闪烁检测处理中所使用的、摄像装置中的亮度评价值获取区域103A 的图。
[0063] 亮度评价值获取区域103A是用于计算亮度的变化的区域，并且被设置为摄像装置 103的能够进行摄像的区域的一部分(在本示例中是除外周部以外的区域）。该设置的原因 其中之一是随着像素数变大，亮度的计算所需的时间变长，因而需要设置在作为进行该计 算所需的时间所容许的时间段内可以处理的像素数。此外，在经由镜筒100B所入射的光成 像在摄像装置103上的情况下，倾斜地入射到远离光轴的像素的光不会到达二维地配置的 光电二极管，因而被遮挡，这样得到周边亮度低的图像数据。因此，这些原因中的另一原因 是期望通过计算在除周边光量减少的部分以外的区域中的亮度评价值来计算更正确的亮 度评价值。
[0064]图5B是用于说明在亮度评价值获取区域103A中出现被摄体的情况下所检测到的 亮度评价值的变化的图。在使用如图5A所述设置了亮度评价值获取区域103A的摄像装置 103来进行基于亮度变化的闪烁检测的情况下，如图5B所示，亮度评价值获取区域103A中的 被摄体的出现量随着时间的经过而有时改变。在这种情况下，随着被摄体出现的区域的范 围变大，亮度评价值的值变小，结果亮度计算结果是亮度逐渐变暗的评价。此外，随着被摄 体出现的区域的范围变小，亮度评价值变大，结果亮度计算结果是亮度逐渐变明亮的评价。 因此，以亮度根据被摄体的出现量的变化而改变的方式对亮度进行评价，并且这样可能引 起将不是由闪烁引起的亮度变化判断为由闪烁引起的亮度变化的误检测。
[0065]图6A是用于说明在不是处于闪烁光源下的拍摄环境下被摄体出现在帧中的情况 下所获取到的画面内映射的示意图。在帧1和2的各个帧映射中，尽管被摄体出现的一部分 的映射数据改变，但在增强极大值和极小值的、通过将帧1的映射数据项除以帧2的映射数 据项所获得的映射数据中没有发现由于闪烁所引起的曝光不均匀，因而不判断为存在闪 烁。
[0066]另一方面，图6B示出在处于利用频率是50Hz的电源所点亮的闪烁光源下的拍摄环 境中被摄体出现在帧中的情况下所获取到的画面内映射。在帧1和帧2的各个映射数据项中 被摄体的影响出现，并且由于闪烁所引起的曝光不均匀以增强方式残留在通过将帧1的映 射数据项除以帧2的映射数据项所获得的映射数据中。结果，可以检测到拍摄环境处于闪烁 光源下。因此，在第二闪烁检测处理中，通过利用图6A和6B之间的不同之处来进行闪烁检 测 。
[0067]图7是数字照相机所进行的第二闪烁检测处理的流程图。控制数字照相机100的各 组件的操作的CPU 101通过将ROM中所存储的程序载入RAM来实现图7的各处理步骤。
[0068]在步骤S701中，CPU 101以基于亮度变化的闪烁检测所用的驱动模式驱动摄像装 置103,由此累积电荷。步骤S701中的处理详情与图2的步骤S203中的处理详情相同，因而省 略了针对该处理的说明。在下一步骤S702中，CPUlOl进行被摄体追踪处理，以根据为了基于 亮度变化的闪烁检测所累积的图像数据检测被摄体的出现状态。
[0069]图8是用于说明步骤S702中的被摄体追踪处理的示意图，并且示出帧1~帧5作为 为了基于亮度变化的闪烁检测已连续获取到的图像数据项。通过计算在连续的每两个帧之 间的图像数据中出现的被摄体的相关性，可以在帧之间追踪被摄体。通过在帧之间追踪被 摄体，可以检测被摄体是否出现在摄像装置103中所设置的亮度评价值获取区域103A中，并 且进一步检测被摄体出现的区域的范围。因此，使用被摄体追踪处理的结果作为用于判断 是否可以进行基于亮度变化的闪烁检测计算的条件。
[0070] 注意，还优选通过执行用于通过判断被摄体的颜色来追踪被摄体的颜色追踪处理 或者用于通过判断被摄体是否是人体来追踪被摄体的人体追踪处理等作为被摄体追踪处 理，来提高被摄体追踪处理的精度。此外，通过进行上述的被摄体追踪处理，可以判断作为 图像中所包括的物体的被摄体是否正在移动。因此，是否存在要追踪的被摄体等同于作为 图像中所包括的物体的被摄体是否正在移动。
[0071] 接着，在步骤S703中，CPU 101基于步骤S702中的被摄体追踪处理的结果，根据是 否存在要追踪的被摄体来判断是否可以进行基于亮度变化的闪烁检测计算。如果不存在要 追踪的被摄体、即如果不存在使画面的亮度发生改变的被摄体(步骤S703中为"否"）^lJCPU 101进入步骤S704。另一方面，如果存在要追踪的被摄体、即如果亮度评价值获取区域103A 中所出现的被摄体影响画面的亮度变化(步骤S703中为"是"），则CPU 101进入步骤S705。 [0072] 在步骤S704中，CPU 101选择基于亮度变化的闪烁检测计算，并且使用步骤S701中 所获取到的图像数据来进行基于亮度变化的闪烁检测计算。基于亮度变化的闪烁检测计算 的运算处理的详情与图2的步骤S204中的处理详情相同，因而省略了针对该处理的说明。 CPU 101在执行了步骤S704之后，进入步骤S707。
[0073]在步骤S705中，CPU 101以基于画面内映射的闪烁检测所用的驱动模式驱动摄像 装置103,并且获取映射数据。然后，在步骤S706中，CPU 101使用步骤S705中所获取到的画 面内映射数据来进行闪烁检测计算。步骤S705和S706中的处理详情与图2的步骤S205和 S206中的处理详情相同，因而省略了针对这些处理的说明。CPU 101在执行了步骤S706之 后，进入步骤S707。
[0074] 在步骤S707中，CPU 101判断闪烁的有无。也就是说，由于获得了步骤S704中的基 于亮度变化的闪烁检测计算的结果和步骤S706中的基于画面内映射的闪烁检测计算的结 果其中之一，因此CPU 101基于所获得的闪烁检测计算的结果来判断数字照相机100的拍摄 环境中的闪烁的有无。
[0075]如上所述，同样在数字照相机100所进行的第二闪烁检测处理中，可以在实现高速 的闪烁检测的同时，通过选择性地使用闪烁检测方法中的适合拍摄环境的一种闪烁检测方 法来根据物体的状态计算来自物体的光的光量变化特性。
[0076]接着，将说明数字照相机100所进行的第三闪烁检测处理。假定在图1所示的数字 照相机100的照相机本体100A的背面侧设置有未示出的诸如液晶面板等的显示装置。在闪 烁光源下执行用于将摄像装置103连续获取到的图像数据项连续地显示在显示装置上的实 时取景功能的情况下，有时将存在由于闪烁所引起的曝光不均匀的实时取景图像显示在显 示装置上。
[0077] 为了解决该问题，在第三闪烁检测处理中，在执行实时取景功能之前判断拍摄环 境是否处于闪烁光源下，并且基于该判断的结果来确定数字照相机100要使用的程序图。这 样使得可以向用户提供不存在由于闪烁所引起的曝光不均匀的实时取景图像。
[0078] 注意，如以上所述，由于使用诸如CCD传感器或CMOS传感器等的图像传感器(摄像 装置)作为测光传感器108,因此可以使用测光传感器108所获取到的数据（图像数据)来进 行亮度检测、被摄体追踪和面部检测等。此外，测光传感器108的像素数小于摄像装置103的 像素数，因而容易进行作为执行基于亮度变化的闪烁检测的要求的图像数据的高速读出。 由于该原因，对第三闪烁检测处理中的基于亮度变化的闪烁检测，使用测光传感器108。 [0079]图9是数字照相机100所进行的第三闪烁检测处理的流程图。控制数字照相机100 的各组件的操作的CPU 101通过将存储器102的ROM中所存储的程序载入RAM来实现图9的各 处理步骤。注意，图7所示的第三闪烁检测处理包括ICPU 112在CPU 101的控制下实际进行 的处理，并且将这种处理作为ICPU112所进行的处理来进行说明。
[0080] 在用户向数字照相机100给出用于执行实时取景的指示的情况下，在步骤S901中， ICPU 112在CPU 101的控制下使用测光传感器108来进行正常测光的操作，由此检测拍摄环 境的明度。使用步骤S901中的检测结果来判断是否可以进行闪烁检测。
[0081] 此外，使用步骤S901中的检测结果作为在摄像装置103所进行的用于拍摄实时取 景所用的图像数据的摄像开始时的基准明度。其原因如下所述。在开始了实时取景之后，通 过根据摄像装置103所获取到的图像数据计算测光值来确定曝光，但需要从外部获取实时 取景开始时的明度作为信息。在使用从摄像装置103所获得的图像数据来进行测光的情况 下，使用通过一次拍摄操作所获得的图像数据项可以测量的明度的范围比利用作为专用的 测光传感器的测光传感器108可以测量的明度的范围窄。因此，为了通过使用摄像装置103 测量宽范围的明度来确定实时取景开始时的明度，需要通过多次获取图像数据来进行测 光，这样使实时取景的开始延迟。此外，如果错误地确定了实时取景开始时的明度，则向用 户示出从泛白（blown-out highlights)以及发黑（black level depression)的图像至适 当明度的图像的显示变化，这样导致显示质量劣化。为了解决这些问题，期望使用测光传感 器108来测量实时取景开始时的明度。
[0082] 在下一步骤S902中，CPU 101将步骤S901中所获得的测光值与预定阈值进行比较， 并且判断测光值是否小于预定阈值。步骤S902中的处理详情与图2的步骤S202中的处理详 情相同，因而省略了针对该处理的详细说明。如果测光值不小于阈值(步骤S902中为"否"）， 则CPU 101进入步骤S903,而如果测光值小于阈值(步骤S902中为"是"），则CPU 101进入步 骤S907。
[0083] 在步骤S903中，ICPU 112在CPU 101的控制下以基于亮度变化的闪烁检测所用的 驱动模式驱动测光传感器108。然后，在步骤S904中，ICPU 112进行闪烁检测计算，并且向 CPU 101通知该计算的结果。在下一步骤S905中，CPU 101判断闪烁的有无。步骤S905的判断 的结果为不存在闪烁、存在闪烁（电源:50Hz)和存在闪烁（电源:60Hz)其中之一。
[0084]这里，在第三闪烁检测处理中，基于闪烁的有无的判断结果来确定在执行实时取 景时要使用的程序图，并且在这种情况下，需要步骤S901中所测量到的测光值。因此，在步 骤S904中，ICPU 112向CPU 101通知步骤S901中所测量到的测光值以及闪烁检测计算的结 果。步骤S903和S904中的处理详情与图2的步骤S203和S204中的处理详情相同，因而省略了 针对该处理的说明。
[0085]在第三闪烁检测处理中，ICPU 112被配置为进行闪烁检测计算，但不进行闪烁的 有无的判断。这并非限制性的，而且ICPU 112可被配置为进行闪烁的有无的判断，并且向 CPU 101通知该判断的结果以及步骤S901中所测量到的测光值。
[0086]接着，在步骤S906中，CPU 101进行镜上升操作以开始实时取景操作，并且使快门 104开放，由此使经由镜筒100B所入射的光在摄像装置103上成像。之后，CPU 101进入步骤 S911〇
[0087]在针对步骤S902的问题的回答为肯定（"是"）的情况下接下来要执行的步骤S907 以及步骤S908~S910中，CPU 101使用摄像装置103来进行基于画面内映射的闪烁检测。在 步骤S907中，CPU 101进行镜上升操作并且使快门104开放，由此使经由镜筒100B所入射的 光在摄像装置103上成像。注意，在步骤S907中，不进行利用ICPU 112的基于亮度变化的闪 烁检测，因而ICPU 112向CPU 101通知闪烁的发生是未知的。
[0088]在步骤S908中，CPU 101以基于画面内映射的闪烁检测所用的驱动模式驱动摄像 装置103，并且获取映射数据。然后，在步骤S909中，CPU 101使用步骤S908中所获取到的映 射数据来进行闪烁检测计算。步骤S908和S909中的处理详情与图2的步骤S205和S206中的 处理详情相同，因而省略了针对该处理的说明。
[0089] 然后，在步骤S910中，CPU 101基于步骤S909中的计算结果来判断闪烁的有无。与 步骤S905的判断结果相同，步骤S910的判断结果为不存在闪烁、存在闪烁（电源:50Hz)和存 在闪烁（电源:60Hz)其中之一。在进行了步骤S910的判断之后，处理进入步骤S911。
[0090] 在步骤S911中，CPU 101基于步骤S905或S910中的判断结果来确定实时取景要使 用的程序图。在本示例中，作为实时取景要使用的程序图，提供了正常程序图和不使用短快 门时间侧的快门速度以防止显示闪烁的闪烁消除程序图，并且使用这两个程序图其中之 一。注意，这些程序图存储在存储器102的ROM中。
[0091] 通过执行步骤S911，确定了实时取景开始时的明度和实时取景操作要使用的程序 图，因而在步骤S912中，CPU 101使用摄像装置103来连续获取图像数据项，并且进行实时取 景操作。因此，在步骤S913中，CPU 101将摄像装置103所获取到的图像数据显示在显示装置 上，从而完成了用于开始实时取景的操作。
[0092]如上所述，在数字照相机100所进行的第三闪烁检测处理中，在执行实时取景之 前，使用测光传感器108来进行高速的基于亮度变化的闪烁检测，并且在要使用摄像装置 103进行闪烁检测的情况下，进行基于画面内映射的闪烁检测。这样使得可以根据物体的状 态来计算来自物体的光的光量变化特性。此外，可以缩短发出实时取景开始的指示起直到 将实时取景图像显示在显示装置上为止的时间段，并且在这种情况下，可以防止将存在由 于闪烁所引起的曝光不均匀的实时取景图像显示在显示装置上。
[0093]尽管已经参考典型实施例说明了本发明，但是应当理解，本发明不限于所公开的 典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功 能。此外，可以根据需要组合上述的结构。例如，在上述实施例中，尽管配备了作为测光传感 器108专用的CPU的I CPU 112，但CPU 101可以进行测光传感器108的驱动控制、图像处理和 运算处理。
[0094]此外，可以组合第一闪烁检测处理和第二闪烁检测处理。此外，在第一闪烁检测处 理和第二闪烁检测处理中，尽管使用摄像装置103来进行基于亮度变化的闪烁检测和基于 画面内映射的闪烁检测，但还可以使用测光传感器108来进行基于亮度变化的闪烁检测和 基于画面内映射的闪烁检测。
[0095]此外，同样在第一闪烁检测处理和第二闪烁检测处理中，与第三闪烁检测处理相 同，可以使用测光传感器108来进行基于亮度变化的闪烁检测，并且可以使用摄像装置103 来进行基于画面内映射的闪烁检测。
[0096]在上述的第一闪烁检测处理~第三闪烁检测处理中，尽管使用包括诸如CCD传感 器或CMOS传感器等的光电转换装置的测光传感器108来进行基于亮度变化的闪烁检测，但 在基于亮度变化的闪烁检测中还可以使用任何其它传感器，只要该传感器即使不能获取图 像数据也能够获取测光值即可。因此，作为测光传感器108，可以配备并非诸如CCD传感器或 CMOS传感器等的光电转换装置的已知的测光传感器。
[0097]此外，只要电子设备具有用于计算来自物体的光的光量变化特性的功能，即使该 电子设备没有配备有摄像功能，也可以利用该电子设备进行第一闪烁检测处理和第二闪烁 检测处理。例如，在能够与摄像设备进行通信的通信设备配备有用于计算来自物体的光的 光量变化特性的功能的情况下，可以将该计算的结果从通信设备发送至摄像设备，以用在 摄像设备所进行的摄像中。此外，在测光装置配备有用于计算来自物体的光的光量变化特 性的功能的情况下，用户可以确认该计算的结果，并且使得将该计算的结果反映到摄像设 备的操作上。
[0098] 其它实施例
[0099] 本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质 将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中 央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
[0100] 本申请要求2015年2月20日提交的日本专利申请2015-031506的优先权，在此通过 引用包含其全部内容。
【主权项】
1. 一种摄像设备，包括： 摄像单元； 第一计算单元，用于基于所述摄像单元所获得的连续的图像数据，来计算来自被摄体 的光的光量变化特性； 第二计算单元，用于基于根据所述摄像单元所获得的图像数据而生成的亮度分布数 据，来计算所述光量变化特性；以及 控制单元，用于根据所述被摄体的状态，来控制是使用所述第一计算单元计算所述光 量变化特性还是使用所述第二计算单元计算所述光量变化特性。2. 根据权利要求1所述的摄像设备，其中，还包括测光单元，所述测光单元用于测量所 述被摄体的明度，以及 所述控制单元进行控制，以使得在所述测光单元所获得的测光值不小于预定阈值的情 况下使用所述第一计算单元计算所述光量变化特性，并且在所述测光值小于所述预定阈值 的情况下使用所述第二计算单元计算所述光量变化特性。3. 根据权利要求1所述的摄像设备，其中，所述控制单元根据所述摄像单元所获得的图 像数据来检测所述被摄体的运动，并且进行控制以使得在所述被摄体没有移动的情况下使 用所述第一计算单元计算所述光量变化特性，并且在所述被摄体移动的情况下使用所述第 二计算单元计算所述光量变化特性。4. 一种电子设备，包括： 第一计算单元，用于基于以比预定时间段短的时间段的间隔所获得的多个测光值，来 计算来自物体的光的光量变化特性； 第二计算单元，用于基于通过在比获得所述多个测光值中的各测光值的时间段长的电 荷累积时间段内以开始时间依区域而不同的方式针对各个区域进行电荷累积所获得的与 图像内的亮度变化有关的信息，来计算所述光量变化特性；以及 控制单元，用于根据所述物体的状态，来控制是使用所述第一计算单元计算所述光量 变化特性还是使用所述第二计算单元计算所述光量变化特性。5. 根据权利要求4所述的电子设备，其中，所述第一计算单元和所述第二计算单元计算 来自所述物体的光的光量变化重复周期，作为所述光量变化特性。6. 根据权利要求4所述的电子设备，其中，所述第一计算单元和所述第二计算单元计算 周期性地变化的来自所述物体的光的光量变为极大值的时间，作为所述光量变化特性。7. 根据权利要求4所述的电子设备，其中，还包括： 测光单元，用于获得各测光值；以及 摄像单元，用于获得所述图像。8. 根据权利要求4所述的电子设备，其中，还包括摄像单元，所述摄像单元用于获得所 述图像， 其中，所述摄像单元还用于获得各测光值。9. 根据权利要求4所述的电子设备，其中，所述预定时间段是1/120秒。10. 根据权利要求4所述的电子设备，其中，所述控制单元进行控制，以使得在所述物体 的明度不低于预定阈值的情况下使用所述第一计算单元计算所述光量变化特性，并且在所 述物体的明度低于所述预定阈值的情况下使用所述第二计算单元计算所述光量变化特性。11. 根据权利要求4所述的电子设备，其中，所述控制单元检测所述图像内的物体的运 动，并进行控制以使得在所述物体没有移动的情况下使用所述第一计算单元计算所述光量 变化特性，并且在所述物体移动的情况下使用所述第二计算单元计算所述光量变化特性。12. -种用于计算光量变化特性的方法，包括以下步骤： 进行摄像； 第一计算步骤，用于基于通过所述摄像所获得的连续的图像数据，来计算来自被摄体 的光的光量变化特性； 第二计算步骤，用于基于通过所述摄像所获得的图像数据而生成的亮度分布数据，来 计算所述光量变化特性；以及 根据所述被摄体的状态，来控制是通过所述第一计算步骤计算所述光量变化特性还是 通过所述第二计算步骤计算所述光量变化特性。13. -种用于计算光量变化特性的方法，包括以下步骤： 第一计算步骤，用于基于按比预定时间段短的时间段的间隔所获得的多个测光值，来 计算来自物体的光的光量变化特性； 第二计算步骤，用于基于通过在比用于获得所述多个测光值中的各测光值的时间段长 的电荷累积时间段内以开始时间依区域而不同的方式针对各个区域进行电荷累积所获得 的与图像内的亮度变化有关的信息，来计算所述光量变化特性；以及 根据所述物体的状态，来控制是通过所述第一计算步骤计算所述光量变化特性还是通 过所述第二计算步骤计算所述光量变化特性。
【文档编号】H04N5/235GK105915807SQ201610094881
【公开日】2016年8月31日
【申请日】2016年2月19日
【发明人】三轮宪治
【申请人】佳能株式会社