专利名称：用于数字摄像机系统的闪光补偿系统的制作方法
技术领域：
本发明涉及一种闪光补偿系统，所述闪光补偿系统基于景深测量并可适用于标准 消费数字摄像机或SLR/专业数字摄像机系统，以及一种控制闪光补偿系统的方法。
背景技术：
在JP 2004-328657中公开了一种数字摄像机的图像输入设备和图像输入方法， 其中，获得图像中的深度信息。图像输入设备包括成像装置，该成像装置基于设置的曝光时 间间隔来捕获要拍摄的对象的图像。发光设备用于向对象提供辐射光。在指示曝光时，将 曝光时间设置为第一时间间隔，并且通过发光装置将光辐射到成像对象。成像装置捕获对 象的第一图像，此后在无需向对象辐射光的情况下，成像装置捕获第二图像。将第二图像的 曝光时间设置为第一时间间隔。检测第一与第二图像之间的差异。获得第三图像，该第三 图像代表反射光的强度分布，该反射光是成像对象反射了发光装置辐射给该对象的光而获 得的，并且第三图像包括成像对象的深度信息。此外，JP 2005-354199公开了一种成像装置及其控制方法，其中，提供发光装置用 于对要拍摄的场景执行光发射。为了获得曝光信息以控制成像装置，在结合主曝光执行主 光发射之前，执行初步光发射。第一测光装置对对象所反射的初步光发射的光进行测量。成 像装置还包括第二测光装置，用于在执行初步光发射时将直接测光应用于闪光发射。基于 第一和第二测光装置在初步光发射期间所测量的测光信息的检测结果，来控制随后的主光 发射。在闪光摄影之后，基于由第二测光装置所测量的光发射量，通过消除由于闪光灯管的 光发射量的变化而引起的拾取图像的亮度变化来对拾取图像进行亮度校正，以获得稳定的 亮度。然而，由于闪光操作，场景的较远部分基本上保持为暗，而场景中接近摄影师的部 分而看起来太亮，因此结合闪光的使用不能获得正确的曝光结果。
发明内容
因此，本发明的目的是提供一种闪光补偿系统，所述闪光补偿系统确保对图像传 感器所拾取的图像上均勻分布的照明的补偿。根据本发明，该目的可以由根据权利要求1所述特征的数字摄像机的闪光补偿系 统来实现，也可以由根据权利要求10所述特征的用于控制数字摄像机的闪光补偿系统的 方法来实现。相应地，本发明提供了一种数字摄像机的闪光补偿系统，包括摄像机，所述摄像 机包含图像传感器，用于拾取要拍摄的场景的图像；闪光设备，用于向场景发射光；以及多 个传感器，用于测量相应场强度，并产生相应输出信号。该系统还包括景深估计器，用于基 于多个传感器的输出信号来估计场景的景深；以及补偿器单元，用于基于景深估计器的景 深估计，提供对图像传感器所拾取的、并正由闪光设备照射的场景的亮度调整。因此，通过数字摄像机的闪光补偿系统，能够测量场景的景深，以便用于基于由景深估计器提供的景深估计，对拾取图像的场景进行亮度调整。结合闪光设备的照射(光发 射)，捕获由图像传感器所拾取的场景的图像。可以基于从多个传感器的输出信号获得的深 度信息，由亮度调整来补偿场景图像上不均勻分布的照射。优选地，多个传感器彼此间隔布置。将它们布置在数字摄像机系统的相对的边缘。 此外，多个传感器根据预定距离彼此间隔布置。相应地，能够获得与要拍摄的场景的整个图像的交错深度(staggered depth)有 关的空间信息。基于估计的深度信息对场景图像的照射调整引起质量提高，以补偿摄像机 闪光对场景的(多次)照射不足场景的有限可能性。多个传感器还适于同时执行对相应强度场的测量。因此，通过同时感测操作或多 个传感器的测量操作，在一次曝光过程中获得估计的深度信息的基础。此外，多个传感器执行对要拍摄的场景的背景对前景距离的测量，以及补偿器单 元适于控制场景中远离摄像机的区域中的强度增加，以及场景中接近摄像机的区域中的强 度降低。即，通过由多个传感器执行的测量，检测到场景的背景与场景中接近摄像机的前景 之间的距离，从而获得与图像传感器所拾取的整个场景的交错深度有关的信息。在基于拾 取图像的场景的具体区域中，执行强度的降低或增加，以执行对图像拾取过程期间由闪光 设备发射的闪光所照射的场景的期望亮度调整。闪光补偿系统还包括噪声减小单元，适于向场景的预定部分提供空间滤波操作。 这可以用于补偿场景的预定部分中被放大的噪声。具体地，向场景的变暗部分提供空间滤 波操作，使得在对场景进行亮度调整过程中，为暗照片区域处的放大噪声提供补偿，其中， 期望补偿滤波器能够带来更好(或最好的)效果。根据用于控制数字摄像机的闪光补偿系统的方法，该方法包括步骤拾取要拍摄 的场景的图像；向所述场景发射闪光；由多个传感器对相应强度场进行测量，并产生相应 输出信号；基于所述输出信号对所述场景的景深进行估计；以及基于在估计步骤中估计的 景深，提供对闪光照射的场景的亮度调整。因此本发明提供了一种闪光补偿系统以及一种用于控制数字摄像机的闪光补偿 系统的相应方法，利用测量场景的景深的装置，以便于结合对图像的图像测量，有效地减少 标准消费或SLR(单反)/专业数字摄像机中的以下问题(不期望效果)图像传感器所记 录(捕获、拾取)的图像上不均勻分布的照射。本发明涉及数字摄像机系统的闪光补偿系统，其中，当闪光设备发射的闪光照射 场景时，基于由多个传感器测量的相应强度场，在由图像传感器拾取的场景的图像上执行 亮度补偿。依赖于多个传感器的输出信号，对场景的景深进行估计，并且这种估计为对被闪 光设备照射时的拾取为图像的场景的亮度调整提供基础。该系统和方法适合于有效地减少 与拾取的场景图像上不均勻分布的照射有关的问题。结合附图，参照下文中描述的实施例，本发明的这些和其他方面将变得显而易见， 并对本发明的这些和其他方面进行说明。
图1示出了本发明实施例的数字摄像机的闪光补偿系统的总体图示；图2以图示示出了根据本发明实施例的数字摄像机系统的平面图。
具体实施例方式下文中将基于图1和2描述本发明的实施例。根据示出了数字摄像机或数字摄像机系统的闪光补偿系统的示例，摄像机及其相 应元件由虚线包围。数字摄像机系统DC包括用于拾取图像的图像传感器1，以及用于照射要拍摄的 场景3的闪光设备2。当对场景3拍摄时，例如，提供CXD传感器或CMOS传感器形式的图像传感器1，来 拾取场景3的图像，场景3由从闪光设备2辐射到场景3的照射光来照射。场景3也可以 由环境光来照射，并且闪光设备的照射提供对要拍摄的场景3的主要照射。数字摄像机系 统还包括多个传感器4和5，这些传感器4和5被布置在数字摄像机系统上，并用于测量要 拍摄的场景的照射条件(曝光条件)。更详细地，构成辅助传感器并作为低成本传感器提供 的多个传感器用于测量要拍摄的场景3的相应强度场，并提供或产生用于进一步数据评估 的相应输出信号。多个传感器所产生的相应输出信号表示场景3的相应强度场。根据实施例，多个传感器4和5可以由构成立体传感器的至少两个传感器(即，在 该实施例中，至少为第一和第二传感器4和5)提供，或者由数字摄像机系统DC上布置的多 于两个的传感器提供。具体地，可以将用于检测相应强度场的多个传感器4和5布置在数字摄像机系统 DC上的不同位置，这些位置彼此具有预定距离。优选地，在数字摄像机系统DC的正面的指 定位置处进行布置，而在数字摄像机系统DC的顶面上布置的传感器也可以测量摄像师上 面一定高度的深度信息。可以在数字摄像机系统DC上的预定位置处布置三个传感器来代 替优选的第一和第二传感器4和5 (立体传感器)，或者根据不同实施例，优选地根据特定的 对称性在数字摄像机系统DC上布置四个传感器。四个或多个传感器可以用于根据多个传 感器4和5产生的相应输出信号的预定数据评估来获得相应强度场的期望测量。将多个传感器4和5或相应第一和第二传感器的输出信号提供给景深估计器6， 提供景深估计器6用于对场景3的景深进行估计。具体地，景深估计器6基于多个传感器 4和5的输出信号来估计场景3的景深。可以提供多个传感器4和5作为每个像素的深度 估计的装置、立体差异估计的装置或外推至每个像素的信息的飞行时间矩阵传感器。将基于多个传感器4和5的输出信号的估计景深提供给补偿器单元7，补偿器单元 7能够提供对图像传感器(主传感器)1的控制，并且可以提供对图像传感器1所拾取的以 及由来自闪光设备2的辐射光照射的场景的亮度调整。补偿单元7执行的亮度调整基于由景深估计器6执行的景深估计。噪声减小单元11可以连接至景深估计器6和补偿器单元17，并且可以执行对拾取 的场景3的完整图像中的噪声或其特定部分中的噪声的补偿。噪声减小单元11可以输出 场景3的最终照片。这由图1中从噪声减小单元11延伸的箭头表示。该系统还包括允许用户调整补偿量的用户接口 9。为此，用户接口 9连接至补偿器 单元7。用户接口 9实现了与诸如主机或个人计算机等外部设备的连接，或者用户能够直接 输入反映用户偏好的相应指令。这由指向用户接口 9的箭头表示。关于图2，示意性示出了数字摄像机系统DC的平面图，数字摄像机系统DC具有镜头8，镜头8接收从要拍摄的场景3反射的光，并在物镜8的光轴10处、在位于数字摄像机 系统DC中的图像传感器1上产生场景的图像。物镜8可以是整体提供给数字摄像机系统 DC的固定透镜，或者可以是可拆卸附着的物镜8。在数字摄像机系统DC上，提供闪光设备2作为数字摄像机系统DC的内置闪光设 备，或者作为可以分离地安装至数字摄像机系统DC的分离布置的闪光设备。如图2所示，可以在数字摄像机系统DC的正面(面对要拍摄的场景3)上的相对 边缘处分别布置多个传感器4和5，具体地，第一和第二传感器，使得根据预定距离彼此间 隔地布置多个传感器4和5。多个传感器4和5之间的预定距离可以近似由数字摄像机系 统DC的尺寸限定，并可以依赖于数字摄像机系统DC的外形和尺寸而改变。在多个传感器4 和5包括多于两个传感器的情况下，可以将这些多个传感器以预定方式分布至或布置在数 字摄像机系统DC的正面。在下文中解释根据本发明的闪光补偿系统的功能。再次参照图1，当数字摄像机系统DC要执行曝光操作时，图像传感器1拾取场景3 的图像，场景3由闪光设备2的闪光照明(辐射的闪光)照射。通过物镜8在图像传感器 1上产生要由图像传感器1拾取的图像，并沿着光轴10将该图像引导到图像传感器1上。多个传感器4和5可以同时操作，并测量相应场强度，以及产生代表测量的场强度 的相应输出信号。场强度是要拍摄的场景3的亮度或照明强度。可以与构成主传感器的图 像传感器1分离地提供多个传感器4和5，并且优选地，多个传感器4和5可以位于相应传 感器4和5之间至少具有预定距离的数字摄像机系统DC上。多个传感器4和5的同时操作，导致这些传感器的输出信号的产生为要由景深估 计器6执行的深度估计提供基础，这些传感器的输出信号表示要拍摄的场景3的场强度，景 深估计器6由多个传感器4和5的相应输出信号供应。为要拍摄的整个场景3同时执行景 深估计。该场景通常包括数字摄像机系统DC所针对的主要对象，更具体地，对物镜8进行
聚焦ο结合多个传感器4和5的同时操作，景深估计器6同时执行的景深估计避免了在 拍摄运动对象的情况下发生的严重问题。景深估计器6所估计的、并提供给补偿器单元7的景深用作提供图像增强的基础， 具体地，提供对要拍摄的整个场景3的亮度调整的基础，场景3由从闪光设备2辐射到场景 3的闪光来照明。对场景的亮度调整提供了对来自于数字摄像机系统DC的闪光设备在场景3上辐 射的闪光的(多次)不足场景照射的有限可能性的补偿。可以通过多个传感器4和5，从背景对前景距离的测量中导出基本信息，具体地通 过测量相应强度场，从而通过景深估计器6来估计场景3的景深，景深估计器6由多个传感 器4和5的输出信号供应。由景深估计器6提供的深度信息然后用于控制较远区域中强度增加以及接近摄 像机的区域中的强度降低。即，通过景深估计，将多个传感器4和5检测的强度与由景深估 计器6估计的要拍摄场景3的深度信息相关。景深包括与作为拍摄目标的对象有关以及与 要拍摄的场景3的整个背景有关的信息，并且该对象位于要拍摄的场景3中并且从而形成 场景3的一部分。
因此针对整个场景3执行景深估计，因此，针对在由图像传感器拾取的图像中所 包括的、以及以前景距离或背景距离布置的不同部分来执行景深估计。通过补偿由多个传感器4和5检测到的测量反射光强以及使用滤波器(滤波方 法)来实现亮度调整，这实现了总体图像的改善，特别是与属于背景的对象相对应的区域 的改善。尽管这样的背景对象或背景通常对于用户的照片的内容不十分重要，但是，由于背 景部分提供调整总体照片并降低极大对比度的手段，典型地在现有消费摄像机结合闪光照 明进行曝光操作时提供的图像中能够观察到该极大对比度，因此要拍摄的场景3的背景部 分，从而由图像传感器1拾取的整个图像对贡献于总体图像质量是重要的。因此，对场景3 的亮度调整提供对拾取图像的处理，并构成用于补偿来自于摄像机闪光(闪光设备2的照 明)的不足场景照射的有限可能性。提供这种结果的要求是景深估计器6对场景3的真实景深的近似估计；背景对 前景距离的测量；补偿亮度具体地对比度调整的平衡方程；以及要由噪声减小单元11(图 1)执行的可选空间滤波器操作，以补偿变暗图像区域(与场景3的预定部分相对应)处的 放大噪声，其中，期望补偿滤波器能够引入更好(或最大)的效果。因此本发明提供非常优 良的信息，以便进行图像增强。更具体地，基于多个传感器4和5的相应输出信号以及结合 景深估计器6的深度估计，提供了景深与强度场的三维相关性。根据以上讨论的特征满足这些要求。相同的技术也可以用于恢复由于具有不均勻(或高度非线性)光反射属性的廉价 镜头的性能而引起的图像质量降低，即，这些廉价镜头对远离或偏离镜头中心的光源不敏 感。与该问题关联的效应是一种通常被称为鱼眼或桶形效应的效应，典型地在廉价镜头中 观察到的这种效应，同样降低图像质量。为了考虑与上述摄像机设备有关的信息，还可以将与闪光强度或红外闪光中心有 关的信息连同与镜头类型和拍摄参数(诸如快门速度、光圈焦距等曝光条件)有关的信息 一起从摄像机输入到系统。用户接口 9实现了在典型的数字摄像机系统中使用闪光补偿系统与闪光补偿补 偿系统之外的设备(例如，个人计算机)的连接。因此对于用户而言，能够从外部访问闪光 补偿系统，并且允许用户在预览摄像机监视器屏幕(LCD屏幕)之后能够根据其偏好为每张 照片调整补偿量。此外，需要用户偏好来调整需要应用于闪光补偿照片的平滑量。基于多 个传感器(优选地，第一和第二传感器4和5)的输出信号，根据由景深估计器6提供的深 度估计结果，将这种空间自适应滤波应用于主要属于背景的照片区域，这些传感器以预定 方式布置在面对要拍摄的场景3的数字摄像机系统DC的正面上。否则，在场景3中不存在 突出对象的情况下，可以将滤波处理均勻地应用于由图像传感器1拾取的整个图像。因此， 可以根据用户意向可选地提供滤波处理。尽管在附图和上述描述中详细示意和描述了本发明，但是这样的示意和描述不应 视为示意性的或示例性的，并且也不是限制性的；本发明不限于上述公开的实施例。用于控制数字摄像机系统的闪光补偿系统的方法步骤包括上述步骤，并且这些步 骤不排除所附权利要求的范围所覆盖的其他元件或步骤。附图标记不应视为限制该范围。
权利要求
一种用于数字摄像机系统的闪光补偿系统，包括摄像机(DC)，包括用于拾取要拍摄的场景(3)的图像的图像传感器(1)，闪光设备(2)，用于向所述场景发射光，以及多个传感器(4、5)，用于测量相应强度场，并产生相应输出信号，所述系统还包括景深估计器(6)，用于基于所述多个传感器的输出信号来估计场景的景深，以及补偿器单元(7)，用于基于景深估计器估计的景深，提供对由图像传感器拾取并由闪光设备照射的场景的亮度调整。
2.根据权利要求1所述的系统，其中，所述多个传感器(4、5)彼此间隔放置。
3.根据权利要求2所述的系统，其中，所述多个传感器(4、5)根据预定距离彼此间隔放置。
4.根据权利要求1所述的系统，其中，所述多个传感器(4、5)包括被放置在所述摄像机 的相对边缘上的第一和第二传感器。
5.根据权利要求1至3之一所述的系统，其中，所述多个传感器(4、5)适于同时执行对 所述相应强度场的测量。
6.根据权利要求1至3之一所述的系统，其中，所述多个传感器(4、5)适于执行场景 (3)的背景距离对前景距离的测量。
7.根据权利要求1所述的系统，其中，所述补偿器单元(7)适于控制场景中远离所述摄 像机(DC)的区域中的强度增加，以及场景中接近所述摄像机区域中的强度降低。
8.根据权利要求1至3之一所述的系统，还包括噪声减小单元(11)，适于向场景(3) 的预定区域提供空间滤波操作。
9.根据权利要求8所述的系统，其中，所述噪声减小单元适于向场景(3)中变暗的部分 提供所述空间滤波操作。
10.一种用于控制数字摄像机系统的闪光补偿系统的方法，所述方法包括步骤 在向场景发射闪光的同时拾取要拍摄的所述场景的图像，由多个传感器对相应强度场进行测量，并且产生相应输出信号， 基于所述输出信号估计所述场景的景深，以及 基于估计步骤中估计的景深，来提供对由闪光照射的场景的亮度调整。
11.一种数字摄像机系统，包括根据权利要求1至9中任一项所述的闪光补偿系统。
全文摘要
本发明涉及一种闪光补偿系统，以及一种用于数字摄像机系统的相应方法，其中，当场景由闪光设备(2)发射的闪光照射时，基于由多个传感器(4、5)测量相应强度场，来对由图像传感器(1)拾取的场景(3)的图像执行亮度补偿。根据多个传感器的输出信号，来估计场景的景深，并且该估计为对由闪光设备照射的同时被拾取为图像的场景进行亮度调整提供基础。该系统和方法适于有效地减少拾取的场景图像上不均匀分布照射的问题。
文档编号G03B15/03GK101884011SQ200880118963
公开日2010年11月10日 申请日期2008年12月3日 优先权日2007年12月5日
发明者珊拉费姆·艾菲斯特拉泰蒂斯, 理查德·P·克莱霍斯特 申请人:Nxp股份有限公司