专利名称：以高精度检测眼睛缺陷的基于相机的方法
以高精度检测眼睛缺陷的基于相机的方法
背景技术：
已知的是在捕获非闪光图像后捕获闪光图像并对这些图像进行相减(包括一些 照度标准化)，可以得到显示出红眼缺陷(闪光眼(flash-eyes))位置所在的差异图像(参 见例如美国专利7, 027，662和美国专利6，859，565)。此夕卜，己公布的名称为"Red-eye filter method and apparatus，，的第 2005/0041121号美国专利申请描述了如下的技术参考的非闪光图像和主闪光图像初始 为具有不同的大小，所述图像在照度标准化和/或相减之前被调整至相同尺寸并被对准。 上述专利申请的受让人与本申请的受让人相同期望具有一种涉及捕获两幅图像的改进技术，对所述两幅图像进行照度标准化并 随后进行相减，在主获得图像中显示出可能的眼睛位置，并随后获得主图像。快速执行该过 程(通常少于1秒)以减少参考对图像与主获得图像的任何不对准。还期望具有一种克服与下述现象相关联的问题的技术非闪光图像较之于闪光图 像而言倾向于显著地更暗，尤其是在难于实现实用的照度标准化的室内环境中。
发明内容
提供一种便携式数字图像获取设备。该设备包括用于获取主数字图像、第一参考 图像和第二参考图像的镜头和感测器。该设备还包括距镜头不同距离而布置的用于照亮所 获取的场景范围内一个或多个物体的第一光源和第二光源。主图像存储于存储器中。该设 备还包括一个或多个内嵌有数字代码的处理器可读介质，该数字代码用于对处理器进行编 程以执行使用第一参考图像和第二参考图像来确定并修正主数字图像中闪光眼缺陷的方 法。该方法包括使用第一光源和第二光源分别获取第一参考图像和第二参考图像。标准化 第一图像和第二图像以生成标准化的第一参考图像和第二参考图像。分析标准化的第一参 考图像和第二参考图像之间的一个或多个差异。该方法还包括基于分析确定并修正主图像 内的闪光眼缺陷以生成修正的主图像。对修正的主图像或进一步处理的版本进行存储、传 输、通信、显示和/或投影。提供另一种便携式数字图像获取设备。这种设备包括用于获取主数字图像、第一 参考图像和第二参考图像的第一镜头和第二镜头以及至少一个感测器。该设备还包括分别 距第一镜头和第二镜头不同距离而布置的用于照亮所获取的场景范围内的一个或多个物 体的光源。将主数字图像和/或进一步处理的版本存储于存储器中。该设备包括一个或多 个内嵌有数字代码的处理器可读介质，该数字代码用于对处理器进行编程以执行使用第一 参考图像和第二参考图像来确定并修正主数字图像中的闪光眼缺陷的方法。该方法包括使 用光源以及使用第一镜头和第二镜头分别获取第一参考图像和第二参考图像。标准化第一 图像和第二图像以生成标准化的第一参考图像和第二参考图像。分析标准化的第一参考图 像和第二参考图像之间的一个或多个差异。该方法还包括基于分析确定并修正主图像范围 内的闪光眼缺陷以生成修正的主图像。对修正的主图像和/或进一步处理的版本进行存 储、传输、通信、显示和/或投影。
在任一种设备中，所述分析可包括将第一参考图像和第二参考图像相减。标准化可包括照度标准化。闪光眼缺陷可包括红眼缺陷。标准化可包括对第一参考图像和第二参考图像中之一或两者重新调整大小。标准化可包括对准第一参考图像和第二参考图像。对准可包括在第一图像和第二 图像内对准一只或多只眼睛。差异可包括色差和/或亮度差。第一参考图像和第二参考图像可各自使用较之于在获取主数字图像中使用的闪 光强度相对较低强度的预闪光来获得。分析可考虑第一设备中第一光源和第二光源与镜头之间的具体的不同距离，或考 虑第二设备中第一镜头和第二镜头与光源之间的具体的不同距离。分析还可考虑所获取的场景内的距一个或多个物体的距离、视角、环境照亮状况、 虹膜颜色和/或脸部皮肤色调。在获取主数字图像之前可连续地获取第一预览图像和第二预览图像。还提供使用第一参考图像和第二参考图像来确定并修正主数字图像的闪光眼缺 陷的方法。还提供具有内嵌的用于对处理器进行编码以执行所述方法的代码的计算机可读 介质。
本专利或申请文件包含至少一幅以彩色施画的附图。在请求和支付所需费用之 后，专利局将提供本专利或专利申请公开的带有彩色附图的副本。图IA示出了用于获得图像的相机，该相机具有靠近光学镜头的闪光灯。图IB示出了相机，该相机具有较之于图1中的闪光灯而言距离光学镜头更远的闪 光灯。图2A、图3A、图4A示出了利用图IA的相机所获取的数字图像中的闪光眼缺陷。图2B、图3B、图4B示出了利用图IB的相机所获取的数字图像中的闪光眼缺陷。图5示出了具有两个闪光灯的相机，所述两个闪光灯分开在距离所述相机的镜头 不同的距离处。图6示出了具有两个光学镜头的相机，所述两个光学镜头分开在距离所述相机的 闪光灯不同的距离处。图7是示出根据某些实施方式的方法的框图。图8是示出根据又一些实施方式的方法的框图。
具体实施例方式在此已经确认的是，如果光源位于距离成像镜头不同的空间距离处，图像中眼睛 区域的颜色和亮度可显著地变化。与此同时，所述图像中的剩余部分将不会有如此显著的 颜色和亮度的变化。图IA和图IB示出了两个各自具有单个闪光灯和单个镜头的相机。然而，图IB中 相机的闪光灯-镜头的距离要大于图IA中的相机的闪光灯-镜头的距离。图2A、图3A和图4A是使用图IA的相机拍摄的至少三个人的眼睛的图片。图2B、图2C和图2D是使用图 IB的相机拍摄的相同的至少三个人的眼睛的图片。相较于图2B中捕获的同一个人的眼睛， 图2A清楚地显示出更浅的红色。相较于图2B中的眼睛，图2A中的眼睛还显现得更亮。相 较于图3B中捕获的同一个人的眼睛，图3A清楚地显示出更浅的红色。相较于图:3B中的眼 睛，图3A中的眼睛还显现得更亮。使用图IA中的相机拍摄出的图4A中的右眼相较于使用 图IB中的相机拍摄出的图4B中的同一个人的右眼显现出更浅的红色。图4A中的左眼显现 为金色并且非常明亮，而图4B中的左眼显现为红色并且不如图4A中的左眼一般明亮。图 2A、图3A和图4A中的所捕获的眼睛和图2B、图;3B和图4B中的所捕获的眼睛的差异是所 使用的如图IA和图IB所示的各相机的闪光灯和光学镜头之间的不同距离。图2A和图2B 中所显示的部分脸部的其他特征则没有显现出显著的差异，图3A和图;3B以及图4A和图4B 也是如此。根据某些实施方式，图5示意性地示出了具有两个不同光源加和2b的相机，光 源加和2b距离主镜头4的距离不同。使用来自两个不同闪光灯单元加和2b的低强度的 预闪光来获取两个可预览的参考图像、可随后浏览的参考图像和/或可同时浏览的参考图 像。图5B示意性示出的相机还包括与镜头4对准的诸如CMOS感测器之类的光感测器6以 用于数字捕获图像，该图像包括意在于被存储、传输、显示、投影、通信和/或进一步处理的 预览图像和主图像。所述相机还包括处理器8和一个或多个存有程序代码的数字介质10。 这些介质10和/或其他介质也可用于存储图像数据。所述相机可具有其他特征，例如用于 通过线缆或无线地连接至另一设备(例如打印机、个人计算机、显示设备、另一相机、电话 机等)和/或用于插入闪存卡或插入其他可安装设备的一个或多个端口。利用图5示意性地示出的相机1A，在数字闪光相机上提供以高精度来检测和修正 各种眼睛缺陷的方法。某些实施方式通过关注两个预览图像或其他参考图像之间的颜色差 异更多地考虑了红眼闪光缺陷，而其他一些实施方式则更多地考虑了诸如金色眼睛、白色 眼睛和/或僵尸眼睛之类的其他缺陷。所述方法基于闪光光线从眼睛反射至相机的CCD和 /或CMOS的效果。这是少数参数的函数。也就是说，除其他因素以外，眼睛缺陷分布是闪光 灯-镜头布置、距对象的距离、视角、环境照亮状况、虹膜颜色和人种的函数。一些实施方式 的方法利用了眼睛缺陷分布随着所述相机的镜头和主光源(闪光灯、聚焦LED或任何其他 光源)之间的距离的变化。所述缺陷的分布随所述闪光灯和所述镜头之间的距离改变，所述缺陷的性质也是 如此。得到除红眼缺陷之外的其他缺陷的频率随所述闪光灯和所述镜头之间的距离增加而 减少。此外，随所述闪光灯和所述镜头之间的距离的增加，眼睛缺陷的强度降低。例如，第 一闪光灯和镜头之间的距离可能是2cm，而第二闪光灯和所述镜头之间的距离可能是5cm。 两个光源加和2b的优选布置提供在两个预览图像或其他参考图像上眼睛缺陷的分布之间 的最大差异，并提供在所述预览图像的其余部分之间的最小差异。两个闪光灯光源可以是在同一相机IA上、位于相对于镜头4的不同位置处的等同 的光源加和2b，所述光源例如闪光灯、两个聚焦灯或LED。所述光源可不同，并且相机IA 具有考虑到这种差异的软件。然而，除了相对于镜头4的位置的因素外，两个等同光源提供 两个几乎等同的预览或其他参考图像。以这种方式，取得所述两个预览的差异图是可能的 和优选的。
相机IA能拍摄紧接在最终的闪光图像之前的两个连续的预览图片、或两个随后 浏览的图片，或各拍一张。使用相机IA的第一光源加拍摄第一预览或其他参考图像，并使 用第二光源2b拍摄第二图像或其他参考图像。生成两个预览或其他参考图像的差异图。可以以各种方式确定所述差异，例如在 仅用于检测红眼缺陷的红色通道上，从更近的光源预览开始，或在仅用于白色眼睛缺陷或 金色眼睛缺陷的照度通道上。第一光源加优选地非常靠近相机IA的镜头4。例如，如图IA所示，光源加可以 位于所述镜头的右侧或左侧Icm或2cm处。第二光源2b可以位于镜头4的左侧或右侧更 远距离处，例如如图2B所示地距离镜头4的4cm或5cm处。可使用闪光灯加捕获第一预 览图像，而使用闪光灯2b捕获第二预览图像。然后捕获主图像。如前文所示，也可捕获随 后浏览的图像。计算预览图像或随后浏览图像之间的差异图。过滤所述差异图以消除小的 差异、阴影等，并且剩余下来的显著差异被分析为即将接受闪光眼缺陷修正算法的很可能 的或至少可能的眼睛缺陷。光源加和2b可以是最简单形式的两个聚焦灯(例如LED)，也 可以是复杂形式的两个闪光灯。根据另一个实施方式，图6示意性地示出了具有光源12和位于距闪光灯12不同 距离处的两个不同光学系统/镜头Ha和14b的相机。可以使用来自闪光单元12的低强 度预闪光来获取两个预览图像。在图6中示意性地示出的相机还包括与镜头1 和14b对 准的至少一个光感测器6，例如两个单独的感测器，每个用于镜头1 和镜头14b中的每一 个，或单一的感测器，用于数字捕获包括意在于被存储、传输、显示、投影、通信和/或进一 步处理的预览图像和主图像的图像。所述相机还包括处理器18和一个或多个其中存储有 程序代码的数字介质20。这些介质20和/或其他介质也可用于存储图像。所述相机可还 具有其他特征，例如一个或多个用于通过线缆或通过无线的方式连接至其他设备(例如打 印机、个人计算机、其他相机、电话机等)和/或用于插入闪存卡或插入其他可安装设备的 端□。在图6的实施方式中，相机IB具有单个闪光单元12和两个成像镜头Ha和14b。 还提供完整的双成像流水线。在这种实施方式中，通过预闪光照明，使用所述成像镜头之一 的Ha获取第一预览图像。与此同时或紧随之后，通过相同的弱预闪光照明，使用第二成像 镜头14b获取第二预览图像。所得结果是一对同时的预览图像，其各自距所述闪光源不同 距离。任何的对准误差仅归因于几何因素，而非归因于对象移动或相机移动，并且可预先校 准补偿算法。接着对使用如图5的相机的不同闪光灯加和2b捕获的参考图像或是使用图6的 相机的两个感测器Ha和14b捕获的参考图像进行比较、相减(伴随或不伴随照度标准化) 和/或进行分析。由于仅有眼睛区域具有非常不同的特征，因此可以以这种方式确定眼睛 区域的位置。随后可以使用全亮度闪光灯获得第三闪光图像。这可通过对闪光灯单元加、 2b和12之一施加更大能量或通过将两个闪光灯单元加和2b组合在图5的相机中，或另外 通过诸如包含第三闪光灯来实现。图7示出了涉及图5的相机IA的方法。在62处，使用图5的相机IA的第一光源 和第二光源以及光学系统4分别获得第一参考图像和第二参考图像。在64处，标准化所述 第一参考图像和所述第二参考图像以生成第一标准化参考图像和第二标准化参考图像。在66处，分析所述第一标准化参考图像和第二标准化参考图像之间的一个或多个差异。在68 处，基于分析在主图像内确定并修正闪光眼缺陷以生成修正的主图像。在69处，对所述修 正的主图像和/或进一步处理的版本进行存储、传输、通信、显示和/或投影。图8示出了涉及图6的相机IB的方法。在72处，使用图6的相机IB的光源12、 第一镜头1 和第二镜头14b获取第一参考图像和第二参考图像。在74处，标准化第一图 像和第二图像以生成的第一标准化参考图像和第二标准化参考图像。在76处，分析所述第 一标准化参考图像和第二标准化参考图像之间的一个或多个差异。在78处，基于分析确定 并修正主图像内的闪光眼缺陷以生成修正的主图像。在79处，对所述修正的主图像和/或 进一步处理的版本进行存储、传输、通信、显示和/或投影。此外，在可根据本文优选的实施方式执行的方法中，或在上文描述的方法中，以选 取的印刷顺序描述了各操作。然而，除了那些明确表明特定顺序的地方或本领域普通技术 人员可能认为所必须为特定顺序那些地方，已选的和为印刷便利而如此确定的顺序并非意 于暗示用于执行所述操作的特定顺序。
权利要求
1.一种使用第一参考图像和第二参考图像来确定并修正主数字图像中闪光眼缺陷的 方法，其中所述方法包括使用布置在距相机镜头不同距离处的第一光源和第二光源分别获取第一参考图像和 第二参考图像；标准化所述第一图像和所述第二图像以生成第一标准化参考图像和第二标准化参考 图像；分析所述第一标准化参考图像和第二标准化参考图像之间的一个或多个差异；基于分析来确定并修正所述主图像内的闪光眼缺陷以生成修正的主图像；以及对所述修正的主图像、进一步处理的版本或它们的组合进行存储、传输、通信、显示或 投影。
2.一种使用第一参考图像和第二参考图像来确定并修正主数字图像中闪光眼缺陷的 方法，其中所述方法包括使用光源以及分别布置在距所述光源不同距离处的第一镜头和第二镜头获取第一参 考图像和第二参考图像；标准化所述第一图像和所述第二图像以生成第一标准化参考图像和第二标准化参考 图像；分析所述第一标准化参考图像和第二标准化参考图像之间的一个或多个差异；基于分析来确定并修正所述主图像内的闪光眼缺陷以生成修正的主图像；以及对所述修正的主图像、进一步处理的版本或它们的组合进行存储、传输、通信、显示或 投影。
3.如权利要求1或2的方法，其中所述分析包括将所述第一参考图像和所述第二参考 图像相减。
4.如权利要求1或2的方法，其中所述标准化包括照度标准化。
5.如权利要求1或2的方法，其中所述闪光眼缺陷包括红眼缺陷。
6.如权利要求1或2的方法，其中所述标准化包括对所述第一参考图像或所述第二参 考图像之一或两者重新调整大小。
7.如权利要求1或2的方法，其中所述标准化包括对准所述第一参考图像和所述第二 参考图像。
8.如权利要求7的方法，其中所述对准包括在所述第一图像和所述第二图像内对准一 只或多只眼睛。
9.如权利要求1或2的方法，其中所述差异包括色差。
10.如权利要求1或2的方法，其中所述差异包括亮度差异。
11.如权利要求1或2的方法，其中所述第一参考图像和所述第二参考图像的每一个都 利用相较于获取所述主数字图像中使用的闪光的强度而言强度相对较低的预闪光来获得。
12.如权利要求1的方法，其中所述分析考虑了所述镜头距离所述第一光源和所述第 二光源的具体的不同距离。
13.如权利要求2的方法，其中所述分析考虑了所述第一镜头和所述第二镜头距离所 述光源的具体的不同距离。
14.如权利要求12或13的方法，其中所述分析还考虑了所获取的场景内的距一个或多个物体的距离、视角、环境照亮状况、虹膜颜色或脸部皮肤色调，或它们的组合。
15.如权利要求1或2的方法，其中在获取所述主数字图像之前，连续地获取所述第一 预览图像和所述第二预览图像。
16.具有内嵌的数字代码的一个或多个处理器可读介质，所述数字代码用于对处理器 进行编程以执行如上权利要求中任一项的方法。
17.一种便携式数字图像获取设备，包括用于获取主数字图像、第一参考图像和第二参考图像的镜头和感测器；用于照亮所获取的场景内的一个或多个物体的第一光源和第二光源，所述第一光源和 所述第二光源布置在距所述镜头不同距离处；用于存储所述主数字图像的存储器；一个或多个具有内嵌的数字代码的处理器可读介质，所述数字代码用于对处理器进行 编程以执行如权利要求1的方法。
18.一种便携式数字图像获取设备，包括用于获取主数字图像、第一参考图像和第二参考图像的第一镜头、第二镜头和至少一 个感测器；用于照亮所获取的场景内的一个或多个物体的光源，所述光源布置在距所述第一镜头 和所述第二镜头不同距离处；用于存储所述主数字图像的存储器；一个或多个具有内嵌的数字代码的处理器可读介质，所述数字代码用于对处理器进行 编程以执行如权利要求2的方法。
全文摘要
一种包括多个镜头和/或多个闪光灯的便携式数字图像获取设备。获取主数字图像、第一参考图像和第二参考图像。通过具有不同闪光灯-镜头距离的不同闪光灯-镜头组合获取所述第一参考图像和所述第二参考图像。基于对所述第一参考图像和所述第二参考图像的分析来检测并修正所述主图像中一个或多个闪光眼缺陷。
文档编号H04N5/225GK102119361SQ200980131123
公开日2011年7月6日 申请日期2009年8月11日 优先权日2008年8月14日
发明者F·纳努, P·科科兰 申请人:泰塞拉技术爱尔兰有限公司