专利名称：用于便携式装置中的图像色彩校正的设备和方法
技术领域：
本公开涉及一种用于便携式装置中的图像色彩校正的方法和设备。具体而言，本
公开涉及由具有两个照相机的便携式装置中的照相机所获得的图像的自动色彩校正。
背景技术：
目前，当摄影师获得场景的图片时，通过光源照明该场景。不同的光源可以偏向色谱的不同端，例如红色或者蓝色。当获得具有不同光源的场景的照片时，对于数字和模拟摄影来说，自动白平衡(AWB)是非常具有挑战性的问题。其目的是通过在捕获的图像上执行光源估算来校正由场景光源引起的色差。尽管已经有了广泛的研究，但是当前的解决方案远非是完美的。一些当前的系统基于使用数学模型的场景分析使用多种方法来估算场景光源。这些系统的成功可以取决于该模型与给定的图像相匹配的程度。自动白平衡的较早的技术可以包括在照相机前面手动放置一基准色，例如白色。这样可以简化该白平衡问题，因为这将仅仅需要调整红绿蓝(RGB)增益以与已知基准色相匹配。 遗憾地是，在便携式移动成像系统(诸如便携式电话照相机)的有限计算资源内不能实时地运行大多数复杂的自动白平衡算法。因为小的像素大小而导致的较差的光学质量、光线不足、和高噪声水平，使光源估算变得更复杂。而且，先前的解决方案由于图像内容不是预知的而无效，并且基准色的使用可能是相当麻烦的。
发明内容
—种用于便携式装置中的图像色彩校正的方法和设备。 一种装置可以包括外壳，耦合到该外壳的第一照相机，该第一照相机配置为捕获第一图像，以及耦合到该外壳的第二照相机，该第二照相机配置为捕获第二图像。该装置还可以包括耦合到该第一照相机和该第二照相机的控制器，该控制器配置为控制该装置的操作。该装置可以进一步包括耦合到该控制器的图像校正模块，该图像校正模块配置为基于由该第二照相机捕获的该第二图像来设置该第一照相机的图像的白平衡。
将参考随后的附图来描述本公开的实施例，其中相同的附图标记指定相同的元件，并且其中 图1是依照一个实施例的装置的示例性图示； 图2是依照一个实施例的无线通信装置的示例性框图； 图3是表示依照一个实施例的无线通信装置的操作的示例性流程图；以及
图4是表示依照另一个实施例的无线通信装置的操作的示例性流程图。
具体实施例方式
图1是依照一个实施例的装置100的示例性图示。装置100可以包括外壳110和耦合到外壳110的第一照相机120，第一照相机120配置为捕获第一图像125。装置100还可以包括耦合到外壳110的第二照相机130，第二照相机130配置为捕获第二图像135。另外，装置100可以额外地包括耦合到第一照相机120和第二照相机130的控制器140，控制器140配置为控制装置100的操作。装置100可以进一步包括耦合到控制器140的图像校正模块150，图像校正模块150配置为基于由第二照相机130捕获的第二图像135来设置第一照相机120的白平衡。 例如，装置IOO可以是包括两个照相机的移动电话或者其它电子装置。 一个照相机可以朝向用户以用于自拍照、视频会议等。另一个照相机可以背向用户以用于拍摄照片、电影等。因而，装置100可以使用主要的照相机，例如第一照相机120用于图像捕获。当使用第一照相机120用于图像捕获时，第二照相机130可以指向装置100的用户。装置100可以在来自第二照相机135的图像上使用对象识别以标识已知色彩的对象，并且使用这些信息来设置第一照相机120的白平衡。根据一个相关的实施例，指向用户的第二照相机130可以使用对象标识/识别算法来标识捕获该图像的用户的面部，并且提取肤色信息。例如，肤色属于可以容易提取并使用的有限色域。在附加的相关实施例中，可以在装置100中的成像系统中预存该用户的皮肤色调。然后，该预存的皮肤色调信息，或者该有限的肤色域信息可被用于估算来自所观测的肤色的光源。该光源可以是正被捕获的图像125的场景中的主要的光源色彩。例如，如果该光源是带红色的，则照片将具有红色偏差，并且因此，装置100可以校正由第一照相机120捕获的图像。 因而，可以经由对象识别算法来处理来自第二照相机130的图像135以标识已知色彩的对象，并且如果已标识，则该图像中对象的观测色彩可以与所存储的关于对象色彩的信息进行比较以估算场景光源以及执行第一照相机120的自动白平衡。因此，通过识别存在于场景中的、其色彩已知的对象，装置100使用第二照相机130来计算场景光源。在通常具有指向该装置的用户的第二照相机130的移动成像装置中，用户的面部存在于第二照相机130捕获的图像中的概率是非常高的。用户可以或者预先编排他/她自己的皮肤色调来用于精确的光源估算，或者使用关于人类肤色域的信息来估算该光源以调整白平衡。
例如，调整白平衡，诸如自动白平衡(AWB)可以是估算场景中的主要光源以及对其进行校正过程，使得白色对象呈现为白色。人类大脑基于环境照明渲染色彩，因而在不同光条件下，我们仍然将白色对象看作非常接近于白色。由于照相机不会做这些，所以我们可以校正由于光源引起的色差的图像。 作为另一个例子，在数字照相机中，具有红色、绿色和蓝色(R， G， B)像素，并且基于R， G和B的比率计算色彩。实现白平衡的一种方法是改变不同色彩像素上的增益。例如，在带红色的白炽光下，可以将红色像素设置为比蓝色像素低的增益，以便增强存在于场景中的任何蓝色以补偿红色差。对于荧光，为了抵消绿色偏差，将红色和蓝色两者都设置为较高增益。这可以通过改变像素电压来完成，并且将其称作模拟白平衡，可以在图像捕获之前将其施加于照相机。 还可以通过从照相机传感器获得!^GA值，以及重新计算作为!^GA的线性组合的R2G^2，数字地实现AWB以校正色差，其中
R2 = CnR^C^+C^
G2 = C^+C^+C^B,
<formula>formula see original document page 6</formula> 矩阵
可以被认为是色彩校正矩阵。这个步骤还可以被用来在光
<formula>formula see original document page 6</formula>
源补偿范围之外使色彩更加令人满意并且适于文化偏好。 AWB可以包括使用模拟和数字方法两者。可以在捕获前应用模拟方法，并且可以在 捕获期间或捕获之后应用数字方法。作为一个例子，一些照相机可以使用这两者，然而一些 其它的照相机可以仅使用这两种的一种。 因此，在其它益处之中，本公开的教导可以用于有限的光移动成像系统中，该有限 的光移动成像系统的计算能力可以防止自动白平衡复杂算法的使用。同样，当移动成像系 统具有朝向不同方向的两个照相机时，本公开的教导可以帮助完成更好的自动白平衡。因 而，随着具有两个照相机的移动电话开始流行，文中带的教导是有益的。这在当同一个人大 部分时间使用单一装置时是有益的，因此，可以预先编排特定的皮肤色调以达到高度的精 确性。可选地，可以使用已知的肤色域。由于移动装置成像系统由于低光以及计算资源的 缺乏而不同于常规的数字照相机，所以文中的教导也是有益的。 图2是依照一个实施例的无线通信装置200 (例如装置100)的示例性框图。无线 通信装置200可以包括外壳210，耦合到外壳210的控制器220，耦合到外壳210的音频输 入和输出电路230，耦合到外壳210的显示器240，耦合到外壳210的收发器250，耦合到外 壳210的用户接口 260，耦合到外壳210的存储器270，以及耦合到外壳210和收发器250 的天线280。无线通信装置200还可以包括第一照相机282，第二照相机284，和光学取景器 286。 另外，无线通信装置200可以包括图像校正模块290，对象识别模块292，和色彩信 息存储模块294。图像校正模块290，对象识别模块292，和色彩信息存储模块294可以耦合 到控制器220，可以存在于控制器220内，可以存在于存储器270内，可以是自主模块，可以 是软件，可以是硬件，或者可以是对无线通信装置200上的模块有用的任何其它形式。
无线通信装置200可以是选择性呼叫接收器，例如无线电话，蜂窝电话，个人数字 助理，寻呼机，个人计算机，或者能够在包括无线网络的网络上发送和接收通信信号的任何 其它装置。例如，无线网络可以是无线广域网，诸如无线电信网，蜂窝电话网络，时分多址 (TDMA)网络，码分多址(CDMA)网络，卫星通信网络，以及其它类似的通信系统。
显示器240可以是液晶显示器(LCD)，发光二极管(LED)显示器，等离子显示器，或 者用于显示信息的任何其它装置。收发器250可以包括发射器和/或接收器。音频输入和 输出电路230可以包括麦克风，扬声器，换能器(transducer)，或者任何其它的音频输入和 输出电路。用户接口 260可以包括键盘，按钮，触摸板，操纵杆，附加显示器，或者对提供用 户和电子装置之间的接口有用的任何其它装置。存储器270可以包括随机存取存储器，只 读存储器，光存储器，订户身份模块存储器，或者可以耦合到无线通信装置的任何其它存储 器。 在操作中，第一照相机282可以捕获第一图像，并且第二照相机284可以捕获第二 图像。图像校正模块290可以基于由第二照相机284捕获的第二图像来设置第一照相机 282的白平衡。例如，第二图像可以是由第二照相机284捕获的装置的用户的图像。对象识别模块292可以基于由第二照相机284捕获的第二图像来标识已知色彩的对象，并且图 像校正模块290可以基于该已知色彩的对象来设置第一照相机282的白平衡。该对象识别 过程可以与该对象中的色彩无关，和/或与由其它模块执行的过程无关。然后，图像校正模 块290可以基于该已知色彩的对象中的肤色信息来设置第一照相机282的白平衡。例如， 该已知色彩的对象可以是使用该装置的用户的面部。色彩信息存储模块294可以存储肤色 信息，并且图像校正模块290可以基于该肤色信息来设置第一照相机282的白平衡。例如， 可以将肤色信息存储为数字数据，并且没有必要存储为图像。例如，可以将表示肤色信息的 平均的红色、绿色、蓝色(RGB)值或者亮度和色彩(L，a，b)值存储在色彩信息存储模块294 中，或者通过使用色彩信息存储模块294将它们存储在存储器270中。
第二照相机284可以朝向与第一照相机282基本相反的方向。取景器可以朝向与 第二照相机284基本相同的方向。例如，该取景器可以是光学取景器286或者显示器240。 因而，如果无线通信装置200是蜂窝电话，则用户可以将显示器240用作取景器以使用第一 照相机282来捕获第一图像。在捕获第一图像的过程中，第二照相机284可以捕获第二图 像。第二图像可以用于调整第一照相机和/或第一图像的白平衡。 术语"第一"和"第二"及其它类似的术语仅仅用作标注，并且没有必要暗示所标 注的元件之间的时间关系。因而，可以切换捕获第一和第二图像的时间，或者它们可以是同 时的。例如，可以在由第二照相机284捕获第二图像之后通过第一照相机282捕获第一图 像，或者反之亦然。 依照相关的实施例，无线通信装置200可以是选择性呼叫接收器。无线通信装置 200可以包括外壳210，耦合到外壳的收发器250，耦合到外壳的第一照相机282，耦合到外 壳的第二照相机284，耦合到收发器250、第一照相机282、和第二照相机284的控制器220， 耦合到控制器220的对象识别模块292，以及耦合到控制器220的图像校正模块290。
在操作中，收发器250可以发送和接收无线广域网通信信号。第一照相机282可 以捕获第一图像。第二照相机284可以捕获第二图像。控制器220可以控制无线通信装置 200的操作。对象识别模块292可以标识由第二照相机捕获的第二图像中的特定对象。然 后，图像校正模块290可以基于相应于由第二照相机284捕获的第二图像中的特定对象的 色彩信息来设置由第一照相机282捕获的第一图像的白平衡。例如，图像校正模块290可 以基于相应于由第二照相机284捕获的第二图像中的特定对象的肤色信息来设置第一照 相机282的白平衡。该第二图像中的特定对象可以是该装置的用户，并且第二照相机284 可以捕获包括该装置的用户的第二图像。该特定对象可以是使用该装置的用户的面部。无 线通信装置200可以包括色彩信息存储模块294，色彩信息存储模块294配置为存储用户的 肤色信息或者其它肤色信息。然后，图像校正模块290可以基于该肤色信息来设置由第一 照相机282捕获的图像的白平衡。例如，图像校正模块290可以将所存储的相关肤色信息 与由第二照相机284捕获的图像中的用户肤色的相关信息进行比较。然后，图像校正模块 290可以基于该比较来设置由第一照相机282捕获的图像的白平衡。 图3是根据一个实施例图示无线通信装置200的操作的示例性流程图300。该流 程图在步骤310开始。在步骤320中，无线通信装置200可以使用第一照相机282捕获第 一图像。在步骤330中，无线通信装置200可以使用第二照相机284捕获第二图像。在步 骤340中，无线通信装置200可以基于由第二照相机284捕获的第二图像来调整由第一照
7相机282捕获的第一图像的白平衡。该流程图300在步骤350结束。 可以以多种方法来执行白平衡顺序。因而，可以先捕获第一图像，然后捕获第二图 像，并且然后捕获对象识别部分。然后可以使用上述的色彩校正矩阵来完成数字白平衡。作 为不同顺序的例子，可以捕获第二图像，以及可以估算所需的色彩校正。如上所述，这些可 以用于通过改变照相机像素上的电压增益来完成模拟白平衡。然后可以捕获第一图像，并 且可以进一步基于所估算的色彩校正来执行数字白平衡。另外，模拟和数字白平衡的混合 可以用于产生可能更好质量的图像。典型地，当在第一图像捕获之前发生第二图像捕获时 使用模拟白平衡。在其它情形中仅仅进行数字白平衡，其可以与图像捕获顺序无关。
图4是根据另一个实施例图示无线通信装置200的操作的示例性流程图400。该 流程图在步骤410开始。在步骤420中，无线通信装置200可以存储肤色信息。在步骤430 中，无线通信装置200可以使用第一照相机282捕获第一图像。在步骤440中，无线通信装 置200可以使用第二照相机284捕获第二图像。第二图像可以是该装置的用户的图像，并 且捕获第二图像可以包括捕获该装置的用户的第二图像。在步骤450中，无线通信装置200 可以基于由第二照相机284捕获的第二图像来标识已知色彩的对象。在步骤460中，无线通 信装置200可以基于由第二照相机284捕获的第二图像来调整由第一照相机282捕获的第 一图像的白平衡。无线通信装置200可以基于该已知色彩的对象来调整由第一照相机282 捕获的第一图像的白平衡。无线通信装置200还可以基于该已知色彩的对象中的肤色信息 来调整由第一照相机282捕获的第一图像的白平衡。该已知色彩的对象可以是使用该装置 的用户的面部。无线通信装置200可以基于与用户肤色信息有关的信息来调整由第一照相 机282捕获的第一图像的白平衡。流程图400在步骤450结束。 优选地，在编程的处理器上执行本公开的方法。然而，还可以在通用或者专用计算 机、编程的微处理器或者微控制器以及外围集成电路元件、集成电路、诸如离散元件电路的 硬件电子或者逻辑电路、可编程逻辑装置等上执行该控制器、流程图和模块。通常，在能够 执行附图中所示的流程图的有限状态机器中存在的任何装置可以用来执行本公开处理器 功能。 在该文件中，相关术语诸如"第一，"、"第二，"等可以单独地用于将一个实体或者 动作与另一实体或者动作进行区分，而不必需要或者暗示这些实体或者动作之间的任何实 际的关系或者顺序。术语"包括(comprises)，"、"包括(comprising)"或者它的任何其它变 形意在覆盖非排他的包含，因此包括元件列表的过程、方法、物品、或者设备不仅包括这些 元件，而是可以包括没有明确列出的或这些过程、方法、物品、或者设备所固有的其它元件。 在没有更多限制的情况下，"一 (a)"、"一 (an)"之后的元件没有排除在包括该元件的过程、 方法、物品、或者设备中存在另外的相同元件。同样，术语"另一"定义为至少第二或者更多。 在这里使用的术语"包括"、"具有"等定义为"包括"。 虽然已经利用其中的特定实施例描述了本公开，但是显然对于本技术领域的普通 技术人员来说许多可选方案、修改、和变化是显而易见的。例如，可以在另一实施例中交换、 添加、或者代替该实施例的各种部件。同样，每个附图的所有元件没有必要用于所公开的实 施例的操作。例如，所公开实施例的技术领域中的普通技术人员之一将能够通过仅仅使用 独立权利要求的元件来进行和使用所公开的教导。因此，在此所阐述的公开的优选实施例 意在为说明性的，而非限制的。在不脱离本公开精神和范围内，可以进行各种改变。
权利要求
一种装置，包括外壳；耦合到该外壳的第一照相机，该第一照相机配置为捕获第一图像；耦合到该外壳的第二照相机，该第二照相机配置为捕获第二图像；耦合到该第一照相机和该第二照相机的控制器，该控制器配置为控制该装置的操作；以及耦合到该控制器的图像校正模块，该图像校正模块配置为基于由该第二照相机捕获的该第二图像来设置该第一图像的白平衡。
2. 根据权利要求1所述的装置，其中，该第二图像包括该装置的用户的图像，以及其中，该第二照相机配置为捕获该装置的用户的该第二图像。
3. 根据权利要求1所述的装置，进一步包括对象识别模块，该对象识别模块配置为基于由该第二照相机捕获的该第二图像来标识已知色彩的对象，其中，该图像校正模块配置为基于已知色彩的对象来设置该第一图像的白平衡。
4. 根据权利要求3所述的装置，其中，该图像校正模块配置为基于已知色彩的对象中的肤色信息来设置该第一图像的白平衡。
5. 根据权利要求3所述的装置，其中，该已知色彩的对象包括使用该装置的用户的面部。
6. 根据权利要求5所述的装置，进一步包括色彩信息存储模块，该色彩信息存储模块配置为存储肤色信息，其中，该图像校正模块配置为基于肤色信息来设置该第一图像的白平衡。
7. 根据权利要求1所述的装置，其中，该第二照相机朝向与该第一照相机基本相反的方向。
8. 根据权利要求7所述的装置，进一步包括取景器，该取景器朝向与该第二照相机基本相同的方向。
9. 一种用于捕获图像的方法，包括使用第一照相机捕获第一图像；使用第二照相机捕获第二图像；以及基于由该第二照相机捕获的该第二图像来调整由该第一照相机捕获的该第一图像的白平衡。
10. 根据权利要求9所述的方法，其中，该第二图像包括该装置的用户的图像，以及其中，捕获第二图像包括捕获该装置的用户的该第二图像。
11. 根据权利要求9所述的方法，进一步包括基于由该第二照相机捕获的该第二图像来标识已知色彩的对象，其中，调整包括基于该已知色彩的对象来调整由第一照相机捕获的该第一图像的白平衡。
12. 根据权利要求ll的方法，其中，调整包括基于该已知色彩的对象中的肤色信息来调整由该第一照相机捕获的该第一图像的白平衡。
13. 根据权利要求11所述的方法，其中，该已知色彩的对象包括使用该装置的用户的 面部。
14. 根据权利要求13所述的方法，进一步包括存储肤色相关的信息， 其中，调整包括基于与该肤色相关的信息来调整由该第一照相机捕获的该第一图像的白平衡。
15. 根据权利要求9所述的方法，其中，该第二照相机朝向与该第一照相机的方向基本 相反的方向。
16. —种选择呼叫接收器，包括 外壳；耦合到该外壳的收发器，该收发器配置为发送和接收无线广域网通信信号； 耦合到该外壳的第一照相机，该第一照相机配置为捕获第一图像； 耦合到该外壳的第二照相机，该第二照相机配置为捕获第二图像； 耦合到该收发器、该第一照相机和该第二照相机的控制器，该控制器配置为控制该选择呼叫接收器的操作；耦合到该控制器的对象识别模块，该对象识别模块配置为标识由该第二照相机捕获的该第二图像中的特定对象；以及耦合到该控制器的图像校正模块，该图像校正模块配置为基于与由该第二照相机捕获的该第二图像中的特定对象相对应的色彩信息来设置该第一图像的白平衡。
17. 根据权利要求16所述的选择呼叫接收器，其中，该图像校正模块配置为基于与由 该第二照相机捕获的第二图像中的特定对象相对应的肤色信息来设置该第一图像的白平 衡。
18. 根据权利要求17所述的选择呼叫接收器， 其中，该第二图像中的特定对象包括该装置的用户，以及 其中，该第二照相机配置为捕获包括该装置的用户的该第二图像。
19. 根据权利要求18所述的选择呼叫接收器，其中，该特定对象包括使用该装置的用 户的面部。
20. 根据权利要求19所述的选择呼叫接收器，进一步包括色彩信息存储模块，该色彩 信息存储模块配置为存储与该用户的肤色信息相关的信息，其中，该图像校正模块配置为基于与该用户的肤色信息相关的信息来设置该第一图像 的白平衡。
全文摘要
一种用于便携式装置中的图像色彩校正的方法和设备。装置100可以包括外壳110，耦合到该外壳的第一照相机120，该第一照相机配置为捕获第一图像125，以及耦合到该外壳的第二照相机130，该第二照相机配置为捕获第二图像135。该装置还可以包括耦合到该第一照相机和该第二照相机的控制器140，该控制器配置为控制该装置的操作。该装置可以进一步包括耦合到该控制器的图像校正模块150，该图像校正模块配置为基于由该第二照相机捕获的该第二图像来设置该第一图像的白平衡。
文档编号H04N9/73GK101711482SQ200880009450
公开日2010年5月19日 申请日期2008年1月30日 优先权日2007年3月23日
发明者乔治·C·约翰 申请人:摩托罗拉公司