通过控制显示亮度来减轻对捕获图像的显示干扰的制作方法

1.本发明涉及通过控制显示亮度来减轻对捕获图像的显示干扰。更具体地涉及相应的客户端设备和方法。


背景技术：

2.现代设备提供了诸如通过用于捕获数字图像、数字视频等的相机的实现的图像捕获技术的阵列。例如，诸如移动电话、平板电脑等的移动设备通常包括用于从各种角度捕获图像的相机功能，包括前置和后置相机。然而，朝着使设备显示器的屏幕区域最大化的努力对于用于前置相机的相机放置提出了挑战。


技术实现要素：

3.根据本发明的客户端设备包括：照明显示器；安装在所述照明显示器下方的数码相机，其中，所述数码相机的视场穿过所述照明显示器；环境光水平传感器；耦合到所述数码相机和所述环境光传感器的处理器系统，其中，处理由所述数码相机捕获的输入图像以减轻与所述照明显示器相关联的干扰，并且产生增强的输出图像，还包括使用来自所述环境光水平传感器的环境光水平测量以控制所述照明显示器的亮度；以及数字存储介质，所述数字存储介质用于存储所述增强的输出图像。
4.根据本发明的方法包括：从光传感器接收环境光水平测量；在照明显示器上显示第一图像；通过数码相机捕获第二图像，其中，所述数码相机安装在所述照明显示器的下方，并且所述数码相机的视场穿过所述照明显示器；基于所述环境光水平测量在显示所述第一图像和捕获所述第二图像时控制所照明显示器的亮度，以减轻与所述照明显示器相关联的干扰；以及将所述第一图像存储在数字存储介质中。
5.根据本发明的客户端设备包括：在硬件中实现的处理器；照明显示器；环境光传感器；放置于所述照明显示器下方的数码相机，其中，所述数码相机的视场穿过所述照明显示器；以及计算机可读存储介质，在所述计算机可读存储介质上存储有多个指令，所述指令响应于所述处理器的执行，使所述处理器执行以下动作，包括：从所述环境光传感器接收环境光水平测量；通过所述数码相机捕获第一图像；基于所述环境光水平测量，在捕获所述第一图像时控制所述照明显示器的亮度，以减轻与所述照明显示器相关联的干扰；以及将所述第一图像存储在数字存储介质中。
附图说明
6.参考以下附图来描述用于通过控制显示亮度来减轻对捕获图像的显示干扰的技术的实现。贯穿全文，相同的标号可用于引用图中所示的相似特征和组件：
7.图1示出了实现本文讨论的技术的示例环境。
8.图2描绘了根据一个或多个实施方式的客户端设备的局部截面图。
9.图3示出了实现本文讨论的技术的示例显示干扰减轻系统。
10.图4示出了示例客户端设备。
11.图5示出了生成增强的输出图像的示例。
12.图6示出了感兴趣区域中的颜色信道的示例。
13.图7示出了生成增强的输出图像的另一示例。
14.图8示出了示例重新校准模块。
15.图9示出了示例亮度调节模块。
16.图10和11示出了示例客户端设备。
17.图12示出了选通显示器的示例。
18.图13、14和15示出了示例客户端设备。
19.图16、17、18和19示出了根据一个或多个实施例的用于实现本文讨论的技术的示例过程。
20.图20示出了可用于实现本文描述的技术的示例设备的各种组件。
具体实施方式
21.本文讨论了通过控制显示器亮度来减轻对捕获图像的显示干扰。通常，本文中讨论的技术针对其中数码相机位于设备的显示器下方并通过该显示器捕获图像的设备。与通常减小显示器尺寸以容纳与显示器相邻的相机位置的常规设备相比，这种数码相机的定位允许增加的显示空间。但是，将数码相机放在显示器下方会带来许多实施挑战。例如，当使用位于显示器下方的数码相机捕获图像时，显示器发射的光会进入数码相机，从而干扰或破坏被捕获的图像。当使用位于显示器下方的相机捕获图像时，本文讨论的技术减少或减轻了从设备的显示器发射的光的干扰。
22.一种用于在使用位于显示器下方的相机捕获图像时减轻来自设备显示器的光的干扰的技术是基于校准图像的。通常，在显示器显示特定颜色的校准图像时，由数码相机捕获校准图像(称为捕获的校准图像)。在一个或多个实施方式中，针对显示器中包括的每种像素类型(例如，红色、绿色和蓝色)显示并捕获不同的校准图像。记录或获知每个捕获的校准图像的传感器增益和积分时间。当随后捕获其他图像时(例如，用户采取自拍或使用面部识别来对其进行身份验证)，将基于捕获的校准图像的传感器增益和积分时间以及附加的捕获的图像的传感器增益和积分时间来确定捕获参数比。对于每种像素类型，确定由显示器上的像素(例如，在数码相机的视场内)针对当前显示的图像发射的颜色的量。在一个或多个实施方式中，通过确定乘数以及将相应的校准图像乘以该乘数来生成每种像素类型的减法图像，该乘数是像素类型的捕获参数比与显示图像的像素类型在显示器上发射的颜色的量的乘积。从附加的捕获图像中减去减法图像，从而得到增强的输出图像，该输出图像补偿了在捕获附加的捕获图像时显示器发射的光。
23.附加地或替代地，对于每种像素类型，确定捕获参数比并且生成用于该像素类型的颜色信道。通过将相应的校准图像乘以捕获参数比并且在每个像素的基础上乘以颜色信道，可以为每种像素类型生成减法图像。从附加的捕获图像中减去减法图像，得到增强的输出图像，该输出图像补偿了在捕获附加图像时显示器发射的光。
24.使用这样捕获的校准图像来生成增强的输出图像减轻了显示器发射的光的干扰，通过在客户端设备外部提供更准确的场景图像来改善客户端设备的操作，诸如可以更准确
地执行使用由相机通过显示器捕获的面部或指纹来进行用户验证。
25.当使用位于显示器下方的相机捕获图像时，用于减少来自设备显示器的光的干扰的另一种技术是基于重新校准图像。以与捕获的校准图像相同的方式捕获重新校准图像，但是该重新校准图像在稍后的时间被捕获。例如，原始捕获的校准图像可以在工厂或用户家中捕获，并且捕获的重新校准图像可以在捕获原始捕获的校准图像后的几天、几个月或几年内捕获。在一个或多个实施方式中，针对显示器中包括的每种像素类型(例如，红色、绿色和蓝色)显示并且捕获不同的重新校准图像。将捕获的重新校准图像与先前被捕获的校准图像合并以生成合并的校准图像，该合并的校准图像随后用作捕获的校准图像。例如，在生成合并的校准图像之后，合并的校准图像成为客户端设备的新的捕获的校准图像，因此，基于合并的校准图像而不是先前被捕获的校准图像生成减法图像。
26.可以响应于各种不同的触发事件来捕获重新校准图像，这些触发事件可能导致或指示显示像素与成像器像素的对准和几何形状的改变，诸如客户端设备被撞击或掉落，客户端设备的温度超过阈值量，使用数码相机捕获的图像的用户身份验证失败等等。各种附加标准也可以用于确定响应于触发事件何时捕获重新校准图像的定时，诸如客户端设备处于弱光环境中，没有对象位于显示器的前部附近，客户端设备大概处于面朝上状态，客户端设备处于静止状态，客户端设备正在充电(例如，插入充电电缆)等等。
27.以多种不同方式中的任何一种来生成合并的校准图像，诸如用捕获的重新校准图像替换先前被捕获的校准图像，将来自先前被捕获的校准图像和捕获的重新校准图像的对应像素值进行混合(例如，求平均或使用另一组合比)等。
28.这种捕获的重新校准图像的生成允许客户端设备适应显示像素相对于成像器像素随着时间的推移或响应于各种事件(例如，客户端设备掉落)的对准和几何形状的变化。这使得尽管显示器像素相对于成像器像素的对准和几何形状发生了变化，也可以继续生成增强的输出图像，这些输出图像减轻了来自显示器发射的光的干扰。
29.当使用位于显示器下方的相机捕获图像时，用于减少来自设备显示器的光的干扰的另一种技术是在捕获图像时控制显示器的亮度。例如，可以降低显示器的仅在相机视场内的一部分的亮度，或者可以仅降低显示器的扩展区域的亮度，其中扩展区域包括显示器的相机区域，其位于相机视场内以及相机区域周围的区域，但小于整个显示器。作为另一示例，可以降低整个显示器的亮度，或者可以降低显示器的仅特定颜色的亮度(例如，可以降低红色显示像素的亮度，但是可以不降低绿色和蓝色像素的亮度)。作为另一示例，可以将相机视场内显示器的相机区域遮光，或者可以将包括相机区域和包围相机区域但小于整个显示器的区域的扩展区域遮光。可选地，在相机的成像器处于活动状态时选通显示器，以降低显示器的亮度或者成像器正在捕获图像时使显示器的一部分遮光，但不降低显示器的亮度，并且在成像器未捕获图像时不使显示器的一部分遮光。
30.在一个或多个实施例中，基于来自客户端设备的光传感器(例如，专用的环境光传感器或相机的成像器)的环境光水平测量，控制显示器亮度的方式进行变化。例如，在弱光的情况下(例如，小于50勒克斯)，显示器的一部分(包括相机区域)被遮光；在中等水平光的情况下(例如，在50勒克斯和1000勒克斯之间)，减少了显示器的亮度(例如，相机区域或整个显示器)，在中等至高强度光的情况下(例如，在1000勒克斯和50,000勒克斯之间)，显示器被选通，在强光的情况下(例如，超过50,000勒克斯)，不采取任何措施减轻来自显示器
104发射的光的干扰。
31.控制显示器的亮度减轻了来自显示器发射的光的干扰，通过提供客户端设备外部场景的更准确的图像来改善客户端设备的操作，诸如可以更准确地执行使用由相机通过显示器捕获的面部或指纹来进行用户身份验证。
32.虽然可以在许多不同的设备、系统、环境和/或配置中实现通过控制显示器亮度来减轻对捕获的图像的显示干扰的特征和概念，但是在以下示例设备、系统和方法的上下文中描述了通过控制显示器亮度来减轻对捕获的图像的显示干扰的实施方式。
33.图1示出了实现本文讨论的技术的示例环境100。环境100包括客户端设备102，该客户端设备102可以是或包括许多不同类型的计算或电子设备。例如，计算设备102可以是智能电话或其他无线电话、相机(例如，紧凑型或单镜头反光)或平板或平板电脑。作为进一步的示例，计算设备102可以是笔记本计算机(例如，上网本或超级本)、膝上型计算机、可穿戴设备(例如，智能手表、健身追踪器)、个人媒体播放器、个人导航设备(例如，全球定位系统)、娱乐设备(例如，游戏机、便携式游戏设备、流媒体播放器、数字录像机、音乐或其他音频播放设备)、摄像机、物联网(iot)设备、车载计算机等。下面参考图20的设备2000来讨论客户端设备102的其他示例属性。
34.客户端设备102包括用于视觉输出的功能，包括可通过显示模块106进行操作的显示器(也称为显示器屏幕)104。通常，可以通过多种不同的显示技术来实现显示器104，诸如发光二极管(led)、液晶显示器(lcd)、有机发光二极管(oled)等。显示器104可以被激活和去激活。当去激活时，显示器104是空白的并且未被点亮，几乎不发光或者不发光。当被激活时，显示器104被点亮并且发光以显示各种图形、文本等中的任何一个。在一个或多个实施例中，显示器104可以被选择性地激活和去激活，从而允许单个像素或像素组被激活和去激活。因此，在任何给定时间，显示器104的一些像素可以被激活，而显示器104的其他像素被去激活。
35.此外，显示模块106表示用于管理显示器104的功能的功能，诸如由显示器104提供的输出和由显示器104接收的输入，激活和去激活显示器104等。显示模块106包括例如用于驱动显示器104的功能的硬件和逻辑。
36.客户端设备102还包括用于使能图像捕获的功能，包括实现数码相机110的相机模块108。通常，相机110表示用于捕获诸如静止图像、视频等图像的硬件。相机110例如包括诸如光学镜头或一组镜头、光传感器、闪光灯、光圈、成像器等的硬件。此外，相机模块108包括用于管理经由相机110捕获图像的硬件和/或逻辑。相机110可以使用以多种不同技术中的任何一种实现的成像器(诸如电荷耦合器件(ccd)传感器、互补金属氧化物半导体(cmos)传感器、它们的组合等)以数字方式捕获图像。
37.相机110可以被激活和去激活。当去激活时，相机110处于低功率模式，消耗很少或不消耗功率。当被激活时，相机110处于较高功率模式并且能够捕获图像。尽管能够捕获图像，但是应当注意，相机110中的成像器不需要恒定地捕获图像。例如，成像器可能以每秒30帧(图像)的速度和15毫秒(ms)的积分时间(曝光时间)捕获图像，导致成像器交替花费15毫秒捕获图像并且在开始捕获下一张图像之前花费18.33毫秒。
38.通常，相机110位于显示器104的相机区域112处。相机区域112表示例如显示器104的子区域，并且相机110在相机区域112处位于显示器104下方。例如，相机110位于显示器
104的表面下方和相机区域112下方，其示例在下面的图2中示出。在此，仅以示例为目的，使用虚线圆示出相机区域112(即，在操作中不显示虚线圆)，并且应当理解，通常相机区域112在视觉上不易与显示器104的其他区域区分开。在一个或多个实施方式中，相机区域112对应于相机110的视场。显示器104的除相机区域112以外的其他部分被称为外围区域114。
39.客户端设备102还包括显示干扰减轻系统116。当相机110捕获图像时，显示干扰减轻系统116实施各种技术中的一种或多种以减少来自显示器104的光的干扰。这些技术的一个示例是捕获校准图像，并使用校准图像生成减法图像，然后从后续捕获的图像中减去这些减法图像。这些技术的另一个示例是在某些情况下(诸如当客户端设备102处于弱光环境中以及客户端设备102掉落或震荡之后的情况)捕获重新校准图像。这些重新校准图像可以与先前被捕获的校准图像混合或将其替换。这些技术的另一个示例是改变显示器104，诸如降低显示器的亮度，使相机区域112遮光，扩展相机区域112等。
40.显示干扰减轻系统116可以以各种不同的方式来实现。例如，显示干扰减轻系统116可以被实现为存储在计算机可读存储介质上的多个指令，并且可以由处理系统执行。附加地或替代地，显示干扰减轻系统116可以至少部分地在硬件中实现(例如，作为专用集成电路(asic)、现场可编程门阵列(fpga)、专用标准产品(assp)、片上系统(soc)、复杂的可编程逻辑设备(cpld)等)。
41.尽管在图1中被示为单独的系统，附加地或替代地，显示干扰减轻系统116可以被实现为另一系统或模块的一部分。例如，显示干扰减轻系统116可以被实现为显示模块106的一部分。
42.由相机110捕获的各种图像(包括下面将更详细讨论的校准和重新校准图像)被存储在存储设备118中。存储设备118表示数字存储介质，其可以使用多种存储技术中的任何一种来实现，例如闪存或其他固态存储器、磁盘、光盘等。存储设备118还可以存储相机模块108或显示干扰减轻系统116的各种程序指令和数据。
43.图2描绘了根据一个或多个实施方式的客户端设备102的局部截面图200。截面图200示出了显示器104，该显示器104包括相机区域112和外围区域114，以及固定到客户端设备102的内部结构202的相机110。例如，内部结构202表示客户端设备102的各个组件(包括相机110)附接到的印刷电路板(pcb)。如图所示，相机110直接位于显示器104的相机区域112的下方。通常，作为通过相机110捕获图像的一部分，在相机110处捕获的光透射通过相机区域112，并且通常包括由显示器104发射的光。此外，相机110还可以将光透射通过相机区域112，例如用于提供闪光灯照明作为图像捕获的一部分。
44.各种对象(未示出)可选地在各个时间处位于显示器104的前面。此类对象的示例包括用户的脸部、用户的指纹、各种家庭或办公室对象(例如电话、电灯、电视、风扇)、钱包或公文包中的各种对象等。显示器104的前部是指显示器的与相机110相对的部分，示为显示器前部204。与显示器104的前部相对的是显示器104的后部，示为显示器后部206。
45.相机区域112通常是圆形的，如图1所示，对应于通过相机镜头的相机110的视场。应当注意，尽管相机区域112是圆形的，但是穿过相机区域112和相机镜头的光会聚焦在通常为矩形的成像器上。
46.图3示出了实现本文讨论的技术的示例显示干扰减轻系统300。显示干扰减轻系统300是图1的显示干扰减轻系统116的示例。显示干扰减轻系统300包括校准图像收集模块
302、感兴趣区域颜色确定模块304和增强图像生成模块306。通常，校准图像收集模块302收集捕获的校准图像并将其存储在存储器设备108上。对于随后捕获的图像，感兴趣区域颜色确定模块304确定在显示器104上显示的图像的感兴趣区域(例如，相机区域112)中的颜色。增强图像生成模块306基于捕获的校准图像和感兴趣区域中的颜色生成减法图像，并通过从捕获的校准图像中减去减法图像来生成增强的输出图像308。
47.更具体地，校准图像收集模块302通过生成校准图像310并且将校准图像310传送到显示模块106来收集校准图像。在一个或多个实施方式中，针对显示器104中的每种类型的显示像素生成一个校准图像310。例如，对于rgb显示器，校准图像收集模块302生成红色校准图像、绿色校准图像和蓝色校准图像并将其提供给显示模块106。附加地或替代地，可以生成其他类型的校准图像并将其提供给显示模块106，诸如如果显示器包括白色像素则生成白色校准图像，如果显示器包括黄色像素则生成黄色校准图像等。
48.在一个或多个实施方式中，每个校准图像310的关联颜色的值均设置为高(例如，设置为最大值)，而其他颜色的值设置为低(例如，设置为最小值)。例如，使用rgb颜色空间(r，g，b)，红色校准图像可以具有(255，0，0)的所有像素，绿色校准图像可以具有(0，255，0)的所有像素，并且蓝色校准图像可能具有(0，0，255)的所有像素。在一个或多个实施例中，对于整个显示器104，每个校准图像310的关联颜色的值设置为高，而其他颜色的值设置为低。附加地或替代地，每个校准图像310的关联颜色的值设置为高，而仅针对显示器104的一部分(诸如相机区域112或包括相机区域112的扩展区域以及围绕相机区域112的扩展区域(例如，从相机区域112的中心开始扩展区域的半径可以比相机区域112的半径大10％或20％))的其他颜色的值设置为低。
49.附加地或替代地，除了生成校准图像以供显示模块106显示之外，校准图像收集模块302可以向显示模块106提供指示以仅激活显示器104的特定像素(例如，仅用于红色校准图像的红色像素)。这些特定像素可以是例如相机区域112中的像素，包括相机区域和围绕相机区域112的扩展区域的扩展区域中的像素等。仅激活显示器104的特定像素允许在收集校准图像时节省能量，因为在相机区域112外部的区域(或者相机区域112外部的至少诸如10％或20％阈值量的区域)不需要被激活。
50.显示模块106显示校准图像310。如果尚未激活显示器，则显示模块106响应于接收到校准图像310来激活显示器104(例如，将显示器104从低功率模式唤醒)。由显示模块106显示的校准图像310被相机110捕获，并且相机模块108将捕获的校准图像312提供给校准图像收集模块302。校准图像被单独捕获。因此，如果显示了红色校准图像、绿色校准图像和蓝色校准图像，则捕获的校准图像312包括红色的被捕获的校准图像、绿色的被捕获的校准图像和蓝色的被捕获的校准图像。例如，当显示每个校准图像310时，响应于由校准图像收集模块302发送到相机模块108的校准图像捕获信号，由相机模块108捕获校准图像。
51.校准图像收集模块302将捕获的校准图像312和捕获信息314存储在存储设备118中。捕获信息314例如包括每个捕获的校准图像312的传感器增益和积分时间(例如，曝光时间)。附加地或替代地，显示干扰减轻系统300可能以其他方式知道捕获信息314，在这种情况下，捕获信息314不需要存储在存储设备118中。例如，校准图像收集模块302可以被配置为使用已知的或静态的传感器增益和积分时间，在这种情况下，捕获的校准图像312的传感器增益和积分时间不需要存储在存储设备118中。
52.在一个或多个实施方式中，当客户端设备102处于弱光环境中时，由相机模块108显示并捕获校准图像310。弱光环境是指环境光水平小于阈值量(例如1勒克斯)的环境。可以从诸如环境光传感器、相机110的成像器(例如，相机110中的曝光信息)等各种传感器获得环境光水平。通常，环境中的较少量的光可以使得捕获的校准图像312更准确地仅包括由显示器104生成的光，而不是来自其他源的附加光。如下面更详细讨论的，这允许减去由显示器104引入捕获图像中的光量。可以在不同时间执行校准图像的这种显示和捕获，诸如在交付给用户之前在工厂中安装客户端设备102，作为购买客户端设备102之后用户初始化过程的一部分等。
53.在一个或多个实施方式中，每个客户端设备102的显示干扰减轻系统300捕获校准图像。附加地或替代地，不同类型或型号的客户端设备102或不同类型或型号的显示器104可以类似地操作，并且因此对于客户端设备102或显示器104的类型或型号的子集(例如，单个客户端设备或单个显示器)可以显示和捕获校准图像。然后可以将捕获的校准图像312和捕获信息314存储并提供给相同型号或类型(或具有相同显示器104型号或类型)的其他客户端设备102，而不是让每个单独的客户端设备102显示和捕获校准图像。
54.在接收到捕获的校准图像312之后，相机模块108从数码相机110获得捕获的图像316。相机模块108响应于各种事件中的任何一个而获得捕获的图像316(诸如请求捕获图像的用户输入，用户请求身份验证(例如，面部或虹膜识别)，在显示器104附近检测到对象，来自另一个设备或系统的请求等)。
55.显示模块106向感兴趣区域颜色确定模块104提供显示的图像318，该图像是在捕获的图像316被捕获时在显示器104上显示的图像。感兴趣区域颜色确定模块304确定显示器104的感兴趣区域中的颜色。该感兴趣区域是例如在数码相机110的视场内的显示器104的部分(相机区域112)。显示器104的感兴趣区域中的颜色指的是感兴趣区域(也被称为显示图像318的感兴趣区域)内的显示图像318中的颜色。
56.图4示出了示例客户端设备400。客户端设备400包括显示器402，其显示图像(例如，所示出的秋天场景)。示出了相机区域404，该相机区域404示出了相机区域404中显示的图像的主要黄色/橙色。应该注意的是，尽管相机区域404用圆圈示出，但是该圆圈不需要(并且通常不)显示在显示器402上。
57.在捕获的图像316被捕获的同时显示图4中所示的显示图像。因此，在发光以显示显示图像的同时，数码相机110正在捕获捕获的图像316。因此，当捕获捕获的图像316时，显示器402至少在相机区域404内发射的一些光被数码相机110捕获。
58.返回图3，感兴趣区域颜色确定模块304确定显示图像318的感兴趣区域中的颜色，并且将其指示提供给增强图像生成模块306作为感兴趣区域颜色320。在一个或多个实施方式中，感兴趣区域颜色确定模块304通过针对与每个校准图像310相关联的颜色确定包括在显示图像318的感兴趣区域中的那个颜色的量，来确定感兴趣区域颜色320。例如，如果校准图像310包括红色校准图像、绿色校准图像和蓝色校准图像，则感兴趣区域颜色确定模块304确定显示图像318的感兴趣区域中的红色量、显示图像318的感兴趣区域中的绿色量、显示图像318的感兴趣区域中的蓝色量。
59.在一个或多个实施方式中，感兴趣区域颜色确定模块304通过组合显示图像318的感兴趣区域中用于该颜色的像素值，来确定显示图像318的感兴趣区域中的颜色的量。像素
值可以以各种不同的方式组合，诸如通过对感兴趣区域中的像素值求平均。例如，通过对显示图像318的感兴趣区域中的像素的红色值求平均，来确定感兴趣区域中的红色量。
60.增强图像生成模块306接收感兴趣区域颜色320和捕获的图像316，并且通过为与每个校准图像310相关联的颜色生成减法图像来生成增强的输出图像322。如下面更详细地讨论的，这些减法图像是基于校准图像310、捕获信息314和感兴趣区域颜色320生成的，并且从捕获图像316中减去。在一个或多个实施方式中，增强的输出图像322被存储在存储设备118中。附加地或替代地，增强的输出图像322被提供给显示模块106以进行显示，被提供给另一模块或系统以与另一设备进行通信等。
61.图5示出了生成增强的输出图像的示例500。在示例500中示出了红色的被捕获的校准图像502、绿色的被捕获的校准图像504和蓝色的被捕获的校准图像506。对于每个捕获的校准图像502、504和506，增强图像生成模块306分别基于相应的乘数生成减法图像508、510和512。基于捕获参数比和显示图像318的感兴趣区域中的相应颜色的量来生成每种颜色的乘数。捕获参数比考虑了捕获的校准图像312和捕获图像316之间的增益和积分时间的差异。在一个或多个实施方式中，颜色c的乘数(multiplierc)生成为：
[0062][0063]
其中，gaptured_gain指的是捕获图像316的增益，captured_it指的是捕获图像316的积分时间，calibration_gainc指的是对应于颜色c的捕获的校准图像312的增益，calibration_itc指的是对应于颜色c的捕获的校准图像312的积分时间，并且color_amountc指的是对应于颜色c的显示图像318的感兴趣区域中的颜色量。在生成multiplierc时，捕获参数比为：
[0064][0065]
对于每种颜色，每个相应的捕获的校准图像502、504和506乘以相应的乘数，以生成相应的减法图像508、510和512。该乘法是指将捕获的校准图像502、504和506中每个像素的像素值乘以相应的乘数。从捕获的图像316中减去514、516和518所得的减法图像508、510和512，得到增强的输出图像322。
[0066]
在所示的示例中，对于减法图像508，减法是指从捕获图像316中的对应像素中减去514得到减法图像508中的每个像素的像素值。对于减法图像510，减法图像510中的每个像素的像素值是从减去514的结果中减去516。对于减法图像512，减法图像512中每个像素的像素值是从减去514的结果中减去518，得到增强的输出图像322。
[0067]
如示例500中所示，增强图像生成模块306从校准图像中为每种颜色减去当显示显示图像318时，对应于显示器104发射的那种颜色的光的减法图像。因此，当显示显示的图像318时，增强的输出图像322减轻了显示器104引入的干扰。
[0068]
返回图3，感兴趣区域颜色确定模块304可以以除了对感兴趣区域中的像素值求平均以外的各种方式，来确定显示图像318的感兴趣区域中的颜色的量。在一个或多个实施方式中，感兴趣区域颜色确定模块304使用受训的机器学习系统确定感兴趣区域中的颜色的量。机器学习系统是指可以基于输入来调谐(例如训练)以近似未知功能的计算机表示。特别地，机器学习系统可以包括利用算法通过分析已知数据来学习已知数据并对其进行预测
的系统，以学习生成反映已知数据的模式和属性的输出。例如，机器学习系统可以包括决策树、支持向量机、线性回归、逻辑回归、贝叶斯网络、随机森林学习、降维算法、增强算法、人工神经网络、深度学习等。
[0069]
可以通过修改机器学习系统的特征或权重来训练机器学习系统，以使得机器学习系统准确地确定感兴趣区域中的颜色的量。可以使用监督学习或无监督学习来执行此训练。例如，训练数据可以包括感兴趣区域的图像，并且每个图像可以具有指示感兴趣区域中的颜色的量的关联标签。训练机器学习系统以在感兴趣的区域中生成一定量的颜色，以减少或最小化与图像相关联的标签与机器学习系统生成的颜色量之间的损失。
[0070]
在一个或多个实施方式中，不是对感兴趣区域中的像素值求平均或以其他方式组合以确定感兴趣区域中的颜色的量，而是感兴趣区域颜色确定模块304识别感兴趣区域中的颜色信道并且根据每个像素生成减法图像。感兴趣区域颜色确定模块304将颜色信道提供给增强图像生成模块306作为感兴趣区域颜色320。
[0071]
图6示出了感兴趣区域中的颜色信道的示例600。显示器602正在显示图像(例如，如图所示的秋天场景)。示出了感兴趣区域604，其示出了在感兴趣区域604中的主要黄色/橙色。应当注意，感兴趣区域604被示出为带有圆圈，该圆圈不需要(并且通常不)显示在显示器602上。
[0072]
感兴趣区域604对应于图像606，如果感兴趣区域604将由数码相机110捕获，图像606则是将由数码相机110捕获的图像。给定数码相机110的成像器和数码相机的镜头的已知尺寸，圆形的感兴趣区域604可以容易地映射到图像606。
[0073]
增强图像生成模块306为显示器602中的每种类型的显示像素生成颜色信道。每个颜色信道是仅使用一种类型的显示像素的颜色由图像606制成的灰度图像。在所示的示例600中，增强图像生成模块306为图像606生成红色信道608，为图像606生成绿色信道610，并且为图像606生成蓝色信道612。
[0074]
图7示出了生成增强的输出图像的示例700。示例700类似于图5的示例500，除了在示例700中，增强图像生成模块306基于每个像素生成减法图像，而不是对感兴趣区域中的像素值进行平均或以其他方式组合。
[0075]
在示例700中示出的是如上所述的红色的被捕获的校准图像502、绿色的被捕获的校准图像504和蓝色的被捕获的校准图像506。每个捕获的校准图像502、504和506乘以捕获参数比，该捕获参数比考虑捕获的校准图像312和捕获的图像316之间的增益和积分时间的差异。在一个或多个实施方式中，颜色c的捕获参数比(ratioc)生成为：
[0076][0077]
其中，captured_gain指的是捕获的图像316的增益，captured_it指的是捕获的图像316的积分时间，calibration_gainc指的是对应于颜色c的捕获的校准图像312的增益，calibration_itc指的是对应于颜色c的捕获的校准图像312的积分时间。
[0078]
对于每个颜色信道，将捕获参数比与捕获的校准图像502、504和506的乘积乘以对应的颜色信道610、612和614。该乘法是指将捕获的校准图像502、504和506中的每个像素的像素值(乘以捕获参数比后)分别乘以对应颜色信道610、612和614的像素值。从捕获的图像316中减去所得的减法图像，得到增强的输出图像322。
[0079]
在所说明的示例中，对于红色信道，减法是指从捕获图像316中的对应像素中减去702得到所得减法图像中的每个像素的像素值。对于绿色信道，从减去702的结果中减去704得到所得减法图像中每个像素的像素值。对于蓝色信道，从减去704的结果中减去706得到所得减法图像中每个像素的像素值，得到增强的输出图像322。
[0080]
如示例500中所示，增强图像生成模块306为每个颜色信道从校准图像中减去减法图像，该减法图像与当显示显示图像318时显示器104所发射的该颜色信道中的光相对应。因此，当显示显示图像318时，增强的输出图像322减轻显示器104引入的干扰。
[0081]
返回图3，在某些情况下，捕获信息314没有存储在存储设备118中。在这种情况下，捕获的校准图像312的增益和积分时间是增强图像生成模块306已知的，因此不需要从存储设备118中接收。
[0082]
附加地或替代地，在某些情况下，捕获参数比对于增强图像生成模块306而言是已知的，因此不需要由增强图像生成模块306确定。例如，校准图像收集模块302和相机模块108可以使用静态(例如，相同)的增益和积分时间来捕获图像，因此捕获参数比将是容易知道的(例如，如果捕获的校准图像312和捕获图像316的增益和积分时间相同，则捕获参数比为1)。作为另一示例，校准图像收集模块302可以存储相机模块108使用的每个可能的增益和积分时间的多组捕获的校准图像312，诸如一组捕获的校准图像312。在这种情况下，从存储设备118接收具有与捕获图像316相同的增益和积分时间的一组捕获的校准图像312，在这种情况下，捕获参数比为1。
[0083]
参考图5中的对像素值进行组合或求平均以及参考图7中基于每个像素减去图像，讨论了增强图像生成模块306的示例。附加地或替代地，增强图像生成模块306可以基于每像素之间的像素的任何分组以及像素值的组合或平均来减去图像。例如，感兴趣区域中的像素值可以被分成四分之一，并且针对每个四分之一生成组合的(例如，平均值)值。
[0084]
不同的捕获的校准图像312具有不同的重复图案，如图5和图7所示。这些图案是例如显示器104中的显示像素与数码相机110中的成像器像素对准的结果。在一个或多个实施方式中，感兴趣区域颜色确定模块304识别在捕获的校准图像中的重复图案，并且将一次出现的图案用作每个捕获的校准图像312的像素组。在一次出现的图案中的像素值被组合(例如，求平均或以其他方式类似于以上的讨论)以生成对应于单次出现的颜色，在本文中也称为图案颜色。对于在校准图像中每次出现的图案，在生成multiplierc时该图案颜色都将用作color_amountc。
[0085]
在一个或多个实施例中，在感兴趣区域颜色确定模块304识别校准图像中的重复图案的情况下，显示模块106仅激活包括一次出现的图案的相机区域112中的显示器104的像素。当图案重复时，使用捕获一次出现的图案而无需捕获整个相机区域112。附加地或替代地，相比于激活显示图案的多次出现的相机区域112中的显示器的像素，显示模块106较少地激活整个相机区域112。
[0086]
本文包括对增强图像生成模块306的讨论，该增强图像生成模块306通过从捕获图像316中减去一个或多个减法图像来生成增强的输出图像322。附加地或替代地，增强图像生成模块306基于捕获图像316、显示图像318和捕获的校准图像312中的一个或多个以其他方式生成增强的输出图像322。例如，可以通过修改机器学习系统的特征或权重来训练机器学习系统，以使机器学习系统生成增强输出的图像322。可以使用监督学习或无监督学习来
执行此训练。例如，训练数据可以包括数据集，每个数据集包括捕获图像和显示图像。每个训练数据集可以具有相关联的标签，例如目标增强输出图像，该目标增强输出图像是如果没有来自显示器104的干扰将由相机模块108捕获的图像。例如，在显示器104关闭(不发射任何光)时，可以捕获到目标增强输出图像。训练机器学习系统以生成增强的输出图像，以便减少或最小化与训练数据集相关联的标签与机器学习系统生成的增强的输出图像之间的损失。各种附加数据也可选地包括在训练数据中，诸如捕获的校准图像中。
[0087]
在一个或多个实施例中，校准图像收集模块302存储捕获的校准图像312的多个集，诸如针对不同的温度阈值(例如，对于客户端设备102外部的感测温度、客户端设备102内部的感测温度，客户端设备102的特定组件(诸如显示器104)内部的感测温度)的不同的捕获的校准图像312的集。例如，如果感测到的温度低于温度阈值，则使用一组捕获的校准图像312，而如果感测到的温度等于或高于温度阈值，则使用另一组捕获的校准图像312。这种不同的捕获的校准图像312的集的使用允许显示干扰减轻系统300基于温度来考虑对校准图像的显示或捕获的改变。
[0088]
附加地或替代地，在生成减法图像时，增强图像生成模块306可以使用插值来基于两个不同的捕获的校准图像312确定基于温度的校准图像。例如，可以存储两组捕获的校准图像312，一组在低温(例如，客户端设备102的最低典型温度)下捕获，另一组在高温(例如，客户端设备102的最高典型温度)下捕获。当生成减法图像时，增强图像生成模块306基于当前温度在低温校准图像组和高温校准图像组之间进行插值，以基于当前温度确定校准图像组，并且使用确定的一组校准图像以生成减法图像。增强图像生成模块306可以使用各种类型的插值，诸如线性插值或其他插值形状。
[0089]
在一个或多个实施例中，显示干扰减轻系统(例如，图1的显示干扰减轻系统116或图3的显示干扰减轻系统300)包括重新校准模块。显示器104中的显示像素与数码相机110中的成像器像素的对准和几何形状导致在校准和如上所述的其他捕获图像中形成各种图案。如果显示像素与成像器像素的对准或几何形状由于任何原因发生变化，则这些图案可能会发生变化。因此，在各种情况下，重新校准模块使新捕获的校准图像被收集，以反映出显示像素与成像器像素的对准或几何形状的改变(或电位改变)。
[0090]
图8示出了示例重新校准模块800。在一个或多个实施方式中，重新校准模块800被包括在显示器干扰减轻系统中(例如，图1的显示器干扰减轻系统116或图3的显示器干扰减轻系统300)。重新校准模块800包括重新校准确定模块802、校准图像验证模块804和校准图像合并模块806。
[0091]
通常，重新校准确定模块802基于各种触发数据808来确定何时收集新的校准图像(也称为重新校准图像)。当收集了重新校准图像时，校准图像验证模块804接收重新校准图像，并且校准图像合并模块806将重新校准图像与先前存储的校准图像合并或混合。
[0092]
重新校准确定模块802从各种不同的源接收触发数据808，并且基于触发数据808确定何时发生触发事件。触发事件是指可能导致或指示显示像素与成像器像素的对齐或几何形状改变的任何事物，并且因此指示重新校准模块800将收集重新校准图像。响应于发生触发事件，重新校准确定模块802基于客户端设备102所处的环境来确定收集重新校准图像的时间。
[0093]
重新校准确定模块802从诸如客户端设备102中的各种传感器、客户端设备102的
操作系统、数码相机110等的各种不同源中的任何一个接收触发数据808。在一个或多个实施例中，重新校准确定模块802从诸如接近度传感器、环境光传感器、加速计、陀螺仪等中的一个或多个的各种低功率传感器接收触发数据808。这些低功率传感器通常比数码相机110消耗更少的功率。通过使用来自低功率传感器的数据来确定是否发生了触发事件或者确定收集重新校准图像的时间，以允许客户端设备102通过不激活或不唤醒高功率数码相机110直到发生触发事件并且收集重新校准图像的时间为止来节省功率。
[0094]
重新校准确定模块802以各种不同方式中的任何一种来确定何时发生触发事件。在一个或多个实施例中，重新校准确定模块802基于经过的时间来确定何时发生触发事件，诸如确定触发事件以规则或不规则的间隔(例如，每周)发生。触发数据808包括客户端设备102中的定时的指示，例如当前时间的指示，计时器已经到期的指示等等。可以从各种源(例如在客户端设备102上运行的操作系统)接收该定时指示。
[0095]
附加地或替代地，重新校准确定模块802基于温度确定何时发生触发事件。触发数据808包括对客户端设备102(或客户端设备的组件，例如显示器104)的内部温度或外部温度(例如，客户端设备102所在的环境的温度)的指示。例如，重新校准确定模块802响应于内部温度超过第一阈值或下降到第二阈值以下，或者响应于外部温度超过第三阈值或下降到第四阈值以下而确定触发事件发生。
[0096]
附加地或替代地，重新校准确定模块802基于客户端设备102的移动来确定何时发生触发事件。例如，重新校准确定模块802响应于客户端设备102掉落或被撞击而确定发生触发事件。触发数据808包括客户端设备102是否已经掉落或被撞击的指示，诸如来自运行在客户端设备102上的操作系统的客户端设备102已经掉落或被撞击的通知，加速度计或陀螺仪检测到的运动的指示(例如，量、类型、速率等)等。在训练数据808包括运动的指示(例如，量、类型、速率等)的情况下，重新校准确定模块802使用各种公共或专有技术中的任何一种来确定客户端设备102是否已经掉落或被撞击。例如，指示垂直下降然后突然停止的移动数据可以指示客户端设备102掉落或落下，指示近似水平运动的突然变化的移动数据可以指示客户端设备102被撞击等等。
[0097]
附加地或替代地，重新校准确定模块802基于客户端设备102的认证失败来确定何时发生触发事件。例如，触发数据808包括基于捕获图像的用户认证失败的指示(例如，用户提供密码或个人识别码以对其进行认证之后未识别出由数码相机110捕获的图像中的面部特征或指纹特征)。触发数据808包括基于捕获的图像的用户认证何时失败的指示，诸如来自客户端设备102上运行的操作系统的指示或来自客户端设备102的安全或认证系统的指示。
[0098]
本文讨论了用于确定何时发生触发事件的各种不同方式。应当理解，重新校准确定模块802可以使用这些不同方式中的任何一种或组合来确定何时发生触发事件。例如，重新校准确定模块802可以使用本文讨论的不同方式中的任何一种来确定触发事件发生。作为另一示例，当本文讨论的至少两种不同方式(例如，显示器104的内部温度超过第一阈值和基于捕获的图像的用户认证失败)发生时，重新校准确定模块802可以确定触发事件发生。
[0099]
响应于触发事件发生，重新校准确定模块802基于客户端设备102所处的当前环境来确定收集重新校准图像的时间。该确定基于各种标准中的任何一个进行。在一个或多个
实施例中，重新校准确定模块802确定在客户端设备102处于弱光环境中时收集重新校准图像。可以从各种传感器(诸如相机110的成像器(例如，相机110中的曝光信息)、环境光传感器等)获得当前环境中的光水平。弱光环境是指光水平(例如，环境光水平)小于阈值量(诸如1勒克斯)的环境。通常，环境中较少的光量允许重新校准图像被更准确地捕获，因为它们仅包括由显示器104生成的光，而不包括来自其他来源的附加光。
[0100]
附加地或替代地，重新校准确定模块802基于对象是否紧邻显示器104来确定收集重新校准图像的时间。可以基于来自诸如确定显示器104前面对象(例如，可能在数码相机110的视场内的对象)的接近度的接近度传感器的各种传感器的数据或指示，来确定对象是否紧邻显示器104。这样的接近度传感器可以提供对象在显示器104的阈值距离内的指示，提供指示最接近的对象到显示器104的距离的数据等。紧邻显示器104的对象是指在显示器104的阈值距离内的对象，例如6英寸。
[0101]
数码相机110通过显示器104捕获图像，因此，如果对象紧邻显示器104，则捕获的重新校准图像更可能包括从显示器104发射并被对象反射的光，从而导致捕获的重新校准图像更有可能包含反射光并因此不太准确地捕获仅由显示器104发射的光。因此，当没有对象紧邻显示器104时，重新校准确定模块802确定收集重新校准图像。
[0102]
附加地或替代地，重新校准确定模块802基于客户端设备102的定向来确定收集重新校准图像的时间。可以基于来自诸如加速度计或陀螺仪传感器的各种传感器的数据或指示来确定客户端设备102的定向。这样的传感器可以提供对客户端设备102的定向的指示(例如，客户端设备102是否处于水平定向，显示器104是否面朝上(例如，背离地球而不是朝向地球)，显示器104在三维空间中所面对的方向的数据指示等。
[0103]
数码相机110通过显示器104捕获图像，因此，如果对象紧邻显示器104，则捕获的重新校准图像更可能包括从显示器104发射并被对象反射的光，从而导致捕获的重新校准图像更有可能包括反射光并因此不太准确地捕获显示器104发射的光。如果客户端设备102处于水平定向且显示器104面朝上，则客户端设备102更有可能是放在桌子或其他表面上，其上没有对象会反射光。相反，如果客户端设备102处于垂直定向，且显示器垂直面向地面，则客户端设备102更有可能处于钱包、口袋、背包或将反射光或将包括反射光的其他对象的其他携带设备中。因此，当客户端设备102处于水平定向(或在水平方向的阈值量之内，例如5度)并且显示器104面朝上(或在面向上的阈值量内部，例如5度)时，重新校准确定模块802确定收集重新校准图像。
[0104]
附加地或替代地，重新校准确定模块802基于客户端设备102的运动来确定收集重新校准图像的时间。可以基于来自诸如加速度计或陀螺仪传感器的各种传感器的数据或指示来确定客户端设备102是运动还是静止。这样的传感器可以提供客户端设备102正在移动或不移动(例如，静止或静态)的指示，提供指示客户端设备102正在移动的速度的数据等。
[0105]
数码相机110通过显示器104捕获图像，因此，如果对象紧邻显示器104，则捕获的重新校准图像更可能包括从显示器104发射并被对象反射的光，导致捕获的重新校准图像可能包含反射光并因此不太准确地捕获仅由显示器104发射的光。如果客户端设备102处于静止状态，则客户端设备102更有可能在位置表面处静止而没有在显示器104前面将反射光的对象。相反，如果客户端设备102正在移动，则客户端设备102更可能遇到在显示器104前面将反射光的对象。因此，重新校准确定模块802确定在客户端设备102静止时(或在静止的
阈值量之内，诸如每秒移动1英寸)收集重新校准图像。
[0106]
附加地或替代地，在客户端设备102相对于客户端设备102正在行进的车辆静止时，重新校准确定模块802确定收集重新校准图像。例如，如果客户端设备102正在以大于每小时45英里移动，则重新校准确定模块802可以确定客户端设备102在汽车、火车、飞机或其他车辆中。因此，客户端设备102不太可能遇到在显示器104前面反射光的对象。
[0107]
附加地或替代地，重新校准确定模块802基于客户端设备102是否正在充电(例如，客户端设备102的电池当前正在充电)或者物理地连接至另一设备或插座(例如，通过通用串行总线(usb)电缆)，来确定收集重新校准图像的时间。可以基于来自各种源的数据或指示来确定客户端设备102是否正在充电或者连接到另一设备或插座，例如来自客户端设备102上的操作系统，即客户端设备102正在充电或连接到另一设备或插座的指示，客户端设备102通过usb电缆连接到另一设备或插座的指示等。
[0108]
数码相机110通过显示器104捕获图像，因此，如果对象紧邻显示器104，则捕获的重新校准图像更可能包括从显示器104发射并被对象反射的光，从而导致捕获的重新校准图像更可能包含反射光，因此不太准确地捕获仅由显示器104发射的光。如果客户端设备102正在充电或连接到另一设备或插座，则客户端设备102更有可能处于在显示器104前面没有反射光的对象的位置。相反，如果客户端设备102未在充电并且未连接至另一设备或插座，则客户端设备102更可能正在移动或在其他地方，从而遇到在显示器前面反射光的对象。因此，重新校准确定模块802确定在客户端设备102正在充电或连接到另一设备或插座时收集重新校准图像。
[0109]
本文讨论了用于确定响应于触发事件而收集重新校准图像的时间的各种不同标准。应当理解，重新校准确定模块802可以使用这些标准中的任何一个或组合。例如，重新校准确定模块802可以响应于客户端设备102处于弱光环境中来确定收集校准重新校准图像。作为另一示例，重新校准确定模块802可以响应于客户端设备102处于弱光环境中没有对象紧邻显示器104来确定收集重新校准图像。作为另一示例，重新校准确定模块802可以响应于客户端设备102处于弱光环境以及显示器104处于面朝上的水平定向来确定收集重新校准图像。
[0110]
在一个或多个实施例中，重新校准确定模块802响应于确定是收集重新校准图像的当前时间来激活显示器104。通过将屏幕激活请求传送给显示模块106来激活显示器104。响应于屏幕激活请求，如果显示器104尚未被激活，则显示模块106激活显示器104(例如，将显示器104从低功率模式唤醒)。这允许显示器104被激活并且准备显示校准图像310，从而允许捕获的重新校准图像被捕获。
[0111]
类似地，在一个或多个实施例中，重新校准确定模块802响应于确定是收集重新校准图像的当前时间来激活数码相机110。通过将相机激活请求传送到相机模块108来激活数码相机110。响应于相机激活请求，如果数码相机110尚未被激活，则相机模块108激活数码相机110(例如，从低功率模式唤醒相机110)。这允许数码相机110被激活并且准备好捕获显示的校准图像310。
[0112]
响应于确定触发事件已经发生并且是收集重新校准图像的当前时间，重新校准确定模块802将重新校准请求810发送到图3的校准图像收集模块302。响应于重新校准请求810，校准图像收集模块302向显示模块106发送校准图像310(或对显示模块106的指示以仅
激活显示器104的特定像素)并且如上所述地从相机模块108接收捕获的校准图像312和捕获信息314。在一个或多个实施例中，校准图像310是与先前或最初收集所捕获的校准图像312所使用的相同的校准图像。除了响应于执行重新校准请求810之外，类似于上面的讨论，显示和捕获这些校准图像310和捕获的校准图像312。因此，由于显示像素相对于成像器像素的对准或几何形状的改变，捕获的校准图像312可能与先前的捕获的校准图像312不同。这些捕获的校准图像312响应于重新校准请求810而被捕获，因此也被称为重新校准图像。这些重新校准图像具有类似于上面讨论的捕获信息314对应的捕获信息。
[0113]
校准图像验证模块804从校准图像收集模块302接收捕获的重新校准图像812和捕获信息814，并且将捕获的重新校准图像812和捕获信息814提供给校准图像合并模块806。在一个或多个实施例中，校准图像验证模块804在不分析捕获的重新校准图像812的情况下，将捕获的重新校准图像812和捕获信息814提供给校准图像合并模块806。附加地或替代地，校准图像验证模块804分析捕获的重新校准图像812并且确定是否将校准图像812与先前存储的校准图像(例如，图3的捕获的校准图像312)合并或混合。
[0114]
如上所述，当捕获重新校准图像时，可能出现数码相机110可以捕获从各种对象接收的光的情况。这些反射例如是在捕获重新校准图像时由显示器104发射的光的反射。在一个或多个实施例中，校准图像验证模块804分析捕获的重新校准图像812以确定在捕获的重新校准图像812中是否存在像差。这种像差例如是从显示器104前面的对象反射并且由数码相机110捕获的光，或者在捕获的重新校准图像812捕获期间用户中断客户端设备102的结果。
[0115]
校准图像验证模块804可以以各种不同方式中的任何一种来识别像差。如上所述，尽管每个捕获的重新校准图像可以具有各种重复图案，但是每个重新校准图像是单色(例如，红色、绿色或蓝色)。在一个或多个实施例中，校准图像验证模块804分析捕获的重新校准图像812以识别每个捕获的重新校准图像812中的一个或多个非重复图案。非重复图案很可能是来自对象的反射，因此被视为像差。附加地或替代地，校准图像验证模块804分析捕获的重新校准图像812以识别模糊(例如，由于用户对客户端设备102的移动而导致的)，或者捕获的重新校准图像812中被视为像差的其他伪像。
[0116]
校准图像验证模块804还可选地确定像差的大小。与显示像素与成像器像素的对准或几何形状的变化或数码相机110的损坏(例如，数码相机110的成像器中的不良像素)相比，从对象反射的光可能会导致更大的非重复图案(例如，就像素大小而言，或相对于所捕获的重新校准图像的其他部分的强度而言)。因此，如果像差的大小超过阈值量(例如，具有超过比图像的重复图案中的像素数量大25％的像素的数量的大小，具有超过比图像中像素的平均强度大25％的强度)，则校准图像验证模块804确定像差是从对象反射的光的结果。
[0117]
在一个或多个实施例中，校准图像验证模块804基于附加的捕获的重新校准图像，来确定捕获的重新校准图像中的像差是来自对象反射的光的结果还是用户中断的结果。例如，假设捕获的重新校准图像812包括红色图像、绿色图像和蓝色图像。如果在稍有不同的位置的三个图像的每一个中发生像差，则校准图像验证模块804可以确定该像差是从移动的对象(例如，风扇叶片)反射的光的结果。即使例如像差的大小不超过阈值量，也可以进行该确定。
[0118]
在一个或多个实施例中，对于没有任何像差的每个捕获的重新校准图像812，该相
差被确定为从对象反射的光的结果，校准图像验证模块804将捕获的重新校准图像812提供给校准图像合并模块806用于合并。如果捕获的重新校准图像812具有像差，该相差被确定为是从对象反射的光的结果或用户中断的结果，则校准图像验证模块804不将捕获的重新校准图像812提供给校准图像合并模块用于合并。这允许重新校准模块800避免将具有显著像差的捕获的重新校准图像与先前被捕获的校准图像或重新校准图像进行合并。附加地或替代地，如果捕获的重新校准图像812具有像差，该相差被确定为是从对象反射的光的结果或用户中断的结果，则校准图像验证模块804向校准图像合并模块806提供捕获的重新校准图像812以及像差位置的指示。这允许校准图像合并模块806将没有像差的捕获的重新校准图像812的一部分与先前被捕获的校准图像或重新校准图像进行合并。
[0119]
在一个或多个实施例中，重新校准模块800基于每个图像将捕获的重新校准图像与先前被捕获的校准图像或重新校准图像合并。例如，如果捕获的重新校准图像812包括红色图像、绿色图像和蓝色图像，则可以将那些图像之一(例如，红色图像)与先前被捕获的校准图像或重新校准图像进行合并，而将那些图像中的另一个(例如蓝色图像)不与先前被捕获的校准图像或捕获的重新校准图像合并，因为该图像(例如蓝色图像)中的像差被确定为是从对象或对象反射的光的结果或用户中断的结果。
[0120]
附加地或替代地，重新校准模块800基于组将捕获的重新校准图像与先前被捕获的校准图像或重新校准图像合并。例如，如果捕获的重新校准图像812包括红色图像、绿色图像和蓝色图像，则仅当所有三个捕获的重新校准图像812都没有被确定为是从对象反射的光的结果或用户中断的结果的像差时，将那些图像中的每一个与相应的先前被捕获的校准图像或捕获的重新校准图像进行合并。
[0121]
校准图像合并模块806将捕获的重新校准图像812与存储在存储设备118中的先前被捕获的校准图像进行合并。这些先前被捕获的校准图像可以是如上所述的初始捕获的校准图像312或者先前被捕获的重新校准图像812。在本文的讨论中，这些先前被捕获的重新校准图像也被称为先前被捕获的校准图像。
[0122]
在一个或多个实施例中，校准图像合并模块806通过用捕获的重新校准图像812替换存储设备118中的先前被捕获的校准图像，将捕获的重新校准图像812与先前被捕获的校准图像进行合并，示出为合并校准图像814。校准图像合并模块806还将与合并校准图像814相对应的捕获信息818存储在存储设备118中。
[0123]
附加地或替代地，校准图像合并模块806通过从存储设备118中检索先前被捕获的校准图像820并且将先前被捕获的校准图像820与捕获的重新校准图像812混合，来将捕获的重新校准图像812与先前被捕获的校准图像820合并。校准图像合并模块806用混合的校准图像替换在存储设备118中的先前被捕获的校准图像，示出为合并校准图像816。校准图像合并模块806还将与混合校准图像相对应的捕获信息818存储在存储设备118中。
[0124]
校准图像合并模块806可以以各种不同方式中的任何一种将先前被捕获的校准图像820与捕获的重新校准图像812混合。在一个或多个实施例中，通过使用先前被捕获的校准图像820与捕获的重新校准图像812的比(诸如80/20比或50/50比)来混合两个图像。例如，对于混合的校准图像中的每个像素值使用80/20比，将捕获的重新校准图像812中的对应像素值的值的80％和先前被捕获的校准图像820中对应像素值的值的20％相加来生成混合的校准图像。类似地，通过将捕获的重新校准图像812的捕获信息814的值的80％(例如，
每个增益和积分时间)和从存储设备118接收的先前被捕获的校准图像820的捕获信息822的值的20％(例如，每个增益和积分时间)相加，来生成此示例中的混合校准图像的捕获信息。可选地，在混合之前两个图像被注册(点亮)，以考虑例如在捕获两个图像的时间之间硬件的变化。
[0125]
附加地或替代地，可以使用与先前被捕获的校准图像312相同的捕获信息(例如，增益和积分时间)来捕获重新校准图像812。这可以以各种方式来实现，例如，校准图像收集模块302向相机模块108指示用于捕获重新校准图像的捕获信息。在这种情况下，不需要从校准图像收集模块302接收捕获信息814。相反，从存储设备118接收的捕获信息822可以用作捕获信息814。
[0126]
附加地或替代地，校准图像合并模块806使用多个先前被捕获的校准图像820和捕获信息822。多个先前被捕获的校准图像820和捕获信息822可被保持在存储设备118中并被不同地加权以生成混合图像。例如，可以使用60/30/10比，从而得到混合图像，该混合图像通过将来自捕获的重新校准图像812的像素值的60％、来自第一先前先前被捕获的校准图像820(例如，最近捕获的校准图像820)的像素的值的30％以及来自第二先前被捕获的校准图像820(例如，第二最近捕获的校准图像820)的像素值的10％相加而获得。
[0127]
本文包括对校准图像合并模块806将先前被捕获的校准图像820与捕获的重新校准图像812混合的讨论。附加地或替代地，校准图像合并模块806使用机器学习系统来将先前被捕获的校准图像820与捕获的重新校准图像812进行混合。例如，可以通过修改机器学习系统的特征或权重来训练机器学习系统，以使得机器学习系统生成合并的校准图像816。可以使用监督学习或非监督学习来执行该训练。例如，训练数据可以包括数据集，每个数据集包括先前被捕获的校准图像和捕获的重新校准图像。每个训练数据集可以具有相关联的标签，诸如合并的校准图像，该合并的校准图像将是先前被捕获的校准图像和捕获的重新校准图像的良好合并。例如，可以手动生成两个图像的良好合并。训练机器学习系统以生成合并的校准图像，以便减少或最小化与训练数据集相关联的标签与机器学习系统生成的合并的校准图像之间的损失。
[0128]
如上所述，在一个或多个实施例中，捕获的重新校准图像812的一部分包括像差。在这种情况下，校准图像合并模块806使用不包括像差的捕获的重新校准图像812的一部分以及先前被捕获的校准图像820的与像差相对应的至少一部分，来生成混合的校准图像。例如，校准图像验证模块804向校准图像合并模块806提供捕获的重新校准图像812的一部分包括像差的指示。对于捕获的重新校准图像812包括像差的部分，校准图像合并模块806通过使用来自先前被捕获的校准图像820的与在捕获的重新校准图像812的包括像差的部分中的像素值相对应的像素值作为混合图像中的像素值，来生成混合图像。对于捕获的重新校准图像812不包括像差的部分，校准图像合并模块806通过使用来自先前被捕获的校准图像820与捕获的重新校准图像812的不包括像差的部分中的像素值相对应的像素值作为混合图像中的像素值，或者通过以其他方式组合来自先前被捕获的校准图像820和捕获的重新校准图像812的像素值(例如，根据如上所述的某种比)，来生成混合图像。
[0129]
在其中捕获的重新校准图像812的一部分包括像差的情况下，校准图像合并模块806可以以各种不同的方式来确定混合图像的捕获信息。在一个或多个实施例中，如上所述，混合图像的捕获信息是先前被捕获的校准图像820的捕获信息822。附加地或替代地，先
前被捕获的校准图像820的捕获信息822和捕获的重新校准图像812的捕获信息814可以以与捕获的重新校准图像812的不包括像差的部分的像素值相同的方式(例如，相同的比)进行组合。
[0130]
在合并的校准图像816已经被存储在存储设备118中之后，校准图像合并模块806将重置824指示发送到重新校准确定模块802。重置指示824通知重新校准确定模块802重新校准图像已被捕获、合并以及存储在存储设备118中。响应于重置指示824，重新校准确定模块802恢复分析触发数据808以确定何时发生触发事件。
[0131]
应当注意，在某些情况下，校准图像收集模块302收集多组校准图像，例如针对多个不同增益和积分时间值中的每一个的不同组的校准图像。在这种情况下，响应于重新校准请求810，也收集相同组的重新校准图像。
[0132]
返回图3，在一个或多个实施例中，显示干扰减轻系统(例如，图1的显示干扰减轻系统116或图3的显示干扰减轻系统300)包括亮度调节模块。亮度调节模块通过调节显示器的亮度来减轻在捕获图像时来自显示器104的干扰。亮度调节模块可以如下面更详细地讨论的那样使用各种不同的技术来调节显示器的亮度。
[0133]
图9示出了示例亮度调节模块900。在一个或多个实施方式中，亮度调节模块900被包括在显示器干扰减轻系统(例如，图1的显示器干扰减轻系统116或图3的显示器干扰减轻系统300)中。因此，亮度调节模块900可以与使用校准图像和重新校准图像的技术结合使用，从而导致在由亮度调节模块900进行亮度调节的同时显示增强的输出图像。附加地或替代地，亮度调节模块900可以是图1的显示干扰减轻系统116，在这种情况下，显示器干扰减轻系统116不需要生成和捕获校准图像，不需要生成和捕获重新校准图像，并且不需要生成增强的输出图像。
[0134]
亮度调节模块900包括调节确定模块902、亮度控制模块904和遮光控制模块906。通常，调节确定模块902在数码相机110捕获图像的同时，确定是否要调节显示器104的亮度还是遮光显示器104的一部分，以减少或消除显示器104发射的光对数码相机110捕获的图像的影响。在要调节显示器104的亮度的情况下，亮度控制模块904确定何时以及如何降低显示器104的亮度。在显示器104的一部分要被遮光的情况下，遮光控制模块906确定显示器104要被遮光的一部分，以及何时该部分要被遮光。
[0135]
尽管将亮度调节模块900示为包括亮度控制模块904和遮光控制模块906，但是附加地或替代地，亮度调节模块900不需要包括模块904和906两者。例如，如果亮度调节模块900不支持调节显示器104的亮度，则亮度控制模块904不需要包括在亮度调节模块900中。作为另一示例，如果亮度调节模块900不支持使显示器104的一部分被遮光，则遮光控制模块906不需要包括在亮度调节模块900中。
[0136]
调节确定模块902接收环境光水平测量910。环境光水平测量910是客户端设备102所处的环境中的光水平的指示。在一个或多个实施例中，如上所述，从低功率环境光传感器获得环境光水平测量910。附加地或替代地，可以从诸如数码相机110的其他传感器获得环境光水平测量910(例如，环境光水平测量910可以是由数码相机110的成像器测量的勒克斯水平)。
[0137]
通常，环境光水平越低，从显示器104发射的光将更多地干扰由数码相机110捕获的图像。在一个或多个实施例中，当环境光水平足够高时(例如，至少50,000)从显示器104
发射的光不具有干扰由数码相机110捕获的图像的视觉效果，因此显示器干扰减轻系统116不需要采取任何措施来减轻从显示器104发射的光的干扰。
[0138]
调节确定模块902至少部分地基于环境光水平测量910来确定用于减轻来自显示器104发射的光的干扰的合适技术。在一个或多个实施例中，调节确定模块902通过减轻捕获图像中的干扰和破坏用户体验之间的平衡来确定要使用的适当技术。例如，调节确定模块902选择适当的技术，从而减轻对捕获图像的干扰，同时对用户体验的破坏最小(例如，减少或最小化)。
[0139]
在一个或多个实施例中，调节确定模块902基于环境光水平测量和不同的阈值水平来确定要使用哪种技术(例如，使屏幕的一部分遮光或降低屏幕的亮度)。作为示例，对于弱光情况(例如，小于50勒克斯)，调节确定模块902确定使显示器104的一部分被遮光，对于中等水平光的情况(例如，在50勒克斯和1000勒克斯之间)，调节确定模块902确定降低显示器104的亮度，对于中至高水平光的情况(例如，在1000勒克斯至50,000勒克斯之间)，调节确定模块902确定对显示器104进行选通，并且对于强光情况(例如，大于50,000勒克斯)，调节确定模块902确定不采取任何措施来减轻来自显示器104发射的光的干扰。
[0140]
应当注意，用于使用这些不同技术的阈值水平经常基于显示器104的特定模型或类型以及在客户端设备102中实现的数码相机110的特定模型或类型而变化。不同模型或类型的数码相机110具有不同的光敏度，并且因此对于使用这些不同的技术可以具有不同的阈值水平。类似地，由于采用不同的技术以使数码相机110的显示器104通过诸如通过减少图1的相机区域112相对于图1的外围区域114中的像素的数量，相对于外围区域改变相机区域112中的像素的几何形状，相对于外围区域114改变相机区域112中的像素的亮度等来捕获图像，因此不同型号或类型的显示器104具有不同的特性。这些不同的特性使得不同的模型或类型的显示器104具有使用这些不同技术的不同阈值水平。
[0141]
例如，一个客户端设备102可以使用一种特定类型的数码相机110和一种特定类型的显示器104，从而导致当环境光水平测量在40至50勒克斯之间时，降低显示器的亮度足以减轻从显示器104发射的光的干扰。因此，在该客户端设备102中，当环境光水平测量在40和50勒克斯之间时，显示器的亮度降低，而不是使显示器104的一部分被遮光。然而，另一客户端设备102可以使用不同类型的数码相机110和不同类型的显示器104，导致当环境光水平测量在40到50勒克斯之间时，降低显示器的亮度不足以减轻从显示器104发射的光的干扰。因此，在该客户端设备102中，当环境光水平测量在40到50勒克斯之间时，显示器104的一部分被遮光而不是降低显示器亮度。
[0142]
可以以各种不同方式中的任何一种来确定将这些不同技术用于显示器和数码相机类型的不同组合的适当阈值水平。在一个或多个实施例中，适当的阈值水平是由开发人员或设计人员在观察使用不同的环境光水平、不同的阈值水平和不同的技术获得的捕获图像与基准图像(例如，当显示器104关闭并且不发光时捕获的图像)之间差异的情况下，根据经验确定的。附加地或替代地，客户端设备102上的配置模块可以通过确定使用不同的环境光水平、不同的阈值水平和不同的技术获得的捕获图像与基准图像有多接近，并且选择与基准图像足够接近(例如，在阈值量之内，诸如像素值变化小于5％)的最小干扰技术相对应的值作为给定阈值水平。
[0143]
响应于确定将显示器104的一部分遮光，调节确定模块902将遮光调节指示912传
送给遮光控制模块906，遮光控制模块906确定显示器104要被遮光的一部分以及何时该部分将被遮光。遮光调节指示912包括环境光水平测量910的指示，允许遮光控制模块906确定将显示器104的一部分遮光的适当方式。在一个或多个实施例中，响应于环境光水平测量910小于第一阈值(例如，1勒克斯)，遮光控制模块906遮光相机区域112和外围区域114的扩展部分，响应于环境光水平测量910至少为第一阈值(例如1勒克斯)但小于第二阈值(例如50勒克斯)遮光相机区域112(但不遮光扩展区域)，并且响应于环境光水平测量910在第三阈值(例如，10,000勒克斯)和第四阈值(例如，50,000勒克斯)之间，当相机区域112被遮光时，选通捕获图像的显示器。
[0144]
附加地或替代地，遮光控制模块904可以以相同的方式遮光显示器104的一部分(例如，相机区域112或具有扩展部分的相机区域112)，而不考虑环境光水平测量910。附加地或替代地，遮光显示器104的一部分的方式可以是用户可选择的配置设置。
[0145]
使相机区域112遮光(但不使外围区域114的扩展部分遮光)是指使相机区域112中的像素去激活或者以其他方式显示为黑色。在遮光时不会从相机区域112发射光，因此相机区域112不会发射会干扰捕获图像的光。遮光控制模块906被预编程或以其他方式了解相机区域112的位置，并且向显示模块106提供屏幕遮光指示914，以使相机区域112中的像素去激活，或者像素以其他方式显示为黑色。
[0146]
在一个或多个实施方式中，显示模块106与相机模块108同步，使得相机区域112的遮光与数码相机110捕获图像同时发生。因此，相机区域112在数码相机110正在捕获图像时被遮光，但在其他时间不被遮光。附加地或替代地，显示模块106可以以其他方式确定何时使相机区域112被遮光的定时，诸如何时数码相机110的成像器是活动的(例如，通电)。
[0147]
图10示出了示例客户端设备1000。客户端设备1000包括显示器1002，其显示图像(例如，所示出的秋天场景)。相机区域1004被图示为被遮光，因此可能会干扰捕获图像的光不会从相机区域1004发射。在一个或多个实施方式中，相机区域1004对应于相机110的视场，因此相机区域1004仅包括显示器1002在相机110视场内的部分。
[0148]
返回图9，使相机区域112加外围区域114的扩展部分遮光是指去激活扩展区域中的像素或以其他方式显示为黑色的像素。该扩展区域包括相机区域112以及围绕相机区域112的一些外围区域。当遮光时，将不会从扩展区域发射光，因此，扩展区域不会发射会干扰捕获图像的光。
[0149]
遮光控制模块906被预编程或以其他方式知道相机区域112的位置。遮光控制模块906还确定围绕相机区域112的外围区域以及包括在扩展区域中的量。可以以各种方式来识别该量，诸如相机区域112的尺寸的百分比(例如，从相机区域112的中心，确定遮光区域的半径比相机区域112的半径大10％或20％)、特定数量的像素(例如，将遮光区域的半径确定为比相机区域112的半径大20或50个像素)等。遮光控制模块906向显示模块106提供屏幕遮光指示914，以使扩展区域中的像素被去激活或以其他方式显示为黑色。
[0150]
在一个或多个实施方式中，显示模块106与相机模块108同步，使得扩展区域的遮光与数码相机110捕获图像同时发生。因此，数码相机110正在捕获图像的同时扩展区域被遮光，但是在其他时间扩展区域没有被遮光。附加地或替代地，显示模块106可以以其他方式确定何时使扩展区域遮光的定时，诸如何时数码相机110的成像器处于活动状态(例如，通电)。
[0151]
图11示出了另一示例客户端设备1100。客户端设备1100包括显示器1102，其显示图像(例如，所示的秋天场景)。所示出的扩展区域1104被遮光，因此可能干扰捕获图像的光将不会从扩展区域1104发射。扩展区域1104对应于相机110的视场以及围绕相机110的视场的外围区域的附加部分。如图所示，扩展区域1104大于图10的扩展区域1004。通过使用扩展区域1104而不是较小的相机区域1004，没有光从围绕视场的外围区域发射，从而防止了可能在显示器1102内反射或散射的任何杂散光来干扰捕获图像。
[0152]
返回图9，当相机区域112被遮光时选通捕获图像的显示器是指在数码相机110捕获图像但是在其他时间不被遮光时，使该区域中的像素去激活或以其他方式显示为黑色。该区域可以是例如相机区域112或包括相机区域112以及如上所述围绕相机区域112的一些外围区域的扩展区域。在遮光时不会从该区域发射光，因此该区域不会发射干扰捕获图像的光。遮光控制模块906被预编程，或者以其他方式知道要被遮光的区域的位置。可以以上述关于使相机区域112或扩展区域遮光的各种方式来确定该区域。遮光控制模块906向显示模块106提供屏幕遮光指示914，以使扩展区域中的像素被去激活或以其他方式显示为黑色。
[0153]
显示模块106与相机模块108同步，以使得该区域的遮光与数码相机110的图像捕获同时发生，但是当数码相机110未捕获图像时该区域不遮光。例如，假定数码相机110的成像器以每秒30帧(图像)的速率捕获图像，并且积分时间为15毫秒，因此该成像器每33.33毫秒捕获15毫秒(ms)的图像。因此，该区域将被遮光15ms，然后通电或显示图像18.33ms。
[0154]
图12示出了选通显示器的示例1200。在时间1202、1204、1206和1208处示出了图像的客户端设备显示(例如，所示的秋天场景)。在时间1202处，区域1210被遮光，而由数码相机110的成像器捕获图像。如图所示，图像显示在显示器的外围区域114中。在稍后的时间1204处，该区域被通电并且显示图像的一部分。在稍后的时间1206处，区域1210被遮光，而由数码相机110的成像器捕获图像。如图所示，图像显示在显示器的外围区域114中。在稍后的时间1208处，该区域被通电并且显示图像的一部分。通过选通显示器，在成像器捕获图像时该区域被遮光，而在其他时间，该区域通电并且显示图像的一部分。这减少了该区域被遮光的时间量，这减少了被遮光区域对用户的可见性，同时减轻了在图像捕获期间该区域发射的光的干扰。
[0155]
响应于确定降低显示器104的亮度，调节确定模块902将亮度调节指示916传送给亮度控制模块904，亮度控制模块904确定何时以及如何降低显示器104的亮度。在一个或多个实施例中，亮度调节指示916包括环境光水平测量910的指示，从而允许亮度控制模块904确定降低显示器104的亮度的适当方式。附加地或替代地，亮度控制模块904可以以相同的方式降低显示器104的亮度，而不考虑环境光水平测量910。
[0156]
在一个或多个实施例中，亮度控制模块904仅在相机区域(或类似于上述扩展遮光区域的扩展区域)中降低显示器104的亮度。附加地或替代地，亮度控制模块904降低整个显示器上的显示器104的亮度。可以由亮度控制模块904以各种方式来确定显示器104的亮度是仅在相机区域(或扩展区域)中被降低还是在整个显示器中被降低，诸如基于环境光水平测量910(例如，如果环境光水平测量910低于阈值水平，则降低显示器104在整个图像上的亮度；如果环境光水平测量910至少达到阈值，则仅在相机或扩展区域上降低显示器的亮度)。作为另一示例，是降低整个显示器上的亮度还是仅降低相机区域(或扩展区域)的亮度
可以是用户可选择的配置设置，可以在亮度控制模块940中被预先配置等等。
[0157]
亮度控制模块904向显示模块106提供亮度设置指示918，以降低整个显示器104或显示器104的特定部分的亮度。降低亮度的量可以以各种方式指定，诸如固定量(例如，在0到100的亮度设置范围内，将亮度降低20)，可变量(例如，将当前的亮度设置降低20％)。降低亮度的量也可以基于环境光水平测量而变化，例如，如果环境光水平测量低于阈值，则降低量比环境光水平测量高于阈值时更大。亮度控制模块904被预先编程或者以其他方式知道相机区域112的位置，并且可以在亮度设置指示918中包括减少亮度的量和显示器104(例如相机区域112或扩展区域)的特定部分或整个显示器104。显示模块106通过降低该部分内各个像素的亮度来降低显示器的该部分的亮度。
[0158]
在一个或多个实施方式中，显示模块106与相机模块108同步，使得亮度降低与数码相机110捕获图像同时发生。因此，部分或整个显示器104的亮度在数码相机110正在捕获图像时降低，但是在其他时间不降低。附加地或替代地，显示模块106可以确定何时以其他方式降低部分或整个显示器104的亮度的定时，诸如何时数码相机110的成像器处于活动状态(例如，通电)。
[0159]
图13示出了另一示例客户端设备1300。客户端设备1300包括显示图像(例如，所示的秋天场景)的显示器1302。示出了具有降低的亮度的区域1304，因此将减少可能干扰捕获图像的来自区域1304的光。在一个或多个实施方式中，区域1304是对应于相机110的视场的相机区域112。附加地或替代地，区域1304是如上讨论将显示器104的一部分遮光的扩展区域，尽管在图13中该部分1304具有降低的亮度而不是被遮光。
[0160]
图14示出了另一示例客户端设备1400。客户端设备1400包括显示图像(例如，所示出的秋天场景)的显示器1402。显示器1402被示出为具有降低的亮度(例如，相对于图13的显示器1302的外围区域114)，因此将减少可能干扰捕获图像的来自显示器1402的光。
[0161]
返回图9，在某些情况下，不同类型或型号的显示器104比其他类型吸收更多的颜色，从而有效地减少了显示器104的特定类型或型号发射并且由数码相机110捕获的某些颜色的量。在这种情况下，亮度控制模块904增加或者不改变由显示器104吸收地更多的颜色的亮度，或者降低由显示器104吸收地没有那么多的颜色的亮度。因此，亮度控制模块904可以增加或降低显示图像中某些颜色而不是其他颜色的亮度。
[0162]
可以以多种不同方式中的任何一种来确定哪种颜色比其他颜色被吸收地更多。在一个或多个实施例中，由显示器104的特定类型或模型吸收的各种颜色的量由测试特定类型或模型的显示器104的开发人员或设计人员根据经验来确定。该测试可包括例如在显示器104的正面上照射光，并且在显示器104的背面处测量通过显示器104的特定颜色(例如原色或红色、绿色和蓝色)的量。作为另一个示例，该测试可以包括捕获校准图像(例如，红色、绿色和蓝色校准图像)，以及相对于彼此测量捕获的校准图像的亮度，以识别(基于已知的成像器响应信息)哪种或哪几种颜色吸收得比其他一种或多种颜色更多。作为另一示例，可以分析显示器104的各个颜色信道的透射率曲线，以识别哪些颜色信道吸收或透射最多的能量，并且因此可以容易地识别哪些颜色被显示器104吸收得更多。
[0163]
图15示出了另一示例客户端设备1500。客户端设备1500包括显示图像(例如，所示出的秋天场景)的显示器1502。图15的示例假定显示器1502比红色或绿色吸收更多的蓝色，并且比红色或蓝色吸收更少的绿色，因此示出了显示器1502具有降低的绿色亮度(例如，相
对于图4的显示器402)和增加的蓝色亮度。因此，在显示图像中被显示器1502吸收较少的光的亮度降低，但是在显示图像中被显示器1502吸收更多的光的亮度增加。这减少了显示器104在来自显示器104吸收较少的颜色的捕获图像中的干扰，同时通过不降低其他颜色的亮度来帮助维持显示器104的亮度。
[0164]
返回图1，在一个或多个实施例中，当数码相机正在捕获图像时在显示器104上的显示图像是已知图像，诸如经常在显示器104上显示的图像。例如，显示图像可以是当数码相机捕获用于认证用户的图像时显示的客户端设备的锁定屏幕的图像。在这种情况下，显示干扰减轻系统116可以执行附加的处理或分析，以确定在显示特定的显示图像时如何减轻来自显示器104的干扰。该处理可以包括例如显示图像中的颜色的附加处理或分析，以确定适当的减法图像，确定适当的亮度降低等等。
[0165]
本文讨论了用于减轻来自显示器的对捕获图像干扰的各种不同技术。应当理解，显示干扰减轻系统116可以使用这些不同技术中的任一种或组合来减轻来自显示器的对捕获图像的干扰。例如，可以在捕获图像的同时执行用于降低显示器的亮度的任何技术，并且可以从捕获的图像减去校准图像以生成增强的输出图像。作为另一示例，可以在使相机区域或显示器的扩展区域遮光的同时降低显示器的特定颜色的亮度。
[0166]
在一个或多个实施例中，如上所述，显示干扰减轻系统116使相机区域或扩展区域的亮度遮光或以其他方式降低。在这种情况下，在捕获校准图像或重新校准图像的同时，显示干扰减轻系统116可选地遮光或以其他方式降低相机区域或扩展区域的亮度。显示模块106可以降低校准图像或重新校准图像的亮度，或者可以以降低的亮度生成校准图像或重新校准图像(例如，在相机区域或扩展区域中显示黑色)。这防止了显示干扰减轻系统116使用捕获的校准图像或捕获的重新校准图像，其在显示器的区域中以在随后捕获图像时将不会使用的亮度发光。
[0167]
应当注意，这可能导致多组捕获的校准图像或捕获的重新校准图像，每组对应于相机区域或扩展区域的特定遮光或亮度降低，并且多组中的适当一组用于在捕获后续图像时基于区域以及如何降低区域的亮度来生成增强的输出图像。
[0168]
图16示出了根据一个或多个实施例的用于实现本文讨论的技术的示例过程1600。通过诸如图1的显示干扰减轻系统116的显示干扰减轻系统来执行过程1600，并且可以以软件、固件、硬件或其组合来实现。过程1600被示为一组动作，并且不限于所示的用于执行各种动作的操作的顺序。
[0169]
在过程1600中，通过安装在照明显示器下方的数码相机捕获图像(动作1602)。数码相机的视场穿过照明显示器，并且数码相机可以捕获图像，而另一图像正在照明显示器上显示。
[0170]
通过减轻来自照明显示器的干扰，从捕获的图像生成增强的输出图像(动作1604)。如本文所讨论的，从照明显示器发射的光可以与捕获图像一起被捕获，但是被减轻以生成增强的输出图像。
[0171]
增强的输出图像被存储，显示或传送(动作1606)。增强的输出图像可以存储在本地，显示在照明的显示器上，通信或传送到另一设备或系统等等。
[0172]
图17示出了根据一个或多个实施例的用于实施本文讨论的技术的另一示例过程1700。过程1700由诸如图1的显示干扰减轻系统116的显示干扰减轻系统来执行，并且可以
以软件、固件、硬件或其组合来实现。过程1700被示为一组动作，并且不限于所示出的用于执行各种动作的操作的顺序。
[0173]
在过程1700中，显示与显示器中的每种像素类型相对应的校准图像(在1702处)。例如，对于包括红色、绿色和蓝色像素的显示器，显示红色校准图像，显示绿色校准图像，并且显示蓝色校准图像。这些校准图像将单独显示(例如，显示器显示全红，随后显示全绿色，随后显示全蓝色)。
[0174]
每个显示的校准图像由安装在显示器下方的数码相机捕获(动作1704)。数码相机的视场穿过显示器，并且数码相机捕获显示的校准图像的图像。
[0175]
安装在显示器下方的数码相机捕获第一图像，同时在显示器上显示第二图像(动作1706)。在动作1702和1704中已经显示并捕获了校准图像之后，一次显示第二图像并捕获第一图像。
[0176]
对于每个捕获的校准图像，基于捕获的图像和第二图像生成减法图像(动作1708)。这些减法图像对应于在捕获第一图像时显示第二图像而导致的来自显示器的干扰。
[0177]
从第一图像和减法图像生成增强的输出图像(动作1710)。通过从第一图像减去减法图像，减轻了在捕获第一图像时来自显示第二图像的照明显示器的干扰。
[0178]
图18示出了根据一个或多个实施例的用于实现本文讨论的技术的另一示例过程1800。过程1800由包括重新校准模块的显示干扰减轻系统执行，诸如包括图8的重新校准模块800的图1的显示干扰减轻系统116，并且可以以软件、固件、硬件或其组合来实现。过程1800被示为一组动作，并且不限于所示的用于执行各种动作的操作的顺序。
[0179]
在过程1800中，接收客户端设备的环境光水平测量(动作1802)。从各种传感器中的任何一个(诸如客户端设备的环境光传感器、客户端设备的数码相机的成像器等等)接收环境光水平测量。
[0180]
客户端设备的显示器响应于环境光水平测量而被激活(动作1804)。该显示器是照明显示器，例如oled显示器。响应于指示客户端设备处于弱光环境(例如，小于阈值光水平)的环境光水平测量来激活显示器。如果显示器已经被激活，则在动作1804中不需要重新激活显示器。
[0181]
当显示器被激活时，客户端设备的数码相机捕获重新校准图像(动作1806)。数码相机位于显示器的后面，数码相机的视场穿过显示器。数码相机捕获正在显示器上显示的重新校准图像，获得捕获的校准图像。
[0182]
接收先前被捕获的校准图像(动作1808)。该先前被捕获的校准图像是例如先前被捕获并存储在客户端设备的数字存储介质中的校准图像。
[0183]
基于先前被捕获的校准图像和重新校准图像生成合并的校准图像(动作1810)。可以以各种方式来生成合并的校准图像，诸如通过用重新校准图像的对应的一个或多个部分替换校准图像的一个或多个部分，混合(例如，平均或以其他方式组合)来自校准图像的一个或多个部分以及重新校准图像的一个或多个部分的对应像素值等等。
[0184]
合并的校准图像被存储在数字存储介质中(动作1812)。在一个或多个实施方式中，合并的校准图像替换在动作1808中接收的先前被捕获的校准图像。
[0185]
可以对显示器中的多个不同像素类型的每个像素重复动作1806至动作1812。例如，如果显示器包含红色、绿色和蓝色像素，则对红色重新校准图像、绿色重新校准图像和
蓝色重新校准图像中的每一个重复动作1806至动作1812，得到红色的合并的校准图像、绿色合并的校准图像和蓝色合并的校准图像。
[0186]
图19示出了根据一个或多个实施例的用于实现本文讨论的技术的另一示例过程1900。过程1900由包括亮度调节模块的显示干扰减轻系统执行，诸如包括图9的亮度调节模块900的图1的显示干扰减轻系统116，并且可以以软件、固件、硬件或其组合来实现。过程1900被示为一组动作，并且不限于所示的用于执行各种动作的操作的顺序。
[0187]
在过程1900中，接收客户端设备的环境光水平测量(动作1902)。从各种传感器中的任何一个接收环境光水平测量，诸如客户端设备的环境光传感器、客户端设备的数码相机的成像器等等。
[0188]
第一图像被显示在客户端设备的照明显示器上(动作1904)。第一图像可以由客户端设备的各种不同应用程序、程序或其他模块或组件中的任何一个生成。
[0189]
第二图像由安装在照明显示器下方的数码相机捕获(动作1906)。数码相机具有穿过照明显示器的视场。
[0190]
在捕获第二图像的同时控制照明显示器的亮度(动作1908)。可以基于环境光水平测量来控制亮度。亮度的这种控制可以包括使照明显示器的一部分遮光，降低照明显示器的一种或多种颜色的亮度以及如上讨论的等等，以减轻与照明显示器相关联的干扰。
[0191]
在动作1906中捕获的图像被存储在数字存储介质中，被显示或被传送(动作1908)。可以将捕获的图像选择性地传送到各种其他设备、系统或模块中的任何一个。
[0192]
尽管本文参考特定模块讨论了特定功能，但是应当注意，本文所讨论的各个模块的功能可以被分离成多个模块，或者多个模块的至少一些功能可以被组合成单个模块。另外，本文讨论为执行动作的特定模块包括该特定模块本身执行该动作，或者该特定模块调用或以其他方式访问执行该动作的另一组件或模块(或与该特定模块结合执行该动作)。因此，执行动作的特定模块包括执行动作的特定模块本身或由执行动作的该特定模块调用或以其他方式访问的另一个模块。
[0193]
图20示出了示例设备2000的各种组件，在其中可以实现本文描述的技术的各方面。示例设备2000可以被实现为参考先前的图1-19描述的任何设备，例如任何类型的无线设备、移动电话、客户端设备、伴侣设备、配对设备、显示设备、平板电脑、计算、通信、娱乐、游戏、媒体播放和/或任何其他类型的计算和/或电子设备。例如，上述客户端设备102可以被实现为示例设备2000。
[0194]
设备2000包括通信收发器2002，其使得能够与其他设备进行设备数据2004的有线和/或无线通信。设备数据2004可以包括任何类型的音频、视频和/或图像数据。示例通信收发器2002包括符合各种ieee1002.15(蓝牙
tm
)标准的无线个人局域网(wpan)无线电、符合各种ieee 1002.11(wifi
tm
)标准中的任何一个的无线局域网(wlan)无线电、用于蜂窝电话通信的无线广域网(wwan)无线电、符合各种ieee 1002.16(wimax
tm
)标准的无线城域网(wman)无线电以及用于网络数据通信的有线局域网(lan)以太网收发器。
[0195]
设备2000还可以包括一个或多个数据输入端口2006，通过该端口可以接收任何类型的数据、媒体内容和/或输入，例如设备的用户可选输入、消息、音乐、电视内容、录制的内容以及从任何内容和/或数据源接收到的任何其他类型的音频、视频和/或图像数据。数据输入端口可以包括usb端口、同轴电缆端口、以及用于闪存、dvd、cd等的其他串行或并行连
接器(包括内部连接器)。这些数据输入端口可用于将设备耦合到任何类型的组件、外围设备或附件，例如麦克风和/或相机。
[0196]
设备2000包括一个或多个处理器(例如，微处理器、控制器等中的任何一个)的处理器系统2008和/或被实现为处理计算机可执行指令的片上系统(soc)的处理器和存储器系统。处理器系统可以至少部分地以硬件实现，该硬件可以包括集成电路或片上系统的组件、专用集成电路(asic)、现场可编程门阵列(fpga)、复杂的可编程逻辑器件(cpld)以及硅和/或其他硬件中的其他实现。替代地或附加地，该设备可以用结合处理和控制电路来实现的软件、硬件、固件或固定逻辑电路中的任何一种或组合来实现，这些电路和控制电路通常在2010处被识别。设备2000可以进一步包括耦合设备内各个组件的任何类型的系统总线或其他数据和命令传送系统。系统总线可以包括不同总线结构和体系结构中的任何一种或组合，以及控件和数据线。
[0197]
设备2000还包括启用数据存储的计算机可读存储存储器2012(例如，存储器设备)，诸如可以由计算设备访问的数据存储设备，并且提供数据和可执行指令(例如软件应用、程序、功能等)的持久存储。计算机可读存储存储器2012的示例包括易失性存储器和非易失性存储器、固定和可移动介质设备以及维护用于计算设备访问的数据的任何合适的存储器设备或电子数据存储。计算机可读存储存储器可以包括各种存储设备配置中的随机存取存储器(ram)、只读存储器(rom)、闪存和其他类型的存储介质的各种实现。设备2000还可以包括大容量存储介质设备。
[0198]
计算机可读存储存储器2012提供数据存储机制以存储设备数据2004、其他类型的信息和/或数据以及各种设备应用程序2014(例如，软件应用程序)。例如，操作系统2016可以作为具有存储器设备的软件指令来维护，并由处理器系统2008执行。设备应用程序还可以包括设备管理器2018，诸如任何形式的控制应用程序、软件应用程序、信号处理和控制模块、特定设备的本机代码、特定设备的硬件抽象层等。
[0199]
在该示例中，设备2000包括显示干扰减轻系统2020，其进一步实现通过控制显示器亮度来减轻对捕获图像的显示干扰。显示干扰减轻系统2020的示例包括参考图1描述的显示干扰减轻系统116和上面参考图3描述的显示干扰减轻系统300，并且可以被实现为执行本文描述的各种技术的各方面。
[0200]
在此示例中，设备2000还包括相机2022和设备传感器2024，例如用于监视设备组件工作温度的温度传感器，用于监视设备2000外部温度的温度传感器以及诸如实现为惯性测量单元(imu)的组件的设备传感器。传感器2024可以包括各种附加的传感器，例如接近度传感器、环境光传感器、加速计、陀螺仪等等。设备2000还可以包括一个或多个电源2026，例如当该设备被实现为无线设备或协作设备时。电源可以包括充电和/或电源系统，并且可以被实现为柔性带状电池、可再充电电池、已充电的超级电容器和/或任何其他类型的有源或无源电源。
[0201]
设备2000还可以包括音频和/或视频处理系统2028，其为音频系统2030生成音频数据和/或为显示系统2032生成显示数据。音频系统和/或显示系统可以包括处理、显示和/或以其他方式呈现音频、视频、显示和/或图像数据的任何设备。显示数据和音频信号可以通过rf(射频)链接、s-video链接、hdmi(高清多媒体接口)、复合视频链接、分量视频链接、dvi(数字视频接口)、模拟音频连接或其他类似的通信链接，例如媒体数据端口2034，传输
到音频组件和/或显示组件。在实现中，音频系统和/或显示系统是示例设备的集成组件。替代地，音频系统和/或显示系统是示例设备的外部外围组件。
[0202]
尽管已经以特定于特征或方法的语言描述了通过控制显示器亮度来减轻对捕获图像的显示干扰的技术的实施例，但是所附权利要求的主题不需要限于所描述的特定特征或方法。而是，公开了特定的特征和方法作为用于通过控制显示器亮度来实现减轻对捕获图像的显示干扰的技术的示例实现。此外，描述了各种不同的实施例，并且应当理解，每个所描述的实施例可以独立地或结合一个或多个其他所描述的实施例来实现。本文讨论的技术，特征和/或方法的其他方面涉及以下一个或多个：
[0203]
一种客户端设备，包括：照明显示器；安装在所述照明显示器下方的数码相机，其中，所述数码相机的视场穿过所述照明显示器；环境光水平传感器；耦合到所述数码相机和所述环境光传感器的处理器系统，其中，处理由所述数码相机捕获的输入图像以减轻与所述照明显示器相关联的干扰，并且产生增强的输出图像，还包括使用来自所述环境光水平传感器的环境光水平测量以控制所述照明显示器的亮度；以及数字存储介质，所述数字存储介质用于存储所述增强的输出图像。
[0204]
作为上述客户端设备的替代或补充，包括以下的任何一种或组合。其中，所述环境光传感器包括所述数码相机的成像器。其中，控制所述照明显示器的亮度是降低在所述数码相机的所述视场中的所述照明显示器的亮度，而不是降低所述照明显示器的其他部分的亮度。其中，控制所述照明显示器的亮度是降低整个所述照明显示器的亮度。其中，控制所述照明显示器的亮度是降低所述照明显示器的一种颜色的亮度，而不是降低所述照明显示器的另一种颜色的亮度。其中，控制所述照明显示器的亮度是使在所述数码相机的所述视场中的所述照明显示器遮光，而不是使所述照明显示器的其他部分遮光。其中，控制所述照明显示器的亮度是在所述数码相机的成像器处于活动状态并且正在捕获图像时，通过使所述数码相机的所述视场中的所述照明显示器遮光来选通所述照明显示器，而不是在所述成像器处于活动状态并且不在捕获图像时使所述数码相机的所述视场中的所述照明显示器遮光。其中，控制所述照明显示器的亮度是确定所述照明显示器的扩展区域，所述扩展区域包括所述数码相机的所述视场中的所述照明显示器的部分和超出所述数码相机的所述视场但小于全部所述照明显示器的所述照明显示器的一部分，并且在所述扩展区域中使所述照明显示器遮光而不使所述照明显示器的其他部分遮光。其中，使所述扩展区域中的所述照明显示器遮光是在所述数码相机的成像器处于活动状态并且正在捕获图像时使所述扩展区域中的所述照明显示器遮光，而不是在所述成像器处于活动状态并且不在捕获图像时使所述扩展区域中的所述照明显示器遮光。
[0205]
一种方法，包括：从光传感器接收环境光水平测量；在照明显示器上显示第一图像；通过数码相机捕获第二图像，其中，所述数码相机安装在所述照明显示器的下方，并且所述数码相机的视场穿过所述照明显示器；基于所述环境光水平测量，在显示所述第一图像和捕获所述第二图像时控制所述照明显示器的亮度，以减轻与所述照明显示器相关联的干扰；以及将所述第一图像存储在数字存储介质中。
[0206]
作为上述方法的替代或补充，包括以下的任何一种或组合。其中，控制所述照明显示器的亮度包括降低在所述数码相机的所述视场中的所述照明显示器的亮度，而不是降低所述照明显示器的其他部分的亮度。其中，控制所述照明显示器的亮度包括降低整个所述
照明显示器的亮度。其中，控制所述照明显示器的亮度包括降低所述照明显示器的一种颜色的亮度，而不是降低所述照明显示器的另一种颜色的亮度。其中，控制所述照明显示器的亮度包括使在所述数码相机的所述视场中的所述照明显示器遮光，而不是使所述照明显示器的其他部分遮光。其中，控制所述照明显示器的亮度包括：确定所述照明显示器的扩展区域，所述扩展区域包括所述数码相机的所述视场中的所述照明显示器的部分和超出所述数码相机的所述视场但小于全部所述照明显示器的所述照明显示器的一部分；以及在所述扩展区域中使所述照明显示器遮光而不使所述照明显示器的其他部分遮光。所述方法还包括：基于由所述数码相机捕获的一组校准图像生成一组减法图像；以及通过来自第二图像的所述一组减法图像从所述第二图像产生增强的输出图像。
[0207]
一种客户端设备，包括：在硬件中实现的处理器；照明显示器；环境光传感器；放置于所述照明显示器下方的数码相机，其中，所述数码相机的视场穿过所述照明显示器；以及计算机可读存储介质，在所述计算机可读存储介质上存储有多个指令，所述指令响应于所述处理器的执行，使所述处理器执行以下动作，包括：从所述环境光传感器接收环境光水平测量；通过所述数码相机捕获第一图像；基于所述环境光水平测量，在捕获所述第一图像时控制所述照明显示器的亮度，以减轻与所述照明显示器相关联的干扰；以及将所述第一图像存储在数字存储介质中。
[0208]
作为上述方法的替代或补充，包括以下的任何一种或组合。其中，控制所述照明显示器的亮度包括使在所述数码相机的所述视场中的所述照明显示器遮光，而不是使所述照明显示器的其他部分遮光。其中，使所述数码相机的所述视场中的所述照明显示器遮光包括：在所述数码相机的成像器处于活动状态并且正在捕获所述第一图像时，使所述数码相机的所述视场中的所述照明显示器遮光，而不是在所述成像器处于活动状态并且不在捕获所述第一图像时使所述数码相机的所述视场中的所述照明显示器遮光。其中，控制所述照明显示器的亮度包括：确定所述照明显示器的扩展区域，所述扩展区域包括在所述数码相机的所述视场中的所述照明显示器的部分和超出所述数码相机的所述视场但小于全部所述照明显示器的所述照明显示器一部分，并且在所述扩展区域中使所述照明显示器遮光而不使所述照明显示器的其他部分遮光。其中，使所述扩展区域中的所述照明显示器遮光包括：在所述数码相机的成像器处于活动状态并且正在捕获所述第一图像时使所述扩展区域中的所述照明显示器遮光，而不是在所述成像器处于活动状态并且不在捕获所述第一图像时使所述扩展区域中的所述照明显示器遮光。