专利名称：交互式显示设备中的可变光漫射的制作方法
交互式显示设备中的可变光漫射背景技术
诸如表面计算设备之类的交互式显示设备可以被配置成允许用户经由触摸交互式显示表面而不是诸如键盘、光标控制设备和监视器之类的外围输入和输出设备，或者除了所述外围输入和输出设备之外还经由触摸交互式显示表面与该交互式显示设备交互。各种各样的触摸感测机制可以用来感测交互式显示设备中的触摸，包括但不限于电容、电阻和光学机制。光学触摸感测机制可以利用一个或多个照相机获取触敏表面的图像，从而允许在这样的图像中检测手指和其他对象触摸触敏表面。发明内容
本文公开了各种不同的实施例，这些实施例涉及在交互式显示设备中使用可变漫射器。例如，一个公开的实施例提供了一种交互式显示设备，该交互式显示设备包括显示面板，其被配置成在交互式表面上显示图像；图像捕获设备，其被配置成捕获交互式表面的图像；可变漫射器，其光学地设置在显示面板与图像捕获设备之间，该可变漫射器可在包括较少漫射状态和较多漫射状态的两个或更多状态之间切换；逻辑子系统，其包括一个或多个逻辑设备；以及存储器，其包含可由逻辑子系统执行以便操作显示面板、图像捕获设备和可变漫射器的指令。
本发明内容部分被提供以便以简化的形式引入概念的选择，这些概念在下面的具体实施方式
中进一步加以描述。本发明内容部分并不预期识别要求保护的主题的关键特征或基本特征，也不预期用来限制要求保护的主题的范围。此外，要求保护的主题并不限于解决本公开内容的任何部分中指出的任何或所有缺点的实现方式。
图1示出了包括可变漫射器的交互式显示系统的实施例的示意图。
图2示出了描绘操作包括可变漫射器的交互式显示系统的方法的实施例的流程图。
图3示出了描绘图2实施例的非限制性示例性实现方式的时序图。
图4示出了包括可变漫射器和保护层的交互式显示系统的实施例的示意图。
图5示出了包括可变漫射器和保护层的交互式显示系统的实施例的示意图，所述保护层通过低折射率间隙与前灯系统分离。
图6示出了包括可变漫射器的交互式显示系统的另一个实施例的示意图。
图7示出了描绘操作包括可变漫射器的交互式显示系统的方法的另一个实施例的流程图。
图8示出了描绘图7实施例的非限制性示例性实现方式的时序图。
图9示出了包括保护层的交互式显示系统的另一个实施例的示意图，所述保护层通过低折射率间隙与前灯系统分离。
具体实施方式
图1示出了包括被配置成向用户显示图像的显示面板102的交互式显示设备100 的实施例。交互式显示设备100还包括显示为照相机104的图像捕获设备，该图像捕获设备被配置成获取交互式表面108的图像以便检测例如用户的手指106和/或其他对象在交互式表面108上面或上方的触摸输入。这样，在照相机104从用户的角度来看光学地定位在显示面板102之后的情况下，照相机104可以被配置成检测穿过显示面板的波长的光，而不管显示面板的图像产生材料的状态如何。
作为其中显示面板102为液晶显示器(LCD)的更加具体的实例，照相机可以被配置成捕获近红外光谱中的图像，因为近红外光谱中的光可以穿过IXD面板，而不管每个像素中的液晶材料的状态如何。此外，由于LCD可以配备有RGB滤光器，因而照相机可以被配置成通过利用使得显示器对于每个像素内的RGB单元(cell)中的每一个单元透明的内容驱动显示器而捕获可见光谱中的图像。此外，IR图像和彩色图像二者可以通过随着时间改变可见光背光源、显示内容和图像捕获系统的配置而由照相机系统捕获。同样地，在显示面板102为有机发光器件(OLED)的情况下，照相机可以被配置成检测从近顶到近UV的波长的光或者例如在彩色图像的情况中的波长的同时组合的光。应当理解的是，术语“变互式表面”在一些实施例中可以包括这样的表面用户可以通过触摸、姿势、手势、悬停(hover)和 /或在该表面上面或上方执行的其他交互而与该表面交互。尽管描绘的图像传感器位于显示面板的与光导相对的侧面，但是应当理解的是，该图像传感器可以位于任何其他适当的位置。例如，在一些实施例中，图像传感器可以集成到显示面板中，作为一种传感器在像素内(SIP)的布置。
也应当理解的是，显示面板可以是任何适当的基于阵列的显示面板，包括但不限于诸如透明OLED或其他OLED之类的发射式显示器和/或诸如LCD面板之类的光调制显示器、电润湿显示器(透明类型)、MEMS孔径阵列等等。彩色电润湿显示器可以被配置成以 “接通”像素或“关断”像素显示彩色而操作。在通过“接通”像素显示彩色的情况下，可以使用黑油，使得“关断”像素为黑色且吸收所有光并且滤色器吸收“接通”像素中的白色光的一部分以产生彩色。在通过“关断”像素显示彩色的情况下，可以在电润湿材料中使用彩色染料，便得“关断”状态具有彩色。在彩色染料电润湿显示器中，显示状态为针对显示器 “接通” /电极“关断”的过滤光和针对显示器“接通”的打开的非过滤光之间的水平。在这种面板中，用于每种彩色的染料可以被选择成表现出顶透射和可见光过滤以便允许基于视觉的触摸检测系统透视这种面板。
利用图1的设备，可以在交互式表面108上检测和跟踪多个时间上重叠的触摸。尽管描绘的交互式显示设备100利用了显示面板向用户显示图像，但是可以使用任何其他适当的显示机制，包括投影机制。此外，应当理解的是，包括但不限于楔形光学器件(例如置于显示面板之后的光楔)、透镜、菲涅尔透镜、镜和/或滤光器的各种不同的光学器件可以用来将图像输送至照相机104。
为了帮助检测触摸交互式表面108的对象，交互式显示设备100包括前照明系统 120，该前照明系统包括光导122和被配置成将红外光引入到光导122中的发光体124，交互式显示设备也包括可变漫射器130。光导122可以具有任何适当的配置。例如，在一些实施例中，光导122经由受抑全内反射(FTIR)帮助促进触摸检测。在FIlR系统中，光导122的近邻(例如小于半波长)内电介质材料的存在使得光泄漏出波导进入该材料中。例如通过油、油脂或者施加到像硅树脂橡胶那样的非常柔软的材料上的压力而造成的润湿也可以造成相同的泄漏效应。因此，当手指或其他对象触摸光导122时，光向外泄漏进入手指中并且散射，一些散射的光通过波导返回到照相机104。
其中用户直接触摸光导的FIlR系统(“裸露的” FIlR系统)可能遭受一些缺陷。 例如，这样的系统中的光可能被由于用户的意外溢出或泼溅或者不良清洁而引起的残余指纹油、污迹散射。此外，取决于肤色，从人到人可能存在信号水平的很大的变化。
可以称为“覆盖"FI1R系统的其他FIlR系统包括皮肤与波导之间的阻挡层。在一些系统中，阻挡层可以作为图像从后面投影于其上的投影屏而起着辅助的作用。
在还有其他的实施例中，为了检测不与所述表面接触的对象，可以通过向光导的顶部表面和底部表面中的一个或二者添加受控的漫射而使得光导122 “泄漏”。因此，甚至在不存在触摸的情况下，一些光从光导逸出，从而照射对象并且允许视觉系统检测不与所述表面接触的对象。应当理解的是，其中发光体相对于交互式表面位于显示面板之后的背光照明系统也可以用来照射对象以进行检测。
可变漫射器130被配置成可电子地在至少包括较多漫射状态和较少漫射状态的两个或更多状态之间切换。在一些实施例中，可变漫射器130可以包括沿着透明与高度漫射之间的连续体(continuum)可控的漫射率。在这样的实施例中，措词“较多漫射”和“较少漫射”可以表示可变漫射器的相对于彼此具有较大和较小漫射率的任何状态。在其他实施例中，可变漫射器130可以具有两个或更多离散的状态，并且措词“较多漫射”和“较少漫射”可以表示相对于彼此具有较大和较小漫射率的任何离散状态。此外，可变漫射器也可以是分段的，从而可以独立地控制可变漫射器的不同区域的漫射率。任何适当的材料都可以用来形成可变漫射器，包括但不限于聚合物分散液晶(PDLC)材料。尽管在图1中示为从用户的角度来看置于显示面板之后，但是应当理解的是，在其他实施例中，如下面所描述的，可变漫射器可以位于显示面板的与用户相同的侧面。
取决于使用的显示面板的性质，可变漫射器130可以在交互式显示设备100中执行各种不同的功能。例如，在显示面板102为LCD面板的情况下，可变漫射器可以结合可见光源131使用，所述可见光源被配置成照射可变漫射器，从而背光照明LCD面板。在这种配置中，可变漫射器130可以在显示面板102显示图像的同时切换到较多漫射状态，并且在照相机104获取图像时切换到较少漫射状态。在这样的实施例中，无论何时可变漫射器130 处于较少漫射状态，可见光源131都可以关断。同样地，在其中显示面板102为OLED面板的实施例中，可变漫射器可以在图像正被显示时以及在照相机104不综合(integrate)图像时帮助隐藏交互式显示设备100的内部部件。
应当指出的是，如下文中更详细地描述的，在一些实施例中，可以在显示器正显示图像并且背光源接通的同时通过利用波长选择滤光器捕获顶图像，所述滤光器在这种情况下为顶透射式且可见光不透明的滤光器。
交互式显示设备100进一步包括计算设备132，该计算设备具有逻辑子系统134并且还具有数据保持子系统136，该数据保持子系统包含存储于其上的可由逻辑子系统134 执行以便执行本文公开的各种不同方法的指令。特别地，本文描述的方法和过程可以实现为计算机应用、计算机服务、计算机API、计算机库和/或其他计算机程序产品。计算设备132以简化的形式示出。应当理解的是，在不脱离本公开内容的范围的情况下，可以使用几乎任何计算机架构。
逻辑子系统134可以包括被配置成执行一个或多个指令的一个或多个物理逻辑设备。例如，逻辑子系统134可以被配置成执行作为一个或多个应用、服务、程序、例程、库、 对象、组件、数据结构或者其他逻辑构造的部分的一个或多个指令。这样的指令可以被实现以执行任务、实现数据类型、变换一个或多个设备的状态或者以其他方式达到希望的结果。
逻辑子系统134可以包括被配置成执行软件指令的一个或多个处理器。此外或者可替换地，逻辑子系统134可以包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统134的处理器可以是单核或多核，并且其上执行的程序可以被配置用于并行或分布式处理。逻辑子系统可选地可以包括遍及两个或更多设备分布的单独的部件，这些设备可以远程地定位和/或被配置用于协调处理。逻辑子系统的一个或多个方面可以由配置在云计算配置中的远程可访问联网计算设备虚拟化和执行。
数据保持子系统136可以包括一个或多个物理的非暂时性设备，这些设备被配置成保持可由逻辑子系统执行以实现本文描述的方法和过程的数据和/或指令。当实现这样的方法和过程时，可以变换数据保持子系统136的状态(例如以便保持不同的数据)。
数据保持子系统136可以包括可移除的介质和/或嵌入式设备。除了其他的以外， 数据保持子系统136可以包括光学存储设备(例如⑶、DVD、HD-DVD、蓝光光盘等等)、半导体存储设备(例如RAM、EPROM、EEPROM等等)和/或磁性存储设备(例如硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等等)。数据保持子系统136可以包括具有以下特性中的一个或多个的设备易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和内容可寻址。在一些实施例中，逻辑子系统134和数据保持子系统136可以集成到一个或多个共同的设备中，所述设备例如专用集成电路或者片上系统。
图1也示出了可以用来存储和/或传输可执行以实现本文描述的方法和过程的数据和/或指令的计算机可读存储介质138形式的数据保持子系统的一个方面。除了其他的以外，计算机可读存储介质138可以采取CD、DVD、HD-DVD、蓝光光盘、EEPROM和/或软盘的形式。计算机可读存储介质138在这里区别于被配置成在设备之间传输信号的计算机可读通信介质。
术语“程序”可以用来描述被实现以执行一个或多个特定功能的计算设备132的一个方面。在一些情况下，这种模块、程序或引擎可以经由执行数据保持子系统136保持的指令的逻辑子系统134实例化。应当理解的是，不同的模块、程序和/或引擎可以从相同的应用、服务、代码块、对象、库、例程、API、函数等等实例化。同样地，相同的模块、程序和/或引擎可以由不同的应用、服务、代码块、对象、例程、API、函数等等实例化。术语“程序”意在涵盖个别的或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等等。
接着，在图1的实施例中，可变漫射器光学地置于显示面板102与照相机104或其他图像捕获设备之间。图2示出了操作具有这种配置的交互式显示设备的方法200的实施例。方法200包括在202处在其中如204所示显示面板接通(“接通”指示显示面板正在显示图像)并且如206所示可变漫射器处于较多漫射状态的第一状态下操作交互式显示设备。在该状态下，可变漫射器可以在其中显示面板为LCD面板的实施例中用作背光源，并且可以在显示面板为OLED或LCD面板的情况下帮助阻挡用户观看交互式显示系统的内部部件。
接下来，方法200包括在208处在其中如210所示显示面板关断(“关断”指示显示面板不在显示图像)并且如212所示可变漫射器处于较少漫射状态的第二状态下操作交互式显示设备。当在第二状态下操作交互式显示设备时，方法200进一步包括在214处利用图像捕获设备获取第一图像。
接着，方法200可选地可以包括在218处在第三状态下操作交互式显示设备之前在216处再次在第一状态下操作交互式显示设备，或者可以直接继续到第三状态而不再次在第一状态下操作。在第三状态下，如220所示显示面板处于“关断”状态并且如222所示可变漫射器处于较少漫射状态。方法200进一步包括如2M所示在第三状态下操作交互式显示设备时利用图像捕获设备获取第二图像。
然后，第一和第二图像可以用来将触摸或者更靠近交互式显示设备的交互式表面的对象与定位成更远离交互式表面的对象区分开来。例如，靠近表面的对象可能在这两幅图像中看起来清晰地被限定，而离开表面的对象可能仅在第二图像(其在可变漫射器处于较少漫射状态时获取)中清晰地被限定。此外，通过比较这些图像的梯度内容，可以测量对象的接近度并且确定触摸事件。为了确定触摸，在一个方案中，第一图像单独地可以用来确定接近度，而在另一个方案中，可以使用第一和第二图像二者。
应当理解的是，在一些实施例中，可以在介于完全“关断”状态与完全“接通”状态(例如其中可变漫射器对于入射光透明与其中可变漫射器完全漫射入射光)之间的一系列可变漫射器状态下，潜在地在介于这两个极端情况之间的任何位置的任何状态下捕获图像。这可以允许通过查看对象有多“聚焦”而计算对象离开屏幕的距离，其中随着可变漫射器从较多漫射改变为较少漫射，更远离显示器的对象比更靠近显示器的对象更长时间地保持模糊。通过利用这样的中间漫射状态下的足够数量的图像，可以构造对象的三维图像，因为随着可变漫射器的漫射率减小，对象的部分沿着ζ轴(例如显示屏幕平面的法线)开始聚焦O
按照类似的方式，也可以检测与在交互式表面上面相对的在交互式表面上方执行的手势。术语“悬停”可以在这里用来描述在上方执行的而不是与交互式表面接触的这样的手势，其可以被检测和捕获，从而允许在显示面板上显示对于悬停事件的响应。使用上面描述的方法，甚至可以利用足够快速的图像传感器和可变漫射器检测ζ轴运动。此外，可以跟踪交互式表面上方一定高度处悬停的手或其他对象，以便维持由于与该手关联的手指或指引起的触摸事件的状态(或者非触摸状态)。这可以允许跟踪一只手与另一只手的区别， 甚至潜在地一个用户与另一个用户的区别，从而交互式显示设备可以基于触摸事件是否与提供先前的触摸事件的相同的手关联而维持给定的操作模式。
对于图像捕获设备像在SIP布置中那样处于面板内或者为“单元内”面板设备的情况，明显地在交互式表面上方的对象的图像的离焦可能随着离交互式表面的距离而显著地增加。尽管给定可解析性水平所在的范围可能通过使用角度选择滤光器(例如基于干涉的滤光器)而增大，但是这样的成像面板可能在表面上方数mm之外不能很好地成像。因此， 为了允许利用这样的系统进行悬停检测，附加的视觉系统可以用来以LCD方案中所描述的类似方式通过面板成像。该视觉系统可以包括但不限于诸如成像楔、后置照相机和透镜、折叠式成像系统和/或基于菲涅尔的偏移成像光学器件之类的部件。8
在这种情况下，通过面板(through-panel)成像系统可以用来实现交互式表面之外的成像，而SIP传感器阵列可以用来检测交互式表面处的触摸或者对该处的对象成像。 由于SIP传感器可以配备有能够感测可见光以及顶光的传感器，因而SIP面板可以用来在一些方案中检测触摸，同时更适当地利用其他的光波长捕获交互式表面处的对象。尽管SIP 面板可以配备有多个传感器阵列，每个传感器阵列具有不同的波长响应以便跨空域捕获颜色信息，但是可能的是，在一个实施例中，这样的面板可能仅仅配备有可见光和顶传感器阵列。然而，作为一个示例性系统，在这样的实施例中，进一步可能的是通过使用来自这两个图像捕获子系统的图像信息的组合捕获表面处以及表面上方的对象的彩色图像。例如， 来自SIP传感器阵列的对象的对比度可能指示对象在表面处，并且通过面板成像系统可以用来使用例如彩色成像照相机通过在LCD面板被驱动为“白色”时通过该面板成像而实现相同对象的彩色图像。在这种情况下，SIP用来检测对象的接近度和对于交互式表面的触摸事件，而通过面板成像子系统用来捕获表面处的对象以及表面上方的对象二者或者手势和悬停的更加解析的图像以及甚至是彩色图像。
图3示出了描绘方法200的更加详细的非限制性示例性实现方式的时序图300。 第一显示图像帧周期示于302处，并且第二显示图像帧周期示于304处。时序图300示出了向前照明触摸检测系统、显示面板、照相机和可变漫射器提供光的红外灯的状态的相对变化。应当理解的是，在利用LCD面板的实施例中，可以以与为显示面板提供背光照明的显示面板的模式类似的模式调制可见光。
首先参照第一帧周期302，红外灯和照相机对于第一帧周期302的第一部分306处于“关断”状态，而显示器处于“接通”状态并且可变漫射器处于较多漫射状态。因此，第一帧周期302的第一部分306显示图像。接下来，在第一帧周期302的第二部分308中，红外灯处于“接通”状态，显示面板处于“关断”状态，照相机处于“接通”状态(即在综合图像)， 并且漫射器处于较少漫射状态。因此，第一帧周期302的第二部分308可以用来获取触摸或者靠近交互式表面的任何对象的较少漫射图像。
接下来，参照第二帧周期304，红外灯和照相机对于第二帧周期304的第一部分 310处于“关断”状态，而显示器处于“接通”状态并且可变漫射器处于较多漫射状态。因此， 第二帧周期304的第一部分310显示图像。接下来，在第二帧周期304的第二部分312中， 红外灯处于“接通”状态，显示面板处于“关断”状态，照相机处于“接通”状态，并且漫射器处于较多漫射状态。因此，第二帧周期的第二部分312可以用来获取触摸或者靠近交互式表面的任何对象的较多漫射图像。然后，可以比较在第一帧周期和第二帧周期期间获取的图像以便确定对象是否在触摸交互式显示表面。此外，如上面所指出的，通过比较两幅获取的图像中的像素之间的梯度，可以确定表面上方的对象的距离。应当理解的是，在一些实施例中，取决于可变漫射器的频率响应和照相机的帧速率，如果波长选择滤光器用来过滤掉进入成像系统中的显示器光内容，并且在该曝光时间内接通红外光源，那么在显示器接通的时间期间可以获取较多漫射图像。应当进一步指出的是，在一些实施例中，可以仅仅从所述两幅图像之一检测触摸，和/或可以仅仅在图3中所示三个状态之一期间获取图像。
图3的每个帧周期的第一部分和第二部分可以具有任何适当的持续时间。在一个非限制性示例性实施例中，每个帧周期的第一部分可以包括每个帧周期的80%，并且每个帧周期的第二部分可以包括每个帧周期的20%。这可以导致具有令人满意的亮度的图像，然而提供在显示屏幕处于“关断”状态时综合具有希望的质量的图像的充裕的时间。
如上面所提到的，在一些实施例中，可以在显示器显示图像并且背光源接通的同时通过利用诸如顶透射式且可见光不透明的滤光器之类的波长选择滤光器捕获顶图像。 作为一个更加具体的实例，在一个实施例中，交互式显示设备可以在其中显示面板处于接通状态并且可变漫射器处于较多漫射状态的第一状态下操作，并且然后在其中显示面板处于接通状态并且可变漫射器处于较少漫射状态的第二状态下操作。而且，交互式显示设备可以在第二状态下操作时获取第一图像，并且在第一状态下操作时获取第二图像。红外透射式滤光器可以帮助防止来自显示器的由对象反射的可见光到达图像传感器。于是，如本文所描述的，第一和第二图像中的任一幅或者二者可以用来检测触摸、悬停等等。此外，在一些实施例中，单幅图像可以用来检测触摸。
在一些实施例中，可能希望的是考虑交互式显示设备周围的外界照明环境。因此， 在这样的实施例中，可以在其间红外灯处于“关断”状态的时间内曝光照相机。这可以在显示面板处于“接通”状态时利用波长选择滤光器过滤掉显示器内容光来执行。同样地，其中显示面板和红外灯均处于“关断”状态的偶然周期可以用于外界条件检测。应当理解的是， 一旦确定了外界光水平，那么可以以任何适当的方式调节交互式显示设备的操作以便补偿外界光条件。
采用的外界条件纠正机制可能取决于特定设备的操作方式。例如，在一些实施例中，交互式显示设备可以在可变漫射器处于较多漫射状态且同时显示器处于“接通状态”的情况下通过使用红外滤光器过滤掉来自图像的显示器光而捕获第一图像。在这种情况下， 在操作序列中仅仅利用了两个状态以便捕获所述两个漫射器状态，因为第一图像在显示器接通的同时捕获，并且第二图像在显示器关断且处于较少漫射状态时捕获。为了在该方案中补偿外界条件，可以在H 灯在一个或这两个漫射器状态下关断的情况下捕获附加的图像。
应当指出的是，取决于漫射器是否处于较少漫射或较多漫射状态下，外界光在图像中可能看起来不同。在这种情况下，可以通过在顶灯在这两个状态中的每一个的时间帧内关断的情况下捕获图像而补偿外界条件。此外，应当理解的是，用于每个状态的时窗无需完全填充序列分配的时窗。例如，在一些情况下，照相机综合时间可以延迟为在综合窗开始之后很快开始以便容许可变漫射器完全改变状态的时间。对于诸如上升和下降时间之类的效应的考虑可以用来改进每个捕获的状态的区分。
在前灯触摸检测系统的光导被配置成甚至在不存在触摸时也泄漏出光的情况下， 可以在没有FIlR事件的情况下检测触摸。因此，在一些实施例中，可以纯粹根据从前照明系统泄漏的红外光而不是根据FIlR事件检测触摸。在这样的实施例中，可以通过在前灯上方放置保护层(例如薄玻璃片)来避免FIlR事件。图4示出了添加到图1的交互式显示设备100的保护层400。这种保护层的使用可以帮助大大减小指纹油、污迹、不良清洁和其他这样的因素对系统的影响。与更厚层相反的薄保护层的使用可以帮助保护照相机获取的较多漫射状态图像的清晰度，并且也可以帮助避免引入触摸与显示之间的不希望的视差水平。用于形成这样的保护层的适当材料的实例包括但不限于经过处理或硬化的玻璃，例如可从纽约州科宁市的科宁公司获得的强化玻璃(Gorilla Glass) 0
此外，在一些实施例中，具有低折射率的材料，例如填充有空气的间隙可以光学地位于保护层与光导之间。图5示出了位于保护层502与图1实施例的其他光学部件之间的低折射率间隙500。本文使用的术语“低折射率间隙”描述了保护层与光导之间的空间，其填充有诸如空气之类的材料，具有比光导材料更低的折射率。应当指出的是，对于提供低折射率间隙的空气的情况而言，保护层的底侧可以具有稍微粗糙化的或稍微不平的表面以便机械地维持该间隙。该表面进一步可以是工程设计的表面，具有跨表面设置的规定的突起， 例如微点或微隔离物，以便在最小化或者限制散射效应对显示和表面外成像质量的影响的同时维持低折射率间隙。
在图1-5的实施例中，可变漫射器相对于观看者的位置位于显示面板之后，并且光学地置于显示面板与触摸检测光学器件之间。在其他实施例中，可变漫射器可以位于显示面板的与观看者相同的侧面。图6示出了交互式显示系统600的一个实施例。交互式显示系统600包括由薄玻璃或其他材料形成的保护层604覆盖的可变漫射器602。保护层604 可以层压到可变漫射器602，或者以任何其他适当的方式接合交互式显示系统600。
交互式显示系统600进一步包括前灯系统606，该前灯系统包括设置在显示面板一侧的光导608以及诸如红外光源或光源之类的被配置成将红外光引入光导608中的发光体610。显示面板612位于光导608之下(参照图6中所示的设备取向)，并且诸如照相机 614之类的图像捕获设备设置在显示面板的与光导相对的侧面，使得它可以经由触摸保护层的对象散射的、通过显示面板612的光捕获所述对象的图像。如上面参照图1的实施例所描述的，交互式显示系统600进一步包括计算设备616，该计算设备具有逻辑子系统618 和数据保持子系统620并且与显示面板612、可变漫射器602、照相机614和发光体610电ififn。
将可变漫射器602置于光导608的相对侧可以帮助校正基于视觉的触摸检测中由于使用光导608而引起的方向效应。当光泄漏出光导608时，泄漏光的路径可能具有相对于光导表面法线的相当大的角度。结果，可能在显示器上存在由对象造成的光的一些阴影，这可能影响对象的位置和形状的检测。此外，置于交互式表面上面或附近的第一位置处的三维对象针对对象的靠近表面的部分被该位置附近的光照射，而该对象的远离该表面的部分由从该位置与发光体610耦合到光导之处之间的不同位置发出的光照射。可变漫射器 602的使用可以帮助降低这样的方向效应，因为泄漏光的漫射使得来自光导608的光以更加均勻的方向分布到达交互式表面。同样地，在与图像获取相对的图像显示期间，可变漫射器602可以切换到较少漫射状态以便允许用户清楚地观看显示面板612。
在一些实施例中，第二可变漫射器621可以光学地设置在显示面板612与照相机 614之间。如上面参照图1的实施例所描述的，第二可变漫射器可以用来在图像显示期间阻挡用户观看照相机614和交互式显示系统600的其他内部部件。此外，同样如上面所描述的，第二可变漫射器621可以结合可见光源622使用以便在显示面板612为IXD面板的情况下为显示面板612提供背光照明。
图7示出了操作具有可变漫射器的交互式显示设备的方法700的一个实施例，该可变漫射器设置在光导的与显示面板相对的侧面。方法700包括在702处在其中如704所示显示面板接通(“接通”指示显示面板正在显示图像)并且如706所示可变漫射器处于较少漫射状态的第一状态下操作交互式显示设备。在该状态下，可以通过可变漫射器观看显示面板。在该状态期间，照相机和发光体中的每一个可以处于“关断”状态。
接下来，方法700包括在708处在其中如710所示显示面板关断(“关断”指示显示面板不在显示图像)并且如712所示可变漫射器处于较多漫射状态的第二状态下操作交互式显示设备。在该状态期间，光学触摸检测前灯系统处于“接通”状态。在该状态下，可变漫射器漫射来自前灯系统的光，从而在该光从对象散射时降低方向效应并且促进触摸或接近交互式表面的对象的位置和形状的检测。当在第二状态下操作交互式显示设备时，方法700进一步包括在714处利用图像捕获设备获取第一图像。为了促进图像获取，发光体可以在获取图像时处于“接通”状态。
接着，方法700可选地可以包括在718处在第三状态下操作交互式显示设备之前在716处再次在第一状态下操作交互式显示设备，或者可以直接继续到第三状态而不再次在第一状态下操作。在第三状态下，如720所示显示面板关断并且如722所示可变漫射器处于较少漫射状态。方法700进一步包括如7M所示在第三状态下操作交互式显示设备时利用图像捕获设备获取第二图像。然后，如上面所描述的，第一和第二图像可以用来将触摸或者更靠近交互式显示设备的交互式表面的对象与定位成更远离交互式表面的对象区分开来。应当理解的是，在其中不希望检测位于交互式表面上方的对象的实施例中，方法700 可以重复过程702-714而不执行过程716-724，因为可能足够的是获取“较多漫射”图像而不获取“较少漫射”图像以便检测触摸。
在经由FIlR事件检测触摸的实施例中，当向交互式表面施加压力，从而使可变漫射器和光导达到光学接触时，触摸光从光导耦合出去。光由可变漫射器散射，并且该光的至少一些向后通过平板显示器朝照相机散射。应当理解的是，可变漫射器可以在其上具有部分的或者波长选择的镜涂层，即优选地向后朝照相机反射来自光导的散射的光的涂层。
在利用“泄漏”光导并且因而不利用FIlR检测触摸的实施例中，由于光从触摸交互式表面的对象散射，因而可以省略这样的涂层。“泄漏”光导的使用可以提供以下优点 可以在没有触摸压力的情况下检测触摸输入，从而用户体验类似于电容式触摸检测机制的体验。在这样的实施例中，显示面板、光导和可变漫射器可以便用低折射率粘合剂层压在一起。在一些非限制性示例性实施例中，将光导粘合到显示器的粘合剂可以具有与将光导粘合到可变漫射器的粘合剂相比不同的更低的折射率。
图8示出了描绘方法700的更详细的非限制性示例性实现方式的时序图800。第一显示图像帧周期示于802处，并且第二显示图像帧周期示于804处。时序图800示出了向前照明触摸检测系统、显示面板、照相机和第一可变漫射器提供光的红外灯的状态的相对变化。应当理解的是，在利用LCD面板的实施例中，可以以与显示面板的模式类似的模式调制可见光和第二可变漫射器。
首先参照第一帧周期802，红外灯和照相机对于第一帧周期802的第一部分806处于“关断”状态，而显示器处于“接通”状态并且可变漫射器处于较少漫射状态。因此，第一帧周期802的第一部分806显示图像。接下来，在第一帧周期802的第二部分808中，红外灯处于“接通”状态，显示面板处于“关断”状态，照相机处于“接通”状态(即在综合图像)， 并且漫射器处于较多漫射状态。因此，第一帧周期802的第二部分808可以用来获取触摸或者靠近交互式表面的任何对象的较多漫射图像。
接下来，参照第二帧周期804，红外灯和照相机对于第二帧周期804的第一部分 810处于“关断”状态，而显示器处于“接通”状态并且可变漫射器处于较少漫射状态。因此，第二帧周期804的第一部分810显示图像。接下来，在第二帧周期804的第二部分812中， 红外灯处于“接通”状态，显示面板处于“关断”状态，照相机处于“接通”状态，并且漫射器处于较少漫射状态。因此，第二帧周期804的第二部分812可以用来获取触摸或者靠近交互式表面的任何对象的较少漫射图像。
然后，可以比较在第一帧周期和第二帧周期期间获取的图像以便确定对象是否在触摸交互式显示表面。此外，如上面所提到的，通过比较两幅获取的图像中的像素之间的梯度，可以确定表面上方的对象的距离。应当理解的是，在其中仅仅希望检测实际的触摸事件而不是与交互式表面间隔的对象的一些实施例中，可以省略帧2过程。
图8的每个帧周期的第一部分和第二部分可以具有任何适当的持续时间。在一个非限制性示例性实施例中，每个帧周期的第一部分可以包括每个帧周期的80%，并且每个帧周期的第二部分可以包括每个帧周期的20%。在该实施例中，显示面板在80%的时间内向用户显示图像。这可以导致具有令人满意的亮度的图像，然而提供在显示屏幕处于“关断”状态时综合具有希望的质量的图像的充裕的时间。
图9示出了包括分离可变漫射器和光导的低折射率间隙的光学部件的布置的另一个实施例。光学部件布置900包括可变漫射器902、保护层906以及从可变漫射器延伸到可变漫射器902与光导910之间的低折射率间隙中的多个突起904。此外，光导910包括形成低折射率间隙的另一侧的可变形层908，例如硅树脂片。发光体912被配置成将光引入到光导910中，并且显示面板914位于光导910的与可变漫射器902相对的侧面。应当理解的是，图9中所示的各种不同结构的尺寸和尺度出于说明的目的而被夸大。
如图9中的t0处所示，在不存在触摸输入的情况下，可变形层908保持与突起904 分离。然而，当对象触摸保护层906时，触摸输入之下的突起904被推压成与可变形层908 接触，从而局部地使可变形层908变形。
突起904结合可变形层908的使用允许以适度的压力实现可变形层908的显著的局部变形，并且从而帮助在触摸感测系统中有效地提供机械增益。得到的可变形层908的表面曲率可以使得光以对于可变形层表面的掠射角逸出可变形层908。逸出可变形层908 的光然后由可变漫射器902漫射，从而变得可用于触摸检测。
突起904可以具有任何适当的配置。例如，在一些实施例中，突起可以包括小的凸块(bump)或棱镜。同样地，突起904可以以任何适当的方式形成，包括但不限于经由挤压或压花。
在一些实施例中，可以将主客型染料(guest-host dye)添加到可变漫射器材料。 这样的染料可以用来使得可变漫射器材料在较多漫射状态下为暗，从而在不影响系统在顶中的性能的情况下降低外界的散射的光。
此外，在一些实施例中，红外反射滤光器可以作为交互式表面上的最外层而提供。 这可以允许从外部“密封”红外光学触摸检测系统，从而允许视觉检测触摸而没有来自诸如内部照明或太阳辐射之类的其他红外源的干扰。应当理解的是，这种配置可以用在FIlR架构、“泄漏光导”架构中或者用在任何其他适当的架构中。
应当理解的是，上述实施例中的图像传感器，不管是照相机还是SIP布置，都可以是深度传感器(或“3D照相机”)，例如立体照相机或者结构化光深度照相机。这样的3D照相机与可变漫射器结合使用时可能能够感测屏幕上方的3D手势并且以潜在地为高的精度检测触摸事件。任何适当的光学器件可以用在这样的3D图像传感器系统中，包括但不限于成像楔、反向RPTV成像系统和反向的基于菲涅尔的折叠式成像系统。此外，一些实施例可以采用两个图像捕获设备。作为一个更加具体的实例，一个实施例利用使用SIP传感器阵列以捕获紧邻交互式表面的对象的图像，以及使用3D传感器以捕获交互式表面上方的三维内容。由于一些3D传感器可能具有最小的操作距离，因而除了其他的以外，诸如成像楔之类的系统可以增加光路长度以允许实现缓冲距离，以便允许3D信息正好在交互式表面之外开始，并且检测FOVGSg)内以及高达最大距离极限的距离范围内的3D信息。在这样的实施例中，置于显示面板下方的可变漫射器可以用来通过在背光源接通的情况下操作于较多漫射状态下而隐藏交互式显示系统的内部结构，并且可以在显示器关断的情况下切换到较少漫射状态以便捕获交互式表面之外/上方的图像。触摸可以由SIP面板内的传感器阵列检测，其中顶光通过前光导、背光照明(例如来自显示面板之后的源)或者以任何其他适当的方式提供。类似地，也可以使用双传感器图像感测系统，其中结合SIP传感器阵列使用基于楔的2D成像系统。
在3D照相机为立体照相机的情况下，应当理解的是，可以以各种不同的方式检测和区别触摸和悬停。例如，在一些实施例中，可以在可变漫射器处于不同的漫射率的情况下由立体照相机的“左”照相机和“右”照相机获取图像以便获取如上所述的触摸和/或悬停数据。同样地，立体照相机的两个照相机可以用来在相同漫射率下捕获图像数据，并且来自立体照相机的立体数据可以用来根据该立体数据的ζ轴分量确定触摸和/或悬停。在该实施例中，借助于立体数据，较多漫射状态可以用来检测触摸，而较少漫射状态可以用来悬停。此外，在还有其他的实施例中，可以在相同的漫射率下获取立体图像，并且然后立体数据用来对如上所述做出的其他深度测量消除歧义以便实现更加鲁棒的悬停确定。应当理解的是，这些实施例出于举例的目的而加以描述，并且并非意在以任何方式进行限制。
应当理解的是，本文描述的配置和/或方法出于举例的目的而给出，并且这些特定实施例或实例不应当在限制性意义上进行考虑，因为许多的变型是可能的。本文描述的特定例程或方法可以代表任意数量的处理策略中的一个或多个。因此，所说明的各个不同的动作可以以说明的顺序、以其他顺序、并行地执行或者在一些情况下可以被省略。同样地，可以改变上面描述的过程的顺序。
本公开内容的主题包括本文公开的各种不同的过程、系统和配置以及其他特征、 功能、动作和/或特性及其任何和所有等效物的所有新颖且非显而易见的组合和子组合。
权利要求
1.一种交互式显示设备(100)，包括显示面板(102)，其被配置成在交互式表面(108)上显示图像；图像捕获设备(104)，其被配置成捕获交互式表面(108)的图像；可变漫射器(130)，其光学地设置在显示面板(10 与图像捕获设备(104)之间，该可变漫射器(130)可在包括较少漫射状态和较多漫射状态的两个或更多状态之间切换；逻辑子系统(134)，其包括一个或多个逻辑设备；以及存储器(136)，其包含可由逻辑子系统(134)执行以便操作显示面板(102)、图像捕获设备(104)和可变漫射器(130)的指令。
2.权利要求1的交互式显示设备，其中显示面板包括发射式显示面板。
3.权利要求1的交互式显示设备，其中显示面板包括光调制显示面板。
4.权利要求3的交互式显示设备，进一步包括可见光光源，该光源被配置成照射作为显示面板背光源的可变漫射器。
5.权利要求1的交互式显示设备，其中所述指令可执行来在其中显示面板处于接通状态并且可变漫射器处于较多漫射状态的第一状态下操作交互式显示设备；在其中显示面板处于关断状态并且可变漫射器处于较少漫射状态的第二状态下操作交互式显示设备；在第二状态下操作时获取第一图像；在其中显示面板处于关断状态并且可变漫射器处于较多漫射状态的第三状态下操作交互式显示设备；在第三状态下操作时获取第二图像。
6.权利要求5的交互式显示设备，其中所述指令可执行来顺序地在第一状态下、在第二状态下、在第一状态下以及在第三状态下操作交互式显示设备。
7.权利要求5的交互式显示设备，其中所述指令可执行来通过比较第一图像和第二图像而检测触摸事件，并且在显示面板上显示对于该触摸事件的响应。
8.权利要求5的交互式显示设备，其中所述指令可执行来通过比较第一图像和第二图像而检测悬停事件，并且在显示面板上显示对于该悬停事件的响应。
9.权利要求5的交互式显示设备，其中所述可变漫射器为第一可变漫射器，进一步包括位于显示面板的与该第一可变漫射器相对的侧面的第二可变漫射器。
10.权利要求1的交互式显示设备，进一步包括包含光导的前灯系统、设置在光导的与显示面板相对的侧面的保护层以及光学地设置在保护层与前灯系统之间的低折射率间隙。
11.一种用于操作交互式显示设备(100)的方法，所述交互式显示设备包括显示面板、 图像捕获设备和可变漫射器，所述方法包括以下步骤；在其中显示面板处于接通状态并且可变漫射器处于较少漫射状态的第一状态下操作交互式显示设备；在其中显示面板处于关断状态并且可变漫射器处于较多漫射状态的第二状态下操作交互式显示设备；在第二状态下操作时获取第一图像；在其中显示面板处于关断状态并且可变漫射器处于较少漫射状态的第三状态下操作交互式显示设备；在第三状态下操作时获取第二图像。
12.权利要求11的方法，其中交互式显示设备顺序地在第一状态下、在第二状态下、在第一状态下以及在第三状态下操作。
13.权利要求11的方法，其中交互式显示设备通过比较第一图像和第二图像而检测触摸事件，并且在显示面板上显示对于该触摸事件的响应。
14.权利要求11的方法，其中交互式显示设备通过比较第一图像和第二图像而检测悬停事件，并且在显示面板上显示对于该悬停事件的响应。
全文摘要
本发明公开了若干实施例，这些实施例涉及交互式显示设备中的可变漫射器。一个实施例提供了一种交互式显示设备(100)，该交互式显示设备包括显示面板(102)，其被配置成在交互式表面(108)上显示图像；图像捕获设备(104)，其被配置成捕获交互式表面(108)的图像；可变漫射器(130)，其光学地设置在显示面板(102)与图像捕获设备(104)之间；逻辑子系统(134)，其包括一个或多个逻辑设备；以及存储器(136)，其包含可由逻辑子系统(134)执行以便操作显示面板(102)、图像捕获设备(104)和可变漫射器(130)的指令。
文档编号G06F3/042GK102541362SQ20111039380
公开日2012年7月4日 申请日期2011年11月18日 优先权日2010年11月18日
发明者K·鲍威尔, S·巴蒂歇, T·拉奇 申请人:微软公司