专利名称：检测并响应于用户输入对象的外形和/或高度轮廓的电子设备用显示器的制作方法
检测并响应于用户输入对象的外形和/或高度轮廓的电子设备用显不器
相关申请
本申请涉及待审并共同转让的2008年11月13日提交的题为“用于移动装置的用户输入显示器”的第12/250，108号美国申请以及待审并共同转让的2008年11月14日提交的题为“针对利用用户输入对象的触摸和追踪来检测用户输入的移动装置的显示器”的第12/271，239号美国申请以及待审并共同转让的2009年5月12日提交的题为“针对检测并响应于用户输入对象的尺寸和角定向的电子设备的显示器”的第12/464，403号美国申请，将其公开通过引用并入于此。
背景技术：
本发明涉及电子设备的显示器，具体地，涉及用于接收用户输入的显示器。
可以用各种技术来检测触笔和/或手指在触敏显示器中的接触。例如，电阻式触屏面板包括两层隔开的、金属导电的电阻式薄层。当用户输入对象触摸这种面板时，这两层被连接起来，导致电流的变化。这种电流的变化被检测为用户输入触摸事件。电阻式触屏通常是相对精准的，但是不够灵敏，特别是当使用用户的手指来触摸触摸屏时。
电容式触屏通常涂敷有例如铟锡氧化物的材料，其传导流经传感器的连续电流。传感器在水平轴和垂直轴上均展现出对存储的电子的受控场以获取电容。当传感器的电容场被例如用户的手指的另一电容场改变时，位于面板的各角落的电子电路测量失真，并确定干扰的位置。电容式触摸屏具有相对高的灵敏度，但是检测到的事件的位置的精确度会低。
侧面光学触屏(side-optical touchscreen)使用显示器的表面上面的光学检测器的网格。光从一侧发出并到达另一侧，并且在水平和垂直方向上被检测器接收。当手指或触笔极为接近时，光束被阻断，使得位置可以被检测器转换为坐标。然而，由于需要将光源和检测器置于显示器上，所以该配置产生了通常在移动装置中所不需要的高度。
另一种光学触屏使用全内反射原理。折射介质内充满了光，当手指或另一对象按压表面时，内部反射光路被阻断，这导致光被反射到折射介质外部。摄像头可以检测到折射介质外部的光。折射光学触屏通常具有良好的灵敏度和精确度。然而，因为显示器接合有摄像头，所以光源和折射介质所需的空间会增大显示器的尺寸并限制显示器的对比度，因此，这种光学触屏针对手持装置的用途而言并不实用。
此外，因为仅当与屏幕接触时才会产生用户输入，所以触屏会无法使用与基于鼠标的用户接口相同的通用协议。因而，与使用鼠标相比，用户会更难于追踪图标的移动(例如，来选择区域)。然而，鼠标输入装置可能不希望被用于紧凑的手持装置。发明内容
根据某些实施方式的电子设备包括:触敏显示屏，所述触敏显示屏包括电磁辐射发射器和电磁辐射检测器的阵列，其中，所述电磁辐射检测器的阵列被配置为响应于检测到的被用户输入对象反射的电磁辐射来生成图像信号，该图像信号表示与显示器紧密间隔开的所述用户输入对象的图像；以及控制器电路，所述控制器电路被配置为控制所述电磁辐射发射器的阵列的启用，使得在没有检测到被所述用户输入对象反射的电磁辐射的情况下，所述电磁辐射发射器的阵列的至少一部分是未启用的，并且被配置为响应于所述电磁辐射检测器的阵列检测到被所述用户输入对象反射的电磁辐射而选择性地启用所述电磁辐射发射器的阵列中的电磁辐射发射器。
在某些进一步的实施方式中，选择性地启用的所述电磁辐射发射器的阵列中的各电磁辐射发射器近似于被所述用户输入对象反射的检测到的电磁辐射。
在某些进一步的实施方式中，选择性地启用的所述电磁辐射发射器的阵列中的各电磁辐射发射器近似于被所述用户输入对象反射的电磁辐射的外周。
在某些进一步的实施方式中，所述控制器电路被配置为生成与所述用户输入对象的表面的外形曲线相近似的所述用户输入对象的外形轮廓(contour profiIe)并且响应于由所述电磁辐射检测器中的各电磁辐射检测器检测到的电测辐射量。
在某些进一步的实施方式中，所述控制器电路被配置为生成与所述用户输入对象的表面和所述显示器之间的距离相近似的所述用户输入对象的高度轮廓，并且响应于由所述电磁辐射检测器中的各电磁辐射检测器检测到的电测辐射量。
在某些进一步的实施方式中，所述控制器电路被配置为响应于来自第一组一个或更多个电磁辐射发射器的、被所述用户输入对象反射的并被所述电磁辐射检测器的阵列检测到的电磁辐射来启用所述第一组一个或更多个电磁辐射发射器并且生成第一电磁辐射轮廓，所述控制器电路被配置为启用与所述第一组一个或更多个电磁辐射发射器不同的第二组一个或更多个电磁辐射发射器，并且响应于来自所述第二组一个或更多个电磁辐射发射器的、被所述用户输入对象反射并且被所述电磁辐射检测器的阵列检测到的电磁辐射来生成第二电磁辐射轮廓，并且所述控制器电路被配置为基于所述第一电磁辐射轮廓和所述第二电磁辐射轮廓来识别所述用户输入对象的外形轮廓。
在某些进一步的实施方式中，所述控制器电路被配置为在所述显示屏上显示形成了键盘的多个键并在所述多个键上显示字符，以根据所述第一电磁辐射轮廓和所述第二电磁辐射轮廓来识别包括所述用户输入对象相对于所述显示屏的外形的外形轮廓，以响应于识别出的所述用户输入对象的外形轮廓在指示在所述键盘键上的字符之中识别用户的选择，并且输出与识别出的用户所选择的字符相对应的字符数据。所述显示器可以被配置为响应于被所述用户输入对象所触摸的显示屏生成触摸信号，并且所述控制器电路被配置为响应于触摸信号连同识别出的所述用户输入对象的外形轮廓在指示在所述键盘键上的字符之中进一步识别用户的选择。所述控制器电路可以进一步被配置为在多个键盘键的各键盘键上显示至少两个不同的字符，并且响应于识别出的对键进行选择的所述用户输入对象的外形轮廓在显示在所选择的一个多字符键上的字符之中识别用户的选择。所述控制器电路可以进一步被配置为响应于所述外形轮廓识别所述用户输入对象与所述显示器最接近的一部分，并且将在所选择的键上的多个字符中的与所述用户输入对象的最靠近显示器的部分接近的第一个字符识别为用户所选择的字符。
在某些进一步的实施方式中，所述控制器电路被配置为响应于所述用户输入对象的识别出的大小基于所述图像信号对至少某些键盘键所显示的大小进行修改。所述控制器电路可以进一步被配置为响应于识别所述用户输入对象的第一阈值大小在显示屏上显示QWERTY键盘的第一多个键，并且响应于识别所述用户输入对象的第二阈值大小在显示屏上将所显示的所述QWERTY键盘的第一多个键替换为第二多个键，其中，所述第二阈值大小大于所述第一阈值大小，并且所述第二多个键少于所述第一多个键。
在某些进一步的实施方式中，一种对包括电磁福射发射器的阵列和电磁福射检测器的阵列的触敏显示器进行操作的方法。该方法包括:在所述电磁辐射检测器没有检测到电磁辐射的情况下启用减少的数量的电磁辐射发射器；响应于被用户输入对象反射的电磁辐射的检测选择性地启用电磁辐射发射器；生成对所获取的所述用户输入对象的图像进行表示的图像；以及响应于所获取的所述用户输入对象的图像识别字符和/或图标的用户选择。
在某些进一步的实施方式中，对在多个电磁辐射发射器的阵列中的与所检测到的被所述用户输入对象反射的电磁辐射相接近的电磁辐射发射器进行选择性地启用。
在某些进一步的实施方式中，选择性启用的多个电磁辐射发射器的阵列中的电磁辐射发射器与被所述用户输入对象反射的电测辐射的外周相近似。
在某些进一步的实施方式中，生成与所述用户输入对象的表面的外形曲线相近似的所述用户输入对象的外形轮廓，并且响应于由各电磁辐射检测器检测到的电磁辐射量。
在某些进一步的实施方式中，生成与所述用户输入对象的表面和所述显示器之间的距离相近似的所述用户输入对象的高度轮廓，并且响应于由各电磁辐射检测器检测到的电磁福射量。
在某些进一步的实施方式中，启用第一组一个或更多个电磁辐射发射器，并且响应于来自所述第一组一个或更多个电磁辐射发射器的、被所述用户输入对象反射的并由电测辐射检测器的阵列检测到的电磁辐射生成第一电磁辐射外形。启用与所述第一组一个或更多个电磁辐射发射器不同的第二组一个或更多个电磁辐射发射器。响应于来自所述第二组一个或更多个电磁辐射发射器的、被所述用户输入对象反射的并由电测辐射检测器的阵列检测到的电磁辐射生成第二电磁辐射外形。基于所述第一电磁辐射外形和所述第二电磁辐射外形识别所述用户输入对象的外形轮廓。在所述显示屏上显示形成键盘的多个键和在所述多个键上的字符。响应于识别出的所述用户输入对象的外形轮廓在指示在键盘键上的字符中识别用户的选择。输出与识别出的用户所选择的字符相对应的字符数据。响应于显示屏被所述用户输入对象触摸来生成触摸信号，并且响应于触摸信号连同识别出的所述用户输入对象的外形轮廓在所述键盘键上所指示的字符中识别所述用户的选择。
以下附图被并入并组成本申请的一部分，附图例示了本发明的实施方式，并与说明书一起用于解释本发明的原理。
图1是具有根据本发明的实施方式的显示器的移动通信设备的正视图。
图2是图1的显示器的分解图。
图3是图1的显示器的截面图。
图4是根据本发明的实施方式的包括电磁辐射发射器的图1的显示器的层的截面图。
图5A是根据本发明的实施方式的电磁辐射轮廓的数字图像。
图5B是从图1A的图像得到的增强图像。
图5C是利用图5A至图5B的图像来识别用户输入装置的示意性例示。
图 基于图5C的例示所识别出的目标区域的示例性例示。
图6是例示了根据本发明的实施方式的操作的流程图。
图7是根据本发明的某些实施方式的触敏显示器的截面图。
图8是根据本发明的某些实施方式的另一触敏显示器的截面图。
图9是例示了根据本发明的实施方式的操作的流程图。
图10是例示了具有根据本发明的某些实施方式的无线移动通信设备的无线通信系统的示意性框图。
图11是根据进一步的实施方式的显示器的平面图。
图12是根据进一步的实施方式的显示器的像素的示意性例示。
图13是例示了根据本发明的实施方式的操作的流程图。
图14例示了根据各种实施方式的用户输入对象的数字图像。
图15例示了根据某些实施方式可以采集并特征化的热点的某些轮廓。
图16例示了根据某些实施方式的控制器电路可以在显示装置上显示的示意性QWERTY 键盘。
图17例示了根据某些实施方式的控制器电路可以在显示装置上显示的另一示意性键盘。
图18是根据某些实施方式的可以由控制器执行以识别在显示在键盘键上的多个字符中的用户选择的操作的流程图。
图19是根据某些实施方式的可以由控制器执行以识别在显示在所选择的键盘键上的两个字符中的用户选择的操作的流程图。
图20是根据某些实施方式的可以由控制器执行以启用并停用预测性文本录入操作的流程图。
图21是根据某些实施方式的可以由控制器执行以启用并停用预测性文本录入操作并响应于对键进行选择的用户的手指的大小来确定在显示在所选择的键上的数字字符、字母字符和/或其它字符中的用户选择的流程图。
图22例示了根据某些实施方式的可以由控制器每个键一个字符地显示在显示装置上的示例性QWERTY键盘。
图23例示了根据某些实施方式的可以由控制器每个键两个字符地显示在显示装置上的示例性QWERTY键盘。
图24例示了根据某些实施方式的可以由控制器每个键两个字符地显示在显示装置上的更紧凑的键盘。
图25是根据某些实施方式的可以由控制器执行以响应于用户是用非拇指手指还是拇指来选择键执行至少某些功能来控制键盘键的数量和大小以显示在各键上的及字符的数量的示例性操作的流程图。
图26是根据某些实施方式的可以由控制器执行以响应于用户是用拇指还是用非拇指手指进行输入以及用户是否用双手进行输入来执行至少某些功能来控制键盘键的数量和大小以显示在各键上的及字符的数量的示例性操作的流程图。
图27是根据进一步的实施方式的显示器的平面图。
图28是图27的显示器的像素的示意性例示。
图29是根据某些实施方式的图27的具有某些启用的像素的发射器的显示器以及用户输入对象的平面图。
图30是根据某些实施方式的某些像素的发射器被启用的图27的显示器的平面图。
图31是根据某些实施方式的与用户输入对象的外周临近的某些发射器被启用的图27的显示器的平面图。
图32是根据某些实施方式的所有的发射器被启用的电磁辐射发射器的阵列的示意性侧面图。
图33至图34是根据某些实施方式的所选择的发射器被启用的图32的阵列的示意性侧面图。
图35至图37是根据某些实施方式的可以由控制器执行的示例性操作的流程图。
具体实施方式
下面将参照附图和示例来描述本发明，附图中示出了本发明的实施方式。然而，本发明可以具体实施为许多不同的形式，并且不应被解读为受限于本文所阐述的实施方式。此外，提供这些实施方式使得本公开将是透彻的和完整的，并将想本领域技术人员完整地传达本发明的范围。
相同的标号贯穿说明书表示相同的元件。在附图中，为了简明可以夸大特定的线、层、组件、元件或特征的厚度。
本文所使用的术语仅为了描述特定的实施方式，并不旨在限制本发明。如在本文所使用的，除非上下文中另外地具体指明，否则单数形式“一”、“一个”和“该”也旨在包括复数形式。还将理解的是，当在该说明书中使用措辞“包含”和/或“包括”时，是指所述的特征、步骤、操作、元件和/或组件的存在，但不排除其一个或更多个其它特征、步骤、操作、元件和/或组件的存在或添加。如在本文所使用的，诸如“在X和Y之间”以及“在大约X和Y之间”的措辞应被解读为包括X和Y。如在本文所使用的，诸如“在大约X和Y之间”的措辞表示“在大约X和大约Y之间”。如本文所使用的，诸如“从大约X到Y”的措辞表示“从大约X到大约Y”。
除非另外定义，否则本文所使用的全部术语(包括技术术语和科学术语)具有与本发明所属于的技术领域的技术人员所通常理解的含义相同的含义。还将理解的是，例如在常用的字典中所定义的术语应被解读为具有与它们在该说明书的上下文和相关技术中的含义相一致的含义，并且不应被解读为理想化的或过于字面的含义，除非在本文中清楚地如此定义。为了简明和/或清楚，可以不具体地描述熟知的函数和结构。
应理解的是，当元件被称为“在另一元件上”、“附接至另一元件”、“连接至另一元件”、“与另一元件耦接”、“与另一元件接触”等时，它可以直接地在另一元件上、附接至另一元件、连接至另一元件、与另一元件耦接、与另一元件接触，或者也可以存在中间元件。相反地，当元件被称为例如“直接位于另一元件上”、“直接附接至另一元件”、“直接连接至另一元件”、“直接耦接至另一元件”或“直接与另一元件接触”时，不存在中间元件。本领域技术人员还应理解的是，提到“邻近”另一元件布置的结构或特征时，其可以具有与邻近的特征交叠或在邻近的特征之下的部分。
例如“在......下面”、“在......下方”、“在......下部”、“在......之上”、“在......上部”等这样的空间上相对的措辞可以在本文用于便于描述如在图中所例示的一个元件或特征与另一元件(其它元件)或特征(其它特征)的关系。将理解的是，空间上相对的措辞旨在包含所使用的装置或操作除在图中所描绘的方向以外的不同的方向。例如，如果图中的装置被反转，则接着将描述为“在其它元件或特征下面”或“在其它元件或特征下方”的元件调整为在其它元件或特征“上方”。可以另外确定装置的方位(旋转90度或在其它方向)并且本文所使用的空间相对的描述符相应地进行解释。同样地，除非另外明确地指明，否则本文所使用的措辞“向上”、“向下”、“垂直”、“水平”等是仅为了说明的目的。
还应理解的是，尽管措辞“第一”、“第二”等可以在本文用于描述各种元件，但是这些元件不被这些措辞所限制。这些措辞仅用于将一个元件从另一元件中区分。因而，在不脱离本发明的教导的情况下，下面讨论的“第一”元件也可以被称为“第二”元件。除非另外具体指明，否则操作(或步骤)的顺序不限于在权利要求或附图中所提出的顺序。
如本文所使用的，“移动通信终端”或“终端”包括但不限于被配置为通过无线接口从例如蜂窝网络、广域网、无线局域网、GPS系统和/或另一 RF通信设备接收通信信号的通信设备。
如本文所使用的，“显示器”包括但不限于能够提供可视化表示的例如用于显示信息和/或用于美学目的的图形、光或背光这样的装置。
如图1至图3所例示的,示例性手持移动电子设备10包括液晶二极管(IXD)显示器12。显示器12包括背光层14、液晶层16、保护层18 (例如，玻璃)和触摸板层20。如图4所例示的，可以使用利用了有机发光二极管(OLED)的另选配置，其中省略了背光层14和/或液晶层16。图4的显不器12包括位于基板S之上的电磁福射发射器E和电磁福射检测器D。在某些实施方式中，电磁辐射发射器E和电磁辐射检测器D分别可以包括红外发射器和检测器。基板S也包括例如发光二极管(LED)或OLED这样的光发射器R、G和B，用于在显示器12上显示各种颜色的像素。
如图3所示，发射器发射离开显示器12的电磁辐射ER。如果例如手指这样的用户输入对象22位于邻近显示器12附近(虽然不一定与显示器12接触)，则电磁辐射ER在朝向显示器12的方向上被反射。在液晶层16内或下方的检测器D可以检测到被反射的电磁辐射ER。不需要用户输入对象22和显示器之间的接触，并且当对象22从显示器12隔开时，电磁辐射ER可以被对象22反射。
如图5A至和图6所示，电磁辐射检测器D的输出可以用于响应于所检测到的电磁辐射外形(profile)(图5A ;框100，图6)来生成二维图像，该二维图像可以用于识别用户输入，例如显示器的被用户选择或突出显示的区域(图5D ;框102，图6)。在该配置中，当对象与显示器12隔开并且不与显示器12物理接触时可以检测到例如手指或触笔这样的用户输入对象。
例如，如图5A所示，来自检测器D的数据可以用于提供在图5A中所示的图像，其例示了用户手指的示例性红外(IR)图像。可以如图5B所示地可选择地增强图像的像素之间的对比度。用户的手指F可以接着被识别为如图5C所示的形式。如图所示，接着可以识别目标区域T，例如通过利用本领域技术人员已知的图像分析技术来根据手指F的形状(例如，手指F的末端)识别区域。在某些实施方式中，可以通过在目标区域T中显示图标来在图1至图4的显示器12上指示目标区域T。因而，通过响应于手指F的移动来显示图标，可以在显示器12上追踪用户输入对象或手指F。在该配置中，可以通过显示器登记各种用户输入而无需来自手指F的接触。
在特定的实施方式中，显示器12还可以包括触敏显示器，使得当用户输入对象接触显示器时可以检测到附加的用户输入。在该配置中，可以与在传统鼠标环境中所使用的用户输入相似地来使用对显示器12的用户输入。例如针对图5A至图所描述的，当用户移动用户输入对象而不与显示器12接触时，例如传统的鼠标箭头这样的图标可以移动。当用户触摸显示器12时，电子设备10可以接收到另一用户输入，这可以与在特定位置选择或“点击”鼠标按钮相似。因此，显示器12可以检测用户输入对象的运动和/或对比度，以提供与常规鼠标环境相似的用户界面。
尽管针对图4中的红外电磁辐射发射器E和红外电磁辐射检测器D来描述根据本发明的实施方式，但是应理解的是，其它合适的技术可以用于响应于用户输入对象的位置来提供电磁辐射外形。例如，在某些实施方式中，图4中所示的发射器E可以被省略，并且检测器D可以被配置为响应于用户输入对象的位置来检测背景电磁辐射的阻碍。在某些实施方式中，电磁辐射检测器D可以被配置为将(例如，来自用户的手的手指)的热辐射检测为红外(IR)信号。
根据本发明的另一实施方式，可以提供触敏显示系统。如图7所例示的，显示器12’可以包括大量的电磁辐射发射器Ep E2和电磁辐射检测器Dp D2以及折射介质30。在没有来自例如手指F这样的用户输入对象对于发射器E2和检测器D2的接触时，发射器E2被配置为向折射介质30发射电磁辐射，并且折射介质30的全内反射向检测器D2反射电磁辐射。折射介质30的全内反射由于如所示出的来自手指F的针对发射器E1和检测器D1的接触而被干扰或改变，使得被反射的电磁辐射的方向发生改变，从而检测器D1检测到的电磁辐射的量减少。可以由包括透明的和/或半透明的塑料、弹性材料或玻璃的任何适合的材料来形成折射介质30。在某些实施方式中，表面30可以包括反射涂层或部分反射涂层。因而，通过在检测器D1中所检测到的电磁辐射的减少或消失可以检测到手指F的出现。
在如图8所示的某些实施方式中，可以将发射器E和检测器D与分别针对红光、绿光和蓝光的光发射器R、G和B —起设置在基板S上。光发射器R、G和B可以是LED或OLED0因此，可以将发射器E和/或检测器D集成在显示器中。
如图9所示，例如通过显示器12’上的检测器D的阵列所检测到的电磁辐射量，发射器E和检测器D可以用于检测显示器的电测辐射外形(框150)。可以接触显示器的折射介质(框152)，并且可以检测到所导致的电测辐射外形的改变(框154)。基于例如识别到其中检测器检测到反射光量的减少的区域，可以检测到接触区域(框156)。
在特定的实施方式中，图7和图8中所示的配置可以包括附加的发射器E和检测器D，其被配置为检测如针对图2至图6所描述的没有与显示器12’相接触的用户输入对象。图7和图8的折射介质30的表面可以基于由发射器E发射的电测辐射的入射角(例如，针对塑料或玻璃和空气界面约为45度)而变为反射式的。在其它角度，折射介质30的表面可以是透射式的。因此，可以选择发射器E在折射介质30上的入射角以提供均被按照针对图7和图8的描述所配置的发射器E和检测器D (即，通过与折射介质30接触来检测反射的电磁辐射及其中断)以及按照针对图2至图6所描述的通过折射介质30来发射或传播电磁辐射的发射器E (S卩，检测与显示器12、12’分开的用户输入对象)。
图10是包括例如移动无线通信终端这样的无线终端200的无线通信系统的示例性框图，其中，无线终端200接收来自蜂窝基站202和/或无线局域网216的无线通信信号。蜂窝基站202被连接至MTS0206，而MTS0206又连接至PSTN212和网络214(例如，因特网)。移动终端200可以利用通信协议与无线局域网216进行通信，其中，通信协议可以包括但不限于802.1la,802.1lb,802.He,802.Hg,802.1li和/或其它无线局域网协议。无线局域网216可以连接至网络214。
在本发明的某些实施方式中，移动终端200包括控制器电路232、蜂窝收发器电路234、存储器电路236、定时电路(时钟)238、局域网收发器电路240、扬声器装置242、麦克风244、显示装置246和键盘248。显示器246可以包含本文所讨论的显示器12、12’的元件。
存储器236存储由控制器电路232所执行的软件，并且可以包括一个或更多个可擦除可编程只读存储器(EPR0M或Flash EPROM)、由电池支持的随机存储器(RAM)、电磁存储装置、光学存储装置或其它数字存储装置，并且可以与控制器电路232分离或至少部分地位于控制器电路232内。控制器电路232可以包括例如通用处理器和数字信号处理器这样的一个或更多个处理器，其可以被封在一般的封装中或彼此隔开并分离。
具体地，控制器电路232可以被配置为例如通过根据由显示器12、12’的检测器D检测到的电磁辐射外形来识别用户输入并且通过响应于所识别到的输入来确定用户在在显示装置246上所显示的项目中的选择来控制如针对图1至图9所描述的操作。
蜂窝收发器234通常包括发射器(TX) 250和接收器(RX) 252以允许双向通信，但是本发明不限于这种装置，本文所使用的“收发器”可以仅包括接收器252。因而，移动终端200可以利用能够通过天线254进行传送的射频信号与基站202进行通信。例如，移动终端200可以被配置为利用一种或更多种蜂窝通信协议(例如，高级移动电话服务(AMPS)、ANS1-136、全球移动标准(GSM)通信、通用分组无线业务(GPRS)、增强数据速率的GSM演进(EDGE)、码分多址(CDMA)、宽带CDMA、CDMA2000和全球移动通信系统(UMTS))、通过蜂窝收发器234进行通信。本文所使用的通信协议可以指定所传送的信息、时序、频率、调制方式和/或用于建立和/或保持通信连接的操作。在某些实施方式中，天线228和254可以是单个天线。
在图11和图12中例示了进一步的实施方式。如图中所示，显示器12可以包括多个像素42，各像素可以包括OLED和/或LED发射器R、G、B和IR检测器D。IR检测器D的输出可以被采样，以生成表示对显示器12的空间接近所感测到的图像的图像信号，例如在图5A中所例示的IR图像。如上所述，可以利用常规的图像处理技术来处理IR图像，以识别例如用户手指和/或触笔这样的用户输入对象的出现。根据某些实施方式，控制器电路232可以与各种类型的输入或命令相对应地解释用户输入对象的运动和/或动作。因为检测器D的阵列可以在用户输入对象触摸显示器12之前感测其运动，所以移动终端200可以响应于触摸或基于触摸的手势之外的其它类型的动作或动作的组合。根据某些实施方式，可以使用与基于触摸的手势相结合的非基于触摸的手势来控制移动终端200的操作。
与利用常规的仅触摸(touch-only)触摸板相比，可以更多地涉及根据某些实施方式的手势解释。例如，图13是例示了根据某些实施方式的手势解释的图。在图13的图中的框可以表示移动终端200在手势解释中所使用的步骤，并且可以实现为由控制器电路232在移动终端200中所执行的软件程序中的功能模块。
参照图13，手势解释可以包括图像获取(框/模块302)、图像滤波和归一化(框/模块304)、形状识别(框/模块306)、热点检测(框/模块308)、触摸检测(框/模块310)和手势确定(框/模块312)中的一个或更多个。
可以通过对IR检测器D的输出进行采样并且分别生成表示用户输入对象(例如，手指或触笔)的二维电磁图像的图像信号来执行图像获取(框/模块302)。可以对所生成的图像信号进行滤波和归一化(框/模块304)以减小噪声、锐化边缘、突出图像特征或其它目的。形状识别(框/模块306)使用图案识别(pattern recognition)来识别在图像信号中表示的形状。通常，图形识别可以包含特征提取，其中，对关于图像的数字或符号信息进行计算。分类或描述方案将提取出的特征进行分类。例如，可以从由图像信号表示的图像中提取出的特征可以包括图像的尺寸不变的特征和/或转动不变的特征。对象/图像识别技术对于本领域技术人员是熟知的，因而不需要在此进行具体的描述。
一旦在图像中识别出例如用户的手指、触笔末端等这样的用户输入对象的形状，就识别出用户输入对象的“热点”的位置(框/模块308)。“热点”是指如果用户要以用户输入对象来触摸显示器12则用户输入对象上期望出现用户输入对象和显示屏12之间的接触的点。也就是说，即使用户输入对象(例如，手指、触笔等)没有与显示器12相接触，也可以响应于热点的位置来控制移动终端200的操作，这将在下面进行更具体的讨论。
可以利用一种或更多种启发性的和/或确定性的技术来执行热点确定。例如，可以基于确定具体识别到的用户输入对象是用户的手指、用户的拇指、触笔或其它人造的指示装置，来预测/定位热点。也可以基于校准数据来执行热点确定。例如，可以确定最初的热点，接着可以请求用户触摸屏幕。接着可以基于触摸在屏幕上的预期位置和实际位置之间的差异来校正热点的位置。
在图14中更具体地例示了形状确定。如在此处所示，形状确定可以用于确定如由边缘模糊所确定的用户输入对象55的轮廓，例如形状(例如，食指、拇指或触笔)、方向(左手或右手)和到屏幕的距离。例如，如图14 (d)中所示的，保持离开屏幕的用户输入对象55会表现出边缘模糊55a。可以将边缘模糊的量理解为测量用户输入对象55离开显示器12的距离。
参照图14 (a)，基于用户输入对象55的位置和方向来确定热点60。在图15中更具体地示出了热点60。
根据某些实施方式，移动终端200可以包括热点检测模块308，其对由显示器12的检测器D所采样的图像进行分析。热点检测模块可以识别并输出热点的各种轮廓，例如形状(S)、位置(x，y)、角定向(Θ )、半径(r)、距显示屏的距离(z)和/或速度矢量U，V，W)。响应于这些轮廓可以推断出一个或更多个手势。在某些实施方式中，响应于这些轮廓并结合触屏显示器12上的触摸可以推断出一个或更多个手势。
形状(S)是指由热点检测模块308检测为用户输入对象的形状的类型，例如手指、拇指、触笔等。
位置(x，y)表示热点60的中心。可以基于对用作用户输入对象的形状的类型的了解来确定位置(x，y)。一旦确定了形状，热点检测模块308就可以基于形状的类型应用启发性的或确定性的技术来对热点60的中心进行定位。此外，在某些实施方式中，不同的形状可以被用作用户输入对象来启用移动终端200中的不同功能。例如，在某些实施方式中，拇指形状可以被用于启用与手指形状不同的功能。热点中心位置限定了由特定手势在显示器12上启用的位置。
通过指示用户触摸显示器12上的位置可以校正热点中心位置(X，y)。该位置可以是屏幕上的任何位置，或者可以是预先定义的位置，例如，由图标指示的位置。由显示器12的触屏功能来检测触摸的位置，并且确定热点中心(x，y)相对于该形状(s)的位置。
角定向(Θ )可以表示用户输入对象的主轴相对于显示屏12的方向的角度。知道角定向(Θ )可以允许更精确地确定热点。此外，在某些实施方式中，可以基于用户输入对象的角定向来生成不同的命令。
由热点60的半径(r)来表示热点60的大小。半径表示用户输入对象与显示器12相接触的部分的大小。例如，手指相比触笔可以与显示屏12具有更大的接触半径。热点60的半径可以用于确定手势所影响的启用面积。在某些实施方式中，可以使用对热点的大小进行考虑的概率模型来估计或预测显示屏12的哪个区域正被手势所启用。
输出(Z)表示用户输入对象55到显示屏12的距离。通过追踪用户输入对象到显示屏的距离，即使用户输入对象没有与显示屏接触，手势也可以被解释并用于在移动终端200中产生命令或行为。
根据某些实施方式，通过对追踪到的对象的边缘的相对模糊程度进行分析可以估计从热点60到屏幕12的距离(z)。也就是说，距离(z)可以被估计为被追踪的对象的类型/形状以及追踪到的对象的模糊程度两者的函数。在某些实施方式中可以使用用户输入对象距显示屏12的距离来调用图像缩放功能。
热点的速度矢量(U，V, w)在X方向和y方向(u和V)以及z方向(W)上追踪热点的速度。可以通过计算由最后获知的热点坐标所得到的距离来确定热点的速度U，V，W)。当确定z方向上的速度时，z方向上的速度矢量w也可以将热点半径(r)考虑进来。
显示器12也包括触屏性能，并且移动终端200被配置为确定屏幕12在什么时间和什么位置被用户输入对象触摸(框/模块310)。显示器12可以包括常规的触摸屏(例如，电阻式触摸屏、电容式触摸屏等)并且/或者可以如以上针对图7和图8的实施方式所描述地被配置为根据用户输入对象来检测触摸。
手势确定可以基于由热点检测模块308输出的一种或更多种热点轮廓。例如，可以基于一种或更多种热点轮廓来识别在下表I中所示的手势。如表I中所示，可以基于前置条件、触发条件和后置条件来识别手势。前置条件、触发条件和后置条件的组合表示了事件的发生，其可以被映射至移动终端200中的特征或功能。在表I中，“HS”表示“热点”。“事件”栏表示从手势检测传递到更高层(例如，应用层)的数据。根据所讨论的手势，不同的数据可以被用于该应用。事件栏中的数字“I”表示存在一个事件。事件栏中的符号表示当检测到手势时可以存在多个事件。
权利要求
1.一种电子设备，所述电子设备包括: 触敏显示屏，所述触敏显示屏包括电磁辐射发射器和电磁辐射检测器的阵列，其中，所述电磁辐射检测器的阵列被配置为响应于检测到的被用户输入对象反射的电磁辐射来生成图像信号，该图像信号表示与显示器紧密间隔开的所述用户输入对象的图像；以及 控制器电路，所述控制器电路被配置为控制所述电磁辐射发射器的阵列的启用，使得在没有检测到被所述用户输入对象反射的电磁辐射的情况下，所述电磁辐射发射器的阵列的至少一部分是未启用的，并且被配置为响应于所述电磁辐射检测器的阵列检测到被所述用户输入对象反射的电磁辐射而选择性地启用所述电磁辐射发射器的阵列中的电磁辐射发射器。
2.根据权利要求1所述的电子设备，其中，所述电磁辐射发射器的阵列中的被选择性地启用的多个电磁辐射发射器接近检测到的被所述用户输入对象反射的电磁辐射。
3.根据权利要求1所述的电子设备，其中，所述电磁辐射发射器的阵列中的被选择性地启用的多个电磁辐射发射器接近被所述用户输入对象反射的电磁辐射的外周。
4.根据权利要求1所述的电子设备，其中，所述控制器电路被配置为生成所述用户输入对象的外形轮廓，该外形轮廓近似了所述用户输入对象的表面的外形曲线并且响应于由所述电磁辐射检测器中的各电磁辐射检测器检测到的电测辐射量。
5.根据权利要求1所述的电子设备，其中，所述控制器电路被配置为生成所述用户输入对象的高度轮廓，该高度轮廓近似了所述用户输入对象的表面与所述显示器之间的距离并且响应于由所述电磁辐射检测器中的各电磁辐射检测器检测到的电磁辐射量。
6.根据权利要求1所述的电子设备，其中，所述控制器电路被配置为启用所述电磁辐射发射器的第一组一个或更多个电磁辐射发射器并且响应于来自所述第一组一个或更多个电磁辐射发射器的、被所 述用户输入对象反射并被所述电磁辐射检测器的阵列检测到的电磁辐射来生成第一电磁辐射轮廓，所述控制器电路被配置为启用与所述第一组一个或更多个电磁辐射发射器不同的第二组一个或更多个电磁辐射发射器，并且响应于来自所述第二组一个或更多个电磁辐射发射器、被所述用户输入对象反射并且被所述电磁辐射检测器的阵列检测到的电磁辐射来生成第二电磁辐射轮廓，并且所述控制器电路被配置为基于所述第一电磁辐射轮廓和所述第二电磁辐射轮廓来识别所述用户输入对象的外形轮廓。
7.根据权利要求6所述的电子设备，其中，所述控制器电路被配置为在所述显示屏上显示形成了键盘的多个键并在所述多个键上显示字符，以根据所述第一电磁辐射轮廓和所述第二电磁辐射轮廓来识别包括所述用户输入对象相对于所述显示屏的外形的外形轮廓、响应于识别出的所述用户输入对象的外形轮廓来识别在键盘键上指示的字符之中用户的选择，并且输出与识别出的用户所选择的字符相对应的字符数据。
8.根据权利要求7所述的电子设备，其中，所述显示器被配置为响应于所述显示屏被所述用户输入对象所触摸而生成触摸信号，并且所述控制器电路被配置为响应于触摸信号连同识别出的所述用户输入对象的外形轮廓进一步识别在所述键盘键上指示的字符之中用户的选择。
9.根据权利要求8所述的电子设备，其中，所述控制器电路进一步被配置为在多个键盘键的各键盘键上显示至少两个不同的字符，并且响应于识别出的对键进行选择的所述用户输入对象的外形轮廓来识别用户在所选择的多字符键上显示的字符之中的选择。
10.根据权利要求9所述的电子设备，其中，所述控制器电路进一步被配置为响应于所述外形轮廓来识别所述用户输入对象的与所述显示器最接近的一部分，并且将所选择的键上的多个字符中的、与所述用户输入对象最接近所述显示器的一部分相邻的第一个字符识别为用户所选择的字符。
11.根据权利要求1所述的电子设备，其中，所述控制器电路进一步被配置为响应于识别出的所述用户输入对象的大小、基于所述图像信号来改变至少一些键盘键的显示大小。
12.根据权利要求11所述的电子设备，其中，所述控制器电路进一步被配置为响应于识别到所述用户输入对象的第一阈值大小在所述显示屏上显示QWERTY键盘的第一多个键，并且响应于识别到所述用户输入对象的第二阈值大小在所述显示屏上将所显示的QWERTY键盘的第一多个键替换为第二多个键，其中，所述第二阈值大小大于所述第一阈值大小，并且所述第二多个键少于所述第一多个键。
13.—种对包括电磁辐射发射器和电磁辐射检测器的阵列的触敏显示器进行操作的方法，该方法包括以下步骤: 在所述电磁辐射检测器没有检测到电磁辐射的情况下启用数量较少的电磁辐射发射器； 响应于检测到被用户输入对象反射的电磁辐射而选择性地启用电磁辐射发射器； 生成表示所获取的所述用户输入对象的图像的图像信号；以及 响应于所获取的所述用户输入对象的图像来识别对字符和/或图标的用户选择。
14.根据权利要求13所述的方法，其中，所述电磁辐射发射器的阵列中的被选择性地启用的电磁辐射发射器接近检测到的被所述用户输入对象反射的电磁辐射。
15.根据权利要求13所述的方法，其中，所述电磁辐射发射器的阵列中的被选择性地启用的电磁辐射发射器接近被所述用户输入对象反射的电磁辐射的外周。
16.根据权利要求13所述的方法，所述方法还包括以下步骤:生成所述用户输入对象的外形轮廓，该外形轮廓近似了所述用户输入对象的表面的外形曲线并且响应于由所述电磁辐射检测器中的各电磁辐射检测器检测到的电测辐射量。
17.根据权利要求13所述的方法，所述方法还包括以下步骤:生成所述用户输入对象的高度轮廓，该高度轮廓近似了所述用户输入对象的表面与所述显示器之间的距离并且响应于由所述电磁辐 射检测器中的各电磁辐射检测器检测到的电磁辐射量。
18.根据权利要求13所述的方法，所述方法还包括以下步骤: 启用所述电磁辐射发射器的第一组一个或更多个电磁辐射发射器； 响应于来自所述第一组一个或更多个电磁辐射发射器的、被所述用户输入对象反射并被所述电磁辐射检测器的阵列检测到的电磁辐射来生成第一电磁辐射轮廓； 启用与所述第一组一个或更多个电磁辐射发射器不同的第二组一个或更多个电磁辐射发射器； 响应于来自所述第二组一个或更多个电磁辐射发射器的、被所述用户输入对象反射并且被所述电磁辐射检测器的阵列检测到的电磁辐射来生成第二电磁辐射轮廓； 基于所述第一电磁辐射轮廓和所述第二电磁辐射轮廓来识别所述用户输入对象的外形轮廓。
19.根据权利要求18所述的方法，所述方法还包括以下步骤:在所述显示屏上显示形成了键盘的多个键并在所述多个键上显示字符； 响应于识别出的所述用户输入对象的外形轮廓来识别用户在键盘键上指示的字符之中的选择；以及 输出与识别出的用户所选择的字符相对应的字符数据。
20.根据权利要求19所述的方法，所述方法还包括以下步骤: 响应于所述显示屏被所述用户输入对象所触摸而生成触摸信号； 响应于触摸信号连同识别出的所述用户输入对象的外形轮廓来识别用户在所述键盘键上指示的字 符之中的选择。
全文摘要
一种电子设备(10)包括触敏显示屏(12)，所述触敏显示屏包括电磁辐射检测器(D)的阵列。所述电磁辐射检测器(D)的阵列被配置为生成表示与显示器紧密间隔的用户输入对象(22)的图像的图像信号，并且响应于显示屏(12)被用户输入对象(22)触摸来生成触摸信号。该电子设备还包括控制器电路(232)，所述控制器电路被配置为显示形成了键盘的多个键(300)并显示键上的字符。控制器根据图像信号来识别用户输入对象相对于显示屏的大小(r)和/或角定向(θ)。控制器响应于用户输入对象所识别出的大小和/或角定向并响应于所述触摸信号来识别在键盘键上指示的字符中用户的选择，并且输出与所识别的用户选择的字符相对应的字符数据。
文档编号G06F3/041GK103154869SQ201180047057
公开日2013年6月12日 申请日期2011年9月12日 优先权日2010年10月6日
发明者P·J·贝尔克里 申请人:索尼爱立信移动通讯有限公司