为触摸屏交互确定俯仰和偏航的制作方法
【专利说明】为触摸屏交互确定俯仰和偏航 相关申请的交叉引用
[0001] 本申请要求于2014年2月12日提交给美国专利商标局（USPT0)的美国临时专利 申请号61/939, 069的权益，该申请通过引用结合在此如同在此完整阐述一样。
技术领域
[0002] 本发明大体上涉及触摸屏设备和用于利用触摸屏的技术。更具体地说，本发明涉 及用于分析从由一个触摸屏界面装置所接收的输入生成的图像数据的机构和方法。 背景
[0003] 背景部分中所讨论的主题不应该仅仅由于其在背景部分中有所提及而被假定为 现有技术。类似地，背景部分中所提及的问题或者与背景部分的主题相关联的问题不应被 假定为先前已在现有技术中被认识到。背景部分的主题仅仅代表不同的方法，在其中和其 自身也可能是发明。
[0004] 触摸屏装置（此类发现于许多类型的平板电脑和智能手机中）的普及已迅速增 加。触摸屏也被与更大的系统一起实现，如便携式计算机和台式计算机、交互式电视系统 等。随着触摸屏的使用在各种应用中的增加，用于可靠地使用触摸屏的技术也已发展。
[0005] 现代的触摸屏将X/Y坐标报告给操作系统、界面、以及各种应用程序。本发明的某 些实施例包括以与现今报告X/Y位置类似的方式（例如，在一个触摸事件中）将俯仰和偏 航提供给一个操作系统、界面或应用程序。 发明概述
[0006] 下文呈现了本披露的简化概述以便提供本发明的某些实施方案的基本理解。这个 概述不是本披露的广泛概要并且不标识本发明的关键/重要要素或描绘本发明的范围。该 概述的唯一目的是以简化的形式呈现在此披露的一些概念作为之后呈现的更加详细说明 的序目。
[0007] 本发明的一些实施例可以包括一种用于确定长形界面对象在与触摸屏交互时的 偏航的方法。该方法可以包括从一个触摸屏的一个传感器接收一个触摸图像，该触摸图像 对应于该触摸屏的具有一个长形界面对象至少接近其定位的一个区域，其中，该长形界面 对象具有相对于该触摸屏表面的一个俯仰和一个偏航。该方法还可以包括执行一个第一变 换以便获得该触摸图像的一个第一变换图像，执行一个第二变换以便获得该触摸图像的一 个第二变换图像，其中，该第一变换不同于该第二变换，并且基于该第一变换图像和该第二 变换图像两者为该长形界面对象确定该偏航。
[0008] 本发明的一些实施例可以包括一种系统，该系统包括一个用于感测一个触摸图像 的一个触摸屏元件，该触摸图像对应于该触摸屏的具有一个长形界面对象至少接近其定位 的一个区域，其中，该长形界面对象具有相对于该触摸屏的一个俯仰和一个偏航。该系统还 包括一个处理器和一个存储器，其中，该处理器和存储器被配置成用于执行以下操作：执行 一个第一变换以便获得该触摸图像的一个第一变换图像；执行一个第二变换以便获得该触 摸图像的一个第二变换图像，其中，该第一变换不同于该第二变换；基于该第一变换图像和 该第二变换图像两者为该长形界面对象确定偏航；并且基于该第一变换图像与该第二变换 图像中的至少一个为该长形界面对象确定俯仰。
[0009] 本发明的一些实施例可以包括一种确定由触摸屏响应于处于与该触摸屏的至少 接近关系中的长形对象所生成的图像的俯仰和偏航的方法。该方法可以包括：生成所述图 像；生成该图像的侵蚀和松弛变换并为这些对应的图像变换计算强度矩；计算这些对应的 图像变换的质心以及针对该侵蚀变换的Θ和特征值；从一个第一特征值得到俯仰；从Θ 得到一个偏航估值；计算出这两个质心之间的一个向量并使用该向量消除该偏航估值的多 义性；并且采用所述俯仰和偏航来得到关于与所述触摸屏有关的所述长形对象的信息。
[0010] 本发明的一些实施例可以包括一种用于得到关于长形对象与触摸屏之间的三维 关系的信息的方法，该对象足够接近该触摸屏以便由该触摸屏感测到。该方法可以包括：生 成与所述对象相关联的一个图像；基于多个不同的图像像素强度阈值标准变换所述图像； 计算所述图像变换的质心；并且至少部分基于这些产生的质心来计算所述信息。
[0011] 通过查看下文的附图、详细描述和权利要求书可以了解本发明的其他方面和优 点。 附图简要描述
[0012] 所包括的附图仅为说明目的，并且仅用于提供用于所披露技术的可能结构和过程 步骤的示例。这些附图决不会限制本领域技术人员在不脱离本披露的精神和范围的情况下 对实施例做出的形式和细节上的任何修改。
[0013] 图1是示出了根据本发明的一个实施例的用于确定触摸屏交互的俯仰和偏航的 过程的流程图。
[0014] 图2A包括根据本发明的一个实施例的图1的触摸屏输入分析过程的图示。
[0015] 图2B示出了手指相对于触摸屏的俯仰和偏航的侧视图。
[0016] 图3示出了当适当地配置或设计时可以用作一种用于实现在此描述的这些过程 实施例的系统的一种典型系统。 详细说明
[0017] 在以下说明中，列举了许多特定的细节以便提供对本发明的全面理解。本发明可 以在不具有这些特定细节中的一些或全部的情况下进行实践。在其他实例中，未详细描述 公知的过程操作以防不必要地模糊本发明。尽管本发明将结合这些特定实施例来描述，将 理解的是不意图将本发明限制于这些实施例。
[0018] 本发明的一些实施例提供了用于确定手指、触控笔或其他长形工具在与触摸屏界 面交互时的偏航的技术。响应于该工具与该触摸屏的交互而检索到的触摸图像被处理，以 便提取和分析多个变换图像。换言之，多个导出触摸屏图像被用于估算偏航。在其他方面， 这些技术被扩展用于在触摸屏上或附近估算该长形工具的俯仰。任何适合的技术可以被用 于利用触摸屏交互图像的多个变换来确定偏航和俯仰。
[0019] 本发明的一些实施例提供了用于确定长形界面对象在与触摸屏界面交互时的俯 仰和偏航的技术。应用程序可以将这种另外的触摸数据用于各种交互用途。例如，游戏或 地图可以利用一个手指弯曲动作来放大和缩小内容、增大或降低音量以便打开照片用于分 享或复制或者完成其他功能。在一个示例中，手指可以被围绕单个点旋转和扭动以便调整 射击游戏的视角（例如，改变枪的弹道的角度）。变化的俯仰可以被用来调整音量，将该视 角从自顶向下的2D视图改变成3/4视角的3D视图，或者改变卷动或游戏玩家/动作的速 度。此外，变化的俯仰可以被以一种二元方式使用（手指平行于或垂直于屏幕）。平行手指 俯仰与陡峭手指俯仰之间的转换可以被用来触发不同模式，例如当使用一只手时，在地图 上在平移与缩放之间进行切换，使用一只手在关闭和打开模式之间进行切换等。接收一个 触摸图像，并且这个触摸图像至少具有一个第一区域，该第一区域对应于该触摸屏的具有 接近和/或在其上定位的一个长形界面对象的一个区域。该长形界面对象具有相对于该触 摸屏的一个俯仰和一个偏航。执行一个第一变换来获得该触摸图像的一个第一变换图像， 并且执行一个第二变换来获得该触摸图像的一个第二变换图像。该第一变换不同于该第二 变换。基于在该第一变换图像和该第二变换图像上执行的计算来为该长形界面对象确定该 偏航。
[0020] 可以标识多个离散的触摸位置或"色块"。对于这些色块中的每一个，可以随后计 算出触摸图像强度矩。该图像矩可以被大体上类推为这些像素强度值的加权平均数。可以 由色块的矩计算出的其他色块信息是它的质心和朝向。使用这些矩，可以随后为每个色块 确定一系列图像特征。例如，可以计算侵蚀变换的质心。也可以计算松弛变换图像的质心。 从该侵蚀图像计算出的第一特征值的大小可以被用于得到一个俯仰估值。因此，色块的长 度和第一特征值可以与对象俯仰相关。在替代实施例中，离心距可以被用来归一化第一特 征值并得到俯仰，或者该离心距可以与该大小取平均值来获得俯仰。在其他替代实施例中， 在侵蚀得到的质心与松弛得到的质心之间的距离可以被用来获得俯仰。
[0021] 本发明的一些实施例涉及一种至少具有一个处理器和一个存储器的设备。该处理 器和/或存储器被配置成用于执行上文描述的操作中的一个或多个。在另一个实施例中， 本发明涉及至少一个计算机可读存储介质，该计算机可读存储介质具有存储在其上的被安 排来执行上文描述的这些操作中的一个或多个的多个计算机程序指令。 触摸图像检索和处理
[0022] 图1是示出了根据本发明的一个实施例的用于确定触摸屏交互的俯仰和偏航的 过程100的流程图。如图所示，在操作102中最初检索到一个触摸图像。例如，这个触摸图 像可以被从触摸屏、触摸控制器、传感器中枢、硬件控制器、和/或操作系统检索。若干种触 摸技术能够提供触摸"图像"，该触摸"图像"是触摸屏的传感器数据的二维空间表示。触摸 屏技术的示例包括电容式感测（例如，表面、投射、互电容或自电容）、光学感测（例如，弥散 照明、受抑全内反射、像素内感测、红外格栅、红外