抗湍流触摸系统的制作方法

文档序号:11544805阅读:287来源:国知局
抗湍流触摸系统的制造方法与工艺

本公开大体涉及数据处理系统,并且具体地,涉及包括触摸屏系统的数据处理系统。



背景技术:

为了减少飞行器的驾驶舱中所需的空间量,不同的电气系统可组合成单个系统,或者共用显示器。例如,几个飞行仪表和控制器可组合成单个显示器和用于该显示器的控制系统。以这种方式,在飞行器的驾驶舱中这些系统可能需要更少的空间。

在使用的图形用户界面(gui)上可显示不同类型的信息。为了与gui交互,显示器能够包括允许用户激活或改变gui中的交互式元素的集成触摸屏。然而,操作员使用触摸屏的能力可以是困难的。例如,在飞行器的某些操作期间(诸如在存在强加速度的情况下起飞和着陆)触摸正确的交互式按钮或滑块可以是困难的。在其他示例中,诸如天气的条件也可使得触摸屏的使用更困难。



技术实现要素:

本文描述的一个方面是一种方法,其包括在触摸屏上显示图形用户界面(gui),以及识别用户的身体部分与显示在触摸屏上的gui的至少一部分之间的空间关系。该方法包括响应于触摸屏和身体部分之间的相对运动,移动触摸屏内的gui的部分的位置,以保持身体部分和gui的部分之间的空间关系。

本文描述的另一个方面是一种显示系统,其包括被配置成显示gui的触摸屏和湍流(turbulence)检测器。湍流检测器被配置成识别用户的身体部分与显示在触摸屏上的gui的至少一部分之间的空间关系,并且响应于触摸屏和身体部分之间的相对运动,移动触摸屏内的gui的部分的位置,以保持身体部分和gui的部分之间的空间关系。

本文描述的另一个方面是一种计算机可读存储介质,其包括由其实现的计算机可读程序代码。计算机可读程序代码可由一个或更多个计算机处理器执行,以在触摸屏上显示gui,识别用户的身体部分与显示在触摸屏上的gui的至少一部分之间的空间关系,并且响应于触摸屏和身体部分之间的相对运动,移动触摸屏内的gui的部分的位置,以保持用户和gui的部分之间的空间关系。

附图说明

图1是具有集成的触摸和显示屏的显示系统的框图;

图2是用于响应于湍流运动来调整gui的流程图;

图3示出用于跟踪手相对于触摸屏的位置的系统;

图4示出用于跟踪手相对于触摸屏的位置的系统;

图5a至图5c示出响应于湍流运动来调整gui的位置的触摸屏;

图6a和图6b示出响应于湍流运动来调整gui的位置的触摸屏;以及

图7a和图7b示出响应于湍流运动来调整gui的位置的触摸屏。

为了便于理解,已经在可能的情况下使用相同的附图标记来指代附图中共同的相同元件。预期在一个方面公开的元件可有利地用于其他方面,而不需具体叙述。

具体实施方式

本文的各方面描述了一种响应于交通工具(例如飞行器、船、汽车、火车、航天器等)中的湍流运动而移动所显示的图形用户界面(gui)的至少一部分的显示系统。在一个方面,gui显示在屏幕上,该屏幕包括允许用户与gui中的一个或更多个元素(例如按钮、滑块、交互对象等)交互的集成触摸感测区域。用户使用手指能够触摸屏幕(或悬停在屏幕上),以便与gui交互。然而,湍流运动可导致用户错过交互式元素,或者无意中触摸gui中的错误元素。

为了帮助用户触摸gui中期望的交互式元素,在一个方面,显示系统跟踪用户的手或手指的移动,以确定其相对于显示gui的屏幕的位置,并且在湍流运动期间保持手或手指与屏幕的空间关系。在一个方面,用户佩戴手套,该手套包括用于确定手相对于屏幕的位置的传感器。另选地,显示系统可包括用于跟踪用户的手的位置的运动跟踪应用。当湍流运动导致手相对于屏幕以不期望的或非预期的方式移动时,显示系统调整正在显示的gui,使得保持用户和gui之间的空间关系。在一个方面,显示系统使gui的位置在屏幕中移位,使得gui的至少一部分保持与用户的手指的固定空间关系。因此,如果用户在湍流运动之后不久触摸屏幕,则用户触摸gui的预期位置,而不是屏幕上的非预期位置。

图1是具有计算系统105和集成触摸和显示设备145的显示系统100的框图。计算系统105包括处理器110、操作系统115、湍流检测器130、显示适配器135和触摸适配器140。处理器110表示可包括多个处理核的一个或更多个处理元件。处理器110能够包括用于执行从操作系统115接收的指令的通用处理器或专用集成电路(asic)。操作系统115可以是能够执行本文所描述的功能的任何操作系统。操作系统115包括试点应用(pilotapplication)120,其生成用于在触摸/显示设备145上显示的gui125。

在一个方面,试点应用120更新gui125,以在包括触摸/显示设备145的多功能显示器上显示。通常,gui125可向用户提供诸如飞机的高度、倾斜、交通工具的速度、位置、控制系统的状态、燃料液位等的信息。此外,gui125包括用户能够使用触摸/显示设备145激活或移动的交互式元素。例如,用来显示gui125的屏幕150还定义了允许设备145接收用户输入的感测区域。当用户触摸在gui125中的交互式元素(或悬停在其上)时,触摸/显示设备145能够检测用户手指的位置,并且警告试点应用120。作为响应,试点应用120能够改变gui125,或者向交通工具中的其他系统发送改变交通工具的参数的控制信号。

尽管图1示出了试点应用120,其输出对于用于操作诸如飞机或船的交通工具的飞行员(领航员)有用的信息,但是可使用其他应用,诸如在汽车中显示交互式gui以向驾驶员提供指导的导航应用。在另一个示例中,计算系统105可包括媒体应用,其显示gui以供飞机中的乘客选择要观看的电影或电视节目。例如,触摸/显示设备145可设置在座椅的后面,或交通工具中用户持有的平板电脑或智能手机中。所有这些非限制性示例是这样的应用,即在所述应用中,下面描述的技术能够用来防止用户在湍流运动期间意外地触摸屏幕的不期望的部分。

湍流检测器130检测湍流运动,并且作为响应,调整gui125在触摸/显示设备145中显示的方式。如本文所使用的,“湍流运动”或“湍流”可包括作用在交通工具和/或交通工具中的用户上的改变用户和触摸/显示设备145之间的空间关系的任何力。湍流运动的示例包括飞行器中的湍流,轮式交通工具撞击坑洼,加速或减速(例如,在红灯处停止,或者飞行器起飞或着陆),在波浪上移动等。

湍流检测器130可通信地耦接到试点应用120,并且耦接到显示适配器135,显示适配器135的任务是在触摸/显示设备145上显示gui125。响应于检测到湍流运动,湍流检测器130改变显示适配器135输出gui125的方式。例如,在湍流运动之前,用户的手指可放置在gui125中显示的特定按钮上方。然而,湍流运动可迫使手指或设备145相对于彼此移动,使得手指不再放置在按钮上方。如果在没有本文所描述的技术的情况下,在发生湍流运动时用户在触摸按钮的过程中,则用户可能接触不包括按钮的gui125的部分。如下面将更详细地描述的,湍流检测器130指示显示适配器135改变gui125在触摸/显示设备145上显示的方式,使得在湍流运动发生后,保持用户的手指和gui125中的按钮之间的空间关系。

在一个方面,湍流检测器130通信地耦接到设置在平面中的一个或更多个传感器,诸如加速度计、陀螺仪、运动跟踪系统等,其提供可用来识别湍流运动的数据。这些传感器允许湍流检测器130确定手的移动是否是用户预期的,或者是否是由于湍流运动。例如,传感器可允许湍流检测器130在手指触摸屏幕150之前跟踪用户的手指,并且确定手指的移动是否是由于湍流运动,如果是,则调整gui125在设备145上显示的方式。

触摸适配器140耦接到触摸/显示设备145,并且在接近屏幕150中的感测区域时检测用户的手指或手(或其他身体部分)的位置。例如,触摸适配器140可使用电阻或电容感测识别屏幕150中用户当前接触的位置。在一个方面,触摸适配器140将该位置报告给湍流检测器130或试点应用120,其确定用户是否已经触摸gui125中的交互式元素中的一个。换句话说,湍流检测器130知道gui125的交互式元素正被显示的位置,并且能够使这些位置与由触摸适配器140提供的位置相关联,从而确定用户当前正在接触或悬停在其上方的交互式元素中的哪一个。

使用湍流检测器130来调整显示gui125的方式的一个优点是不需要改变或修改试点应用120。也就是说,湍流检测器130(其可以是硬件、固件、软件或其组合)能够用作试点应用120和显示适配器135之间的媒介物。因此,试点应用120不需要检测湍流运动并且调整gui125,相反,这由湍流检测器130执行。即使多个不同的应用使用触摸/显示设备145来显示gui,在一个方面,不修改这些应用,以便执行本文所描述的技术。相反,试点应用120将gui125发送到湍流检测器130,然后响应于湍流运动,湍流检测器130修改gui125显示的方式。此外,由于湍流检测器130修改gui125,因此湍流检测器130包含将触摸/显示设备145的感测区域中的用户交互的位置映射到gui125中的交互式元素的位置的信息,以确定用户是否已经接触元素中的一个或更多个。如果是,则湍流检测器130能够通知试点应用120用户接触了哪个交互式元素。因此,在一个方面,无论gui125被正常显示还是在显示之前被湍流检测器130改变,试点应用120都起相同的作用。

图2是用于响应于湍流运动来调整gui的方法200的流程图。该方法开始于框205,其中湍流检测器将显示系统设置为湍流模式。在一个方面,湍流检测器监测交通工具中的传感器,以确定是否将显示系统设置为湍流模式。例如,湍流检测器可等待,直到由传感器报告的加速度超过阈值,或者在激活湍流模式之前的预定时间段内测量到一定数量的加速度。在一个方面,用户(例如,飞行员或驾驶员)可手动地激活湍流模式。一旦设置为湍流模式,湍流检测器就开始监测与触摸屏交互的用户身体部分(例如,手指或手)的位置,如下面所讨论的。

如果湍流模式未被激活,则湍流检测器可不监测用户,以确定用户运动是否由湍流运动引起。将显示系统置于湍流模式可降低误报的可能性,其中湍流检测器错误地将不是由湍流运动引起的用户运动解释为非预期运动。然而,在其他方面,湍流检测器不等待,直到显示系统在尝试检测由湍流运动引起的用户的手或手指的运动之前被置于湍流模式。

在框210,湍流检测器跟踪用户的手或手指的移动。在一个方面,湍流检测器确定手相对于显示gui的屏幕的相对位置。在一个示例中,湍流检测器确定gui的哪个部分被用户的手指相对于垂直于屏幕的方向覆盖。以这种方式,湍流检测器能够识别用户最可能尝试激活或接触的gui中的哪些交互式元素。因此,如果湍流运动导致用户的手移动,则湍流检测器已经识别出用户可能尝试接触的交互式元素。

图3示出用于跟踪手相对于显示gui125的触摸屏150的位置的系统300。系统300包括由用户佩戴的手套395,其包括传感器310和320。传感器310和320输出可由湍流检测器使用以跟踪手的位置的数据,如方法200的框210处所述。例如,传感器310和320可以是加速度计、陀螺仪、用于位置检测的射频或红外发射器等。手套305可包括用于将由传感器310和320生成的数据传送到湍流检测器的无线发射器,该湍流检测器能够使用数据跟踪用户的手或手指的位置。

在一个方面,湍流检测器使用来自传感器310和320的数据来确定手指315相对于gui125的位置。例如,湍流检测器确定手指315是否在gui125中的按钮325中的一个的上方。在一个方面,湍流检测器确定手指315在3d空间中的位置,其能够与按钮325的位置进行比较。换句话说,假定按钮325的位置是已知的,则湍流检测器能够使用由传感器310和320提供的信息,以确定手指315正在接近哪个按钮325。尽管系统300示出使用手套305作为用于跟踪用户的手的可穿戴设备,但是在其他方面,可穿戴设备可以是指环、手镯、手表等。

图4示出用于跟踪手405相对于触摸屏的位置的系统400。与图3中用户佩戴用于跟踪手的主动设备(activedevice)不同,系统400使用运动跟踪器415,以识别手相对于屏幕150的位置。也就是说,系统400不需要用户佩戴任何种类的设备以便跟踪手405的位置。相反,系统400包括耦接到计算系统105的相机410,其向运动跟踪器415提供更新的图像。在一个方面,相机410被布置成使得其视场捕获接近屏幕150的对象(例如,手405)。

运动跟踪器415处理由相机410捕获的图像,以识别手405相对于屏幕150的位置。运动跟踪器415然后将手405的位置传送到湍流检测器。以这种方式,系统400能够确定手405是否正在接近gui125中的按钮325中的一个或悬停在其上方。此外,为了帮助确定手405相对于屏幕的位置,系统400可包括确定从手405到相机的距离的深度相机。通常,本文所描述的技术能够使用任何检测系统,其提供足够的分辨率,以识别被手405的展开的手指重叠的gui125的部分,以便识别用户和gui125之间的空间关系。

返回方法200,在框215,湍流检测器确定手(或手指)是否在屏幕的阈值距离内。在该示例中,湍流检测器确定手或手指到屏幕之间的距离。例如,湍流检测器可不使gui的部分与用户的手相关联,直到用户的手指在距离屏幕的预定距离(例如,一英寸或更小)内。换句话说,在检测器识别用户尝试接触的gui的哪个部分之前,湍流检测器可等待,直到用户的手或手指在距离屏幕一英寸以内。例如,如果用户的手距离屏幕超过一英寸,则方法200前进到框220,其中gui正常地显示在屏幕上。

图3和图4都示出确定屏幕150和用户之间的距离d1和d2,在这些示例中,用户是指展开的手指的尖端。在一个方面,如果手指距离屏幕150超过一英寸,则湍流检测器不识别与手指重叠的gui125的部分,即,不识别手指和gui125之间的空间关系。例如,用户可尚未决定其想要按三个按钮325中的哪一个。然而,当用户移动手指使得其在屏幕的一英寸内时,湍流检测器假定用户已经决定其想要按哪个按钮325。作为响应,湍流检测器使用系统300或系统400确定与手指重叠的屏幕150的位置。

在一个方面,湍流检测器还可使用系统300或400监测用户的手接近屏幕的速率。例如,如果用户以等于或大于一英寸每秒的速率将其手朝向屏幕移动,则湍流检测器确定用户已经决定按哪个按钮。作为响应,如果用户的当前运动继续,则湍流检测器识别用户将按的按钮。也就是说,湍流检测器可使用由系统300或400提供的传感器信息来确定用户的手的当前方向,并且因此确定用户的手指将接触屏幕的位置。在一个方面,在框215,用户的手移动的速率可用作阈值,而不是阈值距离。例如,无论用户的手和屏幕的当前间隔如何,如果手接近屏幕的速率大于一英寸每秒,则湍流检测器可仅前进到框225。因此,如果手指离屏幕仅半英寸但是静止,则湍流检测器可不使gui中任何特定的交互式元素与手指的位置相关联。换句话说,因为用户没有移动其手,所以湍流检测器假定用户还没有决定要按哪个交互式元素,并且因此即使存在湍流运动也正常地显示gui。

在另一个方面,在框215,可组合地使用预定距离阈值和用户移动其手的速率。例如,只有在用户的手的任何部分在屏幕的两英寸内,并且手在朝向屏幕的方向上以半英寸每秒的速率移动时,湍流检测器可前进到框225。否则,湍流检测器正常地显示gui。

假定用户的身体部分在距屏幕的阈值距离内,则方法200前进到框225,其中湍流检测器确定手的运动是否由湍流运动引起。在这里,湍流检测器预测手的移动是用户预期的还是非预期的。为此,湍流检测器可监测交通工具中的一个或更多个传感器,以确定手或触摸屏的移动是否对应于由传感器测量的加速度或力。例如,如果设置在触摸屏中的加速度计测量由于汽车撞击坑洼或船撞击波浪而产生的力,同时图3或图4中所示的系统中的一个检测手相对于触摸屏的移动,则湍流检测器确定手的移动是湍流运动而不是用户的预期移动的结果。

在另一个方面,湍流检测器确定手移动的速率,以确定移动是否由湍流运动引起。例如,当在触摸屏中选择按钮时,用户可使其手的移动慢于一英寸每秒。然而,突然的湍流运动可导致手相对于触摸屏以大于两英寸每秒的速率移动。因此,如果湍流检测器检测到快于两英寸每秒的速率,则检测器假定运动是非预期的,并且是由湍流运动引起的。

参考图3,在一个方面,湍流检测器将传感器310的输出与传感器320的输出进行比较,以确定手指315的移动是否由湍流运动引起。例如,如果传感器320的输出指示手指315正在加速(即,移动),但是传感器310的输出指示手的剩余部分是静止的,则湍流检测器可确定手指315的运动是用户预期的,并且不是由湍流引起的。然而,如果传感器310和320两者都输出相同的加速度,则湍流检测器可确定手指315的运动是由湍流运动引起的。此外,类似的分析可由图4中的系统400执行。在那里,运动跟踪器415可跟踪手指相对于手405的其他部分的运动。如果展开的手指不同于手的其他部分进行移动,则湍流检测器可确定手指的移动是用户预期的。

在一个方面,湍流检测器可考虑多个因素,以确定手的移动是否是非预期的。例如,湍流检测器可考虑移动的速率和由设置在交通工具中的传感器提供的数据两者,以确定手指的移动是否是有意的。在另一个示例中,湍流检测器可使用由跟踪系统300和400提供的信息,连同由附接到交通工具的传感器提供的数据。

如果湍流检测器确定在框225检测到的移动不是由湍流运动引起的,则方法200前进到框220,其中正常地显示gui。然而,如果移动是由湍流引起的,则方法200前进到框230,其中湍流检测器移动屏幕中的gui的至少一部分,以保持手与gui的下层部分之间的空间关系。下面的附图和讨论提供了在湍流运动期间(或之后)保持用户的手和gui的部分之间的关系的不同示例。

图5a至图5c示出响应于湍流运动来调整gui125的位置的触摸屏150。如图5a中所示,用户的手505与gui125中按钮325c重叠。这里假定手505没有接触屏幕150。例如,用户可处于将其手505朝向屏幕移动(即,在进入页面的方向上)以便选择按钮325c的过程。然而,在用户能够接触触摸使能屏幕(touchenabledscreen)150,并且选择按钮325c之前,湍流运动引起使手505(或屏幕150)在由箭头510所示的方向上移动的力。也就是说,手505向上移动并且远离按钮325c移动,这是用户非预期的。

图5b示出湍流运动对图5a中所示的手505和gui125之间的空间关系的结果。由于许多湍流运动的剧烈和突然的性质,用户可能没有时间调整其手505的位置,以补偿由湍流运动施加的力。如图所示,湍流运动导致手505向上移动(或屏幕150向下移动),直到手505的展开的手指现在悬停在按钮325b上方。如果用户继续朝向屏幕150移动其手505,则用户将错误地接触按钮325b。也就是说,如果在用户即将接触gui125中的按钮(例如,按钮325c)时发生湍流运动,则在该示例中,该运动使用户接触错误的按钮(例如,按钮325b)。

图5c示出湍流检测器移动gui125以在如图5a所示的湍流运动发生之前保持手505和按钮325c之间的空间关系的结果。也就是说,避免了图5b中所示的不期望的空间关系。在图5c中,湍流检测器指示显示适配器向上移位gui125,使得手505的展开的手指继续与按钮325c重叠。在一个方面,湍流检测器连续地跟踪手505的位置,并且因此能够保持在湍流运动发生之前存在的gui125和手505之间的空间关系。例如,一旦湍流检测器确定由湍流引起如箭头510所示的手505相对于屏幕150的移动,则湍流检测器保持gui125和手505之间的空间关系。换句话说,湍流检测器以与湍流运动改变手505到屏幕150的相对位置相同的方式移动gui125。因此,在湍流运动之前无论gui125的什么部分与手505重叠,在湍流运动期间和之后其仍与手重叠。

如本文所使用的,保持手505和gui125之间的空间关系不一定意味着手505相对于gui125的位置不改变。例如,由于在图3和图4中所示的跟踪系统中的不精确性,图5a和图5c中所示的手505和gui125之间的空间关系可稍微改变。此外,因为手505可在湍流检测器确定运动由湍流运动引起之前移动一些距离,所以手505和gui125之间的空间关系可由于湍流运动而稍微改变。尽管如此,保持手505和gui125之间的空间关系仍然导致在湍流运动之前与手505重叠的交互式元素在湍流运动期间或之后仍与手505重叠。

在一个方面,一旦手在距离屏幕的预定距离内(如方法200的框215中所讨论的),湍流检测器就保存手505和gui125之间的空间关系。因此,当该空间关系由于湍流运动而改变时,湍流检测器能够移动屏幕150中的gui125,使得保持所保存的空间关系(其可能已经暂时丢失)。因此,保持空间关系不需要手505在湍流运动期间总是与gui125的期望部分(例如,按钮325c)重叠。例如,运动可如此剧烈以至于湍流检测器不能足够快地调整gui125,以保持手505与预期按钮325c重叠。然而,一旦湍流运动减小或停止,湍流检测器能够调整gui125,以保持先前保存的手505和gui125之间的空间关系。

在图5c中,显示适配器在先前由图5a中的gui125占据的空间中显示空白部分515。也就是说,当湍流检测器移动gui125以保持空间关系时,显示适配器能够回填先前由gui125占据的屏幕150的部分。空白部分515可以是黑色或一些其他纯色。

图6a和图6b示出响应于湍流运动来调整gui125的位置的触摸屏150。图6a和图6b类似于图5a和图5c,不同的是在这里,湍流运动使手605(或屏幕150)如箭头610所示移动,而不是湍流运动导致手相对于屏幕150的位置的向上变化。因此,如果没有补偿,则当用户朝向屏幕150移动手605时,湍流运动可导致手605不再与按钮325c重叠。

响应于确定箭头610所示的运动是由湍流引起的,湍流检测器如图6b中所示移动gui125,以保持手605和gui125之间的空间关系。具体地,显示适配器将gui125移动到屏幕150中的右方,使得gui125的移动反映手605的移动。因此,空白部分615位于之前被gui125占据的屏幕150的左侧。因此,即使在存在湍流运动的情况下,湍流检测器也能够更新gui125的位置,以保持手605和gui125之间的空间关系。

图7a和7b示出响应于湍流运动调整gui700的位置的触摸屏150。与图5c和图6b中湍流检测器移动整个gui125不同,在图7a和图7b中,湍流检测器仅仅移动gui700的部分。为了清楚起见,用户的手已经从图7a和图7b中省略,但是假定用户的手与虚线所示的gui700的部分705重叠。例如,用户可移动其手,以触摸包含在部分705内的向下箭头。然而,在接触包含向下箭头的屏幕150的部分705之前,湍流运动导致用户的手与屏幕150的相对位置改变。

图7b示出湍流检测器响应于湍流运动而移动gui700的部分705。在这种情况下,湍流运动使手相对于屏幕150在垂直方向上向上移动。作为响应,湍流检测器将部分705从其在屏幕150中的先前位置移除,并且以反映用户的手的移动的方式移动部分705。因此,如果用户接触屏幕150,则其将接触部分705,即向下箭头。在该示例中,湍流检测器识别gui700的部分(即,部分705),并且当检测到湍流运动时,移动屏幕150内已经识别的部分705,以便保持其与用户的手的空间关系。在这种情况下,部分705被向上移位,以与向上箭头的部分重叠。如图所示,移动部分705在先前由部分705占据的屏幕150内的空间中产生空白部分710。

调整如图7a和图7b所示的gui700的一个优点是整个gui不响应于湍流运动而被移位,这可使用户较少分心。然而,为了仅仅移动gui700的部分而不是整个部分可指修改生成gui的应用(例如,图1中的试点应用120),以响应于湍流运动。也就是说,应用可生成不同的gui,以便围绕对应于用户的手的部分705移动,如图7b中所示。相反,如图5c和图6b中所示使整个gui移位可指不修改下层应用。

在一个方面,除了移动部分705之外,湍流检测器还可增加部分705的尺寸。也就是说,当将部分705从图7a中所示的位置移动到图7b中的位置时,湍流检测器扩展部分705的区域以使其更大,这增加了用户接触期望按钮的可能性,例如,向下箭头。

返回到方法200,在框230,湍流检测器能够使用图5至图7中所示的技术中的任何技术来移动gui的至少一部分,以保持手和gui之间的空间关系。只要湍流运动继续移动手,并且手在屏幕的阈值距离内,则湍流检测器移动gui(或其一部分),以反映手的移动。然而,在一个方面,一旦用户移动其手,使得其手不再在屏幕的阈值距离内,则即使用户的手由于湍流而移动,阈值检测器也可停止移动gui。在一个方面,湍流检测器将gui移动回到其正常(未调整)状态。例如,湍流检测器可指示显示适配器将gui返回到其原始的默认位置,如图5a、图6a和图7a中所示。

在前面的段落中,参考本公开中呈现的各方面。然而,本公开的范围不限于具体描述的方面。相反,无论是否涉及不同方面,前述特征部和元件的任何组合都被设想为实现和实践预期方面。此外,虽然本文公开的各方面可实现优于其他可能的解决方案或者优于现有技术的优点,但是是否由给定方面实现特定优点不限制本公开的范围。因此,前述方面、特征和优点仅仅是说明性的,并且不被认为是随附权利要求的要素或限制,除非在权利要求中明确地陈述。

各方面可采取完全硬件方面、完全软件方面(包括固件、驻留软件、微代码等)或组合软件方面和硬件方面的方面的形式,这些方面在本文中都可统称为“电路”、“模块”或“系统”。

各方面可以是系统、方法和/或计算机程序产品。计算机程序产品可包括其上具有计算机可读程序指令的计算机可读存储介质(或介质),用于使包括硬件和软件的处理器执行本文所述的方面。

计算机可读存储介质可以是有形设备,其能够保留和存储由指令执行设备使用的指令。计算机可读存储介质可以是,例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述设备的任何合适的组合。计算机可读存储介质的更具体示例的非穷尽列表包括下列各项:便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、静态随机存取存储器(sram)、便携式光盘只读存储器(cd-rom)、数字多功能光盘(dvd)、记忆棒、软盘、机械编码设备诸如在其上的凹槽中记录指令的穿孔卡或凸起结构,以及上述各项的任何合适的组合。如本文所使用的,计算机可读存储介质不应被解释为是短暂信号本身,诸如无线电波或其他自由传播的电磁波,通过波导或其他传输介质传播的电磁波(例如,穿过光纤电缆的光脉冲),或通过导线传输的电信号。

本文所描述的计算机可读程序指令可经由网络,例如因特网、局域网、广域网和/或无线网络从计算机可读存储介质下载到包括硬件和软件的相应的计算/处理设备,或者下载到外部计算机或外部存储设备。网络可包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网间连接计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令,并且转发计算机可读程序指令,以存储在相应的计算/处理设备内的计算机可读存储介质中。

用于执行本方面的操作的计算机可读程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或以一种或更多种编程语言的任何组合编写的源代码或目标代码,所述编程语言包括诸如smalltalk、c++等的面向对象的编程语言,以及诸如“c”编程语言或类似编程语言的常规的程序化编程语言。计算机可读程序指令可完全在用户计算机上执行,部分在用户计算机上执行,作为独立软件包执行,部分在用户计算机上执行,以及部分在远程计算机上执行,或者完全在远程计算机或服务器上执行。在后一种情况下,远程计算机可通过包括局域网(lan)或广域网(wan)的任何类型的网络连接到用户的计算机,或者可连接到外部计算机(例如,通过使用因特网服务提供商的因特网)。在一些方面,通过利用计算机可读程序指令的状态信息,包括例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)的电子电路可执行计算机可读程序指令,以使电子电路个性化,以便执行本公开的各方面。

在本文参考方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述各方面。应当理解,流程图图示和/或框图中的每个框,以及流程图图示和/或框图中的框的组合可由计算机可读程序指令实现。

这些计算机可读程序指令可被提供到通用计算机、专用计算机或其他可编程数据处理装置的处理器,以产生机器,使得经由计算机或其他可编程数据处理器装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令还可存储在计算机可读存储介质中,其能够引导计算机、可编程数据处理装置和/或其他设备以特定方式起作用,使得具有存储在其中的指令的计算机可读存储介质包括制品,其包括实现在流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。

计算机可读程序指令还可加载到计算机、其他可编程数据处理装置或其他设备上,以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤,以产生计算机实现的过程,使得在计算机、其他可编程装置或其他设备上执行的指令实现在流程图和/或框图的一个或多个框中指定的功能/动作。

附图中的流程图和框图示出根据本文公开的各个方面的系统、方法和计算机程序产品的可能的具体实施的架构、功能和操作。在这点上,流程图或框图中的每个框可表示指令的模块、片段或部分,其包括用于实现一个或多个指定的逻辑功能的一个或更多个可执行指令。在一些替代的具体实施中,框中指出的功能可不按照附图中所指出的顺序发生。例如,根据所涉及的功能,连续示出的两个框实际上可基本同时地执行,或者这些框有时可以相反的顺序执行。还应注意到,框图和/或流程图图示中的每个框,以及框图和/或流程图图示中的框的组合可由专用的基于硬件的系统来实现,该专用的基于硬件的系统执行指定功能或动作,或者执行专用硬件和计算机指令的组合。

此外,本公开包括根据下列条款的实施例:

条款1.一种方法,其包括:

在触摸屏上显示图形用户界面(gui);

识别用户的身体部分与显示在所述触摸屏上的gui的至少一部分之间的空间关系;以及

响应于所述触摸屏和所述身体部分之间的相对运动,移动所述触摸屏内的所述gui的所述部分的位置,以保持所述身体部分和所述gui的所述部分之间的空间关系。

条款2.根据条款1所述的方法,其中当识别所述空间关系时和当移动所述gui的所述位置时,所述用户的所述身体部分不接触所述触摸屏。

条款3.根据条款1-2中任一项所述的方法,其中识别所述空间关系包括:

跟踪所述用户的所述身体部分,以在所述用户接触所述触摸屏之前识别所述身体部分相对于所述触摸屏的位置。

条款4.根据条款3所述的方法,其中跟踪所述用户的所述身体部分包括:

从在所述用户的所述身体部分上的可穿戴设备接收传感器数据,其中处理所述传感器数据,以识别所述身体部分的所述位置。

条款5.根据条款1-4中任一项所述的方法,还包括:

确定所述身体部分是否在距离所述触摸屏的阈值距离内,其中仅当所述身体部分在所述阈值距离内时,移动所述gui的所述部分的所述位置,以保持所述空间关系。

条款6.根据条款1-5中任一项所述的方法,还包括:

识别所述身体部分相对于所述触摸屏的位置的变化;以及

确定所述身体部分的位置的所述变化是否由包含所述触摸屏的交通工具的湍流运动引起,其中仅当所述身体部分的位置的所述变化是由所述湍流运动引起时,移动所述gui的所述部分的所述位置,以保持所述空间关系。

条款7.根据条款1-6中任一项所述的方法,其中移动所述触摸屏内的所述gui的所述部分的所述位置以保持所述空间关系包括:

使在触摸屏内显示的所述gui的整个部分移位,以反映所述用户的所述身体部分相对于所述触摸屏的移动。

条款8.一种显示系统,其包括:

触摸屏,其被配置成显示gui;以及

湍流检测器,其被配置成:

识别用户的身体部分与显示在所述触摸屏上的所述gui的至少一部分之间的空间关系;以及

响应于所述触摸屏和所述身体部分之间的相对运动,移动所述触摸屏内的所述gui的所述部分的位置,以保持所述身体部分和所述gui的所述部分之间的空间关系。

条款9.根据条款8所述的显示系统,其中当识别所述空间关系时和当移动所述gui的所述位置时,所述用户的所述身体部分不接触所述触摸屏。

条款10.根据条款8-9中任一项所述的显示系统,其中所述湍流检测器被配置成:

跟踪所述用户的所述身体部分,以在所述用户接触所述触摸屏之前识别所述身体部分相对于所述触摸屏的位置。

条款11.根据条款10所述的显示系统,其中所述湍流检测器被配置成:

从在所述用户的所述身体部分上的可穿戴设备接收传感器数据,以识别所述身体部分的所述位置。

条款12.根据条款8-11中任一项所述的显示系统,其中所述湍流检测器被配置成:

确定所述身体部分是否在距离所述触摸屏的阈值距离内,其中仅当所述身体部分在所述阈值距离内时,移动所述gui的所述部分的所述位置,以保持所述空间关系。

条款13.根据条款8-12中任一项所述的显示系统,其中所述湍流检测器被配置成:

识别所述身体部分相对于所述触摸屏的位置的变化;以及

确定所述身体部分的位置的所述变化是否由包含所述显示系统的交通工具的湍流运动引起,其中仅当所述身体部分的位置的所述变化是由所述湍流运动引起时,移动所述gui的所述部分的所述位置,以保持所述空间关系。

条款14.根据条款8-13中任一项所述的显示系统,其中所述湍流检测器被配置成:

使在所述触摸屏内显示的所述gui的整个部分移位,以反映所述用户的所述身体部分相对于所述触摸屏的移动。

条款15.一种计算机可读存储介质,其包括:

由其实现的计算机可读程序代码,所述计算机可读程序代码可由一个或更多个计算机处理器执行以:

在触摸屏上显示gui;

识别用户的身体部分与显示在所述触摸屏上的所述gui的至少一部分之间的空间关系;以及

响应于所述触摸屏和所述身体部分之间的相对运动,移动所述触摸屏内的所述gui的所述部分的位置,以保持所述用户和所述gui的所述部分之间的空间关系。

条款16.根据条款15所述的计算机可读存储介质,其中当识别所述空间关系时和当移动所述gui的所述位置时,所述用户的所述身体部分不接触所述触摸屏。

条款17.根据条款16所述的计算机可读存储介质,其中识别所述空间关系包括计算机可读程序代码,所述计算机可读程序代码是可执行的,以:

跟踪所述用户的所述身体部分,以在所述用户接触所述触摸屏之前识别所述身体部分相对于所述触摸屏的位置。

条款18.根据条款17所述的计算机可读存储介质,其中跟踪所述用户的所述身体部分包括计算机可读程序代码,所述计算机可读程序代码是可执行的,以:

从在所述用户的所述身体部分上的可穿戴设备接收传感器数据,其中处理所述传感器数据,以识别所述身体部分的所述位置。

条款19.根据条款16-18中任一项所述的计算机可读存储介质,其中还可执行所述计算机可读程序代码,以:

确定所述身体部分是否在距离所述触摸屏的阈值距离内,其中仅当所述身体部分在所述阈值距离内时,移动所述gui的所述部分的所述位置,以保持所述空间关系。

条款20.根据条款16-19所述的计算机可读存储介质,其中还可执行所述计算机可读程序代码,以:

识别所述身体部分相对于所述触摸屏的位置的变化;以及

确定所述身体部分的位置的所述变化是否由包含所述触摸屏的交通工具的湍流运动引起,其中仅当所述身体部分的位置的所述变化是由所述湍流运动引起时,移动所述gui的所述部分的所述位置,以保持所述空间关系。

虽然前述内容涉及各方面,但是在不脱离其基本范围的情况下,可设计其他和进一步的方面,并且其范围由所附权利要求确定。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1