专利名称：基于眼跟踪控制计算机装置的装置、方法及计算机程序的制作方法
技术领域：
本发明总的来说涉及一种基于计算机的眼跟踪系统，更具体地，本发明涉及一种根据前序权利要求1的用于控制计算机装置的装置(arrangement)以及一种根据前序权利要求11的对应方法。本发明还涉及一种根据权利要求21的计算机程序以及一种根据权利要求22的计算机可读介质。
背景技术：
通过引入图形用户界面(GUI)革新了人机交互。即，从而提供了一种用于以极大地优于任何现有信道的带宽给用户呈现信息的有效装置。这些年来，进一步通过彩色屏幕、增大的显示器、智能图形对象(例如，弹出窗口)、窗口标签、菜单、工具栏、以及语音而增加了可呈现信息的速度。然而，在此期间，输入装置本质上没有改变，即，键盘和指示装置(pointing device)(例如，鼠标、跟踪球、或触控板)没有改变。近年来，已经引入了手写装置(例如，指示笔或图形笔形式)。然而，虽然输出带宽增加了数倍，但是输入副本基本上未改变。从而，人机交互中，产生了通信带宽的严重不对称。
为了减小这个带宽间隙，已经进行了各种使用眼跟踪装置的尝试。然而，在很多情况下，这些装置在一个或几个方面遗漏了标记。一个问题是现有技术的解决方案不能在计算机的输入界面上获取整体视觉。因此，相当重的动作任务就被施加在眼睛上，实际上严格来讲是施加在感知器官上。通常，这将会导致用户体验的疲劳症状和不适度。如果将眼跟踪器用于控制图形显示器上的光标，这种情况尤其严重，并且由于各种原因使眼跟踪器不能高效地跟踪用户的关注点，使得在用户的实际关注点和相对于被光标控制的位置之间存在不匹配。
代替直接控制光标，可将眼凝视信号(eye gaze signal)用于选取合适的初始光标位置。文献US,6,204,828披露了一种结合的凝视/手动光标定位(positioning)系统，其通过将眼凝视信号和手动输入结合来帮助操作者定位光标。当检测到操作装置的机械活动时，光标被置于相对于操作者当前凝视区域而预定的初始位置上。因此，实现了用户友好光标功能。
文献US,6,401,050描述了一种用于船舶监测站(shipboard watchstation)的视觉交互系统。这里，眼跟踪相机监控操作者的视觉扫描、凝视位置、停留时间、眨眼率、以及瞳孔尺寸来确定是否该对操作者做出附加提示，以将操作者的注意力引到屏幕上的重要对象。
文献US,5,649,061披露了一种用于估计从凝视者的眼睛定像(fixation)和唤醒大脑潜能的相应事件中选取视觉提示的思维决定的装置。眼跟踪器记录视觉方向，并且基于其可根据持续时间、开始和结束的瞳孔尺寸、扫视和眨眼来确定定像特性。提取出唤醒大脑潜能的相应单个事件，并且人工神经网络估计关注视点中的选择兴趣。在对准人工神经网络之后，该装置可用于控制计算机，从而无需经过用户手的任何操作，显示器上的图标会根据用户估计目的而被激活。
人们还做了少数尝试以将用户生成的输入数据抽象成用于控制计算机的高级信息。例如，文献US 2004/0001100描述了一种多模式用户界面，无需手动地在不同输入模式之间进行切换，就可以实现用户输入的灵活处理。相反地，根据生成数据流的前后关系，区分出数据流中不同的信息种类。
虽然这个策略确实可以增强人机交互的效率，但是还没有出现多模式解决方案，根据该多模式解决方案来最理想地处理眼跟踪数据。相反，仅有很少的例外，当今的眼跟踪界面仅是为某一特定任务特制的。因此，关于第一应用程序的眼跟踪数据的任何处理不能被再次用于第二应用程序，反之亦然。因此，如果将多个眼控制应用程序用在单个计算机中，通常每个应用都需要一个特定的眼跟踪数据处理单元。当然，在这种情况下，存在不同的应用程序执行大量重叠的眼跟踪数据处理的风险。此外，为了提取应用程序所需的数据，眼控制标签应用程序的每个设计者既需要具有眼跟踪技术的专门技术，也需要具有解译眼跟踪数据的专门技术。
发明内容
因此，本发明的目的在于提供一种基于用户视觉活动控制计算机装置的整体装置，其缓解了上述问题并由此提供了一种具有最小量双重处理(double processing)的有效人机交互，即，其中，相对于可能属于两个或多个分离应用的GUI部件，在中心执行尽可能多的眼跟踪数据处理。
根据本发明的一个方面，通过如最初所描述的装置实现上述目的，其中，事件引擎适用于从至少一个GUI部件的每一个中接收控制信号请求。控制信号请求定义了所述GUI部件所需的一组非光标控制事件输出信号的子集。事件引擎还适用于根据每个单独的控制信号请求将非光标控制事件输出信号传输到至少一个GUI部件。
因为获得对于任何通过眼跟踪信号可控的任何应用程序的灵活界面(flexible interface)，所以该装置是有优势的。这又能够使软件开发者无需眼跟踪技术的深入知识就能够设计眼可控的应用程序。因此，应该相信本发明可以促进这种新的应用程序的发展，从而可以为人机交互的改善提供进一步的可能性。此外，因为可通过一个或多个附加应用程序重新使用关于一个应用程序而获得的高级眼跟踪数据信号，所以计算机的处理资源可随意地用于各种可选的目的。换句话说，事件引擎适用于在要求时执行用于GUI部件(或潜在“用户”)的集中眼跟踪数据处理。因此，当执行事件引擎时，无需及时明确地知道这些部件中的每一个以及它们所请求的控制信号。相反，根据本发明，一个或多个GUI部件可请求与随后添加的眼可控应用程序有关的相关控制信号。当然，反之也可是对的，也就是说，一组控制信号请求出现一次，并且仅在被提议的装置启动时出现。
根据本发明该方面的优选实施例，计算机装置也适用于接收光标控制信号，以及响应于光标控制信号，控制显示器上的图形指针。因此，例如，事件引擎和光标控制信号可与在显示器上显示的GUI部件共同交互，从而实现了非常直观的人机交互。
根据本发明该方面的另一优选实施例，至少一个GUI部件适用于根据部件的用户操作生成至少一个相应的输出控制信号。这意味着通过操作GUI部件，用户可使计算机装置生成输出信号至一个或多个外部单元(例如，打印机、相机等)。自然地，这是高度期望的特征。此外，一个或多个GUI部件可生成输出控制信号的事实并没有排除相对于一个或多个其它GUI部件，非光标控制事件输出信号可专门在内部影响部件。
根据本发明该方面的优选实施例，事件引擎适用于根据眼跟踪数据信号的动态发展，至少产生非光标控制事件输出信号的第一信号。因此，用户视觉活动时间参数可用于控制计算机装置的功能和处理。例如，时间参数可反映用户凝视显示器上特定区域的停留时间，识别特定的凝视模式(gaze pattern)等。从而可实现许多类型的高级眼可控功能。
根据本发明该方面的又一优选实施例，至少一个GUI部件适用于将非光标控制事件输出信号解译为表示用户意图。响应于该估计的意图，触发部件的用户操作。例如，其可包括基于命令历史激活一个或多个计算机功能。因为由此可简化命令输入程序，所以这是有利的。
根据本发明该方面的再一优选实施例，至少一个GUI部件适用于将非光标控制事件输出信号解译为用户估计的关注级。响应于该估计的关注级，触发部件的用户操作。由此可获得的一个优势在于计算机行为可适用于与用户的当前关注级相匹配。
根据本发明该方面的再一优选实施例，至少一个部件适用于将非光标控制事件信号解译为用户的思想状态参数，以及响应于该思想状态参数触发部件的用户操作。该特征是期望得到的，这是因为其允许计算机根据用户是否表现出凝视/集中、分神、疲劳/不凝视或混乱等而表现不同。
根据本发明该方面的又一优选实施例，事件引擎适用于接收至少一个辅助输入信号(例如，来自按钮或开关的信号、语音信号、输入件的移动模式、相机记录手势模式(gesture pattern)或面部表情、或EEG(脑电图)信号)。进一步基于该辅助信号，事件引擎产生一组非光标控制事件输出信号。从而，用户输入信号的高效组合可用于控制计算机。通常，这些组合可被做成非常直观且易于学习。
根据本发明的另一方面，通过如最初所描述的方法可实现该目的，其中，从至少一个GUI部件的每一个中接收控制信号请求。控制信号请求定义由特定GUI部件所请求的一组非光标控制事件输出信号的一个子集。随后，根据每个单独的控制信号请求，将非光标控制事件输出信号传送至至少一个GUI部件。
该方法的优势及其优选实施例都可通过上文中参考所提及的装置所进行的讨论而变得显而易见。
根据本发明的再一方面，通过计算机程序实现该目标，其中，计算机程序可直接加载到计算机的内部存储器中，并且包括用于当在计算机运行所述程序时控制上述提及方法的软件。
根据本发明的另一方面，通过计算机可读介质实现该目标，计算机可读介质具有记录于其上的程序，其中，该程序控制计算机以执行上述提及的方法。
本发明显著增加了用于将信息从用户传输至计算机装置的可用带宽，即，主要生成命令，然而没有必要同样被用户所感知。因此，带宽的增加并没有给用户增加额外的认知工作量。相反，通过本发明，事实上可减小认知工作量。同时，增加的带宽保证了人机交互提高的效率。
此外，通过本发明，可基于用户的视觉活动有效并容易地影响传统上要求手和/或手指操作的命令。自然地，其期望得到从残疾的计算机用户、呼叫中心环境中的支持操作者(例如，当在客户关系管理应用程序中输入/编辑数据时)、高级计算机辅助设计(CAD)工具的用户、外科医生，到由于各种原因不能有效产生基于手和/或手指的命令的驾驶员和飞行员的应用程序的宽广范围。甚至在用户的手和手指易受影响的情况下，本发明可有益地改善工效以及减小诸如反复拉伤的风险。可选地，计算机装置放置的环境可以很干净或很脏，从而必须保护环境免受计算机装置可能的辐射，或者改变该装置，必须保护其免受环境中的有害物质的影响，因此不得不将其封闭成使传统的命令输入口不可能或至少无法被操作的程度。
本发明提供了一种极好的用于开发新型软件和计算机应用程序的基础，这些软件和计算机应用程序通过用户的眼睛进行控制。因此，从长远观点来看，本发明保证了可以将眼交互应用程序深入和不受限制地结合到标准计算机环境中。
本发明进一步的优势、有利特征以及应用将通过下列描述和相关的权利要求而变得显而易见。
现在，参考附图，通过作为实例披露的优选实施例，将更详细地解释本发明。
图1示出了根据本发明的控制计算机装置的用户的概观图；图2示出了根据本发明实施例的用于控制计算机装置的装置；图3a-3b分别示出了在非观察和观察模式中在显示器上表示眼可控GUI部件的提及的符号；图4示出了根据本发明的第一实施例，其中，使用了提及的多重查看(multiview)工具栏；图5示出了基于提及的多重查看工具栏的根据本发明的第二实施例；
图6a-6b示出了根据本发明的第三实施例，其中，屏幕控制适用于根据基于用户视觉活动的操作扩展；图7示出了根据本发明的第四实施例，其基于用户的视觉活动实现滚动功能；以及图8通过流程图示出了根据本发明的控制计算机装置的一般方法。
具体实施例方式
图1示出了根据本发明的典型使用情形的概观图。这里，用户110至少部分基于描述用户110在显示器120上的关注点x、y的眼跟踪数据信号DEYE来控制计算机装置130。因此，通过观察显示器120上的GUI部件220的表示，用户110可生成对于计算机装置130的命令。因为GUI部件220适合于至少间接被眼跟踪数据信号DEYE所影响，所以该操作是可能的。本发明假定眼跟踪数据信号DEYE可除了影响显示器120上的光标/指针之外，还引起与通过计算机装置可执行的任何任务相关的事件。应该注意到，根据本发明，任何类型的已知计算机屏幕或显示器，以及两个或多个独立显示器的组合可表示显示器120。例如，显示器120可组成一对立体屏幕、平视显示器(HUD)、头戴式显示器(HMD)以及用于虚拟环境的显示装置(例如，一副三维眼镜的目镜或者房间，在房间中的墙壁包括用于表现虚拟环境的投影屏)。
自然地，为了产生眼跟踪数据信号DEYE，显示器120与眼跟踪器想联系，或者包括眼跟踪器。该部分不是专利申请的目的，因此在此不再详细描述。然而，优选地，通过在以该申请人申请名义于2002年11月21日提交的瑞典专利申请0203457-7中描述的解决方案实施眼跟踪器。
优选地，通过计算机装置130生成图形控制信号C-GR以在显示器120上实现视觉反馈信息。响应于通过计算机装置130接收到的任何用户命令来生成视觉反馈信息，以使用户110确认基于眼跟踪数据信号DEYE的任何命令。当通过感觉器官(例如，人眼)产生该命令时，尤其期望这样的确认。
根据本发明的优选实施例，除眼跟踪数据信号DEYE之外，计算机装置130还适用于接收控制显示器120上图形指针位置的光标控制信号K。当然，图形控制信号C-GR也可基于光标控制信号K。
图2示出了根据本发明实施例的装置，其可以通过上述参考图1的计算机装置130来实现。
该装置包括事件引擎210和至少一个GUI部件220，该GUI部件适用于根据至少部分地由眼跟踪数据信号DEYE表达的用户生成命令而被操作。事件引擎210适用于接收眼跟踪数据信号DEYE，以及基于眼跟踪数据信号产生影响至少一个GUI部件220的一组非光标控制事件输出信号D-HIi。每个非光标控制事件输出信号D-HIi又描述了关于显示器120的用户110视觉活动的特定方面。
例如，基于他/她所产生的特定眼跟踪数据信号DEYE，第一信号可表明用户110的凝视是否完全专注于显示器(即，“凝视显示器”信号)，第二非光标控制事件输出信号可反映用户110凝视显示器120上的特定区域的停留时间，第三信号可指明凝视定像(在特定点)，第四信号可表示是否为扫视，第五信号可表示凝视是否追随平滑路径，第六信号可反映用户110阅读文本，以及如果用户110表现出分神，则可触发第七信号。
根据本发明，事件引擎210从至少一个GUI部件220a，...，220n的每一个中接收各个控制信号请求Ra，...，Rn。控制信号请求(如Ra)定义由特定了GUI部件(如220a)所请求的一组非光标控制事件输出信号D-HIi的子集，以如期望的那样运行。然后，根据各个控制信号请求Ra，...，Rn，事件引擎210将非光标控制事件输出信号D-HIi传送至至少一个GUI部件220a，...，220n的每一个。
如果事件引擎210专门产生实际上由至少一个GUI部件所请求的那些事件输出信号D-HIi，则实现了最有效的处理。然而，根据本发明，还可得到的是可以产生的所有非光标控制事件输出信号D-HIi总是由事件引擎210生成，无论是否已经接收到相应的控制信号请求。换句话说，这简化了程序，并且根据本申请，该策略无需过量的处理。
根据本发明的优选实施例，每个GUI部件220a，...，220n均适用于根据部件220a，...，220n的用户操作生成至少一个单独的输出控制信号Ca，...，Cn。因此，除生成上面提及的视觉反馈信息之外，还可通过输出控制信号Ca，...，Cn影响一个或多个内部或外部装置。例如，可开始打印工作，可执行计算任务，可发送电子邮件，可触发相机以拍照等。
如上所述，非光标控制事件输出信号D-HIi可描述眼跟踪数据信号DEYE的许多不同方面。根据本发明的一个实施例，至少一个输出信号D-HIi基于眼跟踪数据信号DEYE动态发展。因此，该信号可表示显示器120上的特定凝视模式。凝视模式又可被确定来例如指定扫视、平滑追踪、定像或阅读的周期。
非光标控制事件信号D-HIi还可表示凝视开始/凝视结束数据。该数据为反映当眼跟踪数据信号DEYE表示用户的关注点落在显示器上GUI部件显示中时的时间情况的参数。因此，当用户的凝视落在显示器上GUI部件的显示上时，生成凝视开始数据，而当凝视指向该显示外时，生成凝视结束数据。
上述GUI部件的停留时间通常被定义为相对于特定GUI部件的凝视开始数据和凝视结束数据之间的周期。优选地，通常将激活信号与停留时间相连接，从而当达到特定停留时间时，例如开启“眼按钮”。可选地，按钮、开关、语音信号、输入件的移动模式、相机记录的手势模式或面部表情可构成激活信号。此外，眨眼或预定的EEG信号可产生激活信号。然而，后面类型的信号难以使用户足够精确地控制。
根据本发明的一个实施例，事件引擎210适用于接收至少一个辅助输入信号DJ，并且进一步基于该信号产生一组非光标控制事件输出信号D-HIi。辅助输入信号DJ可源于按钮、开关、语音信号、输入件的移动模式、相机记录的手势模式或面部表情、或者EEG信号。
从而，可基于眼数据信号DEYE和一个或多个辅助输入信号DJ的组合，创建直观并容易学习的复合用户命令。因此，可实现与计算机装置130的高效人机交互。例如，观看用于文档的眼按钮以及发出控制字“打开”可以打开文本文档。如果可用更复杂的语音识别，则可通过将目光聚焦到相关文本输入框来影响互联网搜索，同时发出期望的搜索术语等。
根据本发明的一个实施例，GUI部件220a，...，220n的至少一个适用于将来自事件引擎210的非光标控制事件输出信号D-HIi解译为用户110的估计意图。接着，响应于估计意图，触发部件220a，...，220n的用户操作。优选地，事件引擎210基于被接收作为辅助输入信号DJ的多个输入源来估计用户意图，其中，辅助输入信号DJ可包括键盘信号、鼠标信号、语音数据、以及相机图像。然而，自然地，眼跟踪数据信号DEYE也可组成用于估计用户意图的基础。例如，重要信息可从不同的凝视模式和定像时间中提取。
根据本发明的另一实施例，GUI部件220a，...，220n的至少一个适用于将来自事件引擎210的非光标控制事件输出信号D-HIi解译为用户110的估计关注级。相对地，响应于估计的关注级来触发部件220a，...，220n的用户操作。还可基于辅助输入信号DJ(例如，源自键盘、鼠标的信号、语音数据、和相机图像)以及眼跟踪数据信号DEYE来估计关注级。更具体地，凝视模式、定像点、以及定像时间构成用于决定用户110关注级的重要基础。优选地，GUI部件220a，...，220n根据估计的关注级来改变它们的特征，使得部件特性与用户110当前的行为相匹配。
此外，根据本发明的一个实施例，GUI部件220a，...，220n的至少一个适用于将来自事件引擎210的非光标控制事件输出信号D-HIi解译为用户110的思想状态参数。思想状态参数反映一般用户110的状态，例如，他/她是否表现出专注/集中、分神、疲劳/不专注或混乱。举例来说，思想状态参数可表示大约20％的疲劳度以及大约50％的关注度。然后，基于估计的思想状态，触发部件220a，...，220n的用户操作。通常，任何帮助菜单和弹出窗口的数量和内容可响应于估计的思想状态而调整。然而，在操作环境中(例如，在关注级和思想状态可真正重要的雷达监视站的情况下)，可通过指出操作者还没有观察到的目标等来提高安全性。
根据本发明的一个实施例，事件引擎210与模板库230相关联，其包括类属GUI部件，例如，眼按钮、滚动条、多重查看工具栏(参见以下参考的图4)、文本输入区(参见以下参考的图5)、可扩展的文本输入区(参见以下参考的图6)、以及滚动窗口(参见以下参考的图7)。从而，通过模板库230，软件设计人员可方便地创建可基于关于显示器的用户视觉活动而操作的功能和控制。当然，在完成特定眼可控应用程序的设计后，无论如何，模板库230没有关于可源于其类属部件的GUI部件的实际功能。然而，在应用程序未来升级或重新设计的情况下，模板库230可再次发挥作用。
根据本发明，技术上不需要在显示器上以图形方式确认任何GUI部件操作。然而，这通常优选地来自用户友好视点。图3a示出了示意性符号310，其代表以非观察模式(即，眼跟踪数据信号DEYE表示用户的关注点位于符号310外)设置在显示器上的眼可控GUI部件。图3b示出了处于观察模式的符号310，当眼跟踪数据信号DEYE表明用户的关注点落在符号310所表示的显示区内时，设置该符号。在观察模式下，符号310包括位于中心的对象311。该对象311向用户确认计算机装置已经记录他/她的凝视目前指向符号310。因此，可执行关于与符号310相关联的GUI部件的任何操作。依靠位于中心的对象311所获得的重要优点是该对象帮助用户将他/她的凝视集中在符号310的中心。从而，实现了更加可信的眼跟踪功能，以及对于给定的眼跟踪器，可使符号310比相反情况下的符号更小。当然，符号310和位于中心的对象311可具有任何其它的轮廓而不仅是图3a和3b中的正方形表现。此外，为了进一步提高视觉提示，可激励对象311和/或对象311具有特别吸引人的颜色或形状。
图4示出了根据本发明的第一实施例，其中提及的多重查看工具栏401用于控制框400中的应用程序。多重查看工具栏401在此包括四个不同的眼按钮，每个眼按钮均可包括与按钮相关联的各个应用程序的缩略图像(未示出)。第一按钮410与优选访问预定URL或网页的第一应用程序(例如，互联网浏览器)相关联。第一个应用程序具有在此通过框400内子框410所代表的用户界面。因此，通过查看第一按钮410，用户可打开子框420。该激活在关于按钮410的凝视停留时间之后完成，或响应于激活信号(例如，按键或控制字)完成。然后，可通过查看文本输入框411，输入相关的搜索术语，以及此后操作搜索按钮412(优选地，也基于眼跟踪数据信号)来执行搜索。
图5示出了基于提及的多重查看工具栏401的根据本发明的第二实施例。这里，第二按钮510与具有框400内子框520形式的用户界面的第二应用程序(例如，产品管理系统)相关联。这意味着用户可通过在特定的凝视停留时间内查看第二按钮510，或生成单独的激活信号(如上所述)来激活第二应用程序。优选地，首先激活默认的一组文本输入框和按钮515。然后，通过查看子框520中的其它区域，可激活和操作可选区域和功能。
具体地，屏幕控制可适用于根据用户的视觉活动对操作进行扩展。图6a和6b示出了根据本发明的第三实施例。
这里，只要眼跟踪数据信号表明用户的关注点落在区域620之外，子框520中的文本区620占据了显示器上相对小的区域。然而，根据眼跟踪数据信号，如果关注点到达由文本区620所表示的显示区内特定停留时间，则该区域扩展，例如，如图6b中所示。因此，可示出比最初在区域620中可视的更多信息。该扩展的文本区620甚至可覆盖框400中示出的图形对象。这是有利的，因为在要求时显示信息，使得框400和子框520包括比其中实际可配置数据更多的数据。例如，可以避免本该是必须的文本滚动。
图7示出了根据本发明的第四实施例，其基于用户的视觉活动实现滚动功能。这里，第三应用程序(即，地图阅读器)与第三按钮710相关联。因此，通过观看第三按钮710以及激活与其相关联的GUI部件，基于凝视停留时间或通过单独的激活信号，计算机装置打开框400内的地图子框720。该子框又显示数字化地图。在此，假设地图大于地图子框720中的可视显示区，从而可同时仅显示地图的一部分。
基于用户指向或关注实现关于地图的滚动。优选地，只要眼跟踪数据信号表明关注点落在由第一虚线a、第二虚线b、第三虚线c、以及第四虚线d限定的中心区域内，就不会发生滚动，优选地，上述四条虚线在显示器上均不可见。然而，如果用户的关注点处于a、b、c、或d的任何一条线之外，则地图在由关注点所指定的特定方向上滚动。具体地，这意味着线c下面的关注点造成沿箭头S向下滚动，线d上面的关注点造成沿箭头N向上滚动，线b右侧的关注点造成沿箭头E向右滚动，以及线a左侧的关注点造成沿箭头W向左滚动。此外，位于线c下面以及线b右侧的关注点造成沿箭头SE斜向滚动，位于线d上面以及线b右侧的关注点造成沿箭头NE斜向滚动，位于线d上面以及线a左侧的关注点造成沿箭头NW斜向滚动，以及位于线c下面以及线a左侧的关注点造成沿箭头SW斜向滚动。该滚动功能可基于停留时间而被激活，或可需要单独的激活信号(例如，点击键/按钮或按住键/按钮)。
此外，滚动速度可取决于关注点和各条线a、b、c、和d之间的距离，使得相对的长距离对应于相对高的速度，反之亦然。滚动速度还可取决于滚动时间、和/或在眼跟踪数据信号中记录的最新扫视长度。优选地，最大滚动速度被设置为使得滚动的信息在任何可能的速度下对于用户都可视的值。
根据本发明的一个实施例，通过按下键/按钮，释放键/按钮，最新扫视长度超过特定值，关注点移出地图子框720外，关注点向地图子框720中心或向相对滚动激活线a、b、c、或d移动来停止滚动功能。
应该注意的是，在现有技术中描述了这样的眼跟踪驱动滚动解决方案，例如在文献US 5,850,221中。这里，基于观察者眼睛注视的区域，开始或控制页面定向的或连续信息滚动动能。
总之，现在将参照图8中的流程图描述根据本发明的控制计算机装置的一般方法。
初始步骤810从至少一个适用于根据用户生成的眼命令而操作的GUI部件的每一个接收控制信号请求。控制信号请求定义了一组非光标控制事件输出信号的子集，其由特定的GUI部件命令以如期望的那样操作。
然后，步骤820接收眼跟踪数据信号，其描述与实施至少一个GUI部件的计算机相关联的显示器上的用户关注点。随后，步骤830基于眼跟踪数据信号加上任何辅助输入信号，产生一组非光标控制事件输出信号。
随后，步骤840将非光标控制事件输出信号传送至至少一个GUI部件，从而可产生其中的相关影响(即，根据每个单独的控制信号请求)。假设每个光标控制事件输出信号描述了关于显示器的用户视觉活动的特定方面。因此，非光标控制事件输出信号表达了用户生成的眼命令。在步骤840之后，程序回到用于接收更新的眼跟踪数据信号的步骤820。
可通过编程的计算机装置来控制上述参照图8所描述的所有处理步骤以及任何步骤的子序列。此外，尽管上面参照附图所描述的本发明实施例包括计算机装置以及在计算机装置中执行的过程，由此本发明还扩展至适用于使本发明得以实际应用的计算机程序，尤其是在载体中或载体上的计算机程序。程序可以是源代码、目标代码、代码中间源和目标代码的形式(例如，部分编译形式)，或适用在根据本发明的过程实施中所使用的其它任何形式。程序可以是操作系统的一部分或为单独的应用程序。载体可以是能够承载程序的任何实体或装置。例如，载体可包括诸如闪存、ROM(只读存储器)(例如，CD(光盘)或半导体ROM、EPROM(可擦可编程只读存储器)、EEPROM(电可擦可编程只读存储器))、或磁记录介质(例如，软盘或硬盘)的存储介质。此外，载体可为可传输载体，例如，可通过电缆或光缆或通过无线电或其它装置传送的电信号或光信号。当程序以可直接通过电缆或其它设备或装置传送的信号实现时，载体可由这样的电缆或装置或设备组成。可选地，载体可以是嵌入有程序的集成电路，集成电路适用于执行相关过程或用在相关过程的执行中。
在本说明书中使用的术语“包括/包含”用来说明存在确定的特性、整数、步骤或部件。然而，术语不排除存在或添加一个或多个附加特性、整数、步骤或部件或其组合。
本发明不局限于附图中所描述的实施例，可在权利要求的范围内随意地改变。
权利要求
1.一种用于控制与图形显示器(120)相关联的计算机装置(130)的装置，所述显示器(120)显示适用于根据用户生成的命令而操作的至少一个GUI部件(220)的表示，所述装置包括事件引擎(210)，所述事件引擎适用于接收描述用户(110)在所述显示器(120)上的关注点(x，y)的眼跟踪数据信号(DEYE)，以及至少基于所述眼跟踪数据信号(DEYE)产生影响所述至少一个GUI部件(220)的一组非光标控制事件输出信号(D-HIi)，每个非光标控制事件输出信号(D-HIi)描述所述用户(110)关于所述显示器(120)的视觉活动的特定方面，其特征在于，所述事件引擎(210)适用于从所述至少一个GUI部件(220a，...，220n)的每一个中接收控制信号请求(Ra，...，Rn)，所述控制信号请求(Ra，...，Rn)定义由所述GUI部件(220a，...，220n)所需的所述一组非光标控制事件输出信号(D-HIi)的子集；以及根据每个单独的控制信号请求(Ra，...，Rn)，将所述非光标控制事件输出信号(D-HIi)传送至所述至少一个GUI部件(220a，...，220n)。
2.根据权利要求1所述的装置，其特征在于，所述计算机装置(130)适用于接收光标控制信号(K)；以及响应于所述光标控制信号(K)控制所述显示器(120)上的图形指针。
3.根据权利要求1或2所述的装置，其特征在于，所述至少一个GUI部件(220a，...，220n)中的至少一个适用于根据所述部件(220a，...，220n)的用户操作生成至少一个单独的输出控制信号(Ca，...，Cn)。
4.根据上述权利要求中任一项所述的装置，其特征在于，所述事件引擎(210)适用于根据所述眼跟踪数据信号(DEYE)的动态发展，至少产生所述非光标控制事件输出信号(D-HIi)的第一信号。
5.根据权利要求4所述的装置，其特征在于，所述第一信号表示所述显示器(120)上的特定凝视模式。
6.根据权利要求5所述的装置，其特征在于，至少一个GUI部件(220a，...，220n)适用于将所述第一信号解译为所述用户(110)的估计意图，以及响应于所估计的意图触发所述部件(220a，...，220n)的用户操作。
7.根据权利要求5或6所述的装置，其特征在于，至少一个GUI部件(220a，...，220n)适用于将所述第一信号解译为所述用户(110)的估计关注级，以及响应于所估计的关注级触发所述部件(220a，...，220n)的用户操作。
8.根据权利要求5至7中任一项所述的装置，其特征在于，至少一个部件(220a，...，220n)适用于将所述第一信号解译为所述用户(110)的思想状态参数，以及响应于所述思想状态参数触发所述部件(220a，...，220n)的用户操作。
9.根据上述权利要求中任一项所述的装置，其特征在于，所述事件引擎(210)适用于接收至少一个辅助输入信号(DJ)，以及进一步基于所述至少一个辅助输入信号(DJ)产生所述一组非光标控制事件输出信号(D-HIi)。
10.根据上述权利要求中任一项所述的装置，其特征在于，所述至少一个辅助输入信号(DJ)源于按钮、开关、语音信号、输入件的移动模式、手势模式、面部表情、以及EEG信号中的至少一个。
11.一种控制与图形显示器(120)相关联的计算机装置(130)的方法，所述显示器(120)显示适用于根据用户生成的命令而操作的至少一个GUI部件(220)，所述方法包括接收描述所述显示器(120)上的用户(110)关注点(x，y)的眼跟踪数据信号(DEYE)；至少基于所述眼跟踪数据信号(DEYE)产生一组非光标控制事件输出信号(D-HIi)，所述一组非光标控制事件输出信号(D-HIi)影响至少一个GUI部件(220)，以及每个非光标控制事件输出信号(D-HIi)描述关于所述显示器(120)的所述用户(110)视觉活动的特定方面，所述方法的特征在于从所述至少一个GUI部件(220a，...，220n)的每一个中接收控制信号请求(Ra，...，Rn)，所述控制信号请求(Ra，...，Rn)定义所述GUI部件(220a，...，220n)所需的所述一组非光标控制事件输出信号(D-HIi)的子集；以及根据每个单独的控制信号请求(Ra，...，Rn)，将所述非光标控制事件输出信号(D-HIi)传送至所述至少一个GUI部件(220a，...，220n)。
12.根据权利要求11所述的方法，其特征在于接收光标控制信号(K)；以及响应于所述光标控制信号(K)控制所述显示器(120)上的图形指针。
13.根据权利要求11或12所述的方法，其特征在于，每个GUI部件(220a，...，220n)适用于根据所述部件(220a，...，220n)的用户操作生成至少一个单独的输出控制信号(Ca，...，Cn)。
14.根据权利要求11至13中任一项所述的方法，其特征在于，基于所述眼跟踪数据信号(DEYE)的动态发展，至少产生所述非光标控制事件输出信号(D-HIi)的第一信号。
15.根据权利要求14所述的方法，其特征在于，所述第一信号表示所述显示器(120)上的特定凝视模式。
16.根据权利要求15所述的方法，其特征在于，所述至少一个GUI部件(220a，...，220n)适用于将所述第一信号解译为所述用户(110)的估计意图，以及响应于所估计的意图触发所述部件(220a，...，220n)的用户操作。
17.根据权利要求15或16所述的方法，其特征在于，所述至少一个GUI部件(220a，...，220n)适用于将所述第一信号解译为所述用户(110)的估计关注级，以及响应于所估计的关注级触发所述部件(220a，...，220n)的用户操作。
18.根据权利要求15至17中任一项所述的方法，其特征在于，所述至少一个部件(220a，...，220n)适用于将所述第一信号解译为所述用户(110)的思想状态参数，以及响应于所述思想状态参数触发所述部件(220a，...，220n)的用户操作。
19.根据权利要求11至18中任一项所述的方法，其特征在于接收至少一个辅助输入信号(DJ)；以及进一步基于所述至少一个辅助输入信号(DJ)产生所述一组非光标控制事件输出信号(D-HIi)。
20.根据权利要求11至19中任一项所述的方法，其特征在于，所述至少一个辅助输入信号(DJ)源于按钮、开关、语音信号、输入件的移动模式、手势模式、面部表情、以及EEG信号中的至少一个。
21.一种可直接加载到计算机内部存储器中的计算机程序，包括用于当在所述计算机上运行所述程序时，控制所述权利要求11至20中任一项所述步骤的软件。
22.一种计算机可读介质，具有记录于其上的程序，其中，所述程序使计算机控制所述权利要求11至20中任一项所述的步骤。
全文摘要
本发明涉及基于计算机的眼跟踪解决方法。计算机装置与图形显示器相关联，该图形显示器又显示适用于根据用户生成的命令而操作的至少一个GUI部件(220a，...，220n)。事件引擎(210)适用于接收描述用户(110)在显示器(120)上关注点的眼跟踪数据信号(D
文档编号G06F3/01GK1969249SQ200580019974
公开日2007年5月23日 申请日期2005年5月24日 优先权日2004年6月18日
发明者克里斯托弗·比约克卢德, 亨里克·埃斯基尔松, 芒努斯·雅各布松, 莫滕·斯科格 申请人:托比技术有限公司