用于改变设备行为的眼睛凝视的制作方法
【专利摘要】本发明提供用于控制电子设备的行为的方法、设备和计算机程序。方法包括用于在第一操作模式中操作电子设备的操作，以及用于跟踪与电子设备相连接的用户的凝视的操作。只要凝视指向预定目标，就将电子设备保持在第一操作模式中。在另一操作中，在没有检测到凝视指向预定目标时，在不同于第一操作模式的第二操作模式中操作电子设备。
【专利说明】用于改变设备行为的眼睛凝视
[0001]相关申请案【技术领域】
[0002]本发明涉及用于控制电子设备的行为的方法，更具体来说，涉及用于基于一个或多个用户的凝视控制设备行为的方法和系统。
[0003]发明背景
[0004]电子设备在日常生活中变得越来越普遍。特征集保持增长，从而为用户提供更多种类的功能和选项。随着选项的数量的增长，易用性变得越来越重要，因为用户设法通过由电子设备提供的所有选项进行选择和导航。有时，由于设备的当前的环境变量，一些选项甚至不可用，但用户仍然可以使用菜单选项的复杂的树进行呈现。例如，全球定位系统(GPS)设备中的选项允许用户在语音导航援助(汽车司机的口头指示)或在位于靠近司机的显示器中显示的地图上的方向之间选择。然而，夜间在弯曲的道路上驾驶的用户在跟随地图时可能遇到困难，因为用户必须把注意力集中在前方道路上。
[0005]凝视检测的科学进展允许设备确定一个或多个用户是否目前在查看特定的目标。为了提高电子设备的可用性和可配置性，需要更好的用户界面来考虑设备的状态以及用户情况，以便产生直观的、易于使用的界面，从而提高人与机器之间的互动。
[0006]本发明的实施方案正是在这种情况下产生的。
发明概要
[0007]本发明的实施方案提供用于基于用户凝视方向控制电子设备的行为的方法和系统。应了解，本发明可以用多种方式来实施，例如，在计算机可读介质上的过程、装置、系统、设备或方法。下文描述本发明的几个发明实施方案。
[0008]在一个实施方案中，一种方法包括用于在第一操作模式中操作电子设备的操作，以及用于跟踪与电子设备相连接的用户的凝视的操作。只要凝视指向预定目标，就将电子设备保持在第一操作模式中。在另一操作中，系统检测到凝视不指向预定目标。在检测到凝视不指向预定目标之后，在不同于第一操作模式的第二操作模式中操作电子设备。
[0009]在另一实施方案中，一种电子设备包括凝视检测模块和处理器。凝视检测模块确定与电子设备相连接的用户的凝视是否指向预定目标。处理器支持电子设备的不同的操作模式，操作模式包括第一操作模式和第二操作模式。当用户的凝视指向预定目标时，处理器在第一操作模式中操作，并且在凝视检测模块检测到用户的凝视不指向预定目标之后，处理器在第二操作模式中操作。
[0010]在又一实施方案中，一种嵌入非暂态计算机可读存储介质中的计算机程序包括程序指令，所述计算机程序在由一个或多个处理器执行时用于控制电子设备的行为。包括在介质中的是用于在第一操作模式中操作电子设备的程序指令，以及用于跟踪与电子设备相连接的用户的凝视的程序指令。此外，介质也包括用于只要凝视指向预定目标，就将电子设备保持在第一操作模式中的程序指令，以及用于检测到凝视不指向预定目标的程序指令。额外的程序指令在检测到凝视不指向预定目标之后，使电子设备能够在不同于第一操作模式的第二操作模式中操作。
[0011]通过结合附图的以下详细描述，本发明的其他方面将变得显而易见，这些附图通过实例说明本发明的原理。
[0012]附图简述
[0013]通过参考结合附图的以下描述，可以最好地理解本发明，其中:
[0014]图1A至图1C图示根据一个实施方案的基于用户的凝视改变操作模式的导航系统。
[0015]图2A和图2B图示根据一个实施方案的使用凝视检测的防撞系统。
[0016]图3图示具有多个凝视检测单元的凝视检测系统的实施方案。
[0017]图4A和图4B示出根据一个实施方案的在用户从显示器往别处看时激活的录像机。
[0018]图5A和图5B描绘根据一个实施方案的根据孩子的凝视改变行为的玩具。
[0019]图6A和图6B图示根据用户在电话上的凝视改变行为的移动电话的实施方案。
[0020]图7A和图7B图示根据一个实施方案的根据用户凝视改变的画中画显示器的行为。
[0021]图8描绘根据一个实施方案的在手表检测到用户的凝视时发出亮光的手表。
[0022]图9图示根据一个实施方案的基于用户的凝视而增强显示区域的可见度的设备。
[0023]图1OA和图1OB图示根据一个实施方案的基于用户凝视的屏幕保护程序的操作。
[0024]图1lA和图1lB图示根据一个实施方案的响应于几个用户的凝视方向的系统。
[0025]图12描绘根据一个实施方案的凝视检测系统的体系结构。
[0026]图13描绘在凝视目标位于电子设备外部时的凝视检测系统的另一实施方案。
[0027]图14A示出根据本发明的一个实施方案的用于控制电子设备的行为和用于生成报警的算法的流程。
[0028]图14B示出根据本发明的一个实施方案的用于控制电子设备的行为和用于生成报警的替代算法的流程。
[0029]图15A至图15C图示本发明的实施方案的不同的状态图。
[0030]图16为根据本发明的一个实施方案的用于控制电子设备的行为的过程流程图。
[0031]图17为用于实施本发明的实施方案的计算机系统的简化示意图。
【具体实施方式】
[0032]以下实施方案描述用于利用用户凝视信息控制电子设备的行为的方法、计算机程序和装置。然而，本领域技术人员将显而易见，可以在没有一些或所有的这些具体细节的情况下实践本发明。在其他情况下，没有详细描述众所周知的过程操作，以避免不必要地使本发明模糊不清。
[0033]图1A至图1C图示根据一个实施方案的基于用户的凝视改变操作模式的导航系统。用户的凝视为用户的注意力或意图的良好的指示。使用眼睛凝视信息作为输入会使计算机系统能够获得关于用户的任务的上下文信息，又可以利用上下文信息来设计更直观和智能的界面。随着眼睛凝视跟踪系统准确性的提高和成本的降低，眼睛凝视跟踪可以用于大范围的应用中。
[0034]眼睛跟踪或眼睛凝视跟踪为测量凝视点(“用户看的地方”)或眼球相对于头的运动的过程。眼球跟踪器为用于测量眼睛位置和眼球运动的设备。存在用于测量眼球运动和凝视方向的许多方法。一些方法使用提取眼睛位置的视频图像，并且其他方法使用搜索线圈或基于眼电图。在另一方法中，使用具有红外摄像机或检测器或与红外摄像机或检测器通信的设备发射红外光。红外光从用户的视网膜被反射回到红外摄像机或检测器上。反射回来的红外光的量是基于人朝向发射器的凝视。一旦在摄像机或检测器上接收的红外光在一段时间内达到特定阈值，就确定用户在设备上的凝视。凝视的小失误被认为是眨眼并且被忽视。
[0035]通过使用眼睛凝视检测，设备(例如，便携式娱乐设备、车载导航系统、孩子的玩具、TV等)可以基于从用户接收多少注意力而改变其行为。在一些实施方案中，设备只需要知道用户是否在查看设备，但是设备不需要知道用户凝视的精确方向。在其他实施方案中，用户凝视的精确方向被认为控制设备的行为。本发明的实施方案使消费电子设备能够利用凝视检测，并且基于被电子设备接收的注意力而定制功能性。通过利用凝视检测，设备可以提供更直观的互动和改进的用户体验。
[0036]在图1A中所示的实施方案中，凝视检测系统用于确定司机102是否在看显示器108，显示器108包括汽车导航系统。凝视检测系统包括俘获司机102的眼睛104的视频的摄像机106。包括摄像机106和显示器108的凝视检测系统确定司机102的凝视是否指向显示器。系统根据凝视改变行为，即，在凝视指向显示器时，汽车导航系统显示地图以帮助司机到达目的地，并且在凝视不指向显示器时，汽车导航系统向用户提供听觉方向。
[0037]图1B图示包括在用户看显示器时显示地图120的操作模式。图1B的实例示出汽车在地图中的位置以及司机进行下一个转弯的指示箭头。显示器上的额外的信息可以包括到下一个路口的距离、到目的地的距离、街名等。
[0038]图1C图示在司机不看地图(例如，司机在看前方道路)时的操作模式。扬声器132将口头提示传递到司机，例如，“在50米左转”、“在下一个路口右转”、“在接下来的10英里的17号公路上开车”等。显示器130可以变暗或被关闭，或可以将口头提示表现为视觉提示。视觉提示不是必需的(显示器上的视觉提示可以供汽车中的其他人使用)。在另一实施方案中，在显示器上总是显示地图，并且只在用户的凝视不在显示器上时提供口头提示。
[0039]行为的改变可以用于各种设备和情况中。例如，在凝视消失时，电视可以暂停正在显示的节目(电视系统连接到数字录像机)。下文参照图2A至图1lB给出基于用户凝视改变行为的设备的其他实例。
[0040]图2A和图2B图示根据一个实施方案的使用凝视检测的防撞系统。根据用户是否注意设备或情况，用户界面改变形态。例如，在图2A中所示的情况下，当汽车近程检测器检测到汽车204在汽车202前面突然减速时发生潜在的报警情况。如果用户206正在向前看(如凝视检测器所检测，例如，在图1A中所示的凝视检测器)，那么不生成报警，这是因为用户已经在看前面的汽车。然而，如果用户206不在向前看(如图2B中所示)，那么汽车近程检测器将生成报警，报警可以为声音报警、可视报警或两者。在另一实施方案中，定义危险的阈值以确定何时即将发生碰撞，并且在即将发生碰撞时，不管用户206是否在向前看都生成报警。基于一个或多个因素，例如，汽车间的距离、汽车的速度、汽车的相对速度、用户的平均响应时间、指示用户希望何时接收报警的配置参数等，计算阈值条件。
[0041]在另一实施方案中，当用户在变换车道并且用户不在看接近进行车道变换的目的地车道中的汽车时，生成报警条件。如果用户在看可以看到另一汽车的反光镜，或如果用户已经在第二汽车的方向上掉头，那么避免报警。可能需要一个以上的凝视检测器来检测用户是否在看反光镜或汽车的旁边。
[0042]图3图示具有多个凝视检测单元的凝视检测系统的实施方案。图3的汽车包括几个凝视检测单元302a-302f。每个凝视检测单元检测用户是否在看那个凝视检测单元的对应的目标。来自所有凝视检测单元的信息被组合以定义网格304。基于来自凝视检测单元302a-302f的信息，计算用户在看的近似点或区域的网格坐标。
[0043]此外，定义不同的目标区域Al-A6(306a_306f)以便确定何时生成报警。根据情况利用一个或多个特定目标区域。例如，如果用户变换到右边的车道并且汽车在右边的车道中，那么碰撞检测系统将在用户不在看目标区域A4306e时生成报警，并且将在用户在看目标区域A4306e时不生成报警。在与图2A和图2B中所示的情况相同的情况下，当存在与前面的汽车的潜在碰撞时，如果用户在看目标A3306d，那么将生成报警。图2A的单个凝视检测器可能已经检测到用户在向前看，但是单个凝视检测器可能尚未检测到用户在朝旁边(A3)看去，因为用户可能在看路标、下一个车道上的汽车、商业标语、行人等。因此，通过具有多个凝视检测器增加的额外的解决方式会提高确定危险情况的能力。此外，增加的解决方式可能会限制生成的报警的数量，因为对用户指导其视线的地方有更好的理解。
[0044]图4A和图4B示出根据一个实施方案的在用户从显示器往别处看时激活的录像机。如图4A中所示，用户402在显示器404上观看电视节目。凝视检测系统使用针对用户的摄像机406来检测用户何时朝显示器看或从显示器往别处看。当凝视检测系统确定用户402在看显示器404时，数字录像机(DVR) 408不记录电视节目。然而，当用户402从显示器402往别处看时，如图4B中所示，凝视检测系统采取行动。
[0045]在一个实施方案中，DVR408开始记录节目(打开的灯410指示DVR在记录)，因此用户可以在后来的时间观看节目。在另一实施方案中，DVR记录节目并且节目被暂停直到用户向显示器404扭转其凝视。当DVR的记录容量被限制时，只在用户看别处时记录的能力是有用的。
[0046]相同的原理可以用于使用显示器的其他应用，例如，在用户看别处时暂停视频游戏、暂停串流互联网视频、暂停在播放电影的DVR、暂停计算机游戏或某一其他软件应用程序等。
[0047]在又一实施方案中，电视机在电视上没有检测到凝视时减小音量，并且在检测到凝视时增加音量。在另一实施方案中，凝视检测确定记录的质量。例如，当用户在看显示器时，以低质量进行记录，因为假定用户将不会再次观看节目。然而，如果用户看别处，那么记录切换到高分辨率模式，因为系统假定用户将在未来的时间观看其错过的这个节目的一部分。
[0048]如果在房间里有几个观看者，那么一个实施方案确定任何用户是否在采取行动(例如，开始记录或暂停节目)之前看显示器。在另一实施方案中，测试应用程序或基于网络的课堂使用凝视检测来确定用户何时注意。如果用户不注意，那么可以向教师显示标志，或软件应用程序将不提供予以注意的用户信用。[0049]图5A和图5B描绘根据一个实施方案的根据孩子的凝视改变行为的玩具。图5A示出同玩具504 —起玩的孩子502，玩具504包括凝视检测系统。当玩具504检测到孩子的凝视被设置在玩具上时，玩具504通过发出声音、产生口头消息、走来走去、使灯闪烁等与孩子502互动。
[0050]当孩子502不在看玩具504时,如图5B中所示,玩具504通过设法引诱孩子同玩具一起玩，最终在预定时段后通过关闭而作出响应。例如，玩具可以发出口头消息(“同我一起玩”)，或使一些灯闪烁、鸣汽笛、更接近孩子等。因此，玩具的行为根据孩子的凝视改变。
[0051]图6A和图6B图示根据用户在电话上的凝视改变行为的移动电话的实施方案。如图6A中所示，移动电话604包括用于获得语音邮件、视觉模式和听觉模式的至少两种行为模式。移动电话604具有包括面向用户的摄像机的凝视检测系统，并且语音邮件应用程序的行为根据用户602的凝视改变。当用户602在看移动电话604 (图6A)时，移动电话使用视觉语音邮件界面操作，视觉语音邮件界面包括语音邮件、命令按钮(播放、倒带、重播、保存、下一项等)、接收的数据语音邮件等的一个或多个列表。
[0052]当用户602从移动电话604往别处看时，语音邮件应用程序切换到听觉语音邮件模式，如图6B中所示。听觉语音邮件模式向用户602提供提示以通过不同的选项指导用户602。用户反过来向移动电话604提供语音命令以选择所需的选项。在一个实施方案中,用户可以提供其他类型的输入，例如，按下按钮、触摸触摸屏等。例如，用户602可以被提供选择列表以说对应于选项的数字，并且用户通过说对应的数字来选择一个选项。
[0053]在另一实施方案中，用户的凝视改变电子设备的功率消耗模式。例如，当用户从设备往别处看时，设备可以进入省电模式以减少供应到输入设备(例如，按钮、触控面板、摄像机等)的功率量。
[0054]图7A和图7B图示根据一个实施方案的根据用户凝视改变的画中画(PIP)显示器的行为。显示器702包括凝视检测系统，其不仅能够检测到用户是否在看显示器702，而且能够检测到用户是否在看显示器702的特定部分。图7A示出显示器702，其在显示器的主要部分中呈现第一视频704a，并且在显示器内的画中画中呈现第二视频704b，其被称为画中画窗口。
[0055]当凝视检测系统确定用户在超过阈值的时间量内在画中画窗口中看视频704b时,凝视检测系统切换第一视频和第二视频的放映。如图7B中所示，在画中画窗口中显示第一视频704a并且在显示器702的主要区域中显示第二视频704b。
[0056]图7A和图7B图示在不需要用户输入并且不向用户产生操作模式正在改变的通知(例如，报警)的情况下，显示器的操作模式如何改变。在不需要超出改变凝视方向的用户的行动或输入的情况下，凝视系统触发电子设备的操作模式的改变。因此，操作模式的改变独立于用户行动。在另一实例中，计算机程序检测用户的凝视是否在网页上显示的几个广告中的一个上保持一段时间(例如，2秒)。当用户的凝视保持在广告上时，那么计算机程序执行与广告有关的行动，例如，打开相关网页、运行动画、增加广告的大小以向用户提供额外的信息等。
[0057]在一个实施方案，将指示操作模式被改变的通知提供给用户，但是不需要用户允许改变操作模式。例如，在显示器上显示指示视频被切换(例如，“将节目切换为画中画节目”)的简短消息。然而，用户仍然不产生有源输入(当然，超出改变凝视)以命令电视切换节目。
[0058]在又一实施方案中，凝视检测与用户输入相结合。一旦凝视检测系统确定用户的凝视已经改变，用户就被提示输入以确定电子设备是否将改变操作模式。例如，当凝视检测系统检测到用户的凝视在画中画显示器上时，电视询问用户是否允许切换节目(例如，“你想用PIP切换吗？按I切换，按2取消”)。在上文关于网页广告所述的实例中，计算机程序询问用户其是否想要广告产品或服务的额外的信息，而不是自动地提供额外的信息。如果用户接受建议，那么提供额外的信息。
[0059]图8描绘根据一个实施方案的在手表检测到用户的凝视时发出亮光的手表。手表802具有凝视检测系统，并且在凝视检测系统检测到用户在看手表时，那么手表提高手表的可见度。例如，手表可以打开使手表发亮的灯，或增加显示器的功率量以使显示器更亮、打开发光机构、打开显示器等。
[0060]因为只在用户看手表时增强可见度，所以手表节省电力。图8中的实施方案为示例性的而不意味着限制性。相同的原理可以用于其他设备，例如，电视机、电视遥控器、游戏机、游戏控制器、键盘、报警控制面板、电子图书阅读器、汽车仪表板的仪表等。设备可以改变功率模式消耗，例如，在检测到凝视在设备上时，从待命模式唤醒电视或电话。
[0061]在另一实施方案中，功率消耗也考虑与凝视检测的状态结合的其他参数。例如，如果系统检测到这是白天并且自然光可以充分照明仪表板，那么当用户在看仪表时，汽车仪表板上的仪表可能不会增加发射的光。
[0062]图9图示根据一个实施方案的基于用户的凝视而增强显示区域的可见度的设备。大的显示器被分为单独的区域，每个区域显示不同的视频。在图9的实例中，显示器被分为四个区域902a-902d。当凝视检测系统确定用户在看一个区域(例如，区域902a)时，系统改变被观看的视频的属性。在其他实施方案中，具有被显示视频的不被观看的区域也可以改变属性。例如，当系统检测到用户在看区域902a时，系统通过提高分辨率(例如，减少视频压缩)、向区域902a提供更高资源带宽，或向观看的区域添加资源来提高区域902a中显示的视频的质量。可以向区域902a的视频添加更多中央处理单元(CPU)资源以提高视频渲染，或将更高的功率提供给区域902a的显示元件(例如，LED)。可以在较低的分辨率但足够好的分辨率下显示其余的区域，因此用户可以改变对另一区域的关注并且观看显示的内容。
[0063]例如，在一个分辨率下显示被观看的区域并且在不同的分辨率下显示不被观看的区域。在一个实施方案中，例如，在第二用户观看与第一用户观看的区域不同的区域时，系统可以跟踪一个以上的用户。在这种情况下，也用较高分辨率显示第二用户观看的区域。在另一实施方案中，在凝视检测系统确定用户在看一个区域(例如，区域902a)时，系统播放与在用户观察的区域中播放的视频相关联的音频。因此，来自没有被观察到的区域(902b、902d和902c)的音频将为静音。如果用户将凝视变成另一区域(例如，区域902b)，那么来自先前的区域(例如，902a)的音频将为静音，并且将播放与新的区域(例如，902b)相关联的音频。
[0064]在又一实施方案中，将指示使用凝视选择哪个区域的视觉提示提供给用户。例如，可以在选定区域上显示图标，用具有预定义的图案或颜色的边框给选定区域加框，在紧邻选定区域的显示器的框架中打开灯(例如，LED)等。[0065]图1OA和图1OB图示根据一个实施方案的基于用户凝视的屏幕保护程序的操作。屏幕保护程序为一种类型的计算机程序，其最初被设计成在计算机不在使用时防止计算机监视器上的老化，这老化会产生黑屏或用活动图像填充屏幕。通常，在输入设备(例如，键盘和鼠标)不活动的时段后启动屏幕保护程序。在从操作系统接收指示已移动鼠标或按下键的消息后，屏幕保护程序结束。
[0066]在用户152读取显示器156上的文件时，用户可能需要很长的时间读取相同的页面。如果用户超过屏幕保护程序非活动时间触发，那么屏幕保护程序158将开始执行(如图1OB中所示)并且用户不能够继续读取。然而，并入计算机的凝视检测154系统增强屏幕保护程序的行为。
[0067]当用户的凝视在显示器上时，计算机中的凝视检测系统阻止计算机系统启动屏幕保护程序。如果用户的凝视不在显示器上，那么一旦没有检测到计算机上的凝视，计算机就启动屏幕保护程序。在另一实施方案中，一在显示器上没有检测到凝视，计算机就启动非活动计时器，并且在计时器期满时启动屏幕保护程序。如果在屏幕保护程序正执行时用户使其凝视返回到显示器，那么屏幕保护程序结束。如果屏幕保护程序不在执行，那么重置非活动计时器。
[0068]用于控制屏幕保护程序的凝视检测也可以用于包括显示器的其他设备，例如，图书阅读器、平板计算机、移动电话、视频游戏播放器等。
[0069]图1lA和图1lB图示根据一个实施方案的响应于几个用户的凝视方向的系统。图1lA和图1lB的实施方案包括跟踪一个以上的观看者的凝视的凝视检测系统。在酒吧的多个观看者162观看显示不同的视频或节目164a-164e的屏幕，其中每个视频和节目可以被切换以显示在不同的屏幕中。存在比其他屏幕更大的放映节目164c的中央屏幕，并且系统意图在中央屏幕上显示最受欢迎的节目。为了确定最受欢迎的节目，凝视检测系统确定观看者162在观看哪些节目。具有大多数观看者的节目被确定为最受欢迎的节目。
[0070]在图1lA的实施方案中，节目164b在观看者中最受欢迎，因为有三个观看者在观看节目164b，并且所有其他节目具有少于三个的观看者。由于屏幕164b上的节目最受欢迎，故系统切换节目164c和164b，以使得在中央屏幕上显示节目164b，如图1lB中所示。例如，在酒吧正在观看一些体育赛事。在某个时刻，在小屏幕中呈现的一个比赛中射门得分，这导致许多顾客将注意力转向射门得分的比赛。凝视检测系统检测到射门得分的这个节目为最受欢迎的节目，然后系统将受欢迎的节目切换到中央屏眷。
[0071]在一个实施方案中，在特定时间量内不被任何观看者观看的屏幕并非通过用其他屏幕切换，而是通过改变馈送电视节目(例如，通过改变电视频道)来改变放映的视频或节目。
[0072]在另一实施方案中，在观看者正在观看的节目上收集的数据与来自其他位置的数据相结合，以获得一大群人的数据。结合的数据用于几个目的，例如，评估一大群人的观看模式、确定广告的受欢迎度、计算节目收视率等。这个聚合数据也可以用于营销的目的，例如，通过实时列出节目的受欢迎度、列出最受欢迎的节目、调整广告价格以使得公司在受欢迎的节目中支付更多的广告等。
[0073]在一个实施方案中，系统建立动态频道，其在给定时间显示最受欢迎的节目，或从用户配置的频道列表中显示最受欢迎的节目。例如，用户可能选择两种不同的体育赛事，并且放映的节目将根据体育赛事的动态计算的受欢迎度而变化。在体育赛事中发生精彩赛事(例如，得分、罚球等)时，受欢迎度改变。
[0074]在另一实施方案中，使用关于基于凝视的观看者的视频选择的收集的数据，以确定节目片段的受欢迎度。因此，未来的观看者可以获取指示哪些节目片段获得较高收视率的收视率信息，其中每个片段被提供个别收视率，而不受节目的其他片段的收视率影响。建立串流内容的收视率，由此并非只是通过唯一的节目收视率评定节目，而是基于凝视投票在每个片段(例如，小时、分钟、秒、章、局、半场、四分之一场、集、比赛等)评定节目。
[0075]在另一实施方案中，当在显示器上没有检测到凝视时，电子设备重定向CPU资源离开图形用户界面(GUI)任务的处理到其他任务。当凝视返回到显示器时，GUI处理接收额外的CPU资源以确保GUI响应于用户。在又一实施方案中，当报警时钟在持续一段时间内检测到凝视时，报警时钟被关闭或设置为贪睡。
[0076]图12描绘根据一个实施方案的凝视检测系统的体系结构。设备254包括凝视检测系统，其包括至少凝视引擎262、行动引擎268和报警引擎276。在任何时刻，凝视检测系统确定用户252是否具有其在凝视目标256上的凝视286。凝视目标可以为完整的设备或设备的一部分，例如，视频显示器。在下文参照图13描述的另一实施方案中，凝视目标不位于设备上。
[0077]凝视引擎262包括凝视检测模块264和凝视历史数据库266。凝视检测模块264确定用户252的凝视是否在凝视目标256上。在一个实施方案中，凝视检测模块264包括面向用户252的摄像机以及分析用户252的眼睛的凝视检测软件。然而，其他凝视检测系统也是可能的。本领域技术人员将了解，图12的实施方案为示例性的而不意味着限制性。在一个实施方案中，将凝视状态(停留或离开)的历史保持在数据库266中。凝视历史可以用于考虑凝视历史的实施方案中，例如，上文参照图1OA和图1OB所述的屏幕保护程序。
[0078]行动引擎268包括行动处理器272、历史数据库270和规则引擎274。行动处理器272获得与凝视信息有关的输入，并且响应于用户的凝视状态而确定采取哪个行动。行动处理器272的输入包括来自凝视检测264的凝视状态、设备状态260、用户界面258等。行动处理器272也与报警引擎276相连接以命令报警引擎276生成报警，或启动设备将执行的某一其他行动。历史数据库270包括行动处理器272所采取的不同行动的历史，例如，报警事件的日志。
[0079]行动处理器272使用逻辑规则来确定要生成的行动。规则被存储在规则引擎数据库274中并且由用户或在设备内部和外部的其他程序可配置。在一个实施方案中，服务器284通过网络282与设备254相连接以配置行动引擎268。例如，一个规则可以为“在用户的汽车相距与前面的汽车碰撞小于I秒，并且用户的凝视不指向汽车的前面时，生成两秒响亮的嘟嘟声”。另一规则可以为“在导航系统中，在用户不看显示器时使用口头指示，并且在用户看显示器时使用地图导航”。
[0080]报警引擎276包括报警处理器278和报警界面280。报警处理器从行动处理器272接收命令并且将命令转化成设备中的特定行动，通过报警界面280传达这些行动。设备254的设备状态260包括与设备的状态相关联的参数值，更具体来说，与凝视检测和与其相关联的行动有关的参数值。报警界面280可以改变设备状态260 (例如，使显示器变暗)并且设备状态参数也可用于行动处理器272。用户界面258将一个或多个界面提供给设备254中的不同元件，例如，显示器、键盘、鼠标、汽车仪表、摄像机、扬声器等。
[0081]图13描绘在凝视目标位于电子设备外部时的凝视检测系统的另一实施方案。凝视目标352不是与用户相连接的设备的部分。在一个实施方案中，汽车碰撞检测系统不检查用户是否在看碰撞检测系统，而是在用户危险地接近前面的汽车时检查用户是否在看前面的汽车。因此，凝视目标不在凝视检测系统中或包括凝视检测系统的设备中。
[0082]一般来说，跟踪第一环境参数(例如，前面的汽车、可用带宽)的状态，分析以了解是否发生需要响应的情况(例如，水溢出来、前面的汽车坏掉了)，并且基于一个或多个用户的凝视状态进行确定。
[0083]在又一实施方案中，凝视引擎位于设备外部并且与设备相连接。凝视目标在凝视引擎和设备外部。三个组件(凝视引擎、凝视目标和设备)相互连接以检测凝视并且具有对用户凝视的设备反应。
[0084]应注意，图12和图13中所示的实施方案为示例性的。其他实施方案可以利用不同的模块，或一些模块可能不存在。因此，本文中所示的实施方案不应该被解释为排他性或限制性的，而是示例性或说明性的。
[0085]图14A示出根据本发明的一个实施方案的用于控制电子设备的行为和用于生成报警的算法的流程。在操作1402中，开始凝视检查，并且在操作1404中，确定状态参数的值。状态参数定义设备的状态或与设备有关的环境中的一些条件的状态。在操作1404之后，方法进入操作1406以基于状态变量的值检查可操作条件的存在。在操作1408中，检查的结果确定在存在可操作条件时方法是否进入操作1410，或在不存在可操作条件时方法是否进入操作1420。在操作1420中，在必要时，方法等待一段时间。在一个实施方案中，等待时段是零，而在另一实施方案中，方法在返回到操作1404并且如上所述重复之前等待一段时间(例如，100ms、I秒、I分钟等)。
[0086]在操作1410中，检查凝视状态，并且在操作1412中，方法操作基于状态变量的值和凝视状态确定采取行动是否是必需的。例如，如果凝视状态为“司机不向前看”并且状态变量指示将在2秒内发生与前面汽车的碰撞，那么进行确定以警告用户。
[0087]在操作1414中，检查以确定行动是否是必需的，并且如果行动是必需的，那么方法流向操作1416，其中激活报警。如果行动不是必需的，那么方法回到操作1420。在操作1416之后，方法进入操作1418以等待直到清除报警条件。例如，在检测到司机向前看时或在清除潜在的碰撞条件时，可以清除报警条件。
[0088]图14B示出根据本发明的一个实施方案的用于控制电子设备的行为和用于生成报警的替代算法的流程。在图14B的实施方案中，不连续检查凝视，并且只在检测到可操作条件时检查凝视。
[0089]因此，在操作中，在操作1404中，确定状态参数的值，并且方法进入操作1406以基于状态变量的值检查可操作条件的存在。在操作1408中，检查的结果确定在存在可操作条件时方法是否进入操作1402，或在不存在可操作条件时方法是否进入操作1420。在操作1420中，在必要时，方法等待一段时间。在一个实施方案中，等待时段是零，而在另一实施方案中，方法在返回到操作1404并且如上所述重复之前等待一段时间(例如，IOOmsU秒、I分钟等)。
[0090]在操作1402中，开始凝视检查，并且方法进入操作1410，其中检查凝视状态。在操作1412中，方法操作基于状态变量的值和凝视状态确定采取行动是否是必需的。
[0091]在操作1414中，检查以确定行动是否是必需的，并且如果行动是必需的，那么方法流向操作1416，其中激活报警。如果行动不是必需的，那么方法回到操作1420。在操作1416之后，方法进入操作1418以等待直到清除报警条件。例如，在检测到司机向前看时或在清除潜在的碰撞条件时，可以清除报警条件。
[0092]图15A至图15C图示本发明的实施方案的不同的状态图。图15A示出基于用户凝视的状态改变行为的凝视检测应用的状态图。在状态552中，用户的凝视离开仪表板显示器。汽车的仪表板上的显示器变暗，并且导航系统向用户提供口头的每个路口指引。
[0093]在状态554中，用户的凝视在显示器上。因此，仪表板显示器以高强度打开，并且将驾驶方向提供在仪表板显示器中的地图上。“凝视停留”在本文中被称为将用户的凝视设置在凝视检测系统的目标上的条件，并且“凝视离开”为不将用户的凝视设置在凝视检测系统的目标上的条件。
[0094]凝视状态的改变可以触发状态552与状态554之间的转变。当状态机处于状态552并且凝视状态改变成停留状态时，状态机从状态552转变到状态554，并且当状态机处于状态554并且凝视状态改变成离开状态时，状态机从状态554转变到状态552。
[0095]图15B提供与凝视检测互动的玩具的状态机。状态机包括三种状态:玩具打开的状态556、玩具关闭的状态560，以及玩具向用户提供口头提示并且吸引其注意力(参见上文针对互动玩具所述的实例)的状态558。
[0096]在处于状态556时，如果凝视状态切换到离开状态，那么状态机转变到状态558。在处于状态558时，如果凝视状态变回到“停留”，那么状态机返回到状态556。然而，在处于状态558时，如果在阈值时段内没有检测到孩子的凝视，那么状态机转变到状态560，其中玩具是关闭的。最后，在玩具打开时，将发生从状态560转变到状态556。
[0097]应注意，图15A至图15C中所示的实施方案为示例性的。状态图为可能包括更多状态以执行各种功能的状态图的简化形式，其中至少一个功能是基于凝视检测状态。其他实施方案可以将凝视与其他参数结合以确定设备的状态，或确定状态转变。因此，本文中所示的实施方案不应该被解释为排他性或限制性的，而是示例性或说明性的。
[0098]图15C提供使用凝视检测的碰撞检测应用的状态图。在状态578中，司机在驾驶并且不存在报警条件。状态580和状态572为报警状态，即，事件引起系统估计可能的报警条件以将其提供给司机的状态。状态582和状态574为将报警提供给用户的状态，并且状态576为系统检测到司机左转的状态。如前面所述，状态图为简化图。状态机的另一实施方案可以包括其他状态，例如，右转、后退等。
[0099]在处于状态578时，如果检测到可能的碰撞，那么状态机转变到状态580。在汽车接近前面的汽车，但司机仍然有足够的时间来对碰撞作出反应和避免碰撞时，检测到可能的碰撞。然而，在处于状态578时，如果即将发生碰撞，那么状态机转变到状态582，其中向用户报警。由于向司机报警的危急程度，故即使司机向前看也进行转变，而不受凝视状态影响，这是因为司机可能注意力分散、看路标等
[0100]存在从状态580的两种可能的转变:如果凝视状态为“离开”，那么状态机转变到状态582，并且如果凝视状态为“停留”，那么状态机转变到状态578，因为系统假定司机知道条件并且不需要报警。以此方式，当用户已经在可以避免碰撞的情况下时，系统避免产生过多的报警。
[0101]当检测到前方可能碰撞状态结束时，状态机从状态582变回到状态578。当与前面的汽车的距离增加时，或当检测到碰撞以使报警变得多余时，发生这种情况。
[0102]在图15C的左侧，状态机包括在左转时与碰撞检测有关的状态。因此，在系统检测到汽车左转时，发生从状态578到状态576的状态转变。因为司机向另一街道左转，或因为司机将车道变换到左边的车道，所以可能发生左转。在处于状态576时，如果系统检测到汽车向前行进，那么状态机变回到驾驶状态578。在处于状态576时，状态机也可以转变到状态572或状态574。当在左边检测到可能的碰撞时，转变到状态572。例如，这可能在左车道上有汽车时，或在将引起碰撞的相反方向上有前进的交通时。在系统检测到即将发生左边的碰撞时，从状态576转变到状态574。
[0103]在系统检测到司机的凝视停留在左边的车辆上时，状态机从状态572转变到状态576，并且在司机的盲点上检测到车辆时或在司机的凝视不指向左边时，转变到状态574。在确定左边的碰撞的可能性结束时，状态机从状态574转变到状态576。
[0104]图16为根据本发明的一个实施方案的用于控制电子设备的行为的过程流程图。在操作1602中，在第一操作模式中操作电子设备。此外，在操作1604中，跟踪与电子设备相连接的用户的凝视。方法从操作1604进入操作1606，其中只要用户的凝视指向预定目标，电子设备就保持第一操作模式。
[0105]在操作1608中，检查以确定用户的凝视是否指向预定目标。如果凝视朝向预定目标，那么方法回到操作1606，并且如果凝视不指向预定目标，那么方法进入操作1610。在操作1610中，在不同于第一操作模式的第二操作模式中操作电子设备。因此，在用户的凝视从预定目标离开时，电子设备变成不同的操作模式。
[0106]图17为用于实施本发明的实施方案的示例性计算机系统的简化示意图。应了解，本文所述的方法可以用数字处理系统(例如，常规的通用计算机系统)来执行。可以替代地使用被设计或编程成只执行一个功能的专用计算机。计算机系统包括中央处理单元(CPU) 1704，其通过总线1710耦合到随机存取存储器(RAM) 1728、只读存储器(ROM) 1712和大容量存储设备1714。凝视计算机程序1708驻留在随机存取存储器(RAM) 1728中，但是也可以驻留在大容量存储器1714或R0M1712中。
[0107]大容量存储设备1714代表可以为本地或远程的永久数据存储设备(例如，软盘驱动器或固定磁盘驱动器)。网络接口 1730通过网络1732提供连接，从而允许与其他设备通信。应了解，CPU1704可以实施在通用处理器、专用处理器或特定编程逻辑设备中。输入/输出(I/O)接口提供与不同的外围设备的通信并且通过总线1710与CPU1704、RAM1728、R0M1712和大容量存储设备1714连接。示例性外围设备包括显示器1718、键盘1722、光标控制器1724、可移动介质设备1734、摄像机1740、凝视检测器1742等。
[0108]显示器1718被配置成显示本文所述的用户界面。键盘1722、光标控制器1724、可移动介质设备1734和其他外围设备耦合到I/O接口 1720以便将命令选择中的信息传达到CPU1704。应了解，可以通过I/O接口 1720传达送至和来自外部设备的数据。也可以在分布式计算环境中实践本发明，其中任务由通过基于有线或无线网络链接的远程处理设备来执行。
[0109]可以用各种计算机系统配置实践本发明的实施方案，这些配置包括手持设备、微处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等。也可以在分布式计算环境中实践本发明，其中任务由通过网络链接的远程处理设备来执行。
[0110]考虑到上述实施方案，应理解，本发明可以使用各种计算机实施的操作，包括存储在计算机系统中的数据。这些操作为需要物理量的物理操纵的操作。本文中所述的形成本发明的部分的任何操作为有用的机器操作。本发明也涉及用于执行这些操作的设备或装置。出于所需的目的，可以特别地建构装置，例如，专用计算机。在被定义为专用计算机时，计算机也可以执行其他处理、程序执行或例行程序，其不是特殊目的的一部分，但是仍然能够为了特殊目的操作。或者，操作可以由通用计算机处理，通用计算机由存储在计算机存储器、高速缓冲存储器中，或通过网络获得的一个或多个计算机程序选择性地激活或配置。在通过网络获得数据时，数据可能由网络(例如，云计算资源)上的其他计算机处理。
[0111]本发明的一个或多个实施方案也可以被制造为计算机可读介质上的计算机可读代码。计算机可读介质为可以存储数据的任何数据存储设备，数据随后可以由计算机系统读取。计算机可读介质的实例包括硬盘驱动器、网络连接存储器(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其他光学和非光学数据存储设备。计算机可读介质可以包括分布在网络耦合的计算机系统上的计算机可读有形介质，以使得以分布式方式存储和执行计算机可读代码。
[0112]尽管以特定的顺序描述方法操作，但是应理解，可以在各操作之间执行其他内务操作，或可以调整操作以使得在稍微不同的时间发生操作，或可以将操作分布在系统中，这个系统允许在与处理相关联的不同的时间间隔下发生处理操作，只要以所需的方式执行重叠操作的处理。
[0113]尽管为了清楚地理解而相当详细地描述上述发明，但是很明显可以在所附权利要求书的范围内实践某些变化和修改。因此，本发明的实施方案被认为是说明性的而非限制性，并且本发明不限于本文给出的细节，而是可以在所附权利要求书的范围和等效物内被修改。
【权利要求】
1.一种用于控制电子设备的行为的方法，所述方法包括: 在第一操作模式中操作所述电子设备； 跟踪与所述电子设备相连接的用户的凝视； 只要所述凝视指向预定目标，就将所述电子设备保持在所述第一操作模式中； 检测到所述凝视不指向所述预定目标；以及 在检测到所述凝视不指向所述预定目标之后，在不同于所述第一操作模式的第二操作模式中操作所述电子设备。
2.如权利要求1所述的方法， 其中所述电子设备为汽车导航系统； 其中所述预定目标为所述汽车导航系统的显示器； 其中所述第一操作模式包括呈现所述显示器中的地图上的方向；以及 其中所述第二操作模式包括在所述用户不看所述显示器时提供口头驾驶方向。
3.如权利要求1所述的方法， 其中所述电子设备为电子玩具； 其中所述预定目标为所述电子玩具； 其中所述第一操作模式包括互动游戏；以及 其中所述第二操作模式包括发出口头提示以引起对所述电子玩具的注意。
4.如权利要求1所述的方法， 其中所述电子设备为具有画中画显示器的电视屏幕； 其中当所述用户的所述凝视在预定时间量内在所述画中画显示器上时，所述电视屏幕用所述画中画显示器中显示的视频切换所述电视屏幕中显示的视频。
5.如权利要求1所述的方法， 其中所述电子设备为电视屏幕； 其中所述预定目标为所述电视屏幕； 其中所述第一操作模式包括显示所述电视屏幕上的视频；以及其中所述第二操作模式包括下列操作中的一个或多个:暂停所述视频、记录所述视频、提高或降低所述电视屏幕的音量，以及关闭所述电视屏幕。
6.如权利要求1所述的方法， 其中所述电子设备包括显示器； 其中所述预定目标为所述显示器； 其中所述第一操作模式包括所述显示器的第一亮度级；以及 其中所述第二操作模式包括所述显示器的不同于所述第一亮度级的第二亮度级。
7.如权利要求1所述的方法，其中跟踪所述用户的所述凝视进一步包括: 周期性地检查所述用户的所述凝视的方向。
8.如权利要求7所述的方法，其中检测到所述凝视进一步包括: 当所述凝视在检查所述凝视的所述方向的多个连续时段内离开所述预定目标时，确定所述凝视离开所述预定目标。
9.如权利要求8所述的方法，其进一步包括: 当在所述第二操作模式中操作所述设备期间所述凝视再次指向所述预定目标时，将所述电子设备切换到在所述第一操作模式中操作。
10.如权利要求1所述的方法，其进一步包括: 在所述凝视保持离开所述预定目标被定向期间，在所述第二操作模式中操作的预定时间量后，在第三操作模式中操作所述电子设备。
11.如权利要求10所述的方法，其中所述第三操作模式包括断电或暂停所述电子设备。
12.—种电子设备,其包括:凝视检测模块，其确定与所述电子设备相连接的用户的凝视是否指向预定目标；以及处理器，其具有不同的操作模式，所述操作模式包括第一操作模式和第二操作模式，其中在所述用户的所述凝视指向所述预定目标时，所述处理器在所述第一操作模式中操作，其中在所述凝视检测模块检测到所述用户的所述凝视不指向所述预定目标之后，所述处理器在所述第二操作模式中操作。
13.如权利要求12所述的电子设备，其中所述电子设备在所述第二操作模式中操作时由所述用户控制，而不需要所述电子设备对所述用户的视觉提示。
14.如权利要求12所述的电子设备，其进一步包括: 与所述处理器通信的电视 屏幕，其中所述预定目标为所述电视屏幕， 其中所述第一操作模式包括被通电的所述电视屏幕， 其中所述第二操作模式包括被断电的所述电视屏幕。
15.如权利要求12所述的电子设备，其进一步包括: 与所述处理器通信的输入设备；以及 显示器，其中所述预定目标为所述显示器， 其中所述第二操作模式包括在所述用户从所述显示器往别处看时，降低被传递到所述输入设备的功率。
16.如权利要求12所述的电子设备，其进一步包括: 与所述处理器通信的移动电话，其中所述预定目标为所述移动电话。
17.如权利要求12所述的电子设备，其进一步包括: 汽车，其包括所述处理器，其中所述预定目标为在所述汽车前面的区域， 其中所述第一操作模式不生成报警， 其中在所述汽车进入与所述汽车前面的所述区域中的障碍物可能的碰撞情况时，所述第二操作模式生成报警。
18.如权利要求12所述的电子设备，其进一步包括: 多个视频屏幕，每个视频屏幕显示多个视频中的一个，所述视频屏幕中的一个为主要视频屏幕， 其中所述凝视检测模块确定观看所述多个视频屏幕的所有用户的所述凝视并且确定所述视频屏幕中的哪个具有大多数所述用户的所述凝视， 其中在大多数所述用户的所述凝视不与所述主屏幕相关联时，所述处理器将与具有大多数所述用户的所述凝视的所述视频屏幕相关联的所述视频切换到所述主屏幕。
19.如权利要求12所述的电子设备，其进一步包括: 被分成多个显示区域的显示器，每个显示区域显示多个视频中的一个，其中所述凝视检测模块确定观看所述多个显示区域的所有用户的所述凝视并且确定所述显示区域中的哪个具有少数所述用户的所述凝视， 其中所述处理器改变具有少数所述用户的所述凝视的所述显示区域的视频传输，并且其中再现与所述视频传输相关联的音频。
20.如权利要求12所述的电子设备，其进一步包括: 多个视频屏幕，每个视频屏幕显示多个视频中的一个， 其中所述凝视检测模块确定所述视频屏幕中的哪个具有所述用户的所述凝视， 其中所述处理器提供的用于处理在具有所述用户的所述凝视的所述视频屏幕上显示的所述视频的计算资源比被提供到不具有所述用户的所述凝视的所述视频屏幕的计算资源更多。
21.如权利要求12所述的电子设备，其进一步包括: 被分成多个显示区域的显示器，其中所述凝视检测模块确定哪个显示区域对应于所述用户的所述凝视， 其中所述处理器将较高质量的服务传递到对应于所述用户的所述凝视的所述显示区域。
22.如权利要求21所述的电子设备，其中所述较高质量的服务包括再现对应于所述用户的所述凝视的所述显示区域的所述音频。
23.如权利要求12所述的电子设备，其进一步包括: 报警时钟，其中所述预定目标为所述报警时钟， 其中所述第一操作模式包括报警铃声， 其中所述第二操作模式包括在检测到所述报警时钟上的所述凝视之后，关闭所述报警铃声。
24.如权利要求12所述的电子设备，其进一步包括: 显示器，其中所述预定目标为所述显示器， 其中所述第一操作模式包括在所述用户的所述凝视在所述显示器上时，禁用屏幕保护程序， 其中所述第二操作模式包括在所述用户的所述凝视不在所述显示器上时，启用计时器以启动所述屏幕保护程序。
25.一种嵌入非暂态计算机可读存储介质中的计算机程序，所述计算机程序在由一个或多个处理器执行时用于控制电子设备的行为，所述计算机程序包括: 用于在第一操作模式中操作所述电子设备的程序指令； 用于跟踪与所述电子设备相连接的用户的凝视的程序指令； 用于只要所述凝视指向预定目标，就将所述电子设备保持在第一操作模式中的程序指令； 用于检测到所述凝视不指向所述预定目标的程序指令；以及 用于在检测到所述凝视不指向所述预定目标之后，在不同于所述第一操作模式的第二操作模式中操作所述电子设备的程序指令。
26.如权利要求25所述的计算机程序，其中跟踪所述用户的所述凝视包括操作多个凝视检测单元。
27.如权利要求26所述的计算机程序，其进一步包括: 用于在所述凝视指向第二目标时，在第三操作模式中操作所述电子设备的程序指令。
28.—种电子设备,其包括: 多个凝视检测模块，其中组合来自所述多个凝视检测模块的信息以确定与所述电子设备相连接的用户的凝视的方向；以及 处理器，其中所述电子设备具有多个操作模式，每个操作模式与所述凝视的所述方向的对应的目标区域相关联，其中所述处理器检测所述凝视的所述方向是否指向所述目标区域中的一个，并且其中在所述处理器检测到所述凝视的所述方向朝向与所述操作模式相关联的所述对应的目标区域时，所述电子设备在来自所述多个操作模式的所述操作模式中的一个 中操作。
【文档编号】G06F3/01GK103718134SQ201280036945
【公开日】2014年4月9日 申请日期:2012年5月16日 优先权日:2011年5月25日
【发明者】S.奥斯曼, J.R.斯塔福德 申请人:索尼电脑娱乐公司