专利名称：用于使得设备进入活动模式的系统、方法和装置的制作方法
技术领域：
本发明涉及一种用于使得设备进入活动模式的系统、方法和装置。特别地但非排他性地，本发明涉及一种通过使用多个用于确定用户的兴趣水平的传感器使得设备进入活动模式的系统、方法和装置。
背景技术：
已经开发了许多技术以便在用户接近时激活和/或控制设备。例如，用户的手是否接近设备或者用户的关注是否指向设备。US6111580公开了这种已知技术的一个实例。 US6111580公开了一种输入单元，其试图确定用户是否希望与设备交互；换言之，用户的关注是否指向设备。如果做出这样的确定，那么输入单元然后确定用户是否执行与命令相应的动作。然后，输入单元依照该命令控制设备。US6111580公开了各种不同的用于确定用户的关注是否指向设备的方法，例如，检测用户的凝视方向、检测用户话音中预定词语的表达、检测用户对于压力传感器或开关的接触、检测用户的面部的整个前视图(例如通过对称性)或者检测用户实现的特定姿态。然而，US6111580需要传感器的复杂配置以便检测用户的关注和姿态以产生控制设备的命令。因此，系统是低效的，需要高的功耗和高的处理器使用率。
发明内容
本发明寻求提供一种可靠、精确而高效的系统，该系统用于使得设备进入活动模式，同时降低功耗和处理器使用率。依照本发明的第一方面，提供了一种使得设备进入活动模式的系统，该系统包括 第一传感器，其用于确定与用户的第一兴趣水平有关的第一条件是否被满足；第二传感器， 其用于响应于第一传感器确定第一条件被满足而确定与用户的第二兴趣水平有关的第二条件是否被满足，第二兴趣水平大于第一兴趣水平；以及用于响应于第二传感器确定第二条件被满足而进入活动模式的设备。依照本发明的第二方面，提供了一种与设备一起使用的装置，该装置包括第一传感器，其用于确定与用户的第一兴趣水平有关的第一条件是否被满足；以及第二传感器，其用于响应于第一传感器确定第一条件被满足而确定与用户的第二兴趣水平有关的第二条件是否被满足，第二兴趣水平大于第一兴趣水平；其中所述装置被配置成响应于第二传感器确定第二条件被满足而使得设备进入活动模式。依照本发明的第三方面，提供了一种使得设备进入活动模式的方法，该方法包括 在第一传感器处，确定与用户的第一兴趣水平有关的第一条件是否被满足；在第二传感器处，响应于第一传感器确定第一条件被满足而确定与用户的第二兴趣水平有关的第二条件是否被满足，第二兴趣水平大于第一兴趣水平；以及响应于第二传感器确定第二条件被满足而使得设备进入活动模式。通过这种方式，多模式(multimodal)传感器可以用来提高确定用户的兴趣水平的可靠性和精度。功率和处理器使用率可以通过仅当第一条件被满足时使用第二传感器而降低。此外，第二兴趣水平大于第一兴趣水平。因此，结果是，设备仅在检测到更大的兴趣水平的情况下才进入活动模式，从而在降低功耗和处理器使用率的同时进一步提高了系统的可靠性和精度。第二传感器可以被配置用于响应于第一传感器确定第一条件被满足而从节能模式(例如相对较低的功率模式，其中第二传感器不主动地感测)转变为感测模式(例如相对较高的功率模式，其中第二传感器进行感测)。当第二传感器处于感测模式时，第一传感器可以具有比第二传感器更低的能耗(或者更小的能量足迹)。节能模式可以是在第二传感器断开时；因此，感测模式将是在第二传感器接通时，从而进一步降低传感系统的功耗。第一传感器可以包括用于记录测量序列的存储器。第一传感器可以包括用于分析测量以便确定条件是否被满足的处理器，从而在降低处理器使用率的同时提高了精度。第一传感器可以是范围传感器(例如超声范围传感器、声纳测距仪、顶传感器等等)。第一条件可以包括用户是否位于离设备小于第一阈值范围的范围。可替换地或者此外，第一条件可以包括用户是否位于离设备减小和/或不变的范围。可替换地或者此外，第一条件可以包括用户是否位于离设备以高于或低于某个阈值速率减小的范围。结果，使用了简单、可靠、较低能耗的传感器。可替换地，第一传感器可以通过检测用户的凝视方向、检测用户话音中预定词语的表达、检测用户对于压力传感器或开关的接触、检测用户的面部的整个前视图(例如通过对称性)或者检测用户实现的特定姿态而确定用户的关注。第二传感器可以包括用于记录测量序列的存储器。第二传感器可以包括用于分析测量以便确定条件是否被满足的处理器，从而在降低处理器使用率的同时提高了精度。第二传感器可以包括诸如相机之类的图像捕获设备(例如web相机类型设备)和凝视检测系统。凝视检测系统可以包括面部识别单元(例如面部检测算法)和/或面部取向确定单元。面部取向确定单元可以包括A/D转换部分(用于将来自图像捕获设备的模拟信号转换成数字信号)。如果图像捕获设备是产生数字信号的数字图像捕获设备，那么该部分是不必要的。面部取向确定单元可以包括面部区域检测部分、特征检测部分和凝视方向计算部分。面部区域检测部分可以从数字信号中提取用户的面部区域。该提取可以基于用户面部的皮肤颜色来执行。面部区域信息可以输出到特征检测部分，该特征检测部分可以提取面部特征(例如眼睛、眉毛、鼻子、嘴巴和/或耳朵，或者这些或其他面部特征的部分)的可能位置。凝视方向计算部分可以依照一个或多个面部特征在面部的相对位置计算用户的凝视方向。因此，第二传感器可以更复杂，以确定较大的兴趣水平以便可靠地检测出用户希望与设备交互。第二条件可以包括用户是否存在；换言之，满足第一条件的是否事实上是人，而不是某个其他物体。可替换地或者此外，第二条件可以包括用户是否正在注视设备，或者用户是否正相对于设备注视。可替换地或者此外，第二条件可以包括自从第一信号由第二传感器接收以来，用户是否注视设备超过预定比例的时间(例如50%、60%、75%、80%、90%的时间等等。可替换地，第二传感器可以通过检测用户离设备的距离、检测用户话音中预定词语的表达、检测用户对于压力传感器或开关的接触、检测用户的面部的整个前视图(例如通过对称性)或者检测用户实现的特定姿态而确定用户的关注。所述活动模式可以是用户交互模式。用户交互模式可以是其中设备的所有功能对于用户可立即访问的模式。可替换地，活动模式可以是快动模式。快动模式可以是其中设备上电，但是其中不是设备的所有功能都可立即被访问的模式(例如屏幕保护模式、启动屏幕等等)。可替换地， 快动模式可以构成某种形式的广告模式，其中设备通过产生噪声(叮当声、音调、曲调蜂鸣声、钟声、欢迎声等等)、照明显示器或者使灯闪烁而向用户广告其存在，或者其中设备进入欢迎模式或者将第三方广告呈现给用户。在其中活动模式为快动模式的情况下，第一传感器附加地可以被配置用于确定与用户的第三兴趣水平有关的第三条件是否被满足，该第三兴趣水平大于第一兴趣水平。因此，第三条件可以包括用户是否位于离设备小于比第一阈值范围更近的第二阈值范围的范围。可替换地或者此外，第三条件可以包括用户是否位于离设备增大、减小和/或不变的范围。可替换地或者此外，第三条件可以包括用户是否位于离设备以高于或低于某个阈值速率增大和/或减小的范围。第三条件可以包括用户凝视方向上的精细的阈值、用户话音中预定词语的表达、用户对于压力传感器或开关的接触、用户的面部的整个前视图(例如通过对称性)或者用户实现的特定姿态。所述设备附加地可以被配置用于响应于第一传感器确定第三条件被满足而从快动模式转变为用户交互模式。所述设备可以被配置用于响应于第四条件被满足而从用户交互模式转变为待机模式，该待机模式是与设备的用户交互模式(或者在适用的情况下，快动模式)相比设备的某种较低功率的模式(例如断开或休眠)。第二传感器可以被配置用于响应于第四条件被满足而从感测模式转变为节能模式。第四条件可以包括是否停止满足第一条件。例如，第四条件可以包括用户是否位于离设备的第一阈值范围之外的范围。可替换地或者此外，第四条件可以包括用户是否位于离设备增大和/或不变的范围。可替换地或者此外，第四条件可以包括用户是否位于离设备以高于或低于某个阈值速率增大的范围。可替换地，第四条件可以构成用户缺乏关注。 第一传感器可以通过检测用户的凝视方向、检测用户话音中预定词语的表达、检测用户对于压力传感器或开关的接触的移除、检测用户的面部的整个前视图的不存在(例如通过对称性)或者检测用户实现的特定姿态而确定用户缺乏关注。可替换地或者此外，第四条件可以包括用户与设备的交互是否在预定时间段(例如1分钟、2分钟、5分钟、10分钟等等)内不存在。所述系统可以被配置用于提供非对称响应。例如，可以在第一和第二条件被满足时使得设备从待机模式转变为快动模式，并且在第三条件被满足时使得设备从快动模式转变为用户交互模式，但是在第三条件停止被满足时使得设备不从用户交互模式转变为快动模式。相反地，可以在第一条件停止被满足时使得设备从用户交互模式直接转变为待机模式。所述设备可以被配置成在发生用户与设备的交互时进入用户交互模式。附加地， 可以使得系统能够通过在发生用户与设备的交互之前记录事件并且进行推断来了解用户与设备的交互，以便更好地确定上面提到的条件的阈值。例如，如果第二条件没有被满足时一贯地发生用户与设备的交互，那么改变第二条件的阈值，使得系统可以更好地预测用户与设备的交互。设备可以是消费电子设备(例如TV、机顶盒等等)、信息显示设备(例如显示家庭中的能耗)、包括镜和灯的活动镜(其中可以基于人离镜的距离调节灯强度)或者图像处理装备。设备可以包括可以被配置成仅当人在范围内并且注视图像捕获设备时才触发的图像捕获或记录装备(位于第二传感器，第二传感器包括图像捕获设备)。第一和第二传感器可以位于设备的紧邻处。依照本发明的一个实施例，第一传感器确定粗兴趣水平，并且一旦确定了粗水平， 第二传感器确定更精细的兴趣水平。精细的兴趣水平可以通过测量不同的参数来确定，或者它可以通过对相同参数的测量应用更严格的测试来确定。一旦确定了精细的兴趣水平， 那么激活设备。依照本发明的另一个实施例，仅当第一条件被满足时，第二传感器才被“触发”或者开始感测；换言之，当第一条件未被满足时，第二传感器处于待机模式。此外，仅当第一和第二条件两者都被满足时，设备被“触发”或者变为激活的。
为了更好地理解本发明，并且为了更清楚地表明如何可以将本发明付诸实施，现在将参照以下附图，在附图中
图Ia示出了依照本发明一个实施例的系统的表示； 图Ib示出了依照本发明另一个实施例的系统的表示； 图加示出了描述依照本发明的第一方法的流程图； 图2b示出了描述依照本发明的第二方法的流程图2c示出了描述与图h和图2b的流程图中描述的方法一起使用的可选附加方法的流程图2d示出了描述与图2a、图2b和图2c的流程图中描述的方法一起使用的可选附加方法的流程图3a为依照本发明的流程图； 图北为依照本发明的可替换流程图。
具体实施例方式参照图la，本发明一个实施例的系统1包括第一传感器3。第一传感器3包括用于记录第一测量序列的第一传感器存储器3a以及用于分析第一测量以便确定第一条件是否被满足的第一传感器处理器北。第一传感器3通信耦合到第二传感器5。第二传感器5 包括用于记录第二测量序列的第二传感器存储器如以及用于分析第二测量以便确定第二条件是否被满足的第二传感器处理器5b。第二传感器5和第一传感器3通信耦合到设备7。 设备7包括用户接口 8，并且具有至少两个操作模式活动模式和非活动模式。第一传感器 3通信耦合到第二传感器5和设备7，使得第一传感器3将信号发送给第二传感器5和设备 7。第二传感器5通信耦合到设备7，使得第二传感器5发送信号给设备7并且从设备7接收信号。
参照图lb，依照本发明第二实施例的系统1包括第一范围传感器3。第一范围传感器3包括用于记录第一测量序列的第一传感器存储器3a以及用于分析第一测量以便确定第一条件是否被满足的第一传感器处理器北。第一传感器3通信耦合到第二传感器5。 第二传感器5包括第二传感器存储器fe、第二传感器处理器5b、图像捕获设备6a (例如数码相机)和凝视检测设备6b以便确定第二条件是否被满足。第二传感器5和第一传感器3 通信耦合到设备7。设备7包括用户接口 8，并且具有至少两个操作模式活动模式和非活动模式。第一范围传感器3通信耦合到第二传感器5和设备7，使得第一传感器3将信号发送给第二传感器5和设备7。第二传感器5通信耦合到设备7，使得第二传感器5发送信号给设备7并且从设备7接收信号。第一传感器处理器北分析第一测量以便确定第一条件 (与第一阈值范围11有关)是否被满足。第二传感器5包括用于记录第二测量序列的第二传感器存储器如以及用于分析第二测量以便确定第二条件是否被满足的第二传感器处理器恥。第一传感器处理器北附加地被配置用于分析第一测量以便确定第三条件(与第二阈值范围13有关)是否被满足。设备7包括用于接收来自用户9的输入的用户接口 8。范围传感器3通信耦合到第二传感器5和设备7，使得范围传感器3可以将信号发送给第二传感器5和设备7。第二传感器5通信耦合到设备7，使得第二传感器5可以发送信号给设备7并且从设备7接收信号。图加示出了描述本发明实施例的第一方法的流程图。设备7开始于待机模式(步骤201)。接着，确定第一条件是否被满足(步骤203)。然后，作为响应，确定第二条件被满足(步骤205 )。作为响应，将设备转变为用户交互模式(步骤207 )。第一条件可以与第一传感器对第一量的测量有关。第二条件可以与第二传感器对第二量的测量有关。图2b示出了描述本发明实施例的第二方法的流程图。开始于设备处于待机模式(步骤201)，确定第一条件被满足(步骤203)。然后，作为响应，确定第二条件被满足(步骤205)。作为响应，将设备转变为快动模式(步骤209)。然后，确定第三条件被满足(步骤 211)。作为响应，将设备转变为用户交互模式(步骤207 )。第三条件可以与第一传感器对第一量的另外的测量有关。可替换地，第三条件可以和用户与设备的直接交互有关。图2c示出了描述与图加和图2b的流程图中描述的方法一起使用的可选附加方法的流程图。开始于设备处于待机模式(步骤201)，确定第三条件被满足(步骤211)。作为响应，将设备直接转变为用户交互模式(步骤207)。图2d示出了描述与图加、图2b和图2c的流程图中描述的方法一起使用的可选附加方法的流程图。开始于设备处于快动模式或用户交互模式(步骤213)，确定第四条件是否被满足(步骤215)。作为响应，将设备转变为待机模式(步骤217)。可替换地，开始于设备处于待机模式(步骤213)，确定第四条件是否被满足(步骤215)。作为响应，将设备维持在待机模式(步骤217)。后一情况可以在确定第一条件被满足之后但是在确定第二条件被满足之前例如应用于图2b的方法中，从而绕过了其余的步骤。第四条件可以与第一条件不再应用有关。可替换地，第四条件可以与在预定时间段内用户与设备的交互不存在有关。
现在将参照图3a和图北描述图Ia和图Ib的系统的操作。第二传感器5 (C)处于节能模式并且设备7 (D)处于待机模式(步骤20)。在步骤22中，第一传感器3 (R)确定用户9是否处于设备7的第一阈值范围11 的范围内。这可以由第一传感器存储器3a和第一传感器处理器北存储和确定。如果否， 那么过程返回到步骤20。如果是，那么过程继续到处理步骤对，其中第一传感器3的第一传感器处理器北确定用户9的速度或速率。第一传感器3继续监视用户处于第一阈值范围11的范围内。如果第一传感器3确定用户处于第一阈值的范围内，那么第一条件被满足，并且第二传感器5切换到感测模式(步骤沈)。然后，第二传感器5确定第二条件是否被满足，例如通过第二传感器处理器恥确定用户的表达、凝视或姿态，或者通过图像捕获设备6a和凝视检测设备6b确定凝视方向。在图2b的实施例中，第二传感器5的凝视检测设备6b识别用户9的面部(步骤观)。如果识别出面部，那么第二传感器5确定(使用图像捕获设备6a 和凝视检测系统6b)用户9的面部的凝视方向以及(使用第二传感器存储器fe和第二传感器处理器5b)面部在什么比例的时间内注视设备7 (步骤30)。如果其小于比如75%，那么第二条件被满足，第二传感器5继续监视用户9的面部。如果其大于75%，那么设备7切换到活动模式，例如快动模式(步骤32)。尽管在这里指定了 75%，但是可以理解的是，可以使用任何百分比。接着，第一传感器3确定用户9是否处于设备7的小于第二阈值范围13的范围。 第一阈值范围11大于第二阈值范围13。如果是，那么设备进入活动模式，例如用户交互模式，并且第二传感器5切换到其节能模式(步骤36)。如果否，第二传感器5再次确定在什么比例的时间内面部注视设备(步骤38)。如果其大于75%，那么第一传感器3继续监视用户是否处于设备7的小于第二阈值范围13的范围(步骤34)。如果其小于75%，那么设备7切换回待机模式(步骤40 )，并且过程返回到步骤观。—旦设备7处于用户交互模式，用户9可以以任何常规的方式与设备7交互。如果在超过某个预定时间段内未检测到用户交互(步骤42)，那么过程返回到步骤20并且将第二传感器5设置为其节能模式且将设备7设置为其待机模式。当设备7处于待机或快动模式时，如果检测到用户与用户接口 8的交互(步骤44)， 那么立即将设备切换到用户交互模式。可替换地，如图北中所示，可以包括附加的决策步骤25，使得如果第一传感器3检测到用户9处于第一设备7的小于第二阈值范围13的范围，那么设备7自动切换到用户交互模式。因此，依照该实施例，即使当第二传感器5不能够识别面部或者面部是否正在注视设备7时，设备7也将在用户9处于第二阈值范围13内时进入用户交互模式。尽管在附图中示出并且在前面的详细描述中描述了本发明的实施例，但是应当理解的是，本发明并不限于所公开的实施例，而是能够在不脱离以下权利要求书中阐述的本发明的范围的情况下做出许多修改。
权利要求
1.一种使得设备(7)进入活动模式的系统(1 )，包括第一传感器(3)，其用于确定与用户(9)的第一兴趣水平有关的第一条件是否被满足； 第二传感器(5)，其用于响应于第一传感器(3)确定第一条件被满足而确定与用户(9) 的第二兴趣水平有关的第二条件是否被满足，第二兴趣水平大于第一兴趣水平；以及用于响应于第二传感器(5)确定第二条件被满足而进入活动模式的设备(7)。
2.权利要求1的系统(1)，其中第二传感器(5)被配置用于响应于第一传感器(3)确定第一条件被满足而从节能模式转变为感测模式；并且当第二传感器(5)处于感测模式时，第一传感器(3)具有比第二传感器(5)更低的能^^ ο
3.权利要求1的系统(1)，其中第一传感器(3)是范围传感器，并且第一条件包括 用户(9)是否位于离设备小于第一阈值范围(11)的范围；用户(9)是否位于离设备增大、减小和/或不变的范围；或者用户(9)是否位于离设备以高于或低于某个阈值速率增大和/或减小的范围。
4.权利要求1的系统，其中第二传感器(5)包括图像捕获设备和凝视检测系统，该凝视检测系统包括面部识别单元和/或面部取向确定单元，并且第二条件包括用户(9)是否存在；用户(9)是否正在注视设备(7)；和/或自从第一信号由第二传感器接收以来，用户(9)是否注视设备(7)超过预定比例的时间。
5.权利要求1的系统(1)，其中活动模式为用户交互模式。
6.权利要求1的系统(1)，其中 活动模式是快动模式；第一传感器(3)附加地被配置用于确定与用户(9)的第三兴趣水平有关的第三条件是否被满足，该第三兴趣水平大于第一兴趣水平；且所述设备(7)附加地被配置用于响应于第一传感器(3)确定第三条件被满足而从快动模式转变为用户交互模式。
7.权利要求6的系统，其中 第一传感器(3)是范围传感器；第一条件包括用户(9)是否位于离设备小于第一阈值范围(11)的范围；并且第三条件包括用户(9)是否位于离设备小于比第一阈值范围(11)更近的第二阈值范围(13)的范围。
8.权利要求6的系统(1)，其中所述设备(7)被配置用于响应于第四条件被满足而从用户交互模式转变为待机模式，并且第二传感器(5)被配置用于响应于第四条件被满足而从感测模式转变为节能模式。
9.权利要求8的系统(1)，其中第四条件包括用户(9)是否位于离设备的第一阈值范围 (11)之外的范围和/或用户与设备(7)的交互是否在预定时间段内不存在。
10.权利要求6的系统(1)，其中所述设备(7)被配置成在发生用户与设备(7)的交互时进入用户交互模式。
11.一种与外部设备(7)—起使用的装置，包括第一传感器(3)，其用于确定与用户(9)的第一兴趣水平有关的第一条件是否被满足；以及第二传感器(5)，其用于响应于第一传感器(3)确定第一条件被满足而确定与用户(9) 的第二兴趣水平有关的第二条件是否被满足，第二兴趣水平大于第一兴趣水平；其中所述装置被配置成响应于第二传感器(5)确定第二条件被满足而使得设备(7)进入活动模式。
12.一种使得设备进入活动模式的方法，包括在第一传感器(3)处，确定(22)与用户(9)的第一兴趣水平有关的第一条件被满足； 在第二传感器(5)处，响应于第一传感器(3)确定第一条件被满足而确定与用户(9)的第二兴趣水平有关的第二条件被满足，第二兴趣水平大于第一兴趣水平；以及响应于第二传感器(5)确定第二条件被满足而使得设备(7)进入活动模式。
全文摘要
通过以下方式使得设备(7)进入活动模式确定粗兴趣水平；响应于确定粗兴趣水平而确定更精细的兴趣水平；并且响应于确定精细的兴趣水平而使得设备(7)进入活动模式。
文档编号G06F1/32GK102326133SQ201080008584
公开日2012年1月18日 申请日期2010年2月9日 优先权日2009年2月20日
发明者西尼特西恩 A., G. 阿博尼蒂 S. 申请人:皇家飞利浦电子股份有限公司