基于指示设备的用户接口系统的制作方法

专利名称：基于指示设备的用户接口系统的制作方法
技术领域：
本发明涉及一种用户交互系统，该系统包括 一电子设备；
一便携式指示设备，该便携式指示设备是用户可操作的以指向空 间中的区域；
一照相机，该照相机用于拍照；以及
一数字信号处理器，该数字信号处理器可接收图像并对其进行处 理并且可将来源于该图像的用户接口信息传送到电子设备。 本发明还涉及一种供用户交互系统之用的指示设备。 本发明还涉及一种供上述用户交互系统之用的电子设备。
背景技术：
从US-A- 2001 / 0030668中可以得知这种系统。该文献描述了这 样一种通用远程控制系统，在该系统中用户利用其可显示可识别特征 的指示设备来标记显示器上的一位置，所述指示设备例如是其可发射 出红斑的激光指示器，并且照相机拍摄该显示器且计算用户所指向的 位置。此后诸如计算机或者电视这样的电子设备执行其与用户进行标 记相对应的动作。例如如果通过使激光指示器闪光两次来标记显示器 上一图标，那么开始相应计算机程序。
巳知系统的缺点在于该系统是为特定显示所定制的。例如该显示 可以是其基于前部投影仪的LCD在屏幕上的投影，其中该投影仪与膝 上型电脑相连。已知系统中照相机具有其可使屏幕成像的位置及视 角。接下来，对DSP进行训练以对照相机图像中的一区域进行辩别， 所述区域与屏幕的位置相对应。在现有技术中这是按照一简单方式来 进行的。首先在具有和没有照明的情况下利用投影仪的图像来捕获屏 幕的图像。通过对这两个图像的不同之处进行比较，可获得通过照相 机所观看到的该显示在空间中的区域。其次获得膝上型电脑帧緩冲器 中的透视转换，该透视转换可确定在显示上所指向的位置与投影图像 中的位置之间的关系。巳知文献还描述了通过首先手动选择虚拟显示 的转角而指向诸如墙这样的虚拟显示。然而总是为了 一个显示要对该
系统进行校准并且在用户想要与另 一显示进行交互的情况下，他必须 再次建立该系统或者4吏用第二系统。

发明内容
本发明的第一个目的就是提供一种在开始段落中所描述的这类用 户交互系统，该系统可相对容易的与多个可用电子设备进行交互，尤 其是可与显示器进行交互。
本发明的第二个目的就是提供一种在开始段落中所描述的这类指 示设备，该指示设备相对容易的与多个可用电子设备进行交互。
本发明的第三个目的就是提供一种供上述用户交互系统之用的电 子设备。
第一个目的是可以实现的，因为照相机与指示设备相连以便在操 作过程中其可使所指向的区域成像。固定照相机仅使空间的某个区域 成像。在已知的用户交互系统中用户的指示设备或者所指向的对象甚 至不在固定照相机的视野之内。其具有附装照相机的指示设备的主要 优点在于照相机基本上总是使所指向的区域最佳的成像，所述照相机 例如可以位于其最靠近所指向区域的指示设备的前端。所指向的对象 一般是要将诸如设备控制数据这样的用户接口信息发送到其上的电子
设备，但是可以是用户所驻房间中的任何对象，只要它可以被DSP识 别。此后例如通过预先指向所要控制的设备来对其进行标识。
在根据权利要求2的实施例中，用户接口信息包括用于对电子设 备的操作进行控制的设备控制数据。起居室中可存在其可产生声音的 多个设备。这些设备的每一个均具有用于增加或者降低音量的控制。 通过指示指示设备的照相机朝着特定设备的方向并且例如通过按下指 示设备上的按钮或者使指示设备进行特定移动来执行"音量增加"命 令，所指向设备的音量将增加。使用巳知通用远程控制具有这样的缺 点，例如设备应答是用户所不想要的，因为它使用相同远程控制代码。
有利的是如权利要求3的数字信号处理器包括一对象表征装置， 该对象表征装置通过将第一对象表征特性提供给所包含的用于对该对 象进行标识的对象标识装置来对存在于照相机所成像区域的图像之中 的对象或者对象的一部分进行表征，所述对象标识装置可输出根据其 可构造出用户接口信息的对象标识数据。
在对不同电子设备进行控制的情况下，它们全部都被自动识别。
DSP例如可以是用于表征设备的一般处理器运行算法，或者它可以是 专用集成电路。典型的对象表征装置对设备的图像执行成像处理算 法。例如可计算设备的相对尺寸并且可对该设备上的按钮数目及位置 进行分析。对象标识装置与特定设备的这些最终第一对象表征特性有 关联，例如与设备表格中的信息有关联。与设备所知晓的设备控制数 据一样，可存在与该设备有关的诸如"公司X所生产的其序列号为Y的 第一电视"这样的信息。
此外有利的是如权利要求4所述的数字信号处理器包括
运动轨道估计装置，用于估计指示设备的运动轨道并且输出第一 运动表征标记，该标记是运动轨道的数学抽象；以及
标记标识装置，用于对第一运动表征标记进行标识并且输出与第 一运动表征标记相对应的其表示用户交互命令的命令标识数据，用户 接口信息是根据所述命令标识数据构造而成的。
为了避免对于发送到所有不同设备的所有不同命令而言需要指示 设备上的大量按钮，并且为了使用户交互系统更对用户友好，因此有 利是至少一些设备控制数据是根据典型的指示设备在其手中的用户使 指示设备移动而产生的。向上移动的标记是指"音量增加"，但是与标 准远程控制完全不同，根据本发明的音量变化取决于运动的粗率性。 如果用户使他的手臂慢慢向上移动，那么音量例如仅略微改变，并且 相反如果他使他的手臂快速向上移动，那么音量将增长很多。根据诸 如海量变形检测器、回转器、差转GPS定位系统等等这样的运动检测 装置来确定指示设备的运动。然而因为已存在照相机，因此还可通过 使连续的图像成像并且应用运动估计算法来确定该运动。因为除了多 对象的精确运动估计之外全程运动估计是很简单的，因此照相机可以 是其基于简单CMOS的照相机或者甚至可以是少量光敏元件的二维阵 列。
此外有利的是如权利要求5所述的数字信号处理器包括标识改进 装置，该装置可进一步提高根据预定规则来对其被表示为对象标识数
识的概率，这可产生更可靠的用户接口信息。因为对象标识以及运动 标记不总是很理想的，因此给定房间中的状态可变性，采用这样的标 识改进装置，该装置例如对所标识对象的标识数据以及命令标识数据
运用人工智能规则组，还尽可能的考虑到表征特性第一对象表征特性 以及第一运动表征标记。例如，用于确定所指向设备的规则可考虑到 指示设备所在的房间或者日时。例如如果他回家了并且捡起指示设
备，那么用户典型的会做的第一件事情是打开灯。通过DSP根据这些 灯的图像来验证他的意图。
进一步有利的是如权利要求6所述的预定规则包括考虑到下述先 验巳知信息单元{指示设备所驻房间，用户所发布的先前命令，用户 发布特定命令的统计频率以及日时}的至少一个的成对{对象标识数 据，命令标识数据)的似然性的概率计算。例如根据用户通常所使用
外，根据其内;在有指示设备的房间来更新该设备的似然性r用户在
星期五8点钟也许想要观看他喜爱的电视节目。
此外有利的是如要求7所述的数字信号处理器包括对象关联装 置，该装置为对象标识装置提供了其包括有至少一个数据实体的对象 关联数据，所述数据实体是关联对象表征特性以及对象相关数据，
对象关联数据是从对象存储器中的其得自于至少一个方法的对象 模板数据得来的；
对象模板数据是从下述对象训练装置中获得的，所述对象训练装 置对对象表征装置所输出的第二对象表征特性执行预定计算；并且
对象模板数据是从所输入的对象数据得来的。
如果反而其是厂家所预先构造的用于对固定数目的设备进行控 制，那么该用户交互系统更加通用，用户可使它适用于他的变化环境。 例如他购买了的新设备，那么他想借助于相同系统来控制该设备。此 外如果他购买了挂在墙上的日程表，并且利用他的指示设备而指向 它，那么他想动作，例如在他的PC上起动日程表工具。为此需要对象 关联装置。用户例如在很少的不同角度之下使新设备成像。尽可能的 在首先计算恒定设备特定特性之后，在对象表征装置上所运行的许多 图像处理算法提取该对象的其被存储为对象模板的特性。此后他利用 选择用户接口来选择与该对象模板相对应的设备。这就是所谓的系统 的训练阶段。当后来系统用于所谓的命令阶段以将设备控制数据发送 到标识设备时，借助于存储在对象关联装置中的数据来帮助对象识别 装置的对象识别。例如根据对象模板数据，可将下述多个关联对象表
征特性发送到对象标识装置，所述多个对象表征特性与其作为第"T"对 象表征特性的对象表征装置的输出相对应，此后对象标识装置执行比 较以选择正确的标识设备。还可以将这些特性预加载在对象标识装置 中。对象关联装置还可以将下述对象相关数据发送到对象标识装置， 所述对象相关数据至少包括设备的标识符并且可能进一步的包括诸如 支持命令这样的数据。在可替换实现中，对象关联装置还可以执行本 身的对象标识，在这种情况下只是将对象相关数据发送给对象标识装 置。为了避免用户必须通过选择用户接口来输入大量信息，还可通过 对象数据输入而输入对象相关数据。例如直接从所标识的且受控的设 备输入。通过该输入，还可以输入特征对象模板数据，例如设备的厂 家可以提供在很好受控成像条件下所拍摄的图像。
此外有利的是如权利要求8所述的数字信号处理器包括用于将其 包括有至少 一个数据实体的标记关联数据提供给标记标识装置的标记 关联装置，所述数据实体是关联标记特性以及命令相关数据，
标记关联数据是从标记存储器中的其得自于至少一个方法的标记 模板数据而得来的；
标记模板数据是从下述标记训练装置中获得的，所述标记训练装 置对运动轨道估计装置所输出的第二运动表征标记执行预定计算；并 且
命令模板数据是从所输入的命令数据而得来的。
根据类似基本原理，可以包括标记关联装置以可对用户施加到指 示设备上的其被表征为标记的新运动轨道进行训练。在这些实现中， 例如通过下述设备来输入命令数据，所述设备可提供其支持命令的一菜单。
此外有利的是如权利要求9所述的第一运动表征标记是根据照相 机在各个时间情况所成像的连续图像而得到的。因为照相机附连在指 示设备上以使其每个移动成像，并且通过简单运动估计算法来估计全 程运动，因此使用连续成像的图像以得到想要的用户接口命令。
第二个目的是可以实现的，因为根据权利要求10的指示设备包括 一照相机并且可将一图像发送到DSP。如上所述，由于这种指示设备
而使用户交互系统变得更通用。
权利要求ll中的指示设备的实施例的特征在于其可将一图像发送
到数字信号处理器，该数字信号处理器可根据该图像而将用户接口信 息发送到电子设备。
在根据权利要求12的实施例中，DSP包含在指示设备之内。此后 指示设备还与用户交互系统相分离的操作。例如使指示设备使用于超 级市场、对所成像的图像进行处理、并且存储相应笫一对象表征特性。 此后最后执行家用设备的控制动作。
有利的是权利要求13所述的指示设备包括用于对指示设备的运动 轨道进行检测的运动检测装置。不管该设备是否用于识别对象，它也 可用于对其与通过用户的特定移动相对应的设备控制数据进行发送。 指示设备这种应用中的期望设备例如可以是固定的或者由按钮来表 示。
有利的是如权利要求14所述的指示设备包括一特征投影仪，该投 影仪用于朝所指向区域的方向来对特征模式进行光学投影。有利的是 用户可得到他所指向的设备或者设备一部分的反馈。否则，如果他未 正确的对准，那么他例如实际上按下该设备的错误按钮。反馈的一个 形式就是指示设备显示上的很小图像，该图像示出了照相机所成像区 域的中心。所希望的位于显示中间的一个是设备或者设备上的按钮。 反馈的另一形式包括诸如白十字或者激光点这样的其使所想要的设备 部分发亮的特征模式的投影。诸如行的二维网格这样的更复杂的模式 有助于DSP对所成像设备的几何图形进行标识。
有利的是如权利要求15所述指示设备包括一可编程用户接口代码 发生器以及用于将该代码传送到电子设备的无线电发射机。代替用于 将设备控制数据发送到该设备的DSP，例如借助于其基于蓝牙的无线 本地网络，指示设备本身例如借助于红外线辐射可直接发送适当远程 控制命令。与典型的通用远程控制相比的优点在于DSP可自动的根据 照相4几图^f象来对该设备进行标识并且产生正确的代码。
有利的是具有如权利要求16所述的反馈装置以用于对用户接口信 息的反馈。例如显示是很有用的。另一反馈例如借助于移动的物质可 提供某类力反馈。这例如可以模拟相对于TV屏幕的倾翻。
第三目的是可实现的，因为包括这样的接口装置，该接口装置根 据送至该设备的指示设备的"标识支持命令"请求而可使设备将与支持 命令有关的信息发送到如权利要求l所述的指示设备上。DSP或者部分
DSP功能也可包含在该设备之内。该设备还传送对象表征特性等等。


参考下面的描述以及附图而显而易见的得知并阐明了本发明，所 述附图示意性的给出了根据发明的用户交互系统以及指示设备的部件 示例。在这些附图中
图l示意性的给出了根据本发明的用户交互系统所在的房间； 图2示意性的给出了根据本发明的数字信号处理器； 图3示意性的给出了根据本发明的指示设备；以及 图4给出了运动轨道以及相应标记的两个示例。
具体实施例方式
在图l中示出了房间不但包括有诸如其即就是等离子显示器的电 子设备110这样的其可接收用户接口信息I的各种电子设备，并且还具 有用户100可与其相交互的个人录^f象才几、或者电话、或者洗衣才几。该 房间还包括有借助于指示设备101可指向的其即就是电子设备的各种 对象或者类似于例如窗户、音频设备这样的对象130、花瓶170、以及 电子设备110这样的仅是任何物理对象。
根据本发明，该指示设备101包括照相机102，并且可将房间区域 的图像或者那些区域中的对象发送到数字信号处理器(DSP) 120，该 数字信号处理器120可根据照相机102所成像的一个或多个图像来标识 该区域或者对象。照相机按照下述方式而与指示设备101相连，该方 式即就是照相机可很好使所指向的区域成像。例如它典型的位于指示 设备101的远端，但是也可以一角度而装配在外侧上。用户100具有可 指向他所希望的任何对象这样的自由度，并且按照这种方式可实现非 常友好且强大的用户交互系统。
DSP 120例如可以是本地网络中的家用计算才几控制设备，或者可 以是并入在指示设备101之中。照相机102可以是CCD照相机或者CM0S 照相机。如果照相机102与DSP 120是独立的，那么其之间的连接可以 是无线的。指示设备101已经可执行DSP 120所执行的用于对对象进行 标识的部分算法，以便例如仅需将一小组特性发送给外部DSP 120以 用于进一步处理。事实上可以将就其功能所示的DSP 200分配在指示 设备101的多个部件、房间、不同设备等等中。
将DSP 120设计成将诸如设备控制数据ac这样的用户接口信息I发
送到所标识的设备。-例如用户1 OO可以使指示设备1 Ol指向灯160并且 按下指示设备101上的接通按钮，这可使DSP 120将一接通命令发送到 所标识的灯160。所标识的对象不必是其本身受控的设备。例如指向 花瓶170可启动下述p. c.上的特定程序，显示设备100示出了所述p. c. 的输出。根据诸如按下按钮或者使指示设备101移动这样的附加动作， 可指向对象的一部分，例如指向对象130的音量按钮134可使该音频设 备的音量增加或者减小。指向通道选择显示132并且使其横向移动这 可改变通道。DSP 120还可对对象一部分的状态进4于识别，例如4吏盒 式磁带装入器136脱离打开状态，并且发布"闭合"命令。还可以对其 他特定情况进行检测或者监控。用户100还可指向一件家具140或者其 一部分142。如果这个家具140是一厨拒。那么指向不同厨拒可产生不 同动作。如果这个家具140是智能电水箱，那么指向它可导致用户通 过互联网来订购啤酒这样的已定义动作。除了设备控制数据ac之外， 可以发送诸如图《象数据pd这样的其他用户接口信息I。例如第一电子 着色150以及第二电子着色152可显示一可变图^f象。它们是利用电泳电 子墨汁显示来实现的。用户100可捕获在第一电子着色上所显示的图 像，或者甚至可捕获其挂在墙上的日程表上的图像，并且尽可能的在 诸如透视校正这样的某些图像处理之后，将其作为图像数据pd而传送 到笫二电子着色152。
图2示意性的给出了数字信号处理器200 -即图1中的具体设备120
中的功能部件。并不是这里所描述的所有部件必须存在于用户交互系 统的特定实施例中。DSP 200可以是以一般处理器、专用集成电路、 或者电路板上的独立部件实现的。DSP 200例如可从运动检测装置304 接收照相机输入c以及传感器输入s。 DSP 200包括一对象表征单元202， 该对象表征单元202用于对照相机1()2所成^[象的对象13()或者对象130的 一部分的图像进行表征。对象表征单元2(^可将第一对象表征特性fl 提供给对象标识单元204。根据对象标识单元204中所包含的图像处理 算法，第一对象表征特性fl可以是不同类型。典型的首先使对象与所 成像图像的剩余部分相分离。这例如是根据对该图像进行边缘及曲线 检测来进行的。另一可选方案是例如利用所投射的格网或者第二照相 机来对所成像的区域进行3D分析。根据相关技术来对对象的一部分进 行检测，并且此后对对象的剩余部分进行检验。
说明书第9/15页
-其次计算第一对象表征特性fl。例如借助于曲率与角度的特性比 来表征对象的外形以及其组成部分。或者可以计算宽度/高度比值。 此外，典型的在首先执行透视校正之后，可以使用所分离的对象区域 本身或者其转换。
此后对象标识单元204根据从对象表征单元202所接收到的第一对 象表征特性fl来对该对象进行标识。例如可使用多维特性空间中的任 何已知分类技术。对象标识单元204的输出是对象标识数据oi,该数
据可以是单值或者其包括有与所标识对象有关的附加信息的数据结 构。例如通过其包括有DSP200的指示设备的厂家可以将多个设备的表 征特性以及进一步数据先验的存储在对象特征存储器230中，或者如 果DSP 200是计算才/L，那么从互联网对其进4亍预加载。代替对对象进 行标识，DSP还可对房间的一区域进行标识。例如使指示设备101指向 天花板可发布命令"开灯"，然而指向地板这可关灯。或者指向一个转 角这可调用相关命令。根据所存在的对象，例如根据左侧是一植物并 且右边是一橱柜来对该转角进行标识。
然而如果用户自己可对诸如花瓶170这样的新对象进行训练，那 么该用户交互系统更加有用。因此可以包括一对象相关单元212，该 对象相关单元可向对象标识单元204提供对象相关数据oad。与第一对 象表征特性fl相类似，根据对象模板，对象相关数据oad可包括对象 的表征特性fa。通过应用训练阶段可获得对象模板。照相机102可在 诸如不同角度、灯光等等这样的多个条件下使新对象成像。对象表征 单元202产生了所有图像的笫二对象表征特性f2。对象关联单元212 中的对象训练单元221产生了其与存储在对象存储器"0中的对象相对 应的一对象模板。该模板例如可以是所有图像的笫二对象表征特性f2 的群集，或者平均特性、或者根据可变第二对象表征特性f2所计算的 某些恒定特性。此外对象训练单元221根据从外部所进入的其作为对 象数据od的表征特性可获得对象模板。该对象数据可来自于下述设 备，该设备可输入例如厂商从不同角度所拍摄的其图像。对象数据od 以及对象关联数据oad还可包括对象相关数据id,也就是说包括与例 如支持命令相类似的与一设备有关的各类信息。
为了便于对象识别，与例如设备110相类似的某些对象可显示特 征模式116，例如它们利用不同开/关间隔来使红十字闪动预定时间以说明书第10/15页
响应指示设备的"对象标识"请求。设备110还可包括一接口单元190， 该接口单元190可使其在根据本发明的用户交互系统中更有用。例如 与互联网收音机相类似的设备具有"服务发现"功能，该功能可将其所 支持的命令发送到指示设备IOI。其甚至可以传送与这些命令相对应 的红外远程控制序列等等。这便于用户100对DSP 120，200进行训练。 例如为响应该传送，该命令表现为指示设备101显示316上的预定图标 的一菜单。还可以单独的实现接口单元190。例如洗衣机不具有复杂 的远程控制功能。可提供插头盒，该插头盒可按照例如启动它这样的 简单方式而利用该设备接收来自DSP 200以及接口的标准命令。
DSP 200同时可包括用于对用户IOO利用指示设备101所做出的姿 势进行分析。为此，使用指示设备101的图4中的运动轨道400，该运 动轨道400是根据来自照相机102的图像所计算的。图4a给出了三维坐 标系统404中的向上运动轨道400。通过向上运动轨道的数学表达式这 样的标记402来对其进行总结。例如在用户100可保留"容量增加"命令 的情况下，例如借助于其具有命令标识数据ci的命令表格来链接该标 记402。圆形运动轨道410以及圆形标记412是指一个用户"倒带 (rewind)"，反之另一用户对DSP 200进行训练以使该圆形标记412 与"接通设备"命令相关。用户例如可使他的指示设备101大致的面向 灯160并且进行"接通设备"运动，DSP 200根据该运动可接通灯160。 或者用户IOO还可以在空中某处进行"接通设备"运动并且此后指向灯 160、或者电视、或者他想要接通的任何对象。可按照任何方式来使 该标记402，412参数化并通过任何巳知曲线拟合才支术而使其相匹配。 例如将标记402编码成具有指定长度及节间角度的多个连接线段。
运动轨道估计单元206根据运动检测装置304或者来自照相机102 的连续图像来计算运动轨道400。例如可将其基于运动估算技术的光 流或者光块应用到两个连续的图像上以获得运动轨道400的一部份 401。运动矢量场的扩散用于对朝向接通物体的运动进行估计，即对 典型的沿着指示设备101轴的运动进行估计。根据运动轨道400，标记 产生单元209输出第 一运动表征标记s 1 。标记标识单元208对第 一运动 表征标记sl进行标识并且将其与下述命令标识数据ci相链接，所述命 令标识数据即就是用户IOO所企图的用户交互命令的数值表示。将第 一运动表征标记与标记特征存储器232中所存储的不同标记的标记特 征进行比较。例如如果仅大致圓形或者甚至任何返回运动，那么与线 性标记模板相比，所存储的圆形标记模板产生了更好的匹配。在相似 性计算中可应用几何及结构曲线对比技术。
正如具有其可学习以对新对象进行标识的DSP 200这样的优点一 样，有利的是DSP 200可对用户100所优选的新移动进行标识。因此可 以包括用于将标记关联数据SAD提供给标记标识单元208的标记关联单 元214。标记关联数据SAD可以包括诸如圆形标记412和/或命令相关数 据cid的数学表达式这样的关联标记特性sa，所述圆形标记412和/或 命令相关数据cid例如是从用于将其支持命令作为命令数据cd而发送 到DSP 200的设备所接收到的。根据来自于运动轨道估计单元206或者 命令数据cd的第 一运动表征标记s2可从标记训练单元22 3中获得标记 存储器222中的标记模板。
因为用户的环境是非常易变的，例如灯光在白天变化，因此对对 象130或者命令的标识，即标记402有时是4晉误的。因此DSP 200可包 括标识改进单元210。所想要的命令例如取决于所指向的对象130，或 者可以取决于预先所发出的命令等等。如果对象不存在于指示设备所 在的房间中，那么将会不正确的标识对象。因此存在诸如闪烁LEDs这 样的房间识别装置185。当用户进入房间时，他可利用指示设备101来 扫视房间识别装置185。除了照相机102之外，指示设备101中还包含 有光电二极管以对房间识别装置185进行检测。还存在房间定位信标 180， 181， 182，以《更DSP 200可识别出指示设备指向了房间的哪一部 分。在照相机102对信标进行识别的情况下，该信标是其可光发射， 但是它们例如还可以发射出电磁辐射。存在于房间之中的对象还可有 助于对一对象的识别。例如如果花瓶170紧接于对象130，那么其识别 有助于对对象130的识别。甚至使用对指示设备的过去轨道的分析。 如果指示设备预先指向对象130并且其已移动到右边，那么应该指向 设备IIO。考虑到所有信息，标识改进单元210例如可计算贝叶斯概率 或者使用模糊逻辑以取得对象130进一步的某些标识以及所想要命 令。
DSP 200所输出的用户交互信息I典型的包括控制设备数据ac，该 控制设备数据例如是其包括有对象表示数据oi以及命令标识数据ci或 者基于其的新标识符的 一 结构以对特定设备110的想要命令进行标
识。用户交互信息I还可包括图像数据pd。 -图3示意性的给出了根据本发明的指示设备300 -图1中的实施 例。并不是需要呈现出这里所示出的所有特性简单指示设备可仅包 括照相机302以及例如用于反馈的显示316。可以呈现出例如按钮308 这样的多个按钮。这可仅发出用于按下按钮的某些命令。此外指示设 备300的类似移动可用于两个不同命令， 一次是要同时按下按钮308并 且另一次无需同时按下按钮308。可存在例如用于将激光光点投向所 指向位置的特征投影器320。指示设备的照相机可将图像发送到外部 DSP 120，但是其本身也可包括DSP 200。按照这种方法，还可在户外 使用该指示设备。用户100所未携带的指示设备103还可用于对设备110 或者房间进行监控。除了借助于照相机来检测运动之外，还可包括诸 如回旋器或者差转GPS定位系统这样的其他运动检测装置304。还存在 可编程代码发生器309以及用于将一命令直接发送到设备110的无线发 送器310。存在用于向用户提供附加信息的反馈装置。可包括例如灯 312、发声设备314、力反馈装置306、以及尤其是显示器316。力反馈 装置可包括很小的可移动物质，该物质可模拟设备的振动或者触摸。 该显示器可显示例如所指向区域的中心，以尽可能将所产生的图解十 字叠加在所成像图像的中心。还可将其显示在电视上。类似的灯160 用于提供反馈以代替灯312。显示器316上的反馈示出了例如运动轨道 400以及其与运动轨道训练阶段过程中的先前运动轨道的类似程度， 这有助于用户100学习DSP 200以识别稳定的姿势。显示器316还可通 过在对例如其包括有所检测边缘的图像进行多个图像处理步骤之后显 示一图像并且包括其对所标识设备进行命名的文本来表示DSP 200所
了解的。
还可存在诸如指紋传感器或者用于口令或个人智能卡的输入这样 的用户标识装置330。按照这种方法，DSP 200可将其本身设置为用户 IOO所特有的操作模式。用户甚至可以根据他所处的房间而给出不同 命令。还可存在语音识别装置340以添加通过指示设备300的移动所给 出的命令。通过使指示设备101作为某种到现实世界的接口设备而用 于来玩游戏。
以下实施例给出了本发明所包含的技术的举例性的组合 1.用户交互系统，包括
一电子设备； -.
一便携式指示设备，该便携式指示设备是用户可操作的以指向空 间中的一区域；
一照相才几，该照相机用于拍照；以及
一数字信号处理器，该数字信号处理器可接收图像并对其进行处 理，并且可将来源于该图像的用户接口信息传送到电子设备， 其特征在于，
照相机与指示设备相连以便在操作过程中它使所指向的区域成像。
2. 如上述第l项中所述的用户交互系统，其中用户接口信息包括 用于对电子设备的操作进行控制的设备控制数据。
3. 如上述第l项中所述的用户交互系统，其中数字信号处理器包 括一对象表征装置，该对象表征装置通过将第一对象表征特性提供给 所包含的用于对该对象进行标识的对象标识装置来对存在于照相机所 成像区域的图像之中的对象或者对象的 一部分进行表征，所述对象标 识装置可输出根据其可构造出用户接口信息的对象标识数据。
4. 如上述第l项中所述的用户交互系统，其中数字信号处理器包
括
运动轨道估计装置，用于估计指示设备的运动轨道并且输出第一
运动表征标记，该标记是运动轨道的数学抽象；以及
标记标识装置，用于对第一运动表征标记进4亍标识并且输出与第 一运动表征标记相对应的其表示用户交互命令的命令标识数据，用户 接口信息是根据所述命令标识数据构造而成的。
5. 如上述笫3和4项中所述的用户交互系统，其中数字信号处理 器包括标识改进装置，该装置可进一步提高根据预定规则来对其被表 示为对象标识数据的对象以及其被表示为命令标识数据的用户交互命 令进行更可靠标识的概率，这可产生更可靠的用户接口信息。
6. 如上述第5项中所述的用户交互系统，其中预定规则包括考虑 到下述先验巳知信息单元{指示设备所驻房间，用户所发布的先前命 令，用户发布特定命令的统计频率以及日时}的至少一个的成对{对象 标识数据，命令标识数据}的似然性的概率计算。
7. 如上述第3项中所述的用户交互系统，其中数字信号处理器包
括对象关联装置，该装置为对象标识装置提供了其包括有至少 一个数
据实体的相关数据，所述数据实体是关联对象表征特性以及对象相 关数据，
对象关联数据是从对象存储器中的其得自于至少一个方法的对象 模板数据而得来的；
对象模板数据是从下述对象训练装置中获得的，所述对象训练装 置对对象表征装置所输出的第二对象表征特性执行预定计算；并且
对象模板数据是从所输入的对象数据而来的
8. 如上述第4项中所述的用户交互系统，其中数字信号处理器包
括用于将其包括有至少一个数据实体的标记关联数据提供给标记标识 装置的标记关联装置，所述数据实体是关联标记特性以及命令相关 数据，
标记关联数据是从标记存储器中的其得自于至少一个方法的标记 模板数据而得来的；
标记模板数据是从下述标记训练装置中获得的，所述标记训练装 置对运动轨道估计装置所输出的第二运动表征标记执行预定计算；并 且
命令模板数据是从所输入的命令数据而来的。
9. 如上述第4项中所述的用户交互系统，其中第一运动表征标记 是根据照相机在各个时间情况所成像的连续图像而得到的。
10. 供上述第l项中所述的用户交互系统之用的指示设备，其特 征在于该指示设备包括一照相机并且可将一图像发送到数字信号处理 器。
11. 如上述第10项中所述的指示设备，其中该指示设备可将一图 像发送到数字信号处理器，该数字信号处理器可根据该图像而将用户 接口信息发送到电子设备。
12. 如上述第10项中所述的指示设备，其中数字信号处理器包含 在指示设备之中。
13. 如上述第10项中所述的指示设备，包括用于对指示设备的运 动轨道进行检测的运动检测装置。
14. 如上述第10项中所述的指示设备，包括一特征投影仪，该投 影仪用于朝着所指向区域的方向光学投影特征模式。
15. 如上述第10项中所述的指示设备，其中包括一可编程用户接
口代码发生器以及用于将该代码传送到电子设备的无线电发射器。
16. 如上述第10项中所述的指示设备，其中包括反馈装置以用于
对用户接口信息的反馈。
17. 供上述第l项中所述的用户交互系统之用的电子设备，其特 征在于包括这样的接口装置，该接口装置根据送至该电子设备的指示 设备的"标识支持命令"请求而可使设备将与支持命令有关的信息发送 到如权利要求1所述的指示设备上。
权利要求
1.一种用户交互系统，包括一个电子设备(110)；一个便携式指示设备(101)，该指示设备是用户可操作的以指向空间中的一个区域；一个照相机(102)，与所述指示设备(101)相连，以在操作时使所指向的区域成像而进行拍照；一个运动检测装置，用于对所述指示设备的运动进行估计；以及一个数字信号处理器(120)，该处理器可接收和处理图像数据，并且可将根据该图像数据获得的用户接口信息(I)传送到所述电子设备(110)。
2. 如权利要求l所述的用户交互系统，还包括用于根据所述运动 检测装置的输出来估计运动轨道(400 )的装置。
3. 如权利要求l所述的用户交互系统，其中指示设备的运动是根 据在各个瞬时由照相机(102)成像的连续图像来估计的。
4. 如权利要求l所述的用户交互系统，其中运动检测装置是从海 量变形检测器、回转器和差转GPS构成的组中选择的。
5. 如权利要求l所述的用户交互系统，其中传送的用户接口信息 (I)包括选自由指示设备(101)的运动速度、运动方向和加速度构成的组中的至少一个特性。
6. 如权利要求2所述的用户交互系统，其中传送的用户接口信息 (I)包括选自由指示设备(101)的运动轨道(400 )和从该指示设备(101 )的运动轨道(400 )获得的表征标记构成的组中的至少一个。
7. 如权利要求l所述的用户交互系统，还包括房间定位信标(180， 181， 182)，用于发射电磁辐射，其中数字信号处理器(120)设置 成识别指示设备(101)正在指示房间的哪一部分。
8. 如权利要求l所述的用户交互系统，其中指示设备(101)还 包括反馈装置，用于向用户提供附加信息。
9. 如权利要求8所述的用户交互系统，其中所述反馈装置是从灯 (312 )、发声设备(314 )、显示器(316 )和力反馈装置(306 )构成的组中选择的。
10. 供权利要求l所述用户交互系统用的指示设备(300 )，其特 征在于，该设备包括一个照相机(102)并且可发送一个图像给数字信 号处理器(120)。
11. 如权利要求10所述的指示设备(300 )，其中该指示设备(300 ) 可发送一个图像给数字信号处理器(200 )，该处理器可根据该图像发 送用户接口信息(I)给一个电子设备(110)。
12. 如权利要求10所述的指示设备(300 )，其中数字信号处理器 (120)包含在该指示设备(300 )中。
13. 如权利要求10所述的指示设备(300 ),该指示设备包括运动 检测装置(304 )，用于检测指示设备(300 )的运动轨道(400 )。
14. 如权利要求10所述的指示设备(300 )，该指示设备包括一个 特征投影器(320 )，用于向所指向的区域光学投射一个特征图案。
15. 如权利要求10所述的指示设备(300 )，该指示设备包括一个 可编程用户接口代码发生器(309 )，以及一个无线发送器(310)， 用于将所述代码传送给电子设备(110)。
16. 如权利要求10所述的指示设备(300 )，该指示设备包括反馈 装置(306， 312， 314， 316)，用于反馈用户接口信息。
17. 供权利要求l所述用户交互系统用的电子设备(110)，其特 征在于，其中包括接口装置(190)，该接口装置允许电子设备(110) 根据指示设备(101)给电子设备(110)的一个"标识支持命令"的 呼叫，发送关于支持命令的信息给如权利要求l所述的指示设备(101 )。
全文摘要
一种基于指示设备的用户接口系统，其中用户交互系统包括其与照相机(102)相连的且可将图像发送到数字信号处理器(120)的便携式指示设备(101)，该便携式指示设备可识别对象(130)以及通过使指示设备(101)按照特定方式移动而由用户给出的命令，并且可根据该识别来控制电子设备(110)。
文档编号G06F3/0346GK101101512SQ20071012785
公开日2008年1月9日 申请日期2003年10月28日 优先权日2002年11月20日
发明者G·E·梅肯坎, T·德克 申请人:皇家飞利浦电子股份有限公司