手持式基于视觉的绝对指向系统的制作方法

专利名称：手持式基于视觉的绝对指向系统的制作方法
技术领域：
本发明的领域涉及电子系统技术，且更明确地说涉及一种手持式基于视觉的绝对指向系统。

背景技术：
图1和图2展示用于控制电子设备的最相干类型的手持式装置。图1展示鼠标101，其控制光标102在计算机的显示器100上的位置。鼠标101通常具有安装在其下侧的跟踪球(track ball)，其用于将其“在上面滚动”的水平表面103上鼠标的位置转译成显示光标102的计算机显示器100上的位置。典型的鼠标将把描述鼠标的跟踪球的滚动活动的数据传输(例如，以无线方式经由射频(RF)发射器，或以电子方式经由电缆)到计算机。所述计算机进而将此信息转译成光标102的适当的屏幕位置。鼠标101还包含按钮，其在光标102与计算机屏幕200上显示的“按钮”或“菜单”或其它特征重叠或指向所述“按钮”或“菜单”或其它特征时可在计算机上触发某些行动。
图2涉及用于控制娱乐相关电子设备的手持式装置。当前，就电视而言，典型的系统包含耦合到外部“盒(box)”203的电视，所述外部“盒”203具有经设计以向电视提供某一类型的“信号”的电路。这种电路的实例包含有线TV接收器电路、卫星TV接收器电路、盒式磁带录像机(VCR)电路、数字视频光盘(DVD)播放器电路、游戏装置电路、计算机的电路、音乐播放器电路(例如，CD播放器电路、立体声接收器电路等)。未来数年期间，预期越来越多的上述电路将集成到电视中而不是位于外部盒中。
不论提供电视信号的电路的封装和位置如何，通常使用远程控制201在电视显示器200上作出用户选择。作出选择的机会通常呈现为叠加于电视信号上(或与其集成)的某种软件产生的用户接口。所述用户接口通常包含有边界的区域和/或图标(例如，区域/图标204、205)。通常，这些区域/图标204、205中的一者在所述用户被认为已暗示所述特定的区域/图标时被“突出显示”。为了暗示特定的区域/图标，用户按压“指向”待突出显示/暗示的下一区域/图标位于电视显示器200上的方向的多个箭头按钮202中的一者。远程控制201通常还包含“选择”按钮，其当被用户按压时触发电视的电路或外部盒电路采取符合突出显示的区域/图标所表示的内容的某一行动(通常经由红外(IR)码的传输)。
图3展示数码相机也已被集成到手持式装置中。除了标准“手持式数码相机”外，数码相机也已被集成在具有不同于拍摄图片的传统或主要目的的设备中。例如，现在可获得具有集成的数码相机的手机。图3展示处于拍摄数码图片302的过程中的手机301。


发明内容
本发明描述一种涉及识别个别一个或一个以上固定标记的一个或一个以上图像的方法。每一标记定位在显示器上或定位成接近显示器。所述图像出现在手持式装置内的像素化传感器(pixilated sensor)上。所述方法还涉及确定所述显示器上或接近所述显示器的在所述识别期间所述手持式装置所指向的位置。所述方法还涉及从所述手持式装置发送根据识别个别一个或一个以上固定标记的所述一个或一个以上图像而获得的信息。所述方法还涉及触发由电子设备电路响应于所述手持式装置发送指示需要一行动的信号而采取的所述行动。



附图的各图中以举例而非限制的方式说明本发明，附图中相似参考指示类似元件，且其中 图1展示计算机鼠标(现有技术)； 图2展示远程控制(现有技术)； 图3展示具有集成的数码相机的手机(现有技术)； 图4a到图4c展示对绝对指向的不同描绘； 图5a展示具有集成的相机的手持式装置的实施例，所述集成的相机用于实现手持式装置相对于电子设备显示器的绝对指向； 图5b到图5e展示用于计算绝对指向位置的标记的各种布局； 图6a到图6d展示由手持式装置的相机关于手持式装置面对电子设备显示器的方式所捕获的不同图像； 图7a到图7c展示可经执行以实现例如图5a的手持式装置的手持式装置的绝对指向的不同过程； 图8展示用于确定手持式装置在显示器上的绝对指向位置的三维坐标系统； 图9展示用于确定手持式装置在显示器上的绝对指向位置的过程； 图10a和图10b展示当已知手持式装置的绝对指向向量和滚动位置时能够实施的“虚拟拨号盘”功能； 图11展示能够实现相对于电子设备显示器的绝对指向控制的手持式装置的设计的实施例； 图12展示可以图11所呈现的设计实施的示范性光学传递功能； 图13a和图13b展示可形成的且导向手持式装置的传感器的不同标记大小； 图14展示确定通过手持式装置的传感器观察到的标记位置的方法； 图15展示通过手持式装置的传感器观察到的标记图像的示范性集合； 图16展示针对两个不同指向方向的传感器视场； 图17展示用于一个标记系统的显示器和所述显示器的相应的传感器图像； 图18展示校准和“实际使用”手持式装置指向情形； 图19展示在两个不同方向上辐射的标记； 图20展示用于滚动手持式装置的传感器上的标记图像； 图21a和图21b展示三个标记系统； 图22展示四个标记系统； 图23a到图23e展示含有处理器的不同结构。

具体实施例方式 1.0绝对手持式装置指向 现在，描述一种与电子设备一起使用的“绝对指向”手持式装置。来自手持式装置的绝对指向可涉及1)确定显示器上或接近显示器的手持式装置正指向的位置；和2)在所述位置处呈现某种图像(例如，光标、图标、突出显示区域、菜单选择)，和/或根据所述位置处提供的用户接口特征触发某种行动。举例来说，在简单的光标的情况下，手持式装置指向于显示器表面处，且光标显示在显示器上手持式装置正指向的位置处。如果手持式装置移动以便指向显示器上新的位置，那么光标显示在所述新的位置处。
来自手持式装置的绝对指向还可(或单独)涉及1)确定接近显示器的手持式装置正指向的位置(例如，放置成接近显示器的特定电子设备的位置)；和2)在显示器上呈现某种图像(例如，光标、图标、突出显示区域、菜单选择)，和/或从所述位置处触发某种行动(例如，促使特定电子设备因其正被指向的缘故而呈现图像或采取某一特定行动)。来自手持式装置的绝对指向还可(或单独)涉及1)确定正指向特定器具(例如，灯)或其它类型的电气设备；和2)在所述器具或其它类型的电气设备处触发某种行动。为了简洁起见，以下论述将主要(但不完全)涉及上文最初描述的绝对指向使用情况，其中手持式装置指向显示器并在显示器上所述位置处或从显示器上所述位置引起某一活动。
在触发某种行动的情况下，手持式装置可指向作为显示器上显示的用户接口(例如，图标或菜单选择)的一部分的特征。此处，将所述特征理解为意味着，通过经由用户接口控制的电子设备将采取某种行动(例如，选择电视信号、打开文件、启动软件例行程序等)。如果持有手持式装置的用户采取某种行动(例如，按压手持式装置上的按钮或“迅速移动(jerk)”他/她的手腕)，那么信号就从手持式装置发送，所述信号最终解译为意味着用户需要所述特征所表明的行动。
图4a到图4c例示手持式装置401与显示器400′之间的绝对指向的实例，其中，在图4a到图4c的每一者上，手持式装置401位于不同的位置并指向不同的显示器位置(“X”)。图4a到图4c的每一者展示其各自手持式装置401和显示器400′定向的正视图(i)、俯视图(ii)和侧视图(iii)。正视图4a(i)、4b(i)、4c(i)从显示器400′前方并面对显示器400′的角度展示其各自手持式装置401和显示器400′的定向。
俯视图4a(ii)、图4b(ii)、图4c(ii)从显示器400′上方径直俯视到达显示器400′和手持式装置401的顶部的角度展示其各自手持式装置401和显示器400′的定向。侧视图4a(iii)、图4b(iii)、图4c(iii)从离开显示器的“左”手侧直视显示器侧部和手持式装置侧部401的角度展示其各自手持式装置401和显示器400′的定向。此处，术语“左”是从站立在显示器400′前方并面对显示器400′的观察者的角度取用的。
注意，这些描绘指示+y′方向是相对于显示器400′表面的观察者垂直移动的方向，+x′方向是相对于显示器表面的观察者向右400′水平移动的方向，且+z′方向是从显示器400′表面的前方径直移开的方向。
图4a展示当手持式装置401在显示器的左手侧下方并指向显示器的右上角附近的位置时的第一组透视图。图4b展示当手持式装置401在显示器的右手侧下方并指向显示器的左下角附近的位置时的第二组透视图。图4c展示当手持式装置401在显示器的左手侧上方并指向显示器的右下角附近的位置时的第三组透视图。重要的是，在简单的光标操作的情况下，将使光标出现于在图4a(i)、图4b(i)和图4c(i)中观察到的每一“X”位置处。在触发某种活动的情况下，某种用户接口或图标可呈现于在图4a(i)、图4b(i)和图4c(i)中观察到的每一“X”位置处。
图5a展示能够实现如刚才上文参看图4a到图4c所描述的绝对指向的手持式装置501、显示器500′和电子设备503的更详细的实施例。手持式装置501包含相机和无线发射器505。从由手持式装置的相机捕获的图像取得或处理的信息由手持式装置的无线发射器传输到无线接收器508，或者，可使用例如通用串行总线(USB)或RS-232串行电缆的有线连接来实现手持式装置与电子设备503之间的通信。负责控制光标在显示器500上的呈现和/或在显示器500′上呈现用户接口的电子电路(例如，处理器507或控制器或不执行程序代码的电路)接收由手持式装置501发送的信息。电子电路可集成在各种类型的电子设备中。举例来说，电子设备503可以是以下各项中的任一者a)电视；b)卫星TV接收器；c)有线TV接收器；d)VCR；e)DVD播放器；f)计算机；g)CD播放器；h)音乐接收器和/或播放器；i)视频游戏盒或含有游戏电路的某一其它类型的设备；j)IPTV接收器和/或电视；k)从例如上文a)到j)中列举的那些电子设备的一者或一者以上接收信号的“接收器”；l)家庭和/或办公自动化设备(例如，包含用于“接通”和“断开”家用开关的电路的设备)。
根据某些基本可能的操作，响应于接收到此信息，电子电路促使光标(或其它图像)呈现在手持式装置501正指向的显示器位置处，和/或促使处于手持式装置501正指向的显示器位置处的用户接口特征以某一方式突出显示。此处，注意，可由传感器检测的固定标记504′_1和504′_2定位成接近显示器500′。如下文紧接着将参看图6a到图6d所描述1)手持式装置的相机观察这些固定标记504′_1到504′_2的位置；和(2)通常，从手持式装置501的面506的角度来看，这些位置中的至少一者或一者以上随着手持式装置的位置和指向方向而“变化”。
通过用手持式装置的相机捕获这些固定标记504′_1到504′_2的位置，且通过自动执行使观察到的标记位置与显示器表面上的所指向位置相关的数学关系式(在手持式装置处，利用上文提及的电子电路，两者的组合等)，可使光标出现在所指向的显示器位置处，和/或可根据所指向的显示器位置处呈现的用户接口特征触发某种行动。图5a中的固定标记是一种可能的两个标记的布置。包括相对于彼此以及相对于显示器500′放置在其它位置的一个、两个、三个、四个或更多标记的其它布置是可能的。
如上所述，可使用各种数目的标记的各种布置来实现绝对指向。本质上，如果手持式装置沿着某一轴“移动”，那么从手持式装置的传感器的角度来看，标记的定位将沿着同一轴“移动”。举例来说，如果手持式装置沿着x轴移动，那么手持式装置的传感器的沿着x轴的标记的像素位置将变化。因此，标记的特定放置可依据不同实施例而不同。此外，增加标记数目实现较精确地计算手持式装置的指向位置的能力。然而，如下文章节4.0中进一步更详细描述，在仅使用单个标记的情况下可构想出至少一些应用的充分的准确性。
图5b到图5e探究单个标记(图5b)、两个标记(图5c)、三个标记(图5d)和四个标记(图5e)的实施例的一些可能的标记布局布置。对于图5b到图5e中观察的实施例中的每一者来说，标记与显示器之间的距离可变化(当然，所述距离不应使标记无法由手持式装置看到)。此外，也可能将标记定位在显示器本身上。
图5b展示沿着显示器的侧部放置单个标记514的实施例。在替代方法中，可将标记放置在显示器的角落中或附近。图5c(i)展示沿着显示器的同一侧定位两个标记515_1、516_1的两个标记的实施例。图5c(ii)展示沿着不同的显示器侧部定位标记对515_2、516_2的每一者的另一实施例。在其它实施例中，两个标记的实施例的一个或两个标记可定位在显示器的一个或一个以上角落中或附近(例如，通过将标记对放置在同一角落附近，或将第一标记放在第一显示器角落处且将第二标记放在另一显示器角落处)。在两个标记系统中，标记对可放置在相同或不同的z′位置。
图5d(i)到图5d(iv)展示各种三个标记的实施例。图5d(i)展示沿着不同显示器侧部定位的三个标记的每一者。图5d(ii)展示沿着同一显示器侧部定位的三个标记的每一者。图5d(iii)展示沿着同一显示器侧部的三个标记，其中所述标记中的两者具有相同的y′轴位置。图5d(iv)展示沿着同一显示器侧部的三个标记，其中一个标记具有与其它两个标记不同的z′位置。各种其它布置也是可能的。一般来说，只要三个标记可被手持式装置看到且其各拥有唯一的x′、y′、z′位置，就可实施可行的系统。
图5e(i)到图5e(iii)展示各种四个标记的实施例。根据图5e(i)的方法，所述标记的每一者沿着显示器的不同侧部定位。根据图5e(ii)的方法，所述标记的每一者定位在显示器的不同角落。根据图5e(iii)的方法，一个以上标记沿着显示器的同一侧部定位。与两个和三个标记的系统一样，只要三个标记可被手持式装置看到且其各拥有唯一的x′、y′、z′位置，就可实施可行的系统。
图6a到图6d展示对于相对于显示器表面的不同手持式装置位置和指向定向(类似于图4a到图4c)来说，通过手持式装置的相机观察到的两个标记的系统的标记图像。图6a到图6d的每一者包含四个子图(i)到图(iv)。图6a(i)、图6b(i)、图6c(i)和图6d(i)的每一者包含对应于手持式装置的相机的“图像捕获”部分的像素化传感器610上观察到的显示器标记604′_1和604′_2的示范性图像604_1、604_2。图6b(ii)、6c(ii)和6d(ii)的每一者展示各个手持式装置位置和指向方向的前视图，图6b(iii)、图6c(iii)和图6d(iii)的每一者展示各个手持式装置位置和指向方向的俯视图，且图6b(iv)、图6c(iv)和图6d(iv)的每一者展示各个手持式装置位置和指向方向的侧视图。
上文通过各图4a到图4c所描述的(x′，y′，z′)坐标系统保持用于图6a到图6d的(ii)、(iii)和(iv)子图。对于(i)子图，引入新的坐标轴(x，y)来表示像素化传感器的特定像素位置。此处，+y方向对应于沿着传感器的表面垂直向上移动，且+x方向对应于沿着传感器的表面水平向右移动。像素化传感器可通过例如CMOS、CCD或光电二极管阵列的各种技术来制造。
首先参看图6a，注意，图6a(ii)到图6a(iv)指示手持式装置601直接面对显示器600′的中心。因此，显示器600′上由手持式装置601指向的位置602′对应于显示器600′的中心。在此位置中，标记604′_1和604′_4在手持式装置的传感器610上将呈现为图像604_1和604_2。此处，在像素位置x′＝10，y′＝14处观察到标记图像位置604_1；在像素位置x′＝16，y′＝10处观察到标记图像位置604_2。
在操作之前，需要进行初始校准程序以便确定将传感器610上检测到的标记位置转化成显示器600′上手持式装置正指向的位置的数学关系式内出现的变量的值。存在若干种可执行校准的方式，且任何特定程序可取决于所使用的系统的特定实施例。根据一种校准方法，用户指向一个或一个以上界定的位置(通常，在屏幕上或附近)，且手持式装置将标记图像604_1、604_2位置记录在传感器阵列610上(下文章节4.0中给出特定校准程序的更详细描述)。在涉及较少标记的实施例中，校准程序可涉及依次指向屏幕上(例如，相对的角落处)临时显示的可见标记(通常为两个)。
校准之后，可参考其初始校准位置来界定传感器610表面上观察到的标记图像604_1、604_2位置响应于手持式装置的位置和指向方向的变化而发生的变化；所述初始校准位置又可与显示器600′上手持式装置601正指向的位置相关。
图6b(i)展示当手持式装置601保持定位在显示器的中心前方(如图6a中)但指向显示器的顶部中心时观察到的传感器图像。由于手持式装置601的垂直指向方向变化但相对于图6a的水平位置固定，所以标记图像604_1和604_2的x坐标值与其在图6a(i)中的值相比将保持不变(即，分别对于标记图像604_1和604′_2来说，x′＝10和16)；但是，其y′坐标值的每一者相对于其在图6a(i)中的值将增加。此外，图6b(i)的标记图像604_1与604_2之间的垂直距离与图6a(i)中的此距离相比将被压缩(即，图6b(i)中16-13＝3个像素，而图6a(i)中14-10＝4个像素)。
图6b(i)的标记图像位置的观察到的变化可数学上与显示器600′上手持式装置的正确指向位置相关；其又可用于在指向位置处产生光标或根据指向位置处出现的用户接口特征触发行动。下文标题为“绝对手持式装置指向的数学关系式”的章节4.0中进一步更详细提供对此类数学关系式的详尽论述。
一般来说，使用的标记越多，所指向的显示器位置就可确定得越精确，但需要更多处理。章节4.0中提供适于实施一个、两个、三个和四个标记系统的数学关系式。尽管章节4.0中提供的关系式主要提供用于通过分析检测到的标记图像位置来确定显示器位置上或接近显示器位置的手持式装置的绝对指向方向、位置和定向的关系式，但理论上也可能通过分析标记图像大小和形状来增强这些系统的准确性。
图6c(i)展示当手持式装置601“上升”到处于其在图6b中的位置正上方的位置、但如图6(a)中直接面对显示器600时观察到的传感器图像。因为手持式装置601物理上相对于其在图6(a)和图6(b)中的位置上升并如图6(a)中直接面对显示器，所以标记图像604_1和604_2的x坐标值将再次保持不变，但图6c(i)的标记图像604_1与604_2之间的垂直距离与图6b(i)中的此距离相比将稍许扩展(即，图6c(i)中17-13.5＝3.5，而图6a(i)中16-13＝3)。
同样，图6c(i)的标记图像位置的观察到的变化可数学上与显示器600′上手持式装置的正确指向位置相关；其又可用于在指向位置处产生光标或根据指向位置处出现的用户接口特征触发行动。
图6d(i)展示当手持式装置601从其在图6c中的位置径直向其左侧移动、但调节其指向方向以便保持指向图6c中所指向的相同显示器位置602′时，观察到的传感器图像。因为手持式装置沿y轴不作出任何变化，所以图6d(i)中标记图像604_1和604_2的y′坐标值与其在图6c(i)中的值相比保持不变。此外，因为手持式装置的面沿x′轴和z′轴两者均已作出相当大的变化，所以标记图像的x坐标值与其在图6c(i)中的值相比发生相当大变化。同样，图6d(i)的标记图像位置的观察到的变化可数学上与显示器600′上手持式装置的正确指向位置相关；其又可用于在指向位置处产生光标或根据指向位置处出现的用户接口特征触发行动。
图7a到7c展示可由具有不同系统设计的绝对指向手持式装置系统执行的方法。最值得注意的是，各种设计之间的差异涉及由手持式装置执行的处理的程度。参看图5a以及图7a，图7a描绘一种方法，其中手持式装置501不仅捕获标记图像数据，而且还执行将观察到的标记图像位置转译成显示器500上特定的所指向位置所需的所有数学关系式计算。
因此，手持式装置501将显示器上所指向位置的坐标传输714到无线接收器508。整个过程包含手持式装置5011)用其相机捕获711标记图像数据；2)识别712相机的像素化传感器上各个标记图像的位置；3)通过用数学关系式进行计算来确定713显示器上手持式装置的所指向位置；4)将所指向位置发送714到无线接收器508。负责控制显示器500上的显示内容的电子电路接着可促使所指向位置处出现某一效果715(例如，光标、突出显示菜单特征等)。
图7b描绘一种方法，其中手持式装置501不通过用数学关系式进行计算来确定显示器上手持式装置的所指向位置，但除了用其相机捕获721标记图像数据外，还识别722相机的像素化传感器上各个标记图像的位置。因此，手持式装置501将标记位置传输723到无线接收器508。负责控制显示器500上的显示内容的电子电路接收标记位置，并通过用数学关系式进行计算来确定724显示器上手持式装置的所指向位置；且接着可促使所指向位置处出现某一效果725(例如，光标、突出显示菜单特征等)。
图7c描绘一种方法，其中手持式装置501既不确定显示器上手持式装置的所指向位置，也不识别相机的像素化传感器上各个标记图像的位置。而是，手持式装置501仅仅用其相机捕获731标记图像，并将描述这些图像的信息传输732到无线接收器508。负责控制显示器500上的显示内容的电子电路接收标记图像数据，且1)识别733相机的像素化传感器上各个标记图像的位置；2)通过用数学关系式进行计算来确定734显示器上手持式装置的所指向位置；以及4)接着可促使所指向位置处出现某一效果735(例如，光标、突出显示菜单特征等)。
在图7a到图7c的每一者中，注意，随着时间变化重复捕获711、721、731图像数据，使得可以快速规律性确定显示器上新的所指向位置(例如，使得在显示器500上可至少准流畅地跟踪光标的移动)。此外，注意，图7a到图7c的每一者例示使得显示器上所指向位置处出现一效果的过程。二者择一或以组合方式，可从手持式装置发送手持式装置的“按钮按压”或“滚动行动”形式的额外信息，以便触发电子设备采取某种行动。举例来说，如果所指向位置对应于显示的图标或菜单，且如果从手持式装置发送的针对所指向位置的信息也包含某种按钮按压或滚动行动，那么负责确定显示内容的电路可解译从手持式装置发送的信息的集合，从而意味着用户已选择所述图标或菜单项。
尽管下文章节4.0中进一步更详细提供详细的数学关系式，但图8a到图8d和图9提供至少在某些实施例中可应用于可用的数学关系式的某些较层次的细节，所述可用的数学关系式将观察到的标记图像位置转译成显示器800′的表面上或接近显示器800′的表面的特定所指向位置802′。图8a到图8d说明可在一组特定的可适用的数学关系式中界定和应用的各种三维概念。
根据图8a的描绘和图9的流程，显示器800′上所指向位置802的确定涉及1)确定901比例因数(M)；且2)执行902数学关系式，所述数学关系式使用比例因数M将观察到标记的传感器轴位置转译成显示器上手持式装置正指向的相应的轴位置。在一种方法中，计算第一比例因数Mx以用于一个装置/显示器坐标轴对(x，x′)，且计算第二比例因数MY以用于第二装置/显示器坐标轴(y，y′)。因此，图9中观察的过程本质上执行了两次，一次针对x，x′轴对，且另一次针对y，y′轴对。
比例因数Mx本质上是沿x轴的传感器上标记的位置的观察到的变化(相对于沿x轴的特定传感器位置)，与显示器上沿x′轴的所指向位置的位置变化(相对于沿x′轴的显示器上的特定位置)之间的比率；其中在校准期间确定特定的传感器和显示器位置。如下文章节4.0中更详细描述，如果从观察到的标记图像搜集到关于手持式装置的额外细节，那么可使比例因数的精确度改进。明确地说，如果确定手持式装置相对于显示器的位置(例如，显示器的中心802与手持式装置的前方之间的距离L 820)和/或手持式装置相对于显示器的定向(例如，手持式装置的901的视角θ)，那么可增强比例因数的精确度。
根据各种实施例1)在计算手持式装置偏转或手持式装置偏转的变化时，跟踪标记图像位置的向左或向右移动；和2)在计算手持式装置位置时，跟踪标记图像位置的相对间隔。一般来说，所有标记图像位置之间的间隔与距显示器的距离成反比，且不同对的标记图像位置的相对间隔取决于手持式装置相对于显示器表面所成的角度。
图8a和图8b还指示可从标记图像位置跟踪手持式装置定向的另一特性，称为手持式装置的“滚动”Φ。此处，手持式装置的滚动对应于手持式装置围绕其指向向量(例如，从手持式装置的前方突出的向量，其与显示器的截距对应于显示器上的所指向位置)的轴旋转。在计算手持式装置的滚动Φ时，检测标记图像位置的共同旋转。在一实施方案中，假定指向向量源自手持式装置的传感器阵列的中心。图8a和8d展示手持式装置的倾斜γ。也可确定手持式装置的有效倾斜或有效倾斜的变化，以便更准确地界定显示器上的所指向位置。
由于传感器轴在装置滚动期间相对于屏幕轴旋转，所以计算出的光标位置可能将受到滚动动作的影响，因此导致适当光标放置过程中的偏移误差。然而，如果在用于确定显示器上的光标位置的算法中适当说明传感器阵列的旋转，那么手持式装置的滚动对其指向向量计算没有影响。另外，根据一个实施方案，手持式装置的滚动可用于触发由电子设备采取的某种行动。举例来说，可将用户的“手腕扭动”解译为“按钮按压”(例如，用户将手持式装置指向图标或用户接口菜单项，并接着扭动他/她的手腕来“选择”所述图标或菜单项)。图10a和图10b例示跟踪手持式装置的滚动行动的另一有用的应用。图10a和图10b涉及“虚拟拨号盘”功能。根据虚拟拨号盘实施方案，拨号盘1010的描绘显示于显示器上。图10a中，将拨号盘说明为设定为值“低”1011。
如果用户将手持式装置指向拨号盘并扭动他/她的手腕，那么拨号盘可被显示以便结合用户的手腕旋转而旋转。因此，如图10b中所看到，用户已将手持式装置指向拨号盘并顺时针方向扭动他/她的手腕1002。作为响应，显示的虚拟拨号盘1010顺时针方向旋转直到认为用户的手腕旋转“停止”为止；根据图10b，其处于设定值“中等”1011处。根据另一实施方案，预期用户在手持式装置旋转期间按压手持式装置上的按钮以便激活拨号盘1010的旋转(即，用户必须结合手腕旋转而按压按钮)。因此，手持式装置发送1)显示器上的所指向位置(或可用来确定显示器上的所指向位置的信息)；2)手持式装置的滚动位置(或可用来确定手持式装置的滚动行动的信息)；3)表示用户正按压按钮的信息。
根据一种方法，标记本身充当手持式装置的传感器检测到的光的来源(例如，标记实施为LED)。在其它实施方案中，手持式装置充当手持式装置的传感器检测到的光的来源。举例来说，根据一个此类方法，手持式装置包含红外(IR)“闪光灯”，其将IR光照耀到显示器的区域中，且每一标记实施为“无源”反射器。可使用额外的图像处理来增强信噪比。举例来说，可从所反射图像中减去手持式装置可检测的所发射的光的特性，以本质上改进检测到的标记图像的信噪比。在另一实施例中，对闪光灯进行“闪控”，使得刚好在检测标记图像之前取得待从每一检测到的标记图像中减去的所发射的光的表示。并且，可将IR滤光器放置在相机上方以帮助拒绝非想要的光。
可从反射标记的使用中受益的其它应用包含通过使用(例如)家庭和/或办公自动化电路将单个手持式装置应用于多个器具。根据一种方法，反射参考标记位于待控制的器具上或附近，且对于每一装置来说，反射标记布置成预定的空间图案。手持式装置接着可通过辨别特定器具的特定图案来辨别所述特定器具。此处，注意，所述器具中的一者或一者以上甚至可能不具有显示器。更好地来说，器具本身和/或其远程使用可能过分简单化(例如，仅具有几个状态，例如“开”和“关”)，使得指向器具和在手持式装置上进行一次或几次按钮按压的简单动作足以实现装置的使用。此类器具的实例包含灯、收音机和电视。
各种格式可用于识别特定装置/器具的空间标记图案。实例包含与条形码(即，通用产品码)和简单的开/关二进制码中使用的那些格式类似的格式。每器具所需的标记的数目将取决于需要识别的不同器具的数目和/或所使用的图案格式。对于大多数家用应用，此数目很可能会较小(小于五)。当将手持式装置指向器具(例如，灯)并按压手持式装置上的适当按钮(且/或对装置做出适当手势)时，手持式装置经编程以直接或通过中央命令单元(例如，电子设备503(如X10))通过无线传输(例如，RF或IR)将适当命令发送到器具，所述中央命令单元实际上将命令直接发送到所指向的器具。
根据一种方法，在包中发送命令，所述包包含正指向的器具的身份(即，手持式装置经编程而具有识别每一特定器具的图案辨别能力)。在替代方法中，手持式装置将图像图案和手持式装置行动(例如，按钮按压、滚动行动等)或命令发送到另一装置(例如，上文提及的中央命令单元)。接着另一装置1)辨别所指向的器具；和2)将命令发送/转发到所指向的器具。可将多种命令传送到器具，包含简单的通电/断电和增加/减少不同的器具性质(例如，光强度、炉温、音量等)。
在手持式装置直接命令器具的情况下，或在中间单元(例如，上文提及的命令单元)以无线方式命令器具的情况下，所述器具将需要配置有某种命令检测和功能实行电路，其在相当程度上可视为家庭和/或办公自动化电路(例如，具有耦合到处理器/控制器的无线接收器的集成电路(具有可执行代码)，和/或耦合到开关的逻辑状态机电路(无可执行代码)，或其它功能实行电路(例如，“选择”或“设定”电路(例如，通道设定/选择、温度设定/选择、音量设定/选择等))。还应注意，通过使用手持式装置进行的对过分简单化器具的远程控制可与显示器上所指向位置的显示分离或组合而实施。
2.0手持式装置硬件设计实施例 图11和图12涉及一种手持式装置的硬件设计。根据图11，手持式装置可包含孔径1101(定位在手持式装置正面上)、包含各种光学组件(例如，透镜、漫射器、滤光器等)的光学通道1102，和像素化传感器1103。孔径1101、光学通道1102和传感器1103一起形成数码相机，其输出1109耦合到处理器或控制器1104(或者，数码相机的输出值可写入到存储器1105中，从存储器1105处读取所述输出值并将其提供到处理器或控制器1104)。
在处理器/控制器1104上执行程序代码1106，使得可执行各种功能(例如，标记图像位置检测、用于将检测到的标记图像位置与特定的所指向的显示器位置相关的数学计算、用于将检测到的标记图像位置与手持式装置的滚动位置相关的数学计算，有线或无线通信接收和发射协议等)。图11中未展示用于存储手持式装置的程序代码的非易失性存储器装置，也未展示耦合到处理器/控制器1104的一个或一个以上按钮。在一实施例中，存储器1105由动态随机存取存储器(DRAM)单元组成(由于其低成本和低功率消耗的缘故)。
将控制器理解为具有特殊目标指令集的处理器。将处理器理解为经设计以执行程序代码1106指令的逻辑电路。存在不同形式的处理器和控制器，例如，微处理器、微控制器、嵌入式处理器和嵌入式控制器。处理器或控制器还耦合到无线收发器电路1107；所述无线收发器电路1107又耦合到发送/接收无线信号的天线1108。可以了解的是，处理器/控制器1104可用专门逻辑电路代替，所述专门逻辑电路经设计以执行可适用的数学计算和/或标记图像位置检测功能。
根据符合图7a的流程，来自像素化传感器1103的数据由处理器/控制器1104处理以检测像素化传感器1103上的标记图像位置。处理器/控制器1104接着执行数学计算以将标记图像位置与特定的所指向的显示器位置相关。处理器/控制器1104接着准备识别所指向位置的数据以用于无线传输，并促使将所述数据转发到无线收发器电路1107，所述无线收发器电路1107又促使从无线装置发送所述数据。
无线收发器电路包含发射和接收电路两者。在较简单的实施例中，电路1107是无线发射器电路(即，手持式装置未设计成接收和处理除了进入相机孔径的电磁辐射以外的无线信号)。存在各种无线解决方案，例如，无线通用串行总线(USB)、Z波、IR、IEEE802.15.1(BLUETOOTH)、IEEE 802.15.4(ZigBee)或IEEE 802.11(WiFi)标准，以及例如USB或RS-232串行标准的有线解决方案。在另一可能的实施方案中，手持式装置通过布线而不是以无线方式将信息发送到电子设备。因此，无线收发器1107和天线1108由驱动器电路1107和耦合到可适用的电子设备的布线代替。
根据符合图7b的流程，来自像素化传感器1103的数据由处理器/控制器1104处理以检测像素化传感器1103上的标记图像位置。处理器/控制器1104接着准备识别标记图像位置的数据以用于无线传输，并促使将所述数据转发到无线收发器电路1107，所述无线收发器电路1107又促使从无线装置发送所述数据。
根据符合图7c的流程，准备来自像素化传感器1103的数据以用于由处理器/控制器1104进行无线传输，并促使将所述数据转发到无线收发器电路1107，所述无线收发器电路1107又促使从无线装置发送所述数据。在符合图7c的替代实施例中，处理器/控制器1104由仅将像素化传感器数据转发到无线收发器电路1107的电路代替。注意，可以了解的是，无线收发器电路1107可由驱动器电路代替，所述驱动器电路用于通过朝向显示器敷设电缆而驱动来自手持式装置的电信号。
图12展示手持式装置的相机的示范性光学通道设计。根据图12的描绘，“带通滤波器”本质上形成有像素化传感器1103的光学传递功能和内置到手持式装置的光学通道1102中的光学滤光器的传递功能。根据图12的特定实施例，像素化传感器1103是基于硅的CMOS装置。也可使用其它传感器类型，例如CCD和光电二极管阵列。CMOS装置具有光学传递功能1203，其本质上对应于在接近940nm的峰值响应以上在其通带的高端下降(roll off)的低通滤波器。使光学通道1102包含红外(IR)高通滤波器1202，其在940nm以下在其通带的低端下降。例如Kodak Wratten 87C、Hoya IR-85或其等效物的市售IR通过滤波器(IR-pass filter)适于此目的。
这两个滤波器1202、1203的组合产生约940nm的窄通带1210。此处，返回参看图5，如果使标记504_1到504_4本身为IR发射器(例如，发光二级管(LED))，那么理想地，像素化传感器1103将在其输出1109处提供较强的检测到的“信号”，所述“信号”主要对应于从标记504_1到504_4接收的电磁辐射，其中通过手持式装置的孔径1101接收的其它电磁辐射产生极少杂音。
然而，其它光学方法是可能的。举例来说，手持式装置501可经设计以包含其自身的IR发射器，且标记504_1到504_4可仅实施为镜(或，进一步说，IR反射镜)。光学通道1102本身的传递功能可以是特定的通带(例如，通过包含高通滤波器和低通滤波器两者)。此外，可以了解的是，通过具有对应于高通滤波器而非低通滤波器的传递功能的像素化传感器，可使光学通道1102的传递功能对应于低通滤波器。
并且，可以了解的是，相机的经设计要实现的通带整体上(即，光学通道和像素化传感器1103两者)可能仅是高通滤波器或低通滤波器。在其它实施例中，可在硬件中执行极少的滤光或不执行滤光，相反，由处理器/控制器1104或利用专门的逻辑电路在软件中执行滤光(如果存在的话)。用于形成标记图像的电磁辐射的波长是设计选择的问题。除了处于IR光谱(约800-950nm)内的光谱外，还可使用针对标记图像的其它可能的波长范围。一般来说，基于市售光源和传感器，使用光谱的可见到近IR(约400-1000nm)区域是优选的。虽然基于硅的检测器阵列(例如，CMOS和CCD)最适于此波长范围，但可使用例如砷化镓和锗的其它材料以进一步扩展到IR中。
注意，如下文参看图13b更详细描述，可使光学通道1102包含漫射器或“焦点未对准的”光学路径以有意地使标记图像模糊，使得其更易于检测。较大的标记大小可允许较准确地确定标记的真正中心位置。这可使用产生子像素分辨率的插值算法来实现。
3.0图像标记检测处理方法 图13a、图13a b、图14和图15涉及标记图像位置检测处理方法。根据图7a和图7b的系统方法，由手持式装置执行标记图像位置检测。根据图7c的系统方法，由与负责控制显示器上的显示内容的电子设备相关联的电路(或至少耦合到所述电路的电路)执行标记图像位置检测。
图13a展示由标记图像的辐射照明的像素化传感器的描绘。举例来说，如果手持式装置的相机的通带对应于带通滤波器(例如，如参看图12所描述)，使得(理想地)像素化传感器仅响应来自标记的电磁辐射，那么像素接收的标记辐射的量将决定所述像素的输出值。根据一个实施例，每一像素具有8位输出，从而允许256个不同的强度值。
在(理想地)仅标记图像辐射照射到像素化传感器上的情况下，被来自标记的辐射完全照明的那些像素将产生逼近256的“高”输出值，仅被来自标记的辐射部分照明的那些像素将产生约128的“中等”输出值，且未从标记接收任何辐射的那些像素将产生约0的“低”输出值。当然，手持式装置定位得距标记越远，所陈述的值可能降低。图13a已将被来自标记的辐射照明的那些像素区域描绘为“暗”。显然，可观察到变暗的圆。因此，理想地，圆内的像素的值将逼近256，所述圆外围处的像素的值将约为128，且圆外的像素的值将约为0。在此情况下，这些值的与其相应像素的二维(x，y)坐标相关的集合对应于标记的图像(或者，像素化传感器的输出信号针对此标记图像)。
图13b展示大于图13a的标记图像的标记图像的表示1302。此处，如在光学领域中所充分理解的，光可聚焦为光的较小“点”。图13a表示当光学通道1102中的光学处理经设计以将标记图像聚焦为较小图像时的标记图像。相比而言，图13b展示当光学通道1102包含漫射器或有意地设计有定位在光学通道的输出焦点之前或之后的传感器1103因而有意地使标记图像模糊时的所述同一标记图像。通过有意使标记图像模糊，标记图像较易于通过标记位置检测算法检测。
这种反直觉的结果(即，当标记图像未明确地聚焦时，检测标记图像位置的分辨率得以改进)是由于图像中存在较多像素(即，数据)的缘故。通过适当处理此图像数据，有可能执行高分辨率插值，所述高分辨率插值可实现对图像的真正中心的较准确的确定。这允许随着用户改变他/她的指向方向或定向而进行更好且更平稳的跟踪。用于实现此分辨率增加的折衷办法是传感器上峰值信号较弱，因此，在信号太弱以致无法检测之前可容许的标记图像扩展的量存在限制。实际上，标记图像大小与信号强度之间存在最佳平衡，其取决于若干系统因素，例如，标记图像信号强度、传感器敏感度、传感器上的噪音和背景信号、标记间隔，和标记到用户的最大距离(标记图像一旦在传感器上开始彼此冲击就不得进一步加宽)等。
图14和图15涉及标记位置检测技术。图14展示检测由手持式装置的传感器呈现的多个标记图像的位置的过程。图15提供传感器的输出信号的示范性描绘。根据图14的过程，在传感器的输出信号中检测1401标记图像(在简单情况下，例如图15的标记1505′_1的“标记”)。此处，可(例如)通过识别传感器的像素阵列的具有提供“高”输出值(预定阈值以上)的足够数目的相邻像素的区域来辨别标记。
一旦识别出标记，就进一步处理所查明的标记1504′_1周围的区域1402、1502内的像素数据，以识别标记的“位置”。图13b的标记图像1302可视为与区域1504′_1相关联的数据的示范性说明。回忆一下，每一像素位置具有随着照明像素位置的来自标记的辐射的量增加而增加的相关联的强度值，图13b的标记图像1302可视为强度值的阵列。
如图14所描绘，沿x轴将强度值“水平”求和1403′_1，从而针对所提取的数据区域1504′_1中的每行数据，产生所述行的总计强度值。由于标记图像的形状的缘故，这些总计强度值在所提取的数据区域1504′_1的垂直扩展区域上的分布将近似“钟形曲线”1305的分布(例如，高斯或类高斯分布)。类似地，沿y轴将强度值“垂直”求和1403′_2，从而针对所提取的数据区域1504′_1中的每列数据，产生所述列的总计强度值。
同样，由于标记图像的形状的缘故，这些总计强度值在所提取的数据区域1504′_1的水平扩展区域上的分布将近似另一“钟形曲线”1303的分布。接着，将曲线拟合函数1404_1、1404_2应用于这些分布1303、1305中的每一者以为其每一者界定经拟合的连续曲线1304、1306。接着，将水平拟合曲线1304的最大值取作标记图像1405_1的位置的x坐标值1307(x0)，且将垂直拟合曲线1306的最大值取作标记图像1405_2的位置的y坐标值1308(y0)。接着，针对下一标记重复1407所述过程，直到已查明所有标记并确定其位置为止。除了简单的峰值检测外，还可使用其它中心确定方法，且所述其它方法尤其在束分布不是平滑或对称函数的情况下可能是有益的。
一个此类方法基本上确定拟合曲线的宽度(例如，极大半宽-FWHM)，并将标记中心取为FWHM点之间的中心位置。在此情况下，中心可能与峰值位置不同。也可使用此方法的其它变化形式。使用这些标记中心确定算法，子像素分辨率似乎是可能的。可实现的分辨率受到信号中的噪音和数字传感器中取样的位的数目限制。举例来说，以8位数字化取样的无噪音信号将允许小于0.005的像素空间分辨率。信号取平均可使此分辨率增加更多。实际上，系统噪音和背景信号的存在导致通常范围在0.01与0.1像素之间的减小的分辨率。
4.0绝对手持式装置指向的数学关系式 下文提供用于实现对于1、2、3和4标记系统的绝对手持式装置指向和位置跟踪的各种数学方法的详细论述。
4.11-标记实施例 根据1-标记实施例的一种方法，主要任务是将位于手持式装置中的传感器的指向方向与显示器上所需的光标位置相关。这通常是涉及显示器(x′，y′)和光标(x，y)两者的水平和垂直坐标的二维问题。由于所述轴正交，所以相关等式可分离，且可为每一轴独立地导出公式。因此，首先提供针对水平轴(x′和x)的计算。接着将这些计算扩展到垂直轴(y′和y)。
图16展示坐标系统和符号规约。从“俯视图”角度来看，说明水平维度中两个不同的指向方向，以展示变量如何相关。类似情形可适用于垂直维度中。使传感器1603与显示器1600′坐标相关的基本等式是 (1)x′CUR-x′REF＝Mx·[xo-xREF] 其中x0是传感器1603的坐标原点或对应于所需的指向方向的坐标(在优选实施例中，x0在传感器1603上的中心像素附近，或更好地说，传感器的视场1604的中心在光标x′CUR处)；xREF是传感器1603上参考标记图像的位置(其随着传感器1603移动而移动)；x′REF是参考标记相对于显示器1600′的实际位置；x′CUR是显示器1600′上所需的光标位置(其也随着传感器1603移动而移动)；Mx是确定传感器1603与显示器1600′坐标之间的映射的放大比例因数(scale factor)或比例常数(proportionality constant)。M取决于若干系统因素(例如，传感器相对于显示器的位置、传感器视场、显示器大小，和传感器相对于显示器的定向)，且一般来说，x，x′和y，y′坐标对于M(Mx和My)可具有不同的值(量值和符号)。
等式(1)表示参考标记到显示器光标的距离1605_1、1605_2以及参考标记图像到传感器原点的距离1606_1、1606_2在其各自局部坐标系统中线性相关(即，成比例)，且比例常数或比例因数为M。
为了将(1)转化为用于跟踪和移动显示器光标的实际算法，根据一个实施方案，使用在相对于屏幕的特定位置处执行的初始校准例行程序来确定(1)中的若干因数。实际上，x和y位置将对应于传感器1603上的像素数目，且x′和y′位置将对应于显示器1600′上的像素数目。还注意到，像素数目与各自坐标系统中像素的总数目相关，且因此应相应地使x(y)和x′(y′)规格化。
校准期间确定的(1)中的因数为Mx、x0和x′REF(其中，xREF是传感器1603上所测量的参考标记像素数目，且x′CUR是算法的输出——显示器光标的像素数目)。一般来说，x0可以是对应于传感器1603上的原点的任何特定像素数目，然而，最自然地会使用近似中心。举例来说，阵列大小为640×480的传感器将具有x0～320和y0～240。然而，对于一个实施方案，这些值不需要在校准之前明确地确定。实际上，在校准期间自动确定x0和y0，如下文将展示。
因此，Mx和x′REF是校准期间明确地确定的两个因数。一种确定x′REF的方法可以是物理上测量其x′位置和显示器1600′上相应的相关像素数目。注意，参考标记不必物理上位于显示器1600′本身内。
一种同时确定x′REF和Mx的较简单且较准确的方法是使用显示器1600′上已知位置处显示的两个可见校准参考点。一般来说，校准参考点将具有不同的x和y坐标，例如位于屏幕的相对角落处。通过将传感器1603依次指向两个校准参考点并针对每一参考点记录传感器1603上相应的标记图像位置(使得记录一对参考标记图像位置——一个针对第一校准参考点且另一个针对第二校准参考点)，可针对所述用户位置确定Mx和x′REF两者。在此程序中，x′CALA和x′CALB表示已知的校准参考点位置，且xREFA和xREFB是参考标记的相应记录的传感器图像位置。这些量分别替换等式(1)中的x′CUR和xREF x′CALA-x′REF＝Mx·[x0-xREFA] (2) (3)x′CALB-x′REF＝Mx·[x0-xREFB] 使这两个等式进行减法运算产生Mx的以下表达式 其中，Δx′CAL是显示器上校准参考点的间隔(以像素计)(x′CALA-x′CALB)，且ΔxREF是传感器上相应的标记图像位置的所测量的间隔(以像素计)(xREFA-xREFB)。一旦从等式(4)中确定Mx，接着就可从等式(2)或(3)中确定x′REF (5)x′REF＝x′CALA-Mx·[x0-xREFA]＝x′CALB-Mx·[x0-xREFB] 或者，可通过将等式(2)和(3)两者求和并除以2来获得x′REF 将等式(6)代入等式(1)中并将各项重新整理产生依据所测量的量的光标位置的公式 其中，Mx是从等式(4)中确定的。等式(7)的右手侧的第一项表示相对于给定指向方向的参考标记图像的实际像素位置(xREF)，在校准期间传感器上标记图像的平均像素位置(1/2(xREFA+xREFB))，均以Mx按比例缩放。其基本上确定显示器1600′上光标将随着参考图像在传感器1603上移动而移动的量。右手侧的第二项是屏幕上校准参考点的平均像素位置，且其表示为了实现视线指向(line-of-sight pointing)而施加到光标位置的任何偏移。
图17展示显示器1700′和传感器1703参考系中各个(x和y)坐标的实例。
注意，等式(7)与x0无关，因为其在将(6)代入(1)中时消去。这是基于等式(1)中的x0与等式(2)和(3)中的x0相同的假定。一般来说是这样，但情况不一定如此。换句话说，有效x0将由校准程序期间的指向方向确定。校准期间指向的任何偏移(有意或无意的)均将导致使用期间光标的相等偏移。
如之前所陈述，上述分析关注于水平维度。类似的推导可应用于垂直维度，且等式(1)-(7)在垂直坐标中具有等价的对应形式。因此，通过下式确定y和y′维度中所得的光标位置 从等式(4)了解到，M(Mx和My两者)是校准期间用户相对于显示器1600′的位置的函数(ΔxREF取决于用户的位置)。因此，如果用户的位置改变，那么M将相应地改变。非常近似地且在大多数情况下，M随着用户距显示器的距离L从其初始化值L0变化而线性地变化。
其中M0是对应于L0的校准比例因数。
根据本方法，参看图18，从传感器1803到参考点1810′_1、1810′_2的中点1811′(例如，显示器1800′的中心)测量L和L0。因此，如果用户移动距显示器1800′或执行初始校准的参考点的距离的两倍那样远，那么M也将加倍。另外，M还取决于用户相对于显示器1800′的视角的变化。可通过在等式(9)中添加三角校正因数来说明视角变化 其中，θ0是对应于初始校准条件的视角(从屏幕法线测量到的)，θ是用户已移动之后的当前视角，且d是显示器上的校准参考点1810_1、1810_2(以实单位(例如，cm或mm)测量)之间的距离(沿x或y轴)。等式(10)是视角和距离变化对比例因数M的影响的准确表达式。然而，在大多数情况下，括号中最后一项是小校正因数，其可被消掉而不会引起M的实质或显著误差。因此，可使用M的近似且简化的表达式 如在等式(10)中可看到，括号中的项接近1且在以下一般条件下可忽略当校准期间(θ0)和使用期间(θ)视角相对较小时，或当d与L和L0相比较小时。在典型的操作条件下，用户的视角变化小于～250，且距屏幕的距离至少是校准标记间隔的两倍。在此情况下，由于使用等式(11)而引入的误差小于～1％，其完全在正常情况下用户的感知能力以下。在校准接近θ0＝0之后用户移动到系统的操作范围(通常θ～45°)的边缘且用户移动成非常接近屏幕(d～L)的极端条件下，误差为～12％，其可能可由一些用户察觉到。
实际上，可通过校准更接近操作位置(例如，θ0更接近45°)来减小此误差。一般来说，如果预期极端操作条件，需要非常高的指向准确性，或者不可能或不需要进行临时的再校准，那么可使用准确的公式(等式(10))以便使指向误差最小化。但是，对于大多数情况来说，等式(11)适于确定正确的校准比例因数。并且，回忆M具有用于等式(7)和(8)中的x和y分量两者。因此，等式(10)和(11)中出现的视角具有分别确定Mx和My的x和y分量两者。并且，注意，等式(10)和(11)假定运动仅在一个平面中进行，或θ仅具有x或y分量。任意运动的一般情况涉及更复杂的等式且在稍后章节中加以解释。图18所示的x′维度中等式(10)和(11)的几何条件指示手持式装置相对于显示器1800′和参考点1810_1、1810_2从初始校准位置(对应于θ0和L0)向最终位置(对应于θ和L)移动。
如上文所提及，一种说明距离和视角变化的方法将是，当用户的位置改变足以产生指向准确性的显著误差时重复校准过程。在不知道(直接或间接地)L、L0、θ和θ0的情况下，再校准是随着用户的位置改变补偿M的唯一选择。因此，为了避免需要再校准，有必要有效地测量L、L0、θ和θ0，使得可使用等式(10)或(11)。当然，这些因数的直接物理测量将允许校准校正；但是，此方法在实践中并不特别可行。然而，通过向系统添加一个或一个以上参考标记，有可能将距离和视角确定两者并入到基本指向能力中。除了允许自动和动态校准校正外，对多个参考点所实现的额外自由度的敏感度开发了新的能力。2-标记布置的分析是下一章节的主题。
4.22-标记实施例 通过向系统添加第2固定标记，可解决(I)中描述的校准校正问题。可这样做是因为，可在用户相对于屏幕移动时监测标记图像间隔。标记图像间隔的变化可用于确定等式(10)或(11)中的校正因数，而不用明确地知道距离或视角。接着可实时修改M，而无需再校准程序。然而，因为M的变化取决于L和θ两者，所以不可能在没有额外信息的情况下分离距离和视角变化对M的影响。尽管仅可感测并说明其组合的影响，但这对于校准校正来说已足够。下一章节中描述的第三标记的添加允许独立地检测距离和视角。
可以与章节4.1中描述的方式类似的方式在2-标记实施例中执行自动校准校正。在此情况下，由于不必分离距离和视角变化的影响，所以等式(10)和(11)不是必需的。对于校准校正来说重要的仅是标记图像的间隔的变化，而不论所述变化是由距离变化还是视角变化产生。因此，仅需要等式(4)来随着用户移动修改M。在此情况下，等式(4)中的ΔxREF变为传感器上两个参考标记的图像之间的间隔(而不是显示器校准标记间隔)。随着用户相对于屏幕移动，比例因数M将随着ΔxREF变化而自动调节。此动态校准与上文描述的初始校准之间的关键差异是以下事实用于校准的两个标记在操作期间一直被感测，且因此用户无需执行4.1中描述的校准程序以便在移动之后更新比例因数M。
在一个实施例中，将两个参考标记放置成彼此足够接近并足够接近显示器，使得在所有操作条件下其两者均保持在传感器的视场内。另一方面，其应充分分离使得其可在距显示器最远的操作距离处或在最大视角处进行空间分辨。存在可用于上文参看图5c描论述的参考标记的多种布置(例如，屏幕的相对角落上各一个、居于邻近侧的中心、在同一侧彼此接近等)。每一布置具有其潜在的优点；然而，实践中，两个标记通常位于屏幕的同一侧并分开几厘米(通常5到15cm)。
这种布置是最便利的，因为其允许将两个标记放置在同一罩壳中并用线连在一起以便由单个电源供电。尽管可使用显示器的任一侧，但通常最便利的是将标记设备放置在显示器顶部并接近水平中心。准确的位置并不重要，只要标记组合件在校准之后不会明显移动即可。还应注意，如果两个参考标记具有相同的x′或y′坐标，那么不存在关于正交坐标的额外空间信息，且因此，在此情况下，仅可沿着一个轴执行动态校准校正。然而，对于用作远程控制装置来说，大多数用户的移动将沿着水平(x′)轴，且因此，允许对Mx进行动态校准的具有相同x坐标的两个参考标记对于大多数应用来说是足够的。
基本上，两个参考标记提供关于装置的位置和定向(即，自由度或DOF)的额外空间信息。除了动态校准外，此信息还可用于依赖于对装置的DOF的测量和跟踪的多种其它功能。可使用2-标记实施例跟踪的两个额外DOF是装置滚动(即，围绕传感器的z轴或装置与屏幕之间的线旋转)和距屏幕的距离。如上文所陈述，角度和距离敏感度在2-标记布置中实际上是耦联的，如等式(10)和(11)中所说明。然而，在用户的视角在操作期间不改变许多的情况下，2-标记布置可有效地用于使用等式(9)和(4)的变化形式来监测距离变化 其中，在此情况下，ΔrREF是传感器上两个参考标记的图像的所测量的间隔，且ΔrREF0是对应于传感器与实际标记本身之间的中点之间的已知距离L0的两个参考标记的图像的间隔。一般来说，传感器上标记的图像之间的间隔的标准公式是其中Δx是传感器上两个标记的图像的x坐标的差，且Δy是传感器上两个标记的图像的y坐标的差。
使用等式(12)进行距离测量的程序是，记录在传感器与实际标记之间的中点之间的已知距离L0(其可被测量)处，传感器上标记图像之间的间隔ΔrREF0。其后，使用等式(12)跟踪L。并且，由于ΔrREF0和L0是常数，所以可将其组合为系统常数，所述系统常数可凭借经验确定(例如，初始地)并插入等式(12)中。也可能通过使用系统的其它已知方面在不执行上述初始测量的情况下确定并跟踪L。举例来说，如果成像透镜的焦距(或等效地，光学系统的视场和传感器大小)以及实际的参考标记间距Δr′REF是已知的，那么原则上，通过下式确定传感器到屏幕(或放置在屏幕附近的参考标记)的距离 其中，f是成像透镜焦距，ΔrREF是传感器上参考标记图像的间距，Xs是x维度中的传感器大小，且tanθ1/2是传感器系统的半角视场(视场的一半)的正切。
依据关于系统的哪些信息是已知的，等式(13)中的任一表达式可用于确定L。举例来说，典型的布置可能具有10cm的参考间隔、50°的视场，和x维度中具有总共640像素的传感器。对于x维度中40像素的所测量的参考图像间隔，等式(13)提供距屏幕的距离为1.71m。随着用户移动，ΔrREF将相应地变化，且对用户的距离进行跟踪。
等式(12)和(13)基本上是等效的，且可使用任一者。然而，等式(12)将系统参数并入直接测量的量L0和ΔrREF0中，且是一种在先前不了解系统的情况下确定适当比例因数的方式。并且，等式(13)假定用户的视角为0°。另外，可使用说明倾斜观看的类似于(10)和(11)的等式。等式(12)基本上通过直接校准测量程序来说明用户的视角(只要视角在校准之后不变)。
可能使用2-标记实施例测量并跟踪视角以及距离。关键是存在唯一取决于视角(优选为量值和符号两者)并允许角度与距离分离的参考标记的一个或一个以上特性。一个此类特性是在不同方向上定向的两个标记的相对信号强度。图19展示一个此类布置，其中标记沿x′轴指向不同方向。还展示作为相对于屏幕法线的角度的函数的每一标记的强度分布1901、1902。在此布置中，随着用户移动到直视图的一侧或另一侧，来自两个参考标记的相对信号强度(即，两个所测量信号的比率)将与视角成比例而变化，且所述比率对于直视图的每一侧将不同。
以此方式，由于所述比率不取决于距离，所以可确定角度且所述角度与上述距离测量分离。一种实施此配置的直接方法将是，通过用传感器测量并记录针对屏幕的法线轴的每一侧多种已知视角的来自每一标记的信号强度来校准系统。接着计算每一角度的信号比率，且可从数据中产生函数或查找表。或者，如果参考信号的空间分布是已知的，那么可产生或估计信号比率与视角的分析表达式。举例来说，如果每一参考源的角分布为高斯(光源的常见形式)，那么两个源的信号比率与视角R(θ)是简单的指数函数，其衰减率取决于每一分布的宽度Δθ以及所述源之间的角距2θ0，其两者均可使用校准程序来测量或确定。
根据以上等式(14)，A1是第一参考标记1903的峰值信号强度，且A2是第二参考标记1904的峰值信号强度。
等式(14)和图19假定两个标记具有相同的分布宽度和相对于屏幕法线的倾斜角。可针对任意倾斜和不同宽度的一般情况修改表达式，但图19的对称布置是最普通的。使用此方法也可能实现参考标记的其它信号分布，此方法产生信号比率与视角之间的一对一关系。此方法的主要缺点是，必须使每一参考标记的指向方向偏移，使得其间的角度是其角分布的有效分数。这结果是对于系统的视角减小。
视角减小量近似等于标记的指向轴之间的角距，且因此需要使此间隔最小化。然而，如在等式(14)中所见，角度敏感度R随着角距而增加，因此视角范围与视角分辨率之间存在固有的折衷。还应注意，除非标记在x和y两个方向上均成角度，否则上述“成角度标记”配置将在一个维度中运作，其影响进一步减小了有效视角。最后，只要两个标记(例如，LED)的光功率(A1和A2)的任何变化相关使得其在任何视角的比率(等式(14)中A1/A2)随着时间的变化均保持恒定(例如，其功率均降级10％)，使用标记信号比率的方法就较好地运作。
然而，如果标记的功率或空间分布任一者与另一者不同地变化(例如，由于不相等的功率降级的缘故)，那么引入视角校准的误差，且应执行再校准。此潜在问题的一种可能的解决方案将是，使用较不可能发生相对信号变化的反射(例如，回复反射器(retro-reflector))标记设计。因此，虽然成角度标记配置原则上允许在2-标记实施例中独立地确定距离(根据标记间隔)和视角(根据信号比率)，但所引入的减小的视角、增加的复杂性和潜在误差限制了其在实践中的有用性。单独感测和跟踪距离和视角的优选方法使用三个或四个标记。接下来的章节中描述这些实施例。可使用2-标记布置测量的另一DOF是“滚动”，其为围绕装置的z轴(垂直于传感器阵列的平面的轴)的旋转。对此DOF的跟踪指示用户在将装置指向屏幕时已使装置旋转(例如，通过扭动手腕)的量值和方向。测量和跟踪装置滚动的能力引入可通过简单的手腕动作实现的新的功能和控制的可能性。作为两个标记的参考标记图像坐标的函数，滚动角Φ的一般表达式是 其中，Δxi＝xi2-xi1且Δyi＝yi2-yi1，且i＝0对应于与Φ＝0滚动角相关联的坐标，且i＝1对应于与滚动角Φ相关联的坐标。Φ＝0滚动角通常对应于正常操作条件，其中用户正用手持式装置竖直指向屏幕且手腕处于其中间位置。视需要，通过针对装置的其它定向再校准Δx0和Δx0的值可能存在其它Φ＝0滚动角定向。
等式(15)是相对于显示器的参考标记的任意(x′，y′)坐标的一般表达式。等式(15)的符号规约是，装置的顺时针方向旋转(当指向屏幕时，从装置的后部观看)对应于正滚动角。图20说明对于任意2-标记布置，滚动中涉及的几何结构。在2-标记实施例的许多布置中，标记相对于屏幕边缘水平或垂直地放置。在水平放置的参考标记的特殊情况下，Δy0＝0，且因此等式(15)缩减为 且在垂直放置的参考标记的情况下，Δx0＝0，且等式(15)缩减为 因此，可使用结合适当等式(15)-(17)实时测量的传感器上两个标记的参考标记图像坐标来测量并跟踪滚动角。注意，一般来说，Δxi和Δyi均可取决于用户的视角(他/她相对于屏幕的位置)，且因此，甚至在装置滚动无变化的情况下，表观Φ也可随着视角而变化。因此，当使用等式(15)时，用于Δx0和Δy0的值必须对应于与用于Δx1和Δy1的那些视角近似相同的视角。这可通过周期性地再校准以记录新的用户位置的Δx0和Δy0的新值来实现。
对滚动角的敏感度的一个结果是，随着装置旋转，其参考系也相对于屏幕的参考系旋转。这具有产生参考标记的表观旋转的效果，视装置的指向方向而定，所述表观旋转可导致指向方向表观平移。因此，如果不进行校正，那么即使装置的z轴(指向方向)不变化，装置滚动也可能导致无意的光标移动。另外，由于传感器的坐标轴旋转，所以装置旋转时发生的指向方向的任何变化均将导致光标移动方向的误差，所述误差与滚动角成比例。举例来说，如果装置滚动为45度且用户接着以水平方式改变指向方向，那么光标将相对于屏幕轴而不是水平地移动45度。
为了适当地说明和校正传感器坐标轴的旋转，应在跟踪算法中去除装置滚动的影响，使得光标位置和运动正确地对应于装置的真实指向方向。滚动补偿程序的第一步骤是，使用等式(15)-(17)(无论哪一者均合适)准确地感测滚动角。为了补偿滚动并正确地维持光标位置，通过使原始(x，y)坐标围绕传感器原点(x0，y0)旋转Φ来产生传感器的新的参考系。在大多数情况下，对应于指向方向的原点是阵列中的中心像素。涉及围绕点(x0，y0)旋转角度Φ的坐标转换的一般表达式是 xφ-x0＝(x-x0)·cosφ+(y-y0)·sinφ (18)yφ-y0＝-(x-x0)·sinφ+(y-y0)·cosφ 其中，(x，y)是原始坐标(旋转之前)，且(x，y)是经转换的坐标(旋转之后)。同样，此处使用的符号规约是，传感器的顺时针方向旋转(当其指向屏幕时)对应于正Φ。等式(18)确定经旋转的坐标系统。为了补偿旋转并维持适当的光标位置，必须将等式(18)转换回原始坐标系统 x-x0＝(xφ-x0)·cosφ+(yφ-y0)·sinφ (19)y-y0＝(xφ-x0)·sinφ+(yφ-y0)·cosφ 等式(19)将所测量的参考标记图像坐标转换回旋转之前的坐标系统。应用此转换具有两个效果其维持正确的屏幕光标位置，且其随着旋转的装置的指向方向变化而产生屏幕光标的适当跟踪方向。每一标记图像的经转换的(x，y)坐标接着用于光标跟踪算法中(例如，等式(7)和(8)中的xREF和yREF)。还应注意，用于光标跟踪的比例因数Mx和My可能需要根据所测量的滚动角进行修改。在大多数情况下，光学系统的放大率对于x和y是相同的(通常使用球面透镜)。然而，由于Mx和My是依据像素数目来界定的，所以转换中应考虑传感器的像素尺寸。一般来说，在光标跟踪算法中，Mx转换为

且My转换为

其中，px和py是各自的传感器像素尺寸。使用等式(19)与等式(15)结合的程序允许在装置以任何滚动角旋转时通过2-标记实施例进行准确的指向和跟踪。
注意，在2-标记实施例中，由于传感器上存在两个参考标记图像，所以可稍许修改使用上文在一个标记方法中所论述的等式的指向和跟踪算法来虑及第2标记。原则上，等式(1)-(8)中的每一者具有两个版本-每一标记一个版本。然而，由于标记相对于彼此是固定的，所以每一等式的两个版本只是相对于彼此在空间上移位，且因此包含用于指向和跟踪的冗余数据。因此，仅一组等式实际上可用于指向和跟踪。当然，多标记实施例中的额外标记可用于额外的DOF(例如，视角、距离和滚动)，但可仅用一个标记来实现基本指向。
因此，多标记实施例中的指向的另一方法使用1-标记布置的等式的等效形式。可使用这些等式的若干形式——各具有优缺点。最简单的方法将是，使用对应于标记之一(例如，2-标记实施例中的标记1)的等式进行校准和跟踪两者。类似方法可用于3-标记和4-标记布置。或者，可使用由实际参考图像中的一些或全部图像构成的参考图像坐标。这种方法的简单实例将是两个或两个以上标记的“质心(center of mass)”坐标或平均坐标。因此，对于n个标记来说，有效参考坐标将是 其中，xREFi是第i个参考标记的传感器上的参考标记图像坐标。类似表达式将适用于y坐标。
接着，将有效参考坐标用于上文章节4.1中针对一个标记实施例描述的指向和跟踪算法。参考坐标的其它加权平均值也可用作光标跟踪的参考点。n-标记实施例中使用平均坐标作为参考的潜在益处是产生较准确且稳定的参考点，因为个别标记坐标的任何随机波动都将趋于达到平均数。并且，由于存在每一标记的身份不清楚的情况，所以最好可能是将平均位置视为参考。举例来说，装置可能倾斜或颠倒，在此情况下，标记图像与参考1和2的对应变得不明确，这将导致屏幕光标位置的偏移。折衷办法是跟踪算法的复杂性稍许增加，但大多数情况下所需的增加的计算量相当小。
在两个参考标记位于不同的x′和y′坐标处(例如，以对角方式定位在屏幕的相对角落处)的情况下，可能除了上述动态校准调节外，还使用两个参考标记而不是章节4.1中描述的可见显示器校准点来执行初始校准。这种用于校准所述装置的替代程序具有的潜在优点是，校准可能较快且较简单(且在此程序的一个版本中，可完全避免单独的校准步骤)。然而，在这些替代方法的每一者中，光标跟踪等式均需要一些修改。上文章节4.1中针对1-标记布置中的指向和跟踪而描述的基本推导对于2-标记布置仍有效，只是现存在两组等式，一个等式对应于一个参考标记。此额外的参考信息依据各种可测量系统参数产生光标位置的两个不同但等效的表达式。每种方法均具有其益处和缺点。下文展示每种方法的相关结果。不展示与针对1-标记的推导类似的详细推导。
在一种方法中，使用“单步骤”校准程序，其中用户将手持式装置指向屏幕上的已知位置(x′0，y′0)。用户所指向的单个可见标记或图标可显示在显示器上以有助于校准准确性，但这并不是必需的，尤其当使用例如屏幕中心或角落的容易定位的位置时。当用户正指向(x′0，y′0)时，记录两个标记的相应的传感器坐标(x0REFA，y0REFA)和(x0REFB，y0REFB)。接着根据所测量的量确定屏幕光标位置 尽管执行校准步骤，但容易地测量所测量的量，且其不取决于对参考标记的物理位置的了解。本质上，等式(21)通过跟踪传感器上平均参考标记位置相对于平均参考点位置的移动来确定相对于已知参考“点”(例如，显示器的中心)的正确光标位置；所述平均参考点位置又对应于已知的显示器参考点。
不需要单独校准步骤的另一方法使用参考标记的实际已知位置。此情况下光标位置的等式是 其中，(x′REFA，y′REFA)和(x′REFB，y′REFB)是参考标记的位置(在屏幕坐标系统中以像素测量)，且(x0，y0)是对应于手持式装置的光轴的传感器的原点。其通常(但不一定)在传感器的中心像素附近。举例来说，如果光轴不平行于传感器法线轴，那么传感器原点可能从中心像素偏移。这可能发生在透镜轴不位于传感器中心处时。使用这种方法，一旦已知标记位置(且其保持固定)，就不需要校准程序。然而，如果参考标记移动且在等式(22)中未说明新的位置，那么此方法可能容易出现误差。如果参考标记移动，那么基于校准的方法将仅需要简单的再校准。
对于上述两种光标跟踪方法中的每一者，比例因数M相同 等式(23)是等式(4)的等效形式，其中使用两个参考标记的已知间隔(Δx′REF)代替Δx′CAL，且ΔxREF是传感器上两个参考标记的图像的间隔。注意，ΔxREF＝Δx0REF，因为标记图像间隔不取决于(非常近似地)指向方向。类似的论点适用于y坐标。还应注意等式(4)与(23)之间的符号差异。这是由于两种校准方法的差异的结果——依次指向两个校准标记(等式(4))与单个步骤记录两个参考标记(等式(23))。用于校准及光标指向和跟踪的上述三种方法(2步骤、1步骤和无校准)的每一者具有相关联的优点和缺点，且任一者均可在2-标记实施例中适当条件下使用。然而，当两个参考标记沿x′或x′轴对准时，需要章节4.1中描述的基本2步骤方法。
4.33-标记实施例 尽管存在原则上允许检测所有六个DOF的2-标记布置，但其相对于检测所有六个DOF的实际实施方案来说各具有一些限制。通过使用3-标记布置或4-标记布置，感测所有六个DOF可能较易于实施。通过添加第3参考标记，可利用允许距离与视角分离的额外空间信息。可以与2-标记实施例类似的方式实现指向和旋转(滚动)跟踪。当将第3标记添加到2-标记布置并放置在同一z′坐标处(例如，屏幕的三个角落的每一者附近的标记位置)时，仅存在超越2-标记布置的最少额外信息(例如，屏幕的邻近侧附近的标记)。在此情况下，第3标记仅增加用于使距离与视角分离的逐渐有价值的参考数据。
然而，依然存在视角的不确定性(屏幕中心的左与右或上与下)。通过将第3标记从x′-y′平面(屏幕的平面)移出到不同的z′坐标，因而在无不确定性的情况下执行完全的指向和定向跟踪变得可能。标记将在传感器的视场内(即，用户正指向屏幕附近某处)，且用户将在标记的视场内(例如，用户不能站得离侧部太远或不能站在屏幕后方)。典型的标记视场为(+/-)30-45度，其与用户自身的实际屏幕视角一致。此章节将关注后者“平面外”3-标记布置。另外，之后通过从上文章节4.2中提供的2-标记分析延伸而关注“平面内”3-标记布置。
图21a和图21b中展示平面外布置。利用所述布置，传感器上的标记图像位置允许在x和y维度两者中测量视角的量值和符号两者(其它3-标记和2-标记布置仅允许视角量值检测)。一种布置(图21a和图21b中所示)的所有三个标记2101_1、2101_2和2101_3均在显示器2100′的同一侧并彼此紧密靠近。这具有的实际优点是，所述标记可放置在常见外壳中并容易由单个电源供电。其也可减小传感器的所需视场。然而，一个标记放置在x′-y′平面外的三个标记的任何布置均是可接受的。以下等式假定距屏幕的距离比标记间隔大得多或用户视角较小(参看等式(36))的远场条件。在计算x′和y′的视角时，下文导出两组等式。在第一组中，给出简化的表达式，其在用户处于x′-z′平面或y′-z′平面中或附近的常见但特定的情况下有效。这些条件允许在将所测量的标记间隔与距离和视角相关的基本等式中将θx或θy设定为0，因此产生相对简单的公式。此情况是相关的，因为许多实际情况可涉及用户被限于这些平面或这些平面附近。在这些情况下，可能有用的是，实施与较复杂的一般解决方案相比较简单的公式。在第二组中，针对任意用户位置给出一般表达式，同样使用远场近似。参看图21a，依据系统常数和可测量的标记坐标，x′维度中视角的表达式(假定θy≈0)为 其中，d是沿x′维度两个外标记(1和3)之间的实际标记间隔，D是z′维度中中间标记(2)相对于标记2101_1和2101_3的偏移，且是传感器2103上标记图像i和j之间的间隔。括号中的第二项表示中心标记(2)不放置成与外标记(1和3)的每一者等距的标记的不对称布置情况下的潜在恒定偏移。在此情况下，通过当直接定位在显示器2100′前方(θx＝0)时执行标记间隔的测量来确定偏移项。或者，可通过给测量值加上恒定“偏移角”或从测量值中减去恒定“偏移角”来说明偏移。可从不对称布置的几何结构中简单地确定偏移角θx0。
其中，δr′0是中心标记从外标记的中点发生的偏移。使用等式(25)，视发生偏移的方向，给测量值加上偏移角或从测量值中减去偏移角。对于图21a和21b及等式(24)中所示的几何结构，符号规约是，正视角对应于屏幕中心的右手侧，同时面对屏幕的观看侧。因此，如果中心标记在中点左侧，那么从测量值中减去偏移角，且如果中心标记在中点右侧，那么给测量值加上偏移角。还应注意，如果使用等式(25)说明任何偏移，那么等式(24)中的偏移项因其执行相同功能而被消掉(δr0ij＝0)。
然而，在图21a和图21b的布置中，标记2101_1到2101_3对称放置，且偏移项消去或变小而可以忽略。并且，对于图21a和图21b所示的优选布置，标记水平布置(沿x′维度)，因此除非手持式装置旋转，否则θx计算中通常将不存在y坐标，在此情况下，等式(24)缩减为仅是x坐标的函数。然而，如果装置在视角测量期间旋转，那么标记图像坐标可能具有x和y分量两者，在此情况下，使用等式(24)。注意，尽管标记图像坐标和间隔取决于用户距屏幕的距离，但等式(24)不取决于用户距屏幕的距离。这是因为，公式规格化，使得距离变化同等地影响分子和分母两者。
使用图21a和21b的布置，其中三个标记沿着x′轴，显然，存在使中心标记图像2遮蔽外标记图像1、3中的一者的角度，且因此，为了获得较大视角，标记图像2移动越过标记图像1或3，从而导致标记身份和因此视角的不确定性。可通过使D相对于d较小使得在较大视角(在系统的正常视场以外的视角)出现不确定性来解决此问题。此简单方法的缺点是，如从等式(24)可看到，角分辨率由于减小D而减小。可通过将D设定为足够小使得在正常视场的边缘处发生遮蔽以便使分辨率最大化来实现折衷方法。此方法是否充分取决于若干因素，例如，所需的角分辨率、视场、距显示器的距离、和标记间隔(d)。对于典型的指向应用来说，很可能可使D足够小以避免遮蔽且仍提供充分的角分辨率。举例来说，d＝15cm、D＝5cm、提供可用(未遮蔽)视场＞50度、全视场为45度、分辨率为0.1像素的400像素传感器(在距屏幕距离为3米处)的系统，角分辨率在直视图附近将为～0.7度，在场边缘附近(～45度)减小到～1度。这对应于横向移动～3.7cm。这一分辨率对于许多应用来说是足够的。
在需要通过增加D获得较高分辨率的情况下，避免对分辨率的损害的解决方案是，将标记中的一者或一者以上移出x′-z′平面以便防止所有视角处的遮蔽和不确定性。此方法的最简单布置使中心标记2101_2与外标记处于不同高度(即，偏移于连接标记2101_1与2101_3的线上方或下方)。对于此布置，避免了上述遮蔽，且标记图像的身份不存在不确定性——标记图像2将始终位于(例如)标记图像1和3上方。接着可视需要或实际情况使D较大，以便改进分辨率。重要的是要注意，δrij可为正或负，这取决于标记图像的相对位置。明确地说，如果x2在x1与x3之间，那么等式(24)中所有δrij均为正。然而，如果x2＜x1，那么δr21＜0，且如果x2＞x3，那么δr32＜0。在标记沿x′(标记水平)和x(无装置滚动)轴布置的典型情况下，那么不存在δrij的y分量，且不存在δrij的平方根的符号不确定性。在标记2101_2的y′偏移的一般情况下，应修改进入视角θx的等式中的标记图像2的坐标(x2，y2)的表达式来说明所述偏移。标记图像2的新坐标是两条线(一条连接标记图像1和3，且一条穿过标记图像2并与第一条线垂直)之间的交叉点的坐标。本质上，这些是在无偏移的情况下标记图像2的坐标。明确地说，用(x20，y20)替换等式(24)中坐标(x2，y2)的值，其中 且是连接标记图像1和3的线的斜率，且与滚动角Φ相关(参看等式(16))。在手持式装置在视角测量期间不旋转的典型情况下，m＝0，且(x20，y20)缩减为

其为无偏移情况下标记图像2的坐标的预期结果。
偏移布置的主要目的是，允许在标记2图像移动到标记图像1或3以外时任意视角的高分辨率。此情况在装置滚动时存在标记识别中的潜在不确定性，因为标记图像2的y坐标可能大于或小于标记图像1和3的y坐标，且正是使用标记图像2的所述y坐标来将其与其它标记图像进行区分的。在正常使用时不可能出现此情况，因为其仅在同时存在大视角(当标记在标记图像1或3以外时)和大滚动角时才发生。可能发生此情况的视角和滚动角的特定值取决于布置的细节。此潜在问题的一种解决方案是，使用标记图像的除了其y位置以外的某一特性将其与其它标记图像进行区分。举例来说，可将标记2101_2调制(反复加电和断电)或设定为与标记2101_1和2101_3不同的恒定功率电平。以此方式，可针对任何视角或滚动角确定标记图像2的身份。
在旋转的传感器的情况下使用等式(26)来确定(x20，y20)的一种替代方法是，如2-标记布置中所述来确定装置的旋转或滚动角。可使用标记图像1和3以获得Φ(与斜率m相关)并接着执行等式(18)和(19)中描述的坐标转换来完成此目的。以此方式，可使用(x20，y20)的较简单(m＝0)的表达式来确定θx。
也使用“平面外”布置来跟踪y′维度中的视角。图21b中说明几何结构。随着用户垂直移动(在y′维度中)，中心标记图像在传感器的y维度中相对于外标记图像移位。此位移(经适当规格化)用于确定θy。y维度中视角的简化等式(假定θx≈0)是 其中，δy是中心标记图像(2)的y坐标从其直视图(θy＝0)处的y坐标发生的位移。一般来说，所述位移可具有x和y坐标两者，使得其中(x2，y2)是中心标记图像2的传感器坐标，且(x20，y20)是对应于连接外点(1和3)的线与穿过标记图像2的此线的法线的交叉点的标记图像2坐标(参看等式(26))。在标记沿x和x′轴两者定向的正常情况下，位移的表达式简化为在传感器旋转或标记未水平放置的情况下，那么位移的较一般表达式与等式(26)结合使用。符号规约是，正视角对应于用户相对于直视图垂直移动。在中心标记2101_2与外标记2101_1和2101_3处于不同高度(y′)的情况下，可将说明y′偏移的角偏移添加到等式(27)。容易从几何结构中确定此角偏移θy0 其中，δy′0是中心标记2101_2的y′相对于外标记2101_2、2101_3的y′坐标发生的实际偏移。一旦从等式(27)中确定θy的值，就视标记偏移的方向而定，给测量值加上或从测量值中减去偏移角。使用针对等式(27)描述的规约，在中心标记2101_2处于外标记2101_1、2101_3上方的情况下，必须加上偏移角，且在中心标记2101_2处于外标记下方的情况下，必须减去偏移角。
结果发现，在相同条件下，角分辨率对于垂直(θy)轴与对于上述水平轴是相同的。还应注意，对于θy，不存在标记的遮蔽或不确定性，且因此D可能大到什么程度没有基本限制。因此，可通过增加D来获得θy的极其高的分辨率。然而，实践中，物理约束通常将对D施加上限。
还应注意，通过使图21a和图21b中的整个几何结构旋转90度使得三个标记(与在z′中移位的中心标记)垂直对准，而将θx与θy的表达式颠倒。最后，注意，此处描述的平面外布置的两个基本假定是，测量期间用户正指向显示器或显示器附近，且标记(至少标记2101_1和2101_3)布置成与屏幕边缘近似平行或垂直。如果标记在与显示器边缘所成的一角度处对准，那么将必须修改等式以说明此角度。更好地说，θx与θy的测量实际上参考标记轴，因此如果标记轴与屏幕轴不相符，那么必须考虑两组轴之间的角偏移，且等式较复杂。由于这个原因，正常且优选的布置如图21a和图21b中使标记与屏幕对准。
如上所述，以上等式和论述涉及用户处于θx＝0或θy＝0平面中的情况(图21a和图21b)。随着用户移出这些平面，使用这些等式的位置跟踪过程中的误差增加。对于较小的角度偏差，角度误差可在可容忍范围内较小。举例来说，如果用户在y′方向上移动+/-10°，那么在x′方向上，通过使用等式(24)引起的误差对于20°-45°范围内的视角可为2°-3°。一般来说，所述视角将通过使用特殊情况解决方案而低估不足。此误差量对于许多应用可能是可接受的；然而，随着用户进一步移出既定平面，误差可能快速增加。在任意用户位置的一般情况下，θx＝0或θy＝0条件无效，且可使用包含θx和θy两者的基本等式。在任意位置的一般情况下，标记2成为平行及垂直于连接标记1和3的线而移位。用于此情况的相应图式本质上是图21a和图21b的组合。使用远场近似使所测量的标记图像间隔Rij和L、θx及θy相关的基本等式是 其中，Rij＝δrij/δrij0是规格化为其校准值的标记图像间隔，L0是执行校准的距屏幕的已知距离，且α是从标记的布置确定的几何常数 从标记布置的顶部观看，角α本质上是连接标记1和3以及1(或3)和2的线所对着的角。除了远场条件外，等式(29)-(30)中还使用三个额外假定。这些等式假定标记对称布置(标记2沿x′轴在标记1与3之间的中间位置)，且标记2与标记1和3(如从前方观看)成一直线，如图21所示(优选布置)。虽然可能放松这些条件，但随着添加更多常数相应的基本等式明显变得更加复杂。此外，在实践中，可使用与上文针对θx＝0和θy＝0解决方案描述的那些方法类似的方法较简单地处理涉及不对称或垂直移位标记的布置。概括来说，可在最初或在校准程序期间确定例如等式(25)和(28)中的那些偏移角的偏移角，并接着向自下文针对任意用户位置提供的等式计算出的视角加上所述偏移角或从中减去所述偏移角。然而，在优选布置中，偏移将较小而可忽略或为零，且可直接使用下文给出的解决方案。另外，等式(29)-(30)假定标记1和3沿x′轴对准，其为优选布置。对于沿y′对准的标记1和3，可使用本质上使θx与θy互换的相应的一组等式。标记沿任意轴对准的其它布置是可能的，且可导出相关联的基本等式，但所述等式较复杂且涉及额外因数。
等式(29)由一组三个独立等式以及可对L、θx和θy求解的三个未知数组成。解为 其中 Δ≡R322-R212 (34)∑≡R322+R212 且K＝2sinαcosα。如从这些等式可看出，根据直接测量的量和系统常数确定θx。一旦根据等式(32)确定θx，就使用等式(32)来确定θy，且接着使用等式(33)来确定L。该组等式(31)-(34)确定任何任意点的用户位置(假设标记可由传感器检测)。然而，存在若干特殊情况，且下文予以说明。
由于等式(31)中正切函数的重复性，对于|θx|＞45°，θx的量值和符号均可能存在不确定性。通过将来自等式(31)的结果与Δ的符号进行比较来解决这些不确定性。直接根据Δ的符号确定θx的正确符号。因此，如果根据等式(31)计算出的θx的符号不同于Δ的符号，那么必须给计算出的θx的值加上90°或从中减去90°，以便确定正确的θx。举例来说，如果根据等式(31)计算出的θx的值为-40°但Δ＞0(指示θx＞0)，那么给计算出的值加上90°，从而产生经校正的θx为50°。这种情况在实践中可能较罕见，因为其仅在大视角时才发生；然而，将此步骤包含在用于确定θx的算法中是一件简单的事。并且，θy的符号不是根据等式(32)直接确定的。在此情况下，使用标记#2的相对位置来确定θy的符号。以与等式(27)中使用的方式类似的方式，一旦根据等式(32)计算出θy的量值，就可使用δy的符号来确定θy的符号。
在θy＝0的特殊情况下，可展示(使用三角和代数恒等式)等式(31)缩减为与等式(24)相同的表达式(无偏移项)。同样，在θx＝0的情况下，等式(31)和(32)缩减为 其也可展示为与等式(27)等同。最后，在θx＝+/-90°的特殊情况下(其中，用户基本上处于屏幕的平面中(z′＝0))，等式(32)分解且不能使用。实践中，此情况事实上将决不会发生，因为其在屏幕和标记的视界外。然而，在用户处于屏幕的平面中或附近(且标记可检测)时需要位置信息的不太可能的情况下，那么可根据基本等式(29)-(30)容易地导出θy的单独表达式。
此处描述的3-标记平面外布置能够确定装置的所有相关DOF——屏幕上的指向位置、距屏幕的距离、滚动角、和相对于屏幕的视角。这些参数的组合完全界定手持式装置的位置和定向。确定这些参数的一般程序本质上是先前章节中描述的那些内容的综合。使用章节4.1中描述的程序确定装置的指向方向(明确地说，装置的指向向量与屏幕的交叉)。如之前注意到，在多个标记的情况下，其中任一者可用作显示器光标参考。然而，在3-标记布置中，由于标记2101_2通常位于中心且在显示器上居于中心，所以自然地将将其用作光标参考点。或者，可使用三个参考标记的中心或平均位置(类似于2-标记布置)。注意，随着用户的视角改变，由于平面外几何结构的缘故，参考位置存在稍许偏移，但此偏移通常相当小且在典型的指向应用中不太可能被察觉到。必要时，可使用依赖于小视角的校正因数来减小指向过程中的任何偏移。接着使用此章节中描述的程序确定视角。
在章节4.2中针对2-标记布置描述的程序之后进行滚动角的确定。通常，将标记2101_1和2101_3用作用于确定Φ的两个参考标记，但可使用任意对标记，只要其位置是已知且固定的。如章节4.2中所论述，在标记不沿x′或x轴对准的情况下，表观滚动角可取决于视角。如章节4.2中所描述，一旦视角已改变，就可在Φ＝0条件下通过再校准手持式装置来避免此情况。回忆等式(15)中的Δx0和Δy0对于θx和θy具有已知相依性，也可能自动校准或从滚动中去除视角影响。因此，由于可独立于滚动角来测量θx和θy(由于仅使用标记间隔的量值而不使用其定向)，所以可从滚动测量中去除其影响。由于滚动角取决于标记图像的x和y坐标而不仅仅是其间隔，所以必须确定视角对x和y的影响。这可使用等式(29)来完成，等式(29)假定Δy0＝0(在θx＝θy＝Φ＝0的校准条件下，标记图像沿x轴水平对准)。明确地说，在典型的远场条件下，所测量的Δx0随cos(θx)而变化，且Δy0随sin(θx)sin(θy)而变化。因此，将分别通过用Δx0cos(θx)和Δx0sin(θx)sin(θy)对其进行替换来修改滚动等式中出现的Δx0和Δy0的值，以虑及视角。在远场近似无效或需要较高准确性的情况下，将需要与等式(10)类似的较确切的表达式。还应注意，可能使用等式(26)中的公式化同时确定滚动角与视角，因为所述等式中的m与滚动角相关且基本上等同于等式(16)。然而，这仅适用于水平对准的标记的情况；对于任意对准的标记，将必须相应地修改m的表达式(参看等式(15))。
由于距离测量取决于对视角敏感度(但视角测量如果适当进行的话，则不取决于距离)，所以应在已测量视角之后确定距离。并且，由于滚动角测量可能取决于视角，所以应在滚动角之前确定视角。然而，由于距离和滚动角本质上彼此不相依，所以可以任一次序对其进行确定。对于用于一般情况的直视图或等式(33)，可使用2-标记布置中使用的相同表达式(等式(12)和(13))来确定标记距离。标记同样，可使用任意对标记，但优选方法通常将使用标记2101_1和2101_3来确定距离L。
4.44-标记实施例 如章节4.3中所述，3-标记实施例能够检测所有相关DOF，且因此对于需要装置指向和位置跟踪两者的大多数(如果不是全部)应用来说将是充分的。然而，可能存在3-标记实施例的优选(平面外)布置不可能、不可行或不合需要的情况。举例来说，优选的3-标记几何结构的主要缺点是，标记之一必须相对于另外两者向后或向前设定，且通过增加此偏移来增强视角测量的分辨率。这可导致标记之一偏移较大而不便利的距离的布置，所述距离可能由于空间约束的缘故而不可能实现。
章节4.3中所述的大视角处的遮蔽效果的可能性也可能是一个缺点。虽然使遮蔽标记垂直移位可解决此问题，但这确实稍微增加了复杂性并需要稍许较多空间用于标记组合件。并且，在标记放置在显示器屏幕顶部(或者，也许在下方)并从屏幕平面稍许向后设定的典型布置中，对于足够大的角度，垂直视角之一可能部分或完全不确定。此潜在问题的一个解决方案将是，延伸标记使其超过屏幕平面，但这可能不便利或不可行。因此，虽然这些潜在缺点在许多情况下都不重要，且优选的3-标记实施例在大多数情况下运作良好，但存在可能必需或需要“平面内”几何结构的可能的情况。在这些情况下，某些4-标记布置可使用避免3-标记实施例的一些或全部缺点的简单的几何结构来提供所需的DOF敏感度。最后，4-标记实施例在一些情况下可具有一些额外优点。
由于上述1-标记、2-标记和3-标记实施例能够跟踪指向、滚动角和(在许多情况下)屏幕距离，所以4-标记实施例论述的主要焦点将放在视角的量值和符号的测量。然而，由于所测量的标记图像坐标是距离和视角两者的函数，所以两者均将通过分析进行确定。其它DOF大体上是先前描述的方法的简单变化形式。尽管存在多种可能的4-标记几何结构(参看图5e)，但此章节将关注图5e(ii)中以及图22中所示的优选布置。在此几何结构中，将参考标记放置在屏幕的四个角落中的每一者处或附近。可使用标记更靠近在一起并处于屏幕的一侧的等效矩形布置(如优选的2-标记和3-标记实施例中)；然而，优选的4-角落布置存在一些技术上以及实践上的优点。下文将描述这些优点。
4-标记布置的主要益处是，其允许在x和y两者上分离距离与视角测量，以及确定角符号(例如，在屏幕左侧还是右侧)。回忆在章节4.2中描述的基本2-标记实施例中，这些变量存在固有联系且不能单单基于标记图像坐标来分离。如在其它实施例中，基本测量涉及确定四个标记图像坐标，和根据那些坐标确定其间隔。使用各种图像间隔来计算距离和视角。对于4-标记布置，存在两种基本操作模式或方案。一种此处称为“远场”，且另一种称为“近场”。两种方案的解决方案是互补的且依赖于图像间隔的不同测量值。将远场界定为用户距每一标记的距离近似相同且可认为是相等的区域。这在标记间隔比用户距屏幕(即，标记)的距离小得多时或用户位于小视角处(即，接近屏幕中心)时发生。从数学上来说，以下条件成立时可界定为远场 注意，此条件与等式(10)括号中的最后一项相关，且使其可被忽略从而产生等式(11)的条件对应于远场。等式(36)必须小到什么程度取决于能容忍的距离或角度误差。如果我们假定距离或角度的至多1％误差是可接受的，那么可估计特定的远场条件。为了估计远场的“最糟情况”，我们假定大视角为+/-45度。在此情况下，用户可距屏幕近达L～3.5d，并维持视角测量的误差小于1％。
在大多数情况下，视角较小，且在更小的距离处满足远场条件。举例来说，对于+/-12度的典型视角，上文界定的远场在L～d处开始，从而意味着用户可距屏幕近达标记间隔且仍在远场内。且由于在优选的4-标记实施例中，标记间隔d接近屏幕尺寸，所以用户可能远离约一个屏幕宽度并保持在远场内。如章节4.1中所论述，远场的重要性在于，其允许距离和视角的计算中的有用近似。这些远场近似大大简化了分析并允许DOF的闭合解。另外，由于远场距离与标记间隔成比例，且d通常比2-标记实施例和3-标记实施例小得多，所以这些实施例在正常操作下将几乎始终满足远场条件。因此，先前章节中使用的分析均假定远场条件。
相比之下，近场方案存在于等式(36)中远场条件无效的区域中，或等同地来说，在用户距标记中的每一者的距离不能假定为相等时存在。在此方案中，远场解决方案的误差可能超过可接受的限制，且可使用依赖于距每一标记中的距离的变化的近场解决方案。随着用户移动得距标记更远，近场解决方案变得较不敏感且可使用远场解决方案。在大多数情况下，远场解决方案将适于确定距离和视角。然而，远场解决方案所固有的是对视角符号的不敏感度。虽然近场解决方案(其在一些假定内基本上准确)对视角变化相当不敏感，但其对角的符号敏感。因此，在许多情况下，使用较敏感的远场解决方案来确定视角的量值，且使用近场解决方案来确定角的符号或方向。
图22展示4-标记实施例的基本几何结构。使用常规球面坐标来界定视角θx和θy以及距标记原点的距离L。将原点视作标记的中心点，其通常是屏幕中心，且测量到原点的距离。参看图22，主要可测量的量是传感器上标记图像的各种间隔，其中i，j＝1、2、3、4对应于每一标记。每一图像间隔具有相应的校准值δrij0，其确定在预界定且已知的位置处。对于优选实施例，将此位置取为处于距屏幕(或标记)已知距离L0处并处于屏幕中心(θx＝θy＝0)。对于以下分析，图像间隔将规格化为其校准值，且依据这些规格化量来表达公式，Rij＝δrij/δrij0。远场与近场方法之间的基本差异是，远场使用邻近侧(例如，R21和R31)与对角线(R41和R32)的组合，而近场使用相对侧(例如，R31和R42)的组合来确定距离和视角。使用远场近似的与所测量的标记图像间隔Rij和L、θx以及θy相关的基本等式是 其中，α是通过由连接标记1和2的水平线和标记1与4之间的对角线形成的角所确定的几何常数(参看图22)。对于标记的矩形布置，所述几何角界定为 其中，dx和dy分别是x′和y′方向上的实际标记间隔。当标记放置在屏幕角落时，典型的标记布置为正方形(α＝45°)，4∶3纵横比(α＝36.9°)以及16∶9纵横比(α＝29.4°)。请注意，等式(37)中两个相对侧的公式相同，且每一表达式中L、θx和θy的值相同。这是由于以下假定布置为矩形，且相对于所有标记，距离和角度基本上相同(即，远场近似)。一般来说，即使在远场中，距每一侧的距离也不同(除非用户正好处于屏幕中心)，且由于将L取作处于屏幕/标记的中心，所以当所有侧均用于计算时可改进测量的准确性。因此，使用相对侧的组合而不是仅仅一侧。最简单的组合是两侧的平均值。因此，等式(37)中，和可分别替换最初两个表达式。另外，如果需要较高的准确性，那么可使用较复杂的组合，但在大多数情况下简单的平均值提供非常好的近似。两个对角线等式可组合为单个表达式 其中，k＝4sinαcosα是系统常数。等式(39)与等式(37)中邻近侧(R21和R31)的公式结合形成一组三个等式以及现可对L、θx和θy求解的三个未知数。所得公式是 所测量的量Rx、Ry和Δ用于等式(40)中以确定L，接着分别使用等式(41)和(42)使用L来确定θx和θy。L0对应于距标记/屏幕中心的已知距离，其中确定校准标记坐标，将其存储为参考坐标并随后用于位置和指向计算。等式(37)-(42)也假定，在θx＝θy＝0处(屏幕正前方)执行校准。尽管Δ可为正或负，指示视角符号(等式(39))，但仅Δ2出现于等式(41)和(42)中且因此不决定视角符号。这与远场条件相符——在远场中，从屏幕中心的任一侧来看，标记布置似乎近似相同。
为了确定角的符号(左或右，上或下)，必须检测相对侧之间的差值。当用户处于远场中时，根据定义，此差值较小。然而，如果从这一方面来说，仅需要视角的符号，那么可使用近场效果来将一侧与另一侧区分开。因此，当用户处于远场中时，使用等式(40)-(42)来确定距离和视角的量值，且可使用以下条件来确定视角的符号对于R42-R31＞0，θx＞0；对于R42-R31＜0，θx＜0，且对于R21-R42＞0，θy＞0，以及对于R21-R42＜0，θy＜0。然而，请注意，这些不等式对于接近屏幕中心或远离屏幕(即，不等式变为近似等式的远场)的位置变得本质上不确定。在这些情况下，当用户完全进入远场方案中时，视角的符号可能变得不确定。这一限制是平面内几何结构的特性，而章节4.3中描述的使用3个标记的平面外几何结构提供对于角符号的潜在较高敏感度和较小的不确定性。
除远场条件要求外，还存在一种等式(40)-(42)变得无效的情况θx＝+/-90°或θy＝+/-90°。在此情况下，当用户基本上处于屏幕的平面中(z′＝0)时，等式(40)变得不明确且不能确定距离。然而，实践中，此情况将事实上决不会发生，因为其在系统的典型操作范围外——用户无法看到屏幕且此区域中传感器通常不可检测到标记。因此，此特殊情况几乎从来不构成问题。如果存在当用户处于屏幕平面中或附近(且可检测到标记)时需要手持式装置的位置的特定情况，那么可导出适用于所述情况的单独一组等式。然而，由于此情况与观看屏幕时进行指向的主要应用不相关，所以此处不对其作进一步描述。
可能建立一组基本上准确且不依赖于远场近似的与(37)类似的等式。然而，这组耦联的等式(其具有与等式(10)类似的形式)较复杂且事实上难以用于确定空间中的任意位置。这是使用远场近似的原因，从而产生等式(37)，其在所遇到的大多数情况下将足以提供准确的位置确定。然而，当用户处于近场中时，使用等式(40)-(42)进行位置确定变得较不准确。在极端情况下，当用户靠近标记/屏幕且不接近屏幕中心时，即当等式(36)无效时，可能导出适用于特定区域的用于用户位置的单独一组等式。在近场方案中，需要一种不同于用于远场解决方案的方法，因为距每一标记的距离不能认为是有效相等的。尽管无法获得确切等式的闭合解，但可在某些潜在共同的情况下导出相当简单的解。参看等式(37)，如果将用户的位置限制在x′-z′平面上或附近(θy≈0)，且包含距由标记形成的矩形的每一侧的实际距离，那么以下用于侧边中的两者的简化的等式产生 其中，Lij是从用户到接合标记i与j的线的距离，且Lij0是校准期间相应的距离。同样，如果用户的位置限于y′-z′平面(θx≈0) 等式(43)与(37)之间的两个重要差异是缺少了三角项，其在θx≈0或θy≈0假定下消去，且包含了所测量的图像间隔(Rij)对到用户的实际距离(Lij)的相依性，与用户到标记的距离相等的近似形成对比。在这些条件下，视角相依性包含在距离因数Lij中。使用将Lij与距离和视角相关的标准三角技术，针对θy≈0获得以下表达式 其中 和 其中 注意，根据定义，L0ij对于(i，j)＝(3，1)和(4，2)是相等的，且因此任一值可用于等式(45)和(47)中。可针对θx≈0导出类似的一组等式 这几组等式与对应于远场的那些等式(等式(39)-(42))之间的重要差异是，此处使用标记矩形的相对侧而不是邻近侧，且因为Δx和Δy可为正或负，所以在等式(47)和(51)中确定视角的符号。因此，使用近场等式，可确定视角的量值和符号两者。不幸的是，这些闭合解仅在用户处于y′＝0或x′＝0平面中时才确实有效。如果用户的位置靠近这些平面，那么其使用仍存在较小误差，所述误差随着用户移离这些平面而增长。另外，如之前注意到，近场解决方案的敏感度随着用户移离标记而减小。
因此，实践中，由于大多数用户位置将完全进入远场中，所以一般来说可使用远场等式来以较高敏感度确定用户的距离和视角量值。为了确定视角符号，可使用之前针对远场描述的条件(比较Rij的量值)，或可使用Δx和Δy的符号。在用户处于近场中且已知接近y′＝0或x′＝0平面(例如，运动限于这些平面中的任一者)的特殊情况下，那么可使用近场等式(等式(42)-(52))。并且，由于这些等式是确切的，所以如果已知用户接近y′＝0或x′＝0平面，那么甚至在远场中也可使用近场等式。然而，由于一般来说远场等式对于视角变化更为敏感，所以只要远场等式适用，优选方法就使用远场等式。
如章节4.2中所述，可使用标记中的一者或一者以上来执行指向和跟踪。优选实施例使用等式(20)来确定标记图像的“平均”坐标并跟踪此坐标的变化，如章节4.2中所述。需要跟踪的剩余的DOF为滚动。用于2-标记实施例的等式(15)-(17)中采取的方法的变化形式也可用于4-标记实施例。原则上，任何两个标记可用作滚动运动的参考，只要其初始坐标是已知的。4-标记实施例的滚动检测和旋转补偿的程序与先前章节中所述的2-和3-标记实施例的那些程序基本上相同。
涉及多个标记的任何实施例的潜在问题是正确地识别每一标记，即哪一个是标记#1、#2等。对于大多数情况(用户位置、指向方向和滚动角)来说，标记身份将是清楚的。举例来说，在4-标记实施例中，标记图像#1将几乎始终处于图像传感器上四标记布置的左上角，且其它标记将具有相对于图像#1的图像位置，如图22所示。标记身份可能存在不确定性的主要情况是当装置旋转较大的量且标记布置为正方形(α＝45°)时。在这些情况下，标记#1可处于(例如)通常由标记#2占据的位置中，这可导致位置和定向测量中的误差，但指向准确性将不会受到任何标记误识别的显著影响。
在标记身份可能成为问题的情况下，存在若干解决任何相关联的测量问题的方法。一种方法是，要求初始以已知滚动角度校准手持式装置，且接着相对于此初始定向来跟踪后续运动。以此方式，初始校准之后，每一标记的身份始终是已知的。一种更稳健的方法将是，使用物理区别唯一地识别标记中的至少一者。举例来说，可临时调制(例如，反复接通和断开)4-标记实施例中的标记#1或3-标记实施例中的中心标记。接着可对跟踪算法进行编程以(例如)将经调制的标记识别为#1。其它标记将相对于#1维持其相对位置。此方法的优点是，不需要校准来确定标记的身份。缺点是，需要较复杂的标记设置。
5.0电子设备实施例 如上文详细论述，绝对指向涉及一种工作系统，其中处理从手持式装置发送的信号，且作为响应，使显示器上出现和/或用电子设备触发某些效果。此类电子设备的实例包含含有以下类型的电路的电子设备a)标准电视电路，例如电视内用于处理从电视的远程控制接收的信号的电路；b)卫星TV接收器电路；c)有线TV接收器电路；d)VCR电路；e)DVD播放器电路；f)计算机的电路；g)音乐播放器电路(例如，CD播放器电路、立体声接收器电路等)；h)游戏电路；i)IPTV接收器和/或电视电路；j)从例如以上a)到i)中列举的那些电子设备中的一个或一个以上电子设备项目接收信号的“接收器”的接收器电路；k)家庭和/或办公自动化设备(例如，包含用于“接通”和“断开”家用开关的电路的设备)。
这些类型的电路的每一者通常包含执行程序代码的某种处理器或控制器，所述程序代码1)实施讨论中的特定类型的设备的用户接口(例如，电视、TV接收器、DVD播放器、VCR播放器等情况下的菜单驱动的用户接口；或，计算机的情况下的基于窗口的接口)；和/或2)对于突出显示特定菜单选项的基于菜单的用户接口实施光标或图标(其可与用户接口相关联)或突出显示机制。
预期将在这些处理器上执行用于实施绝对指向(例如，执行数学计算将标记图像位置转译为所指向的显示器位置，和/或识别标记图像定位，以及上文在紧接着之前的段落中描述的程序代码功能)的程序代码。图23a到图23e展示包含用于例如上文概述的各种类型的电子设备的这些处理器的不同结构。当然，其它类型的结构是可能的。为了简洁起见，图23a到图23e均未展示通常用于存储程序代码的非易失性存储器装置(例如，只读存储器，如EPROM、EEPROM等)。应了解，假定图23a到图23e的结构包含所述非易失性存储器装置。
图23a展示常见于个人计算机(PC)系统中的结构。根据图23a的结构，存储器控制器2302控制处理器2307_1(单核或多核)、图形控制器2304和I/O控制集线器2305对存储器2303_1进行存取的请求。通常，存储器2303_1包含可由处理器2307_1执行的指令，以及这些指令据以进行操作的数据。显示器可具备由图形控制器2304准备的内容信息；或者，如果显示器在处理链路中下游更远处，那么可从计算系统经由输入/输出(I/O)(如，I/O 2301_1)发送用于将内容呈现于显示器上的信息。I/O是处理器2307_1所属的系统发送和/或接收由处理器2307_1处理的信息所通过的任何种类的信道。举例来说，由手持式装置发送的信息将经由I/O(例如，其包含无线收发器电路)而到达。
图23b展示处理器2307_2直接耦合到存储器2303_2，且处理器2307_2接收/提供其自身的I/O 2303_2的结构。图23c展示与图23b的结构类似的结构，只是将总线用作I/O2306_3。图23d展示存储器2303_4共享与I/O 2306_4相同的总线的结构。图23e展示经由与I/O 2306_5的总线不同的总线存取存储器2303_5的结构。
6.0多个用户实施例 其它应用包含尤其在需要在一个以上用户之间共享光标/菜单选择控制或具有多个活动光标的情况下，同时(即，并行)或在一些情况下依次(即，串行)支持多个用户的能力。在单个共享光标或单个共享菜单的情况下，各持有远程指向装置的独立的用户可拥有对屏幕光标(及因此功能命令)的控制，和/或使用指定的协议作出菜单选择。存在可用于建立共享协议的多种方法。
一种方法可以是“集中式”，其中可将远程装置中的一者设计为主控制器，其可通过将适当命令发送到控制单元而将光标控制让与其它用户中的任一者。在其它方法中，对光标的控制可以是“分布式”，例如令牌传递方案(例如，手持式装置分发令牌，且具有令牌的装置承担对光标的控制)。在集中式或分布式方案中，可基于说明活动等级(例如，非现用远程控制失去优先权或现用远程控制获得优先权)、指定序列(优先权在用户群组之间轮换)或预定控制层级(例如，用户#1在活动时具有控制权，用户#2在活动时且#1不活动时具有控制权等)的一组规则来确定控制优先权。所属领域的技术人员将容易实施本描述内容的精神所涵盖的许多其它共享协议。
具有多个同时活动光标和/或菜单选择的多个用户(例如，每一用户一个光标)代表多个用户环境的较高级形式。在此情况下，控制单元将基于每一装置的坐标数据来显示并移动对应于每一用户的指向装置的屏幕光标。可使用不同的光标图标帮助区分每一用户的行动(例如，颜色、形状等)。尽管可同时显示并控制多个光标，但至少对于多个光标指向单个显示器特征的情况和/或在仅能够一次执行一个命令的系统中，必须确定功能命令的优先权。优先权确定的最简单形式可基于哪一用户首先选择命令。所属领域的技术人员将了解确定命令优先权的其它程序。具有同时活动光标的多个用户对于游戏功能可能尤其有用。
7.0源于手持式装置活动的应用 回忆上文关于图10a、图10b和“虚拟拨号盘”的论述，可将特定的指向行动或运动解译为预编程的功能。举例来说，可将指向屏幕时视觉远程装置的快速向上运动或迅速移动解译为“上移”命令，而可将快速向右运动解译为“右移”命令等。也可将基本选择功能编程到手持式装置中，作为当屏幕光标指向所需功能标记时的简单的按钮点击，类似于计算机鼠标。或者，例如用光标移离功能标记或移回功能标记的预界定行动可实现选择功能。此手势能力能够编程虚拟按钮和行动，且可消除对于指向装置上硬编码按钮的需要。
除了距离和位置确定或估计外，本发明的多参考或多传感器形式的另一方面是，感测指向装置的旋转运动的能力，如章节1和4中所述。举例来说，在两个参考标记的情况下，可检测屏幕与指向装置之间的沿着近似平行于连接指向装置与屏幕的线的轴的相对旋转。此类型的运动在单个参考/单个传感器优选实施例的情况下通常不可检测，因为其不表现指向方向的变化。此类型的运动通常称为滚动，且虽然其不表现指向行动，但可用于通过简单且直观的手势实现其它命令和功能。此旋转或扭转运动的使用的一个实例是，上文论述的用于控制器具的各种属性(例如，音量、频道、歌曲音轨等)的“虚拟拨号盘”。本发明可检测的和先前描述的其它基本运动或行动可用于特定命令或功能。手持式装置的操作的另一方面是，其不需要用户在屏幕边界内进行指向以便由整个系统辨别。这是由于系统的位置和定向感测能力的缘故，使得可执行的行动不像常规鼠标型指向装置中那样限于屏幕光标的位置。此处，指向范围由装置传感器的视场和用户距屏幕的距离而不是屏幕大小确定。通常，有用的指向范围大于屏幕大小。因此，超出屏幕边界的指向行动可用于多种功能或命令。举例来说，可在用户将指针导向指定的边界(例如，屏幕边缘)以外时激活或显示屏幕菜单。或者，屏幕边界外的向上或向下运动可激活所显示的屏幕菜单上的卷动功能。可使用绝对指向装置的此特性实现许多其它“屏幕外”行动。
8.0游戏应用 除了至此描述的基本远程控制功能外，绝对指向装置的相关应用是其作为视频游戏互动机制或游戏控制器的用途。常规的游戏控制器基于鼠标型或操纵杆型输入装置和按钮，其中通过标准鼠标或操纵杆移动(其本质上是相关的)和按钮按压来控制游戏功能(例如，场景导航、武器引爆等)。明确地说，可通过装置的绝对指向和位置感测能力来显著增强视频游戏的导航和运动控制方面。除了直接屏幕指向能力外，对于屏幕距离、屏幕视角、装置滚动角度、倾斜和偏转的敏感度允许常规游戏控制器中不存在的游戏者的自由度。这些特性可用于控制例如直观三维运动(例如，使用飞行模拟的游戏)和位置敏感互动(例如，随着游戏者移动而移动的场景透视或使用进-出运动的速度控制)的多种行动。此处，术语“用户接口”应理解为足够广义而包含显示的游戏接口。
9.0总结性说明 上文论述所教示的过程中的一些过程可以例如机器可执行指令的程序代码执行，所述机器可执行指令促使机器(例如，安置在半导体芯片上的处理器，或将抽象程序代码转化为处理器特定程序代码的“解译器”(例如，Java虚拟机))执行某些功能。或者，可由包含用于执行功能的硬连线逻辑电路的特定硬件组件(例如，逻辑状态机)，或由经编程的计算机组件和硬连线逻辑组件的任何组合来执行这些功能。
可使用制造物来存储程序代码。存储程序代码的制造物可实施为(但不限于)一个或一个以上存储器(例如，一个或一个以上快闪存储器、随机存取存储器(静态、动态或其它))、光盘、CD-ROM、DVD ROM、EPROM、EEPROM、磁性或光学卡片，或适于存储电子指令的其它类型的机器可读媒体。也可通过实施在传播媒体中的数据信号(例如，经由通信链路(例如，网络连接))从远程计算机(例如，服务器)将程序代码下载到发出请求的计算机(例如，客户端)。
在以上说明书中，已参照本发明的特定示范性实施例描述了本发明。然而，将了解，可在不脱离所附权利要求书中陈述的本发明的较广义精神和范围的情况下对其作出各种修改和变化。因此，应在说明性而非限制性意义上理解说明书和附图。
权利要求
1.一种方法，其包括
识别个别一个或一个以上固定标记的一个或一个以上图像，每一标记定位在显示器上或定位成接近显示器，所述图像出现在手持式装置内的像素化传感器上；
确定所述显示器上或接近所述显示器的在所述识别期间由所述手持式装置所指向的位置；
从所述手持式装置发送从所述识别个别一个或一个以上固定标记的所述一个或一个以上图像中获得的信息；以及，
触发由电子设备电路响应于所述手持式装置发送指示需要一行动的信号而采取的所述行动。
2.根据权利要求1所述的方法，其中所述电子电路选自由以下电路组成的群组
a)电视电路；
b)卫星TV接收器电路；
c)有线TV接收器电路；
d)VCR电路；
e)DVD播放器电路；
f)计算机电路；
g)CD播放器电路；
h)音乐接收器电路；
i)IPTV电视和/或接收器电路；
j)游戏电路；
k)家庭自动化电路；
l)接收器电路。
3.根据权利要求1所述的方法，其中所述电子设备包括处理器。
4.根据权利要求1所述的方法，其中所述电子设备包括控制器。
5.根据权利要求1所述的方法，其进一步包括触发由电子设备电路响应于驻留在所述显示器上所呈现的光标或其它用户接口特征处的所述位置以及所述手持式装置发送指示需要一行动的信号而采取的所述行动，其中所述特征是图标。
6.根据权利要求1所述的方法，其进一步包括触发由电子设备电路响应于驻留在所述显示器上所呈现的光标或其它用户接口特征处的所述位置以及所述手持式装置发送指示需要一行动的信号而采取的所述行动，其中所述特征对应于菜单选择。
7.根据权利要求1所述的方法，其中所述信息包括描述所述一个或一个以上图像的数据。
8.根据权利要求1所述的方法，其中所述信息包括在所述像素化传感器上捕获的所述一个或一个以上标记图像的位置。
9.根据权利要求1所述的方法，其中所述信息包括识别所述位置的数据。
10.根据权利要求1所述的方法，其中所述方法进一步包括以下步骤中的至少一者
确定所述手持式装置的倾斜是向上的并将所述倾斜解译为“上移”命令；
确定所述手持式装置的偏转是向右的并将所述偏转解译为“右移”命令；以及，
确定所述手持式装置的滚动。
11.根据权利要求10所述的方法，其中如果所述活动包含所述确定所述手持式装置的滚动，那么所述用户接口特征是拨号盘的图像，且所述方法进一步包括使用所述信息将所述拨号盘的所述图像呈现为所述拨号盘连同所述滚动一起旋转。
12.根据权利要求1所述的方法，其进一步包括通过将所述手持式装置指向器具并用所述手持式装置执行某一行动来命令所述器具。
13.根据权利要求1所述的方法，其进一步包括触发由电子设备电路响应于驻留在所述显示器上所呈现的菜单选项特征处的所述位置以及所述手持式装置发送指示需要一行动的信号而采取的所述行动。
14.根据权利要求1所述的方法，其进一步包括触发由电子设备电路响应于驻留在所述显示器上所呈现的光标或其它用户接口特征处的所述位置以及所述手持式装置发送指示需要一行动的信号而采取的所述行动，其中在所述触发之前
确定所述位置，且
a)在所述位置处产生所述光标；或，
b)突出显示所述其它用户接口特征。
15.一种系统，其包括
(i)手持式装置，其包括像素化传感器和发射器；
(ii)电子设备，其包括选自由以下电路组成的群组的电子电路
a)电视电路；
b)卫星TV接收器电路；
c)有线TV接收器电路；
d)VCR电路；
e)DVD播放器电路；
f)计算机电路；
g)CD播放器电路；
h)音乐接收器电路；
i)IPTV电视和/或接收器电路；
j)游戏电路；
k)家庭自动化电路；
l)接收器电路；
(iii)一个或一个以上标记，其每一者定位在所述显示器上或定位成接近所述显示器，所述系统进一步包括以下各项中的一者或两者
a)在所述手持式装置中第一处理器及可执行代码和/或状态机逻辑电路；以及，
b)在所述电子电路中第二处理器及可执行代码和/或状态机逻辑电路以将所述像素化传感器检测到所述一个或一个以上标记的一个或一个以上像素位置转译成在所述显示器上或接近所述显示器的由所述手持式装置所指向的位置。
16.根据权利要求15所述的系统，其中所述发射器是无线发射器。
17.根据权利要求15所述的系统，其中所述标记是所述像素化传感器所检测到的辐射源。
18.根据权利要求15所述的系统，其中所述一个或一个以上标记反射所述像素化传感器所检测到的辐射。
19.根据权利要求18所述的系统，其中所述手持式装置包括由所述一个或一个以上标记反射并由所述像素化传感器检测到的所述辐射的源。
20.根据权利要求15所述的系统，其中所述系统还包括具有额外标记的唯一布置的器具，所述额外标记的布置唯一地识别所述器具。
21.根据权利要求15所述的系统，其包括第二手持式装置，所述第二手持式装置具有第二传感器和第二发射器，所述第二手持式装置用于控制显示在所述显示器上的其自身的光标。
22.一种电子设备项目，其包括机器及可执行程序代码，所述可执行程序代码存储在非易失性存储器上，所述可执行程序代码将由所述机器执行，所述可执行程序代码用于执行一方法，所述方法关于显示器上或接近所述显示器的由手持式装置所指向的位置，所述方法包括执行以下方法中的至少一者
(i)在所述显示器上在所述位置处显示光标，所述位置在所述显示器上；
(ii)在所述显示器上在所述位置处突出显示菜单选项，所述位置在所述显示器上；
(iii)触发由所述电子设备响应于所述手持式装置发送指示需要一行动的信号而采取的所述行动。
23.根据权利要求22所述的电子设备项目，其中所述电子设备项目包括选自由以下电路组成的群组的电子电路
a)电视电路；
b)卫星TV接收器电路；
c)有线TV接收器电路；
d)VCR电路；
e)DVD播放器电路；
f)计算机电路；
g)CD播放器电路；
h)音乐接收器电路；
i)IPTV电视和/或接收器电路；
j)游戏电路；
k)家庭自动化电路；
l)接收器电路。
24.根据权利要求22所述的电子设备项目，其中所述机器是处理器。
25.根据权利要求22所述的电子设备项目，其中所述机器是控制器。
26.根据权利要求22所述的电子设备项目，其中所述方法进一步包括
将个别一个或一个以上标记的一个或一个以上图像的位置转译成所述位置的坐标值，所述手持式装置发送描述所述位置或所述图像的数据，所述一个或一个以上标记定位成接近所述显示器或定位在所述显示器上。
27.根据权利要求22所述的电子设备项目，其中所述方法进一步包括由所述电子设备响应于所述手持式装置发送信号而触发行动。
28.根据权利要求22所述的电子设备项目，其中所述信号识别已按压所述手持式装置上的按钮。
29.根据权利要求22所述的电子设备项目，其中所述方法进一步包括确定所述显示器上或接近所述显示器的所述位置。
30.根据权利要求29所述的电子设备项目，其中所述手持式装置用像素化传感器检测定位成接近所述显示器的一个或一个以上标记的图像，并传输描述所述一个或一个以上标记的数据，且其中所述方法进一步包括
使用从所述传感器取得的来自围绕所述图像之一的像素区域内的数据
在第一方向上和在第二方向上对所述数据求和；
将第一曲线拟合到由所述第一方向上的所述求和产生的第一分布；
将第二曲线拟合到由所述第二方向上的所述求和产生的第二分布；
将所述第一曲线的中心识别为所述图像的位置的第一坐标；
将所述第二曲线的中心识别为所述图像的位置的第二坐标。
其中所述第一方向沿着所述传感器的像素行，且所述第二方向沿着所述传感器的像素列。
31.根据权利要求29所述的电子设备项目，其中所述手持式装置用像素化传感器检测定位成接近所述显示器的一个或一个以上标记的图像，且其中所述方法进一步包括
确定所述手持式装置与所述显示器之间的距离；
确定所述手持式装置与所述显示器之间的视角；
根据所述距离和/或视角计算比例因数；
用所述比例因数相对于所述图像的经识别参考位置来按比例缩放所述图像的确定位置。
32.根据权利要求31所述的电子设备项目，其中所述方法进一步包括从所述图像的确定位置感测所述手持式装置的定向和/或所述定向的变化。
33.根据权利要求32所述的电子设备项目，其中还用所述手持式装置与所述显示器之间的距离和/或视角来计算所述比例因数。
34.根据权利要求31所述的电子设备项目，其中所述确定距离和/或视角进一步包括跟踪所述标记的所述图像的两个或两个以上位置之间的间隔变化。(同样需要针对视角的类似权利要求)
35.根据权利要求34所述的电子设备项目，其中所述行动包括由所述机器执行的指令序列。
36.根据权利要求22所述的电子设备项目，其中如果执行方法(i)，且所述方法进一步包括
在所述显示器上第二位置处显示第二光标，第二手持式装置指向所述第二光标。
37.一种电子设备项目，其包括机器及可执行程序代码，所述可执行程序代码存储在非易失性存储器上，所述可执行程序代码将由所述机器执行，所述可执行程序代码用于执行一方法，所述方法关于显示器上由手持式装置所指向的位置，所述手持式装置执行以下方法中的至少一者
(i)在所述显示器上在所述位置处显示光标；以及，
(ii)在所述显示器上在所述位置处突出显示菜单选项其中所述电子设备项目包括选自由以下电路组成的群组的电子电路
a)电视电路；
b)卫星TV接收器电路；
c)有线TV接收器电路；
d)VCR电路；
e)DVD播放器电路；
f)计算机电路；
g)CD播放器电路；
h)音乐接收器电路；
i)IPTV电视和/或接收器电路；
j)游戏电路；
k)家庭自动化电路；
l)接收器电路。
38.根据权利要求37所述的电子设备项目，其中所述机器是处理器。
39.根据权利要求37所述的电子设备项目，其中所述机器是控制器。
40.根据权利要求37所述的电子设备项目，其中所述方法进一步包括将一个或一个以上标记的图像的位置转译成所述位置的坐标值，所述手持式装置发送描述所述位置或所述图像的数据，所述一个或一个以上标记定位成接近所述显示器或定位在所述显示器上。
41.根据权利要求37所述的电子设备项目，其中所述方法进一步包括由所述电子设备响应于所述手持式装置发送信号而触发行动。
42.根据权利要求37所述的电子设备项目，其中所述信号识别已按压所述手持式装置上的按钮。
43.根据权利要求37所述的电子设备项目，其中所述方法进一步包括确定所述显示器上的所述位置。
44.根据权利要求43所述的电子设备项目，其中所述手持式装置用像素化传感器检测定位成接近所述显示器的一个或一个以上标记的图像，并传输描述所述一个或一个以上标记的数据，且其中所述方法进一步包括
使用从所述传感器取得的来自围绕所述图像之一的像素区域内的数据
在第一方向上和在第二方向上对所述数据求和；
将第一曲线拟合到由所述第一方向上的所述求和产生的第一分布；
将第二曲线拟合到由所述第二方向上的所述求和产生的第二分布；
将所述第一曲线的中心识别为所述一个图像的位置的第一坐标；
将所述第二曲线的中心识别为所述图像的位置的第二坐标。
其中所述第一方向沿着所述传感器的像素行，且所述第二方向沿着所述传感器的像素列。
45.根据权利要求43所述的电子设备项目，其中所述手持式装置用像素化传感器检测定位成接近所述显示器的一个或一个以上标记的图像，且其中所述方法进一步包括
确定所述手持式装置与所述显示器之间的距离；
确定所述手持式装置与所述显示器之间的视角；
根据所述距离和/或视角计算比例因数；
用所述比例因数相对于所述图像的经识别参考位置来按比例缩放所述图像的确定位置。
46.根据权利要求45所述的电子设备项目，其中所述方法进一步包括从所述图像的确定位置感测所述手持式装置的定向和/或所述定向的变化。
47.根据权利要求46所述的电子设备项目，其中还用所述手持式装置与所述显示器之间的距离和/或视角来计算所述比例因数。
48.根据权利要求45所述的电子设备项目，其中所述确定距离或视角进一步包括跟踪所述标记的所述图像的两个或两个以上位置之间的间隔变化。
49.根据权利要求48所述的电子设备项目，其中所述行动包括由所述机器执行的指令序列。
50.根据权利要求49所述的电子设备项目，其中如果执行方法(i)，所述方法进一步包括
在所述显示器上第二位置处显示第二光标，第二手持式装置指向所述第二光标。
51.一种电子设备项目，其包括逻辑电路以执行以下方法中的至少一者
(i)在显示器上由手持式装置所指向的位置处显示光标；以及，
(ii)在所述显示器上在所述位置处突出显示菜单选项
其中所述电子设备项目包括选自由以下电路组成的群组的电子电路
a)电视电路；
b)卫星TV接收器电路；
c)有线TV接收器电路；
d)VCR电路；
e)DVD播放器电路；
f)计算机电路；
g)CD播放器电路；
h)音乐接收器电路；
i)IPTV电视和/或接收器电路；
j)游戏电路；
k)家庭自动化电路；
l)接收器电路。
52.一种方法，其包括
检测个别一个或一个以上固定标记的出现在像素化传感器上的一个或一个以上图像，所述像素化传感器在手持式装置内；
对于所述图像的每一者，用所述手持式装置的电子电路确定其在所述传感器上的位置；
将所述图像的确定位置转译成显示器上或接近所述显示器的所指向位置，其中所述手持式装置传输从所述确定中获得的信息。
53.根据权利要求52所述的方法，其中所述手持式装置传输描述每一图像的每一位置的数据。
54.根据权利要求52所述的方法，其中所述手持式装置执行所述转译。
55.根据权利要求54所述的方法，其中所述手持式装置传输描述所述所指向位置的数据。
56.根据权利要求52所述的方法，其中所述确定进一步包括
使用从所述传感器取得的来自围绕所述图像之一的像素区域内的数据
在第一方向上和在第二方向上对所述数据求和；
将第一曲线拟合到由所述第一方向上的所述求和产生的第一分布；
将第二曲线拟合到由所述第二方向上的所述求和产生的第二分布；
将所述第一曲线的中心识别为所述一个图像的位置的第一坐标；
将所述第二曲线的中心识别为所述图像的位置的第二坐标。
57.根据权利要求56所述的方法，其中所述第一方向沿着所述传感器的像素行，且所述第二方向沿着所述传感器的像素列。
58.根据权利要求52所述的方法，其中所述转译进一步包括
确定所述手持式装置与所述显示器之间的距离和/或视角；
根据所述距离和/或视角计算比例因数；
用所述比例因数相对于所述图像的经识别参考位置来按比例缩放所述图像的确定位置。
59.根据权利要求58所述的方法，其进一步包括
从所述图像的确定位置感测所述手持式装置的定向和/或所述定向的变化。
60.根据权利要求59所述的方法，其进一步包括确定所述手持式装置的视角。
61.根据权利要求59所述的方法，其进一步包括确定两个标记之间的距离和/或视角。
62.根据权利要求60所述的方法，其进一步包括通过检测所述标记的所述图像的位置的共同旋转来确定所述手持式装置的滚动。
63.根据权利要求60所述的方法，其进一步包括
确定所述手持式装置的定向；
根据所述距离和/或视角以及所述定向计算所述比例因数。
64.根据权利要求63所述的方法，其中所述确定所述位置进一步包括跟踪所述标记的所述图像的两个或两个以上位置之间的间隔变化。
65.根据权利要求64所述的方法，其中所述标记充当光学辐射源。
66.根据权利要求64所述的方法，其中所述标记反射所述手持式装置的传感器所检测到的光学辐射。
67.根据权利要求52所述的方法，其中将所述位置界定为是像素的分数的大小。
68.一种手持式装置，其包括机器及可执行程序代码，所述可执行程序代码存储在非易失性存储器上，所述可执行程序代码将由所述机器执行，所述可执行程序代码用于执行一方法，所述方法包括
读取描述由位于所述手持式装置中的像素化传感器所检测到的一个或一个以上固定标记的图像的数据。
69.根据权利要求68所述的手持式装置，其中所述方法进一步包括
对于所述图像的每一者，确定其在所述传感器上的位置。
70.根据权利要求69所述的手持式装置，其中所述位置以小于像素的分辨率来界定。
71.根据权利要求68所述的手持式装置，其中所述方法进一步包括
使用从所述传感器取得的来自围绕所述图像之一的像素区域内的数据
在第一方向上和在第二方向上对所述数据求和；
将第一曲线拟合到由所述第一方向上的所述求和产生的第一分布；
将第二曲线拟合到由所述第二方向上的所述求和产生的第二分布；
将所述第一曲线的中心识别为所述一个图像的位置的第一坐标；
将所述第二曲线的中心识别为所述图像的位置的第二坐标。
72.根据权利要求71所述的手持式装置，其中所述第一方向沿着所述传感器的像素行，且所述第二方向沿着所述传感器的像素列。
73.根据权利要求68所述的手持式装置，其中所述方法进一步包括促使所述手持式装置发送描述每一所述图像的每一位置的数据。
74.根据权利要求68所述的手持式装置，其中所述方法进一步包括将所述图像的确定位置转译成显示器上的所指向位置。
75.根据权利要求74所述的手持式装置，其中所述转译进一步包括
用从所述确定位置确定的所述手持式装置与所述显示器之间的距离和/或视角来计算比例因数；
用所述比例因数相对于所述图像的经识别参考位置来按比例缩放所述图像的确定位置。
76.根据权利要求75所述的手持式装置，其中所述方法进一步包括
从所述图像的确定位置感测所述手持式装置的定向和/或所述定向的变化。
77.根据权利要求76所述的手持式装置，其中所述方法进一步包括
通过检测所述标记的所述图像的位置的共同旋转来确定所述手持式装置的滚动。
78.根据权利要求75所述的手持式装置，其中所述方法进一步包括
确定所述手持式装置的视角；
根据所述距离和所述视角计算所述比例因数。
79.根据权利要求75所述的手持式装置，其中通过跟踪所述标记的所述图像的两个或两个以上位置之间的间隔变化来确定所述距离和/或视角。
80.根据权利要求68所述的手持式装置，其中所述标记充当光学辐射源。
81.根据权利要求68所述的手持式装置，其中所述标记反射所述手持式装置的传感器所检测到的光。
82.根据权利要求74所述的手持式装置，其中所述方法进一步包括
促使传输描述所述显示器上的所述所指向位置的数据。
83.根据权利要求68所述的手持式装置，其中在位于所述手持式装置正面上的孔径与所述像素化传感器之间延伸的光学通道内设置漫射器。
84.根据权利要求68所述的手持式装置，其中在位于所述手持式装置正面上的孔径与所述像素化传感器之间延伸的光学通道内设置滤光器。
85.根据权利要求68所述的手持式装置，其中所述机器是处理器。
86.根据权利要求68所述的手持式装置，其中所述机器是控制器。
全文摘要
本发明描述一种涉及识别个别一个或一个以上固定标记的一个或一个以上图像的方法。每一标记定位在显示器上或定位成接近显示器。所述图像出现在手持式装置内的像素化传感器上。所述方法还涉及确定所述显示器上或接近所述显示器的在所述识别期间由所述手持式装置所指向的位置。所述方法还涉及从所述手持式装置发送从所述识别个别一个或一个以上固定标记的所述一个或一个以上图像获得的信息。所述方法还涉及触发由电子设备电路响应于所述手持式装置发送指示需要一行动的信号而采取的所述行动。
文档编号G06F3/042GK101128794SQ200680006415
公开日2008年2月20日 申请日期2006年1月11日 优先权日2005年1月12日
发明者安诺斯·格伦内特-耶普森, 肯尼斯·萨尔斯曼, 约翰·斯威策 申请人:辛克光学公司