专利名称：远程指示系统、远程指示方法及其程序产品的制作方法
技术领域：
本发明总体上涉及一种远程指示系统，通过该远程指示系统可从远 程地点指示对象物。
背景技术：
存在这样的系统，通过这种系统可在远程地点之间进行通信。例如，
如日本特开2003-209832号公报所公开的，在通过摄像机捕捉远程地点处 的对象物并将这种捕捉到的图像发送到另一远程地点处的监视地点的同 时，将基于所捕捉到的图像创建的指示符(pointer)(下文称为注释图像) 发送到所述远程地点，并通过视频投影仪将注释图像投影到所述对象物 上。这使得监视人员能够通过使用注释图像不仅指示电话或所捕捉到的 图像而且指示物体的细节部分。在美国专利申请2004/0070674号公报和 日本特开2005-33756号公报中也公开了类似的系统。
AzamKhan、 Justin Matejka、 George Fitzmaurice、 Gordon Kurtenbach 在"Spotlight: Directing Users' Attention on Large Displays"中公开了如下技
术当在屏幕上显示数字图像时，高亮地显示计算机终端的光标所指的 部分附近。
在上述传统技术中，仅投影注释图像。如果注释图像对其给予指示 的对象物例如具有复杂的结构或者注释图像较小，则接近对象物的人可 能难以注意到注释图像。
发明内容
鉴于上述情况做出了本发明，本发明提供了一种远程指示系统、远 程指示方法及其程序产品，通过它们能可靠地注意到注释图像。
根据本发明的一方面，提供了一种远程指示系统，该远程指示系统
包括引起注意图像输出部，该引起注意图像输出部通过投影部将注释图 像和引起注意图像投影到图像捕捉部的捕捉区域上，该图像捕捉部用来 捕捉对象物的图像，所述注释图像是基于所捕捉的图像而生成的，提供 所述引起注意图像是为了吸引对所述注释图像的注意。通过该构造，所 述注释图像与所述引起注意图像一起投影。观看所述注释图像的人能够 可靠地注意到该注释图像。
在上述远程指示系统中，所述引起注意图像输出部可以在输出所述 引起注意图像的同时改变所述引起注意图像的输出状态。通过该构造， 在输出所述引起注意图像的同时改变所述引起注意图像的输出状态，从 而观看所述注释图像的人能够可靠地注意到该注释图像。
在上述远程指示系统中，所述引起注意图像输出部可以投影所述引 起注意图像以使其完全包括所述注释图像，然后可移动所述引起注意图 像而使其集中在所述注释图像上。通过该构造，所述引起注意图像被投
影为集中在所述注释图像上。更多地关注所述引起注意图像，能容易地
注意到所述注释图像。
在上述远程指示系统中，所述引起注意图像输出部可根据所述注释
图像的输出状态而改变所述引起注意图像的输出状态。通过该构造，根
据所述注释图像的输出状态而改变所述引起注意图像的输出状态。更多
地关注所述弓I起注意图像，能容易地注意到所述注释图像。
在上述远程指示系统中，所述引起注意图像输出部可根据所述注释
图像的形状而改变所述引起注意图像的形状。通过该构造，根据所述注
释图像而改变所述引起注意图像的形状。更多地关注所述引起注意图像，
能容易地注意到所述注释图像。
在上述远程指示系统中，所述引起注意图像输出部可以不投影所述
引起注意图像直到经过给定时间段。通过该构造，可以防止投影所述引
起注意图像。
上述远程指示系统还可包括服务器，其控制所述图像捕捉部和所 述投影部；以及一个或更多个远程终端，其从所述服务器接收所捕捉的 图像并给出投影所述注释图像的指示，并且在将所述引起注意图像投影
到所述对象物上时，所述引起注意图像输出部不将所捕捉的图像发送到 所述一个或更多个远程终端。通过该构造，在显示所述引起注意图像时 停止对所捕捉的图像的发送，减轻了网络负荷。
在上述远程指示系统中，所述引起注意图像输出部可以在未指示投 影所述注释图像的远程终端上显示所述引起注意图像。通过该构造，将 所述引起注意图像显示在未指示注释图像的远程终端上，从而使操作所 述远程终端的操作者可靠地注意到所述注释图像。
在上述远程指示系统中，所述引起注意图像输出部可根据所述注释 图像投影到的区域来形成所述引起注意图像。通过该构造，根据所述对 象物的所述注释图像投影到的区域的结.构来形成所述引起注意图像。即 使所述对象物具有复杂的结构，也能可靠地注意到所述注释图像。
根据本发明的另一方面，提供了一种远程指示方法，该远程指示方 法包括以下步骤将注释图像和引起注意图像投影到在其中捕捉对象物 的图像的捕捉区域上，所述注释图像是基于所捕捉的图像而生成的，提 供所述引起注意图像是为了吸引对所述注释图像的注意。通过该构造， 所述注释图像与所述引起注意图像一起投影。观看所述注释图像的人能 够可靠地注意到该注释图像。
根据本发明的又一方面，提供了一种计算机可读介质，该计算机可 读介质存储有使计算机执行用于远程指示的处理的程序，所述处理包括 以下步骤将注释图像和引起注意图像投影到在其中捕捉对象物的图像 的捕捉区域上，所述注释图像是基于所捕捉的图像而生成的，提供所述 引起注意图像是为了吸引对所述注释图像的注意。通过该构造，所述注 释图像与所述引起注意图像一起投影。观看所述注释图像的人能够可靠 地注意到该注释图像。
下面将基于以下附图详细描述本发明的实施例，附图中: 图1示意性地表示根据本发明一方面的远程指示系统； 图2是投影到对象物上的注释图像的图3是服务器的功能框图4是表示设置在服务器中的引起注意图像输出部的操作的流程
图5是表示远程终端的操作的流程图6A至图6D表示投影引起注意图像的方法的示例性实施例；
图7表示投影引起注意图像的方法的替代示例性实施例；
图8表示投影引起注意图像的方法的替代示例性实施例；
图9表示投影引起注意图像的方法的替代示例性实施例；
图10表示投影引起注意图像的方法的替代示例性实施例；
图11是表示设置在服务器中的引起注意图像输出部的操作的替代流
程图12A至图12D表示投影引起注意图像的方法的替代示例性实施
例；
图13是表示设置在服务器中的引起注意图像输出部的操作的替代 流程图14A至图14C表示投影引起注意图像的方法的替代示例性实施
例；
图15A和图15B示意性地表示在其上安装有电子部件的电路板； 图16A和图16B表示投影引起注意图像的方法的替代示例性实施
例；
图17是表示设置在服务器中的引起注意图像输出部的操作的替代 流程图18A和图18B是在远程终端处的显示器上的显示示例；
图19A和图19B是在远程终端处的显示器上的替代显示示例；并且
图20示意性地表示其中连接有激光指示器的远程指示系统。
具体实施例方式
下面将参照附图描述本发明的示例性实施例。
图1示意性地表示根据本发明一方面的远程指示系统。图2是投影
到对象物5上的注释图像8的图。图3是服务器1的功能框图。参照图1， 该远程指示系统包括服务器l;和通过网络2连接到服务器1的远程终 端3。服务器l设有摄录机7，其用作捕捉对象物5的图像的图像捕捉 部；和投影仪9，其用作将注释图像8投影在对象物5上的投影部。注释 图像8包括任意类型的图像，例如线、字符、图等等。
同时，远程终端3包括显示器13，其显示摄录机7捕捉的图像；
和鼠标15，其用于给予将注释图像8投影到对象物5上的指示。注释图 像8投影到位于捕捉区域4中的对象物5上，如图2所示。
现在参照图3，服务器1设有捕捉部12，其控制摄录机7;和发 送部14，其将摄录机7捕捉到的图像发送到远程终端3。服务器1还设 有接收部18，其接收注释图像8;和投影部16，其控制投影仪9对注 释图像8进行投影。服务器l还设有引起注意图像输出部ll，该引起注 意图像输出部11将引起注意图像10输出至投影部16。
下面将描述如上所述地构造的远程指示系统的操作。通过网络2将 摄录机7捕捉到的对象物5的捕捉图像从服务器1发送到远程终端3。接 着，在显示器13上显示捕捉图像。这使得操作远程终端3的操作者能够 根据显示在显示器13上的捕捉图像，通过鼠标15给出绘制期望的注释 图像8的指示。
通过网络2将鼠标15指示的注释图像8从远程终端3发送到服务器 1，并通过投影仪9将注释图像8投影到对象物5上。在投影注释图像8 的同时或者在投影注释图像8之后，通过投影仪9将引起注意图像10投 影到对象物5上。
图4是表示设置在服务器中1的引起注意图像输出部11的操作的流 程图。首先，引起注意图像输出部ll确定是否开始在捕捉图像上绘制注 释图像8 (Sl)。如果在捕捉图像上绘制注释图像8 (Sl:是)，则引起注 意图像输出部11使投影仪9开始投影注释图像8 (S2)。如果不在捕捉图 像上绘制注释图像8 (Sl:否)，则跳过步骤S2。
接着，引起注意图像输出部11确定是否完成在捕捉图像上绘制注释 图像8 (S3)。如果完成在捕捉图像上绘制注释图像8 (S3:是)，则引起
注意图像输出部11使投影仪9停止投影注释图像8 (S4)，并使投影仪9 开始投影引起注意图像IO (S5)。同时，如果未完成在捕捉图像上绘制注 释图像8 (S3:否)，则处理返回至步骤S1。
图5是表示远程终端3的操作的流程图。在接收到捕捉图像(S11) 时，远程终端3将捕捉图像显示在显示器13上(S12)。接着，如果在捕 捉图像上绘制注释图像8 (S13:是)，则远程终端3将注释图像8发送到 服务器l (S14)。如果不在捕捉图像上绘制注释图像8 (S13:否)，则远 程终端3等待直到绘制注释图像8。在未完成注释图像8的绘制(S15: 否)之前一直发送注释图像8。当完成注释图像8的绘制(S15:是)时， 远程终端3结束处理。
通过引起注意图像输出部11投影到对象物5上的引起注意图像10 可以是图6A至图IO所示的图像。图6A至图6D表示投影引起注意图像 10的方法的示例性实施例。首先，如图6A所示，引起注意图像输出部 11按完全包括注释图像8的方式显示引起注意图像10。接着，如图6B 所示，引起注意图像10被投影为逐渐集中在注释图像8上。然后，如图 6C所示，引起注意图像10被投影为更接近注释图像8。最后，如图6D 所示，停止投影引起注意图像10以防止继续投影引起注意图像10。引起 注意图像输出部11在输出引起注意图像的同时执行改变输出状态的上述 处理。这使得注释图像8引人注意。
图7和图8表示投影引起注意图像10的方法的替代示例性实施例。 引起注意图像10可由三重圆构成(如图7所示)，或者例如可由虚线构 成(如图8所示)。投影引起注意图像10的方法不限于上述方法。图9 也表示投影引起注意图像10的替代方法。如果要输出的注释图像8的形 状例如为在水平方向较长，则可根据注释图像8的形状投影引起注意图 像10。在上述情况下，希望引起注意图像10的纵横比应由注释图像8的 纵横比决定。
图10也表示投影引起注意图像10的替代方法。引起注意图像10可 与注释图像8交叠。这种投影可使注释图像8引人注意。在投影引起注 意图像的同时可改变图7至图IO所示的引起注意图像的输出状态。
图11是表示引起注意图像输出部11的替代操作的流程图。在图11 中，首先，引起注意图像输出部ll确定是否开始在捕捉图像上绘制注释
图像8 (S21)。如果在捕捉图像上开始了绘制注释图像8 (S21:是)，则 引起注意图像输出部11使投影仪9开始投影注释图像8 (S22)。接着， 引起注意图像输出部11确定是否刚开始绘制注释图像8 (S23)。如果刚 开始绘制注释图像8 (S23:是)，则引起注意图像输出部11使投影仪9 投影引起注意图像10 (S24)。如果不在捕捉图像上绘制注释图像8 (S21: 否)，则跳过步骤S22、 S23和S24。如果不是刚开始绘制注释图像8，则 跳过步骤S24。
接着，引起注意图像输出部11确定是否完成在捕捉图像上绘制注释 图像8 (S25)。如果完成在捕捉图像上绘制注释图像8 (S25:是)，则引 起注意图像输出部11使投影仪9结束对注释图像8的投影(S26)，并使 投影仪9开始投影引起注意图像10 (S27)。同时，如果未完成在捕捉图 像上绘制注释图像8 (S25:否)，则处理返回至步骤S21。
具体来讲，下面参照图12A，在开始投影注释图像8时，引起注意 图像输出部11投影引起注意图像10。在绘制注释图像8的同时，不投影 引起注意图像IO，如图12B所示。当完成绘制注释图像8时，再次显示 引起注意图像10，如图12C所示。然后，最后停止投影引起注意图像10， 如图12D所示。按照这种方式，不仅在完成注释图像8的绘制时投影引 起注意图像10，而且在开始绘制注释图像8时也投影引起注意图像10。
图13是表示引起注意图像输出部11的替代操作的流程图。图13表 示在图4所示的步骤S4和步骤S5处或在图11所示的步骤S24和S27处 的处理的另一示例性实施例。例如，在步骤S5，在使投影仪9结束对注 释图像8的投影之后，引起注意图像输出部11使投影仪9开始投影引起 注意图像10。然而在图13的流程图中，在从最新投影引起注意图像10 开始经过了给定时间段(S31:是)之后，并且当与最新投影引起注意图 像10的位置隔开了给定距离(S32:是)时，引起注意图像输出部ll使 投影仪9开始投影引起注意图像10 (S33)。
具体来讲，下面将参照图14A至图14C进行描述。当将注释图像8a
至8c连续投影到对象物5上时，在图14A至图14C中每次添加注释图像 时，就投影引起注意图像IO，从而导致引起注意图像10的过度投影。这 可能使注释图像8a至8c的观看者烦恼。为了避免该烦恼，构造为在从 最新投影注释图像8起过了给定时间段之后投影引起注意图像10。注释 图像8的观看者不再感到烦恼。在图14A中，绘制第一注释图像8a并投 影引起注意图像10a。接着，在图14B中，当在给定时间段内绘制注释图 像8b时，不投影引起注意图像以避免过度投影。然后，如图14C所示， 当在从投影注释图像8a起经过了给定时间段之后绘制注释图像8c时， 投影引起注意图像10c。
接下来将描述对象物5具有复杂结构的情况。图15A是在其上安装 有多个电子部件21的电路板19的平面图。如果对象物5是这样的电路 板19，则注释图像8投影在多个电子部件21之间，如图15B所示。在 这种情况下，电子部件21可能阻挡到注释图像8的视线。这使得注释图 像8的观看者难以发现注释图像8的投影位置。
现在参照图16A和图16B，移动引起注意图像10并使其集中在注释 图像8上。对于注释图像8的观看者，有利的是能够容易地注意到注释 图像8指示的位置。
如果对象物5是如上所述的电路板19，则引起注意图像输出部11 能够通过微分直方图等分析摄录机7捕捉到的图像的复杂度，并且根据 分析结果改变要输出的引起注意图像10的形状。例如，如果引起注意图 像10是圆，则希望改变圆的数量、在开始绘制时改变圆的半径、或者改 变其厚度。
图17是表示当远程终端3连接到服务器1时引起注意图像输出部ll 的替代操作的流程图。图17表示在图4所示的步骤S5处或在图11所示 的步骤S24和步骤S27处的处理的另一示例性实施例。例如在步骤S5， 在使投影仪9结束对注释图像8的投影之后，引起注意图像输出部11使 投影仪9开始投影引起注意图像10。然而在图17的流程图中，引起注意 图像输出部11使投影仪9投影引起注意图像10 (S41)，在投影引起注意 图像IO (S42:否)的同时，停止发送捕捉图像(S44)。在完成对引起注
意图像10的投影(S42:是)之后，开始再次发送捕捉图像(S43)。
具体来讲，将引起注意图像10投影到投影在对象物5上的注释图像 8上。参照图18A，如果正在投影引起注意图像IO并且还未完成对引起 注意图像10的投影，则不将图像发送到远程地点处的显示器13。不显示 在其上投影有引起注意图像10的对象物5的捕捉图像，而显示在其上仅 投影有注释图像8的对象物5的捕捉图像。参照图18B，完成了引起注 意图像10在对象物5上的投影，将捕捉图像发送到显示器13并加以显 示。通过执行上述处理，在投影引起注意图像10的同时，无需将捕捉图 像发送到远程终端，从而减轻了网络的负荷。
现在参照图19A和图19B，将描述在远程指示系统中连接多个远程 终端3a和3b的情况。图19A例示了投影到对象物5上的注释图像8。 图19B例示了分别为远程终端3a和3b设置的显示器13a和13b。
如图19B所示，引起注意图像输出部11能够不在指示了投影注释图 像8的远程终端3b上显示引起注意图像10，并能够在未指示投影注释图 像8的远程终端3a上显示引起注意图像10。指示投影注释图像8的远程 终端3b能够识别对象物5的被指示投影注释图像8的位置，从而不需要 显示引起注意图像10。未指示投影注释图像8的远程终端3a不能识别远 程终端3b指示的对象物5的位置。引起注意图像10a需要显示在远程终 端3a上。引起注意图像输出部11在未指示投影注释图像8的远程终端 3a上显示引起注意图像10a，从而使投影到捕捉图像上的注释图像8在 远程终端3a上引人注意。显示在远程终端上的引起注意图像10a不必与 捕捉到的引起注意图像相同。例如，如显示器13a所示，可显示矩形的 引起注意图像10a，而投影圆形的引起注意图像IO。
图20示意性地表示其中连接有激光指示器17的远程指示系统。通 过使用激光指示器17，将注释图像8直接投影到对象物5上，将引起注 意图像10投影到注释图像8上。具体来讲，通过摄录机7捕捉激光指示 器17产生的激光的轨迹，并根据捕捉图像将注释图像8投影到对象物5 上。而且，根据注释图像8将引起注意图像10投影到对象物5上。
应理解的是，对于本领域技术人员来说，可以在不脱离本发明范围
的情况下对这些示例性实施例进行修改和改变。例如，在上述示例性实 施例中，引起注意图像输出部ll设置在服务器l中。然而，引起注意图 像输出部11可以设置在远程终端3中，尽管服务器1中的引起注意图像 输出部11比设置在远程终端3中的引起注意图像输出部施加更小的网络
负荷。通过从便携式存储装置或诸如硬盘装置、CD-ROM、 DVD或软盘 的存储装置安装程序，或通过通信线下载程序，可利用中央处理单元 (CPU)、只读存储器(ROM)、随机存取存储器(RAM)等来实现用作 本发明一方面的远程指示方法。之后，在CPU执行程序时执行该程序的 多个步骤。
对本发明示例性实施例的前述描述是为了例示和描述的目的而提供 的。其并非旨在穷举或者将本发明限于所公开的确切形式。显然，许多 修改和变型对于本领域技术人员是显而易见的。选择并描述示例性实施 例是为了最好地说明本发明的原理及其实际应用，从而使得本领域其他 技术人员能够理解本发明的适用于所构想特定用途的各种实施例和各种 变型例。旨在由所附权利要求及其等同物来限定本发明的范
权利要求
1.一种远程指示系统，该远程指示系统包括引起注意图像输出部，该引起注意图像输出部通过投影部将注释图像和引起注意图像投影到图像捕捉部的捕捉区域上，该图像捕捉部用于捕捉对象物的图像，所述注释图像是基于所捕捉的图像而生成的，提供所述引起注意图像是为了吸引对所述注释图像的注意。
2. 根据权利要求1所述的远程指示系统，其中，所述引起注意图像输出部在输出所述引起注意图像的同时改变所述引起注意图像的输出状 态。
3. 根据权利要求1所述的远程指示系统，其中，所述引起注意图像 输出部按完全包括所述注释图像的方式投影所述引起注意图像，然后移 动所述引起注意图像而使其集中在所述注释图像上。
4. 根据权利要求1所述的远程指示系统，其中，所述引起注意图像 输出部根据所述注释图像的输出状态而改变所述引起注意图像的输出状 态。
5. 根据权利要求1所述的远程指示系统，其中，所述引起注意图像 输出部根据所述注释图像的形状而改变所述引起注意图像的形状。
6. 根据权利要求1所述的远程指示系统，其中，所述引起注意图像 输出部不投影所述弓I起注意图像直到经过给定时间段。
7. 根据权利要求1所述的远程指示系统，其中，该远程指示系统还 包括服务器，其控制所述图像捕捉部和所述投影部；以及 一个或更多个远程终端，其从所述服务器接收所捕捉的图像并给出投影所述注释图像的指示，其中，在将所述引起注意图像投影到所述对象物上的同时，所述引起注意图像输出部不将所捕捉的图像发送到所述一个或更多个远程终一山顺。
8. 根据权利要求7所述的远程指示系统，其中，所述引起注意图像 输出部在未指示投影注释图像的远程终端上显示所述引起注意图像。9. 根据权利要求1所述的远程指示系统，其中，所述引起注意图像 输出部根据所述注释图像投影到的区域来形成所述引起注意图像。10. —种远程指示方法，该远程指示方法包括以下步骤将注释图 像和引起注意图像投影到在其中捕捉对象物的图像的捕捉区域上，所述 注释图像是基于所捕捉的图像而生成的，提供所述引起注意图像是为了 吸引对所述注释图像的注意。11. 一种计算机可读介质，该计算机可读介质存储有使计算机执行 用于远程指示的处理的程序，所述处理包括以下步骤将注释图像和引 起注意图像投影到在其中捕捉对象物的图像的捕捉区域上，所述注释图 像是基于所捕捉的图像而生成的，提供所述引起注意图像是为了吸引对 所述注释图像的注意。
全文摘要
本发明提供了远程指示系统、远程指示方法及其程序产品。该远程指示系统包括引起注意图像输出部，该引起注意图像输出部通过投影部将注释图像和引起注意图像投影到图像捕捉部的捕捉区域上，该图像捕捉部用于捕捉对象物的图像，所述注释图像是基于所捕捉的图像而生成的，提供所述引起注意图像是为了吸引对所述注释图像的注意。
文档编号H04N5/262GK101098460SQ20071000191
公开日2008年1月2日 申请日期2007年1月15日 优先权日2006年6月28日
发明者新宫淳 申请人:富士施乐株式会社