专利名称：信息呈现装置和使用该信息呈现装置的信息呈现系统的制作方法
技术领域：
本发明涉及一种信息呈现装置和使用该信息呈现装置的信息呈现系统，其通过将与捕获的图像相关的信息重叠在所捕获的图像上来同时显示该图像和该信息，从而使得可以向图像观察者呈现高密度的信息。
背景技术：
作为用于呈现对真实世界的目标对象和/或规定标记的预定相关信息的信息呈现装置，存在众所周知的条形码读取器。
其中，在USP 6,389,182公开了一种利用目标对象和/或规定标记的空间指定位置信息来呈现信息的装置。该装置使用摄像机捕获印制在作为目标对象的名片上的作为标记的二维码，并使用存储在计算机中的程序对由此二维编码的ID进行分析。然后，该装置从图像数据库读出与经由此分析的ID对应的人员的面部肖像图像数据，并将由此读出的面部肖像图像显示在显示于计算机显示器上的由摄像机捕获的名片的图像上的二维码旁边。结果，该面部肖像图像被显示为好像该图像位于名片的二维码的旁边。
另一方面，在日本特开2002-92044号公报中公开了如下的系统其将由诸如CCD捕获装置的图像输入装置捕获的真实空间中的目标对象(例如实际建筑物的图像)与三维CAD系统拥有的设计信息进行比较，并执行相互验证以检测其间的差异(偏差)，从而使设计信息与真实空间中的目标对象一致。
真实空间中的目标对象(例如建筑物)的设计信息通常意味着一般由三维CAD等进行管理的该建筑物的详细形状、尺寸、材料、部件名称等的大量信息项，这在日本特开2002-92044号公报中并未记载。然而，该三维CAD等必须配备有用于存储大量信息项的大容量存储装置，以及用于详细显示形状和尺寸的高性能显示装置。因此，实际上很难通过可以带出到建筑工程或设备工程的施工现场的便携式装置来实现该系统。
USP 6,389,182中公开的装置识别二维码，并根据二维码坐标数据来计算显示面部肖像图像的位置，所述显示面部肖像图像的位置相对于二维码总是固定的。在诸如名片的卡的情况下，二维编码和显示位置位于相同的空间，这不会带来问题。另一方面，在呈现关于诸如车间或工厂设备的大规模构造物的相关信息的情况下，必须根据设计信息准确地设置标记。然而，实际上，很难准确到如此程度地设置标记。在用作基准的标记本身与设计信息不同的情况下，除非对作为目标对象所固有的坐标系的真实空间与作为目标对象的设计信息所固有的坐标系的模型空间之间进行关联(配准)，否则不能将目标对象的图像与使用设计信息形成的目标对象模型重叠显示。
发明内容
因此，本发明的一个目的是提供一种信息呈现装置以及使用该信息呈现装置的信息呈现系统，其在其配置为便携型的情况下可以准确算出真实空间中的目标对象与设计信息之间的差异从而使设计信息与实际目标对象彼此一致。
此外，本发明的另一个目的是提供一种信息呈现装置以及使用该信息呈现装置的信息呈现系统，其可以容易地执行配准处理。
根据本发明的一方面，提供了一种信息呈现装置，其包括图像输入单元，被构成为输入真实空间中的目标对象的图像；三维位置姿势关系检测单元，被构成为使用从图像输入单元输入的目标对象的图像来检测图像输入单元与目标对象之间的相对三维位置和姿势的关系；形状信息存储单元，被构成为存储目标对象的形状信息；差异比较检测单元，被构成为将三维位置姿势关系检测单元检测到的目标对象的位置和姿势与存储在形状信息存储单元中的对应于从图像输入单元输入的目标对象的一部分的值进行比较，以检测输入目标对象的实际位置和姿势与存储的该目标对象的形状信息之间的差异；形状信息管理单元，被构成为将来自差异比较检测单元的差异值反映在存储于形状信息存储单元中的形状信息上；重叠图像生成单元，被构成为生成通过将从图像输入单元输入的目标对象的图像与存储在形状信息存储单元中的目标对象的形状信息重叠而获得的图像；以及显示单元，被构成为显示重叠图像生成单元生成的图像。
优选地，三维位置姿势关系检测单元包括三维位置姿势关系输出单元，被构成为使用从图像输入单元输入的目标对象的图像对图像输入单元与目标对象之间的相对三维位置和姿势的关系进行检测和输出；以及三维位置姿势信息管理单元，被构成为将来自差异比较检测单元的差异值反映在三维位置姿势关系输出单元检测的图像输入单元与目标对象之间的相对三维位置和姿势的关系上。
根据本发明的第二方面，提供了一种信息呈现系统，其包括信息呈现装置和三维CAD，所述信息呈现装置包括图像输入单元，被构成为输入真实空间中的目标对象的图像；三维位置姿势关系检测单元，被构成为使用从图像输入单元输入的目标对象的图像来检测图像输入单元与目标对象之间的相对三维位置和姿势的关系；形状信息存储单元，被构成为存储目标对象的形状信息；差异比较检测单元，被构成为将三维位置姿势关系检测单元检测到的目标对象的位置和姿势与存储在形状信息存储单元中的对应于从图像输入单元输入的目标对象的一部分的值进行比较，以检测输入目标对象的实际位置和姿势与存储的该目标对象的形状信息之间的差异；形状信息管理单元，被构成为将来自差异比较检测单元的差异值反映在存储于形状信息存储单元中的形状信息上；重叠图像生成单元，被构成为生成通过将从图像输入单元输入的目标对象的图像与存储在形状信息存储单元中的目标对象的形状信息重叠而获得的图像；以及显示单元，被构成为显示重叠图像生成单元生成的图像，所述三维CAD包括三维设计信息存储单元，被构成为存储目标对象的三维设计信息；以及形状信息生成单元，被构成为使用存储在三维设计信息存储单元中的三维设计信息来生成形状信息，其中，信息呈现装置的形状信息存储单元存储三维CAD的形状信息生成单元生成的形状信息。
优选地，信息呈现装置的三维位置姿势关系检测单元包括三维位置姿势关系输出单元，被构成为使用从图像输入单元输入的目标对象的图像对图像输入单元与目标对象之间的相对三维位置和姿势的关系进行检测和输出；以及三维位置姿势信息管理单元，被构成为将来自差异比较检测单元的差异值反映在三维位置姿势关系输出单元检测的图像输入单元与目标对象之间的相对三维位置和姿势的关系上。
图1示出了根据本发明第一实施例的信息呈现装置和使用该信息呈现装置的信息呈现系统的框图；图2示出了表示对真实空间和模型空间的关联(配准)处理的过程的流程图；图3A示出了在配准处理完成之前的目标对象及其显示状态的图；图3B示出了在配准处理完成之后的目标对象及其显示状态的图；图4示出了表示用于使真实空间中的目标对象与设计信息(形状信息)彼此一致的处理的流程图；图5A示出了在用于使真实空间中的目标对象与设计信息(形状信息)彼此一致的处理完成之前的目标对象及其显示状态以及该目标对象的形状信息的图；图5B示出了在用于使真实空间中的目标对象与设计信息(形状信息)彼此一致的处理完成之后的目标对象及其显示状态以及该目标对象的形状信息的图；图6A示出了第二实施例中的配准处理完成之前的目标对象及其显示状态的图；图6B示出了在配准处理完成之后的目标对象及其显示状态的图；图7示出了在配准处理完成之前和之后的目标对象及其显示状态的图，其用于说明第二实施例的变型例；图8A示出了第三实施例中的配准处理完成之前的目标对象及其显示状态以及该目标对象的形状信息的图；
图8B示出了在配准处理完成之后的目标对象及其显示状态以及该目标对象的形状信息的图；图9A示出了在配准处理完成之前的目标对象及其显示状态以及该目标对象的形状信息的图，其用于说明第三实施例的变型例；图9B示出了在配准处理完成之后的目标对象及其显示状态以及该目标对象的形状信息的图，其用于说明第三实施例的变型例；图10示出了根据本发明的第四实施例的信息呈现装置和使用该信息呈现装置的信息呈现系统的框图；图11示出了根据本发明的第五实施例的信息呈现装置和使用该信息呈现装置的信息呈现系统的框图；图12示出了第五实施例的变型例的信息呈现装置和使用该信息呈现装置的信息呈现系统的框图；图13A示出了在根据本发明的第六实施例的信息呈现装置和使用该信息呈现装置的信息呈现系统中在用于使真实空间中的目标对象与设计信息(形状信息)彼此一致的处理完成之前的目标对象及其显示状态以及该目标对象的形状信息的图；图13B示出了在用于使真实空间中的目标对象与设计信息(形状信息)彼此一致的处理完成之后的目标对象及其显示状态以及该目标对象的形状信息的图；图14示出了第一实施例的变型例的信息呈现装置和使用该信息呈现装置的信息呈现系统的框图；图15示出了第四实施例的变型例的信息呈现装置和使用该信息呈现装置的信息呈现系统的框图；图16示出了对图14所示变型例的进一步变型例的信息呈现装置和使用该信息呈现装置的信息呈现系统的框图；以及图17示出了对图15所示变型例的进一步变型例的信息呈现装置和使用该信息呈现装置的信息呈现系统的框图。
具体实施例方式如图1所示，根据本发明的第一实施例的信息呈现系统包括小型便携式信息呈现装置10，例如配有摄像机的PDA或者笔记本大小的个人计算机，这是根据本发明的第一实施例的信息呈现装置；以及设置在办公室等内的三维CAD 12。
信息呈现装置10包括图像输入单元14、三维位置姿势关系输出单元16、形状信息存储单元18、差异比较检测单元20、形状信息管理单元22、重叠图像生成单元24、显示单元26、以及三维位置姿势关系信息管理单元28。
图像输入单元14是摄像机等，其取入(捕获)真实空间中的目标对象的图像数据。三维位置姿势关系输出单元16具备使用从图像输入单元14发送的目标对象的图像来检测图像输入单元14与目标对象之间的相对三维位置和姿势的关系的功能。形状信息存储单元18是存储目标对象的形状信息的存储器等。
差异比较检测单元20具备以下功能将三维位置姿势关系输出单元16检测到的目标对象的位置和姿势与存储在形状信息存储单元18中的对应于从图像输入单元14发送的目标对象的一部分的值进行比较，从而检测接收到的目标对象的实际位置和姿势与所存储的该目标对象的形状信息之间的差异。形状信息管理单元22具备将从差异比较检测单元20发送的差异值反映在存储于形状信息存储单元18中的形状信息上的功能。
重叠图像生成单元24具备生成通过将从图像输入单元14发送的目标对象的图像与存储在形状信息存储单元18中的该目标对象的形状信息重叠而获得的图像的功能。显示单元26是液晶显示器等，用于显示重叠图像生成单元24生成的图像。
三维位置姿势关系信息管理单元28具备将从差异比较检测单元20发送的差异值反映在三维位置姿势关系输出单元16检测的图像输入单元14与目标对象之间的相对三维位置和姿势的关系上的功能。三维位置姿势关系输出单元16和三维位置姿势关系信息管理单元28构成三维位置姿势关系检测单元30。
三维CAD 12包括三维设计信息存储单元32和形状信息生成单元34。三维设计信息存储单元32是诸如硬盘的大容量存储装置，用于存储目标对象的三维设计信息。形状信息生成单元34具备使用存储在三维设计信息存储单元32中的三维设计信息来生成形状信息的功能。
存储在信息呈现装置的形状信息存储单元18中的形状信息是由三维CAD 12的形状信息生成单元34生成的信息。形状信息生成单元34可以通过无线或有线通信在线地将形状信息传送给形状信息存储单元18，或者通过某种存储介质离线地将形状信息传送给形状信息存储单元18。
“目标对象的三维设计信息”是制造和设置目标对象所必需的信息，例如形状、颜色、材料、部件名称等。形状信息生成单元34仅提取目标对象的三维设计信息中的形状信息。此外，目标对象和形状信息分别具有固有的坐标系，将目标对象的坐标系称作“真实空间”，而将形状信息的坐标系称作“模型空间”。
信息呈现装置10的形状信息管理单元22被构造为与存储在形状信息存储单元18中的上述提取的形状信息同样地，将从差异比较检测单元20发送的差异值反映在存储于三维CAD 12的三维设计信息存储单元32中的三维设计信息即原始形状信息上。在这种情况下，可以从形状信息管理单元22在线或离线地将信息传送给三维CAD 12的三维设计信息存储单元32。
下面将对该配置的操作进行说明。
在该实施例中，首先，作为预处理，对真实空间和模型空间进行关联(配准)。即，使用目标对象本身，将真实空间的目标对象与使用形状信息形成的模型空间上的目标对象模型重叠以显示在显示单元26上，并使模型空间上的目标对象模型移动以使得它们二者彼此重合，从而对真实空间和模型空间进行了关联。然后，对关联处理时目标对象模型的移动量进行记录以用于对真实空间与模型空间的关联。
在关联处理之后，由于已使得真实空间和模型空间的坐标系彼此对应，所以在重叠和显示处理时存在差异的情况下，在目标对象和目标对象模型之间无法保证一致性(目标对象与形状信息不一致)。
如图2的流程图所示地执行对真实空间与模型空间的关联(配准)处理。
即，图像输入单元14捕获目标对象(步骤S10)。在配准中，使用预先已知其在真实空间中的形状与在模型空间中的形状信息彼此一致的目标对象。可以将这种目标对象注册为配准用标志(landmark)。
然后，三维位置姿势关系输出单元16使用图像输入单元14捕获的目标对象的图像来检测图像输入单元14与目标对象之间的相对的三维位置和姿势(步骤S12)。此时，由于对真实空间与模型空间的关联(配准)尚未完成，所以它们之间存在差异。
可以通过采用USP 6,577,249中公开的用于检测标记并推定位置和姿势信息的方法来执行对三维位置和姿势的检测，其中将目标对象视为标记。
三维位置姿势关系输出单元16还基于图像输入单元14捕获的目标对象的图像，从形状信息存储单元18选择与目标对象对应的形状信息(步骤S14)。在这种情况下，如上所述，由于在配准中使用预先已知其在真实空间中的形状与在模型空间中的形状信息彼此一致的目标对象，因此可以自动选择形状信息。在附图中，为了简化，将如此选择的形状信息描绘为直接发送给差异比较检测单元20。实际上，三维位置姿势关系输出单元16基于检测到的三维位置和姿势来改变由此选择的形状信息，并将如此改变的形状信息发送给差异比较检测单元20。
然后，差异比较检测单元20对来自图像输入单元14的输入图像与从形状信息存储单元18选择并经过改变的形状信息之间的差异进行检测(步骤S16)。在这种情况下，由于没有正确执行对真实空间与模型空间的关联，因此出现差异。即，当重叠图像生成单元24生成通过将来自图像输入单元14的输入图像与选择的形状信息重叠而获得的图像并且在显示单元26上显示由此生成的图像时，如图3A所示，目标对象38的图像36和使用该目标对象的形状信息形成的目标对象模型40位置有偏离地显示在显示单元26的画面42上。
基于差异比较检测单元20检测到的差异，三维位置姿势关系信息管理单元28对与图像输入单元14和目标对象38之间的相对三维位置和姿势的关系相关的信息进行校正，使得该差异变为最小(步骤S18)。
然后，三维位置姿势关系信息管理单元28将如此校正过的与三维位置和姿势关系相关的信息提供给三维位置姿势关系输出单元16，由此完成对真实空间和模型空间的坐标系的关联处理(步骤S20)。因此，如图3B所示，目标对象38的图像36和目标对象模型40以其位置彼此一致的状态显示在显示单元26的画面42上。
在预处理之后，准确算出真实空间中的目标对象与设计信息(或者，在本实施例中为形状信息)之间的差异，并且执行用于使设计信息与实际目标对象彼此一致的处理。
即，如图4的流程图所示，图像输入单元14捕获目标对象38(步骤S30)。
然后，三维位置姿势关系输出单元16使用图像输入单元14捕获的目标对象38的图像36，对图像输入单元14与目标对象38之间的相对三维位置和姿势进行检测(步骤S32)。此时，由于完成了对真实空间与模型空间的关联(配准)，所以它们之间没有差异。
接下来，三维位置姿势关系输出单元16从存储在形状信息存储单元18中的多项形状信息中检索与检测到的三维位置和姿势对应的数据(步骤S34)。将由此检索到的形状信息发送给差异比较检测单元20。
然后，差异比较检测单元20对来自图像输入单元14的输入图像与从形状信息存储单元18检索到的形状信息之间的差异进行检测(步骤S36)。要检测的差异例如是形状信息的移动量。所述移动量可以是平行移动、放大、缩小、旋转或者它们的组合。
形状信息管理单元22判断差异比较检测单元20检测到的差异是否在允许范围内(步骤S38)。如果在允许范围内，则不必执行随后的处理。
另一方面，如果由此检测到的差异不在允许范围内(步骤S38)，则形状信息管理单元22进一步将检测到的差异添加到从形状信息存储单元18检索到的形状信息以改变该形状信息(步骤S40)。即，由于已经形成的目标对象38的形状无法改变，所以改变形状信息。
然后，形状信息管理单元22将经如此改变的形状信息存储在形状信息存储单元18中，从而反映该改变(步骤S42)。
例如，假定图像输入单元14捕获主体48以及附于其的部件44、46作为目标对象38，如图5A所示。在这种情况下，对与目标对象38对应的形状信息50进行检索，形状信息50包括主体48的形状信息52、部件44的形状信息54、以及部件46的形状信息56，并且通过差异比较检测单元20对目标对象38的图像36与形状信息50进行比较。此时，重叠图像生成单元24生成通过将目标对象38的图像36与使用形状信息50形成的目标对象模型40(主体48的模型58、部件44的模型60、以及部件46的模型62)重叠而获得的图像，并将由此生成的图像显示在显示单元26上。
如该图所示，在实际部件46的接合位置与部件46的形状信息56之间存在差异的情况下，部件46的图像64及其模型62位置有偏离地显示在显示单元26的画面42上。当在步骤S40和步骤S42的操作中使部件46的形状信息56变为图5B所示的形状信息66时，消除了该差异，于是部件46的图像64及其改变后的模型68位置彼此一致地重叠显示在画面42上。
此外，如图5A所示，由于实际部件44的接合位置与部件44的形状信息54之间、以及主体48与其形状信息52之间各自都没有差异，因此部件44的图像70与其模型60、以及主体48的图像72与其模型58以它们的位置彼此一致的状态显示在显示单元26的画面42上。因此，在这种情况下，不执行步骤S40和步骤S42的操作。
如上所述，可以从形状信息管理单元22将改变后的形状信息返回给三维CAD 12的三维设计信息存储单元32。
在第一实施例中，在对真实空间与模型空间的关联(配准)处理中，将预先已知其在真实空间中的形状与在模型空间中的形状信息彼此一致的目标对象用作目标对象38是必须的。
另一方面，可能存在不一定可以准备这种目标对象38的情况。
因此，在第二实施例中，在配准时，通过粘附处理等在目标对象38上可移动地设置标记，从而使得可以使用在真实空间中的形状与在模型空间中的形状信息并不彼此一致的目标对象38。
即，在三维位置姿势关系输出单元16对三维位置和姿势进行检测并且差异比较检测单元20对目标对象38的图像36与目标对象38的形状信息50进行比较的情况下，检测到它们之间的差异。在这种情况下，由于将标记用作基准，所以标记的图像与标记的形状信息彼此一致。因此，在这种情况下，即使标记76的图像74和标记76的模型78以它们的位置彼此一致的状态显示在显示单元26的画面42上，目标对象38的图像36和目标对象模型40也显示为位置有所偏离，如图6A所示。
因此，在本实施例中，不使用第一实施例中使用的三维位置姿势关系信息管理单元28，通过相对于目标对象38移动实际标记76的位置而使得目标对象38与目标对象38的形状信息50彼此一致，如图6B所示。即，图像观察者对显示在显示单元26上的所捕获目标对象38的图像36及其目标对象模型40进行观察，并从移动之前的标记的位置80开始移动标记76的位置，以使得二者彼此一致。
此外，在这种情况下，为了使得易于移动标记76的位置，除了目标对象38的图像36和目标对象模型40以及标记76的图像74和标记76的模型78以外，还可以对目标对象模型40添加标尺(scale)82以显示在显示单元26的画面42上，如图7所示。通过显示标尺82，图像观察者可以使用画面42上的标尺82来确认偏离量，从而根据由此确定的偏离量来移动目标对象38上的标记76。
在第三实施例中，与第二实施例同样地，在进行配准时使用在真实空间中的形状与在模型空间中的形状信息并不彼此一致的目标对象38。另一方面，在第三实施例中，通过粘附或印刷处理等将标记76设置在目标对象38上，并且不能移动标记76。
即，在三维位置姿势关系输出单元16对三维位置和姿势进行检测并且差异比较检测单元20对目标对象38的图像36与目标对象38的形状信息50进行比较的情况下，检测到它们之间的差异。在这种情况下，由于将标记76用作基准，所以标记76的图像74和标记76的形状信息彼此一致。因此，在这种情况下，即使标记76的图像74与标记76的模型78以它们的位置彼此一致的状态显示在显示单元26的画面42上，目标对象38的图像36和目标对象模型40也显示为其位置有所偏离，如图8A所示。
因此，三维位置姿势关系信息管理单元28必须将从差异比较检测单元20发送的差异值反映在三维位置姿势关系输出单元16检测的图像输入单元14与目标对象38之间的相对三维位置和姿势的关系上。在这种情况下，在本实施例中，使标记76的形状信息84相对于目标对象38的形状信息50的位置和姿势发生移动，以使得所得到信息为形状信息86，如图8B所示。结果，如图8B所示，标记76的图像74和其标记76经过移动的模型88以它们的位置彼此一致的状态显示在显示单元26的画面42上，目标对象38的图像36与目标对象模型40也彼此一致。
可以采用以下配置图像输入单元14从多个方向捕获目标对象38以生成静止图像，当在所述多个静止图像中的任一个上标记76的形状信息84相对于目标对象38的形状信息50的位置和姿势发生移动时，将该移动反映在相对的静止图像上。图9A示出了标记76的形状信息84相对于目标对象38的形状信息50发生移动之前的状态，而图9B示出了标记76的形状信息86相对于目标对象38的形状信息50发生移动之后的状态。在这些图中，左列的部分是从一个方向“a”看到的，而右列的部分是从另一方向“b”看到的。
在将目标对象38的特征性凹凸或模式作为标记并执行配准的情况下，可以与本实施例同样地实现一致。
在本实施例中，标记76的形状信息84自动地移动。另一方面，可以采用观察者使用键盘等指定移动方向或移动量的配置。在这种情况下，理想地，将第二实施例中所述的标尺添附到目标对象模型40以显示在显示单元26的画面42上。
在第一实施例中，存储目标对象的形状信息，并检测实际捕获的目标对象与所述形状信息之间的差异以反映该差异。
此外，可以采用以下配置存储诸如部件名称的目标对象的属性信息，并反映该属性信息的改变。因此，第四实施例的信息呈现系统构成为如图10所示。
即，除了第一实施例的配置以外，三维CAD 12还包括属性信息生成单元90，所述属性信息生成单元90具备使用存储在三维设计信息存储单元32中的目标对象的三维设计信息来生成属性信息的功能。
此外，除了第一实施例的配置以外，信息呈现装置10还包括属性信息存储单元92、键盘94、以及属性信息管理单元96。属性信息存储单元92是存储三维CAD 12的属性信息生成单元90生成的属性信息的存储器等。属性信息管理单元96具备将通过作为输入单元的键盘94而输入的属性信息的改变反映在存储于属性信息存储单元92中的属性信息上的功能。
信息呈现装置10的重叠图像生成单元24被构成为将从图像输入单元14发送的目标对象的图像、存储在形状信息存储单元18中的目标对象的形状信息、还有存储在属性信息存储单元92中的属性信息进行重叠并且将由此生成的重叠图像显示在显示单元26上。
三维CAD 12的属性信息生成单元90可以通过无线或有线通信将属性信息在线传送到信息呈现装置10的属性信息存储单元92，或者通过某种存储介质离线进行传送。
此外，信息呈现装置10的属性信息管理单元96具备以下功能类似于将属性信息的改变反映在存储于属性信息存储单元92中的属性信息上的情况，将通过键盘94输入的属性信息的改变反映在存储于三维CAD12的三维设计信息存储单元32中的三维设计信息(即原始属性信息)。在这种情况下，可以从属性信息管理单元96在线或离线地向三维CAD 12的三维设计信息存储单元32传送信息。
第五实施例的信息呈现系统包括替代图1所示的差异比较检测单元20的键盘94，并从键盘94将形状信息的移动量作为值直接提供给三维位置姿势关系信息管理单元28和形状信息管理单元22，如图11所示。
即，在上述第一至第三实施例中，通过差异比较检测单元20自动对重叠偏离进行校正。另一方面，在第五实施例中，观察者对重叠图像进行观察以例如从键盘94向三维位置姿势关系信息管理单元28和形状信息管理单元22给出指示，以使得目标对象的图像与使用该目标对象的形状信息而形成的目标对象模型之间的偏离变为最小，从而校正偏离。
采用该配置，可以获得与第一至第三实施例中所获得的效果同样的效果。
此外，同样地，替代图10所示的差异比较检测单元20，键盘94可以向三维位置姿势关系信息管理单元28和形状信息管理单元22提供信息，如图12所示。在该配置中，可以获得与第四实施例中所获得的效果同样的效果。
在第五实施例中，观察者对重叠图像进行观察以例如从键盘94向三维位置姿势关系信息管理单元28和形状信息管理单元22给出指示，以使得目标对象的图像与使用该目标对象的形状信息而形成的目标对象模型之间的偏离变为最小，从而校正偏离。
在第六实施例中，不但向形状信息管理单元22给出位置和姿势的指示，而且进一步向形状信息管理单元22给出形状改变或部件交换的指示。
第六实施例的信息呈现系统的配置与第五实施例的信息呈现系统的配置相同。
在该信息呈现系统中，例如，假定图像输入单元14捕获主体48以及附于其的部件98、100作为目标对象38，如图13A所示。在这种情况下，通过三维位置姿势关系检测单元30对目标对象38的形状信息50(包括主体48的形状信息52、部件98的形状信息102，以及部件100的形状信息104)进行检索。此时，重叠图像生成单元24生成通过将目标对象38的图像36与使用形状信息50而形成的目标对象模型40(即，主体48的模型58、部件98的模型106、以及部件100的模型108)重叠而获得的图像，并将由此生成的图像显示在显示单元26上。
如该图所示，在实际部件98的形状与部件98的形状信息102之间存在差异的情况下，部件98的图像110和其模型106位置有偏离地显示在显示单元26的画面42上。同样地，在实际部件100的形状与部件100的形状信息104之间存在差异的情况下，部件100的图像112和其模型108位置有偏离地显示在显示单元26的画面42上。
即，在图13A所示的示例中，根据设计信息示出了(长)直管的形状信息102和(短)直管的形状信息104。另一方面，根据真实空间中的目标对象，不令人满意地，部件98是弯管而部件100是(长)直管。由于该差异，在显示于显示单元26的显示画面42上的重叠图像中，部件的图像110、112和模型106、108显示为其位置有偏离。
因此，在这种情况下，观察者对重叠图像进行观察，并从键盘94对形状信息管理单元22输入表示形状信息的形状改变的值，或者表示形状信息的部件交换的值。因此，形状信息管理单元22用弯管的形状信息114交换(长)直管的形状信息102，并改变(短)直管的形状信息104的长度(将其改变为改变后的形状信息116)，如图13B所示。执行了该处理，真实空间和目标对象信息彼此一致。即，当将部件98的形状信息102改变为形状信息114并且将部件100的形状信息104改变为形状信息116时，消除了偏离。因此，部件98的图像110和其改变后的模型118以及部件100的图像112和其改变后的模型120以位置彼此一致的状态重合显示在显示单元26的画面42上。
虽然根据本发明的特定优选实施例对本发明进行了详细说明，但是本领域普通技术人员应该理解，本发明并不限于这些实施例，而是可以在不脱离本发明的范围和精神的情况下实现多种变型、另选结构或者等同物。
例如，如图14和图15所示，不必执行在第一实施例和/或第四实施例中的形状信息管理单元22和/或属性信息管理单元96进行的三维CAD12的三维设计信息存储单元32的反映。
在这种情况下，如第五实施例中所述，替代差异比较检测单元20，可以由键盘94向三维位置姿势关系信息管理单元28和形状信息管理单元22提供信息，如图16和图17所示。
输入单元并不限于键盘94，可以是鼠标、跟踪球、触摸板等。
(附记)根据上述具体实施例，除了权利要求中所记载的配置以外，还可以采用以下配置。
(1)一种信息呈现装置，包括图像输入单元，被构成为输入设置在真实空间中的目标对象的图像；三维位置姿势关系输出单元，被构成为使用从图像输入单元输入的目标对象的图像来检测并输出图像输入单元与目标对象之间的相对三维位置和姿势的关系；形状信息存储单元，被构成为存储目标对象的形状信息；输入单元；三维位置姿势信息管理单元，被构成为将从输入单元输入的值反映在三维位置姿势关系输出单元检测的图像输入单元与目标对象之间的相对三维位置和姿势的关系上；重叠图像生成单元，被构成为生成通过将从图像输入单元输入的目标对象的图像与存储在形状信息存储单元中的目标对象的形状信息重叠而获得的图像；以及显示单元，被构成为显示重叠图像生成单元生成的图像。
(2)根据(1)所述的信息呈现装置，其中，从输入单元输入的值包括形状信息的移动量。
(3)根据(1)或(2)所述的信息呈现装置，还包括形状信息管理单元，所述形状信息管理单元被构成为将从输入单元输入的值反映在存储于形状信息存储单元中的形状信息上。
(4)根据(1)至(3)中的任一项所述的信息呈现装置，其中，三维位置姿势信息管理单元使用基于通过从第一方向捕获目标对象而获得的图像从输入单元输入的形状信息的第一移动量、以及基于通过从不同于第一方向的第二方向捕获目标对象而获得的图像从输入单元输入的形状信息的第二移动量。
(5)根据(1)至(4)中的任一项所述的信息呈现装置，其中，显示单元显示重叠图像生成单元基于通过从第一方向捕获目标对象而获得的图像从而生成的第一图像、以及重叠图像生成单元基于通过从不同于第一方向的第二方向捕获目标对象而获得的图像从而生成的第二图像。
(6)根据(1)所述的信息呈现装置，其中，从输入单元输入的值包括描述形状信息的形状改变的值。
(7)根据(1)所述的信息呈现装置，其中，从输入单元输入的值包括描述形状信息的部件改变的值。
(8)根据(6)或(7)所述的信息呈现装置，进一步包括被构成为将从输入单元输入的值反映在存储于形状信息存储单元中的形状信息上的形状信息管理单元。
权利要求
1.一种信息呈现装置，包括图像输入单元，被构成为输入真实空间中的目标对象的图像；三维位置姿势关系检测单元，被构成为使用从图像输入单元输入的目标对象的图像来检测图像输入单元与目标对象之间的相对三维位置和姿势的关系；形状信息存储单元，被构成为存储目标对象的形状信息；差异比较检测单元，被构成为将三维位置姿势关系检测单元检测到的目标对象的位置和姿势与存储在形状信息存储单元中的对应于从图像输入单元输入的目标对象的一部分的值进行比较，以检测输入目标对象的实际位置和姿势与存储的该目标对象的形状信息之间的差异；形状信息管理单元，被构成为将来自差异比较检测单元的差异值反映在存储于形状信息存储单元中的形状信息上；重叠图像生成单元，被构成为生成通过将从图像输入单元输入的目标对象的图像与存储在形状信息存储单元中的目标对象的形状信息重叠而获得的图像；以及显示单元，被构成为显示重叠图像生成单元生成的图像。
2.根据权利要求1所述的信息呈现装置，其中，差异比较检测单元检测的差异包括形状信息的移动量。
3.根据权利要求1所述的信息呈现装置，进一步包括被构成为存储目标对象的属性信息的属性信息存储单元，其中，重叠图像生成单元被构成为还将存储在属性信息存储单元中的属性信息进行重叠。
4.根据权利要求3所述的信息呈现装置，进一步包括输入单元；以及属性信息管理单元，被构成为将通过输入单元输入的属性信息的改变反映在存储于属性信息存储单元中的属性信息上。
5.根据权利要求1所述的信息呈现装置，其中，三维位置姿势关系检测单元包括三维位置姿势关系输出单元，被构成为使用从图像输入单元输入的目标对象的图像，对图像输入单元与目标对象之间的相对三维位置和姿势的关系进行检测和输出；以及三维位置姿势信息管理单元，被构成为将来自差异比较检测单元的差异值反映在三维位置姿势关系输出单元检测的图像输入单元与目标对象之间的相对三维位置和姿势的关系上。
6.根据权利要求5所述的信息呈现装置，其中，差异比较检测单元检测的差异包括形状信息的移动量。
7.根据权利要求5所述的信息呈现装置，进一步包括被构成为将来自差异比较检测单元的差异值反映在存储于形状信息存储单元中的形状信息上的形状信息管理单元。
8.根据权利要求5所述的信息呈现装置，其中，三维位置姿势信息管理单元被构成为使用差异比较检测单元基于通过从第一方向捕获目标对象而获得的图像从而检测到的第一差异值、以及差异比较检测单元基于通过从不同于第一方向的第二方向捕获目标对象而获得的图像从而检测到的第二差异值。
9.根据权利要求5所述的信息呈现装置，其中，显示单元被构成为显示重叠图像生成单元基于通过从第一方向捕获目标对象而获得的图像从而生成的第一图像、以及重叠图像生成单元基于通过从不同于第一方向的第二方向捕获目标对象而获得的图像从而生成的第二图像。
10.一种信息呈现系统，包括信息呈现装置和三维CAD，所述信息呈现装置包括图像输入单元，被构成为输入真实空间中的目标对象的图像；三维位置姿势关系检测单元，被构成为使用从图像输入单元输入的目标对象的图像来检测图像输入单元与目标对象之间的相对三维位置和姿势的关系；形状信息存储单元，被构成为存储目标对象的形状信息；差异比较检测单元，被构成为将三维位置姿势关系检测单元检测到的目标对象的位置和姿势与存储在形状信息存储单元中的对应于从图像输入单元输入的目标对象的一部分的值进行比较，以检测输入目标对象的实际位置和姿势与存储的该目标对象的形状信息之间的差异；形状信息管理单元，被构成为将来自差异比较检测单元的差异值反映在存储于形状信息存储单元中的形状信息上；重叠图像生成单元，被构成为生成通过将从图像输入单元输入的目标对象的图像与存储在形状信息存储单元中的目标对象的形状信息重叠而获得的图像；和显示单元，被构成为显示重叠图像生成单元生成的图像；所述三维CAD包括三维设计信息存储单元，被构成为存储目标对象的三维设计信息；和形状信息生成单元，被构成为使用存储在三维设计信息存储单元中的三维设计信息来生成形状信息，其中，信息呈现装置的形状信息存储单元存储三维CAD的形状信息生成单元生成的形状信息。
11.根据权利要求10所述的信息呈现系统，其中，信息呈现装置的形状信息管理单元被构成为将从差异比较检测单元发送的差异值反映在存储于三维CAD的三维设计信息存储单元中的三维设计信息上。
12.根据权利要求10所述的信息呈现系统，其中，信息呈现装置的差异比较检测单元检测的差异包括形状信息的移动量。
13.根据权利要求10所述的信息呈现系统，其中，三维CAD进一步包括被构成为使用目标对象的三维设计信息来生成属性信息的属性信息生成单元，信息呈现装置进一步包括被构成为存储三维CAD的属性信息生成单元生成的属性信息的属性信息存储单元，并且信息呈现装置的重叠图像生成单元被构成为还将存储在属性信息存储单元中的属性信息进行重叠。
14.根据权利要求13所述的信息呈现系统，信息呈现装置进一步包括输入单元；以及属性信息管理单元，被构成为将通过输入单元输入的属性信息的改变反映在存储于属性信息存储单元中的属性信息上。
15.根据权利要求14所述的信息呈现系统，其中，信息呈现装置的属性信息管理单元被构成为将通过输入单元输入的属性信息的改变反映在存储于三维CAD的三维设计信息存储单元中的三维设计信息上。
16.根据权利要求10所述的信息呈现系统，其中，信息呈现装置的三维位置姿势关系检测单元包括三维位置姿势关系输出单元，被构成为使用从图像输入单元输入的目标对象的图像，对图像输入单元与目标对象之间的相对三维位置和姿势的关系进行检测和输出；以及三维位置姿势信息管理单元，被构成为将来自差异比较检测单元的差异值反映在三维位置姿势关系输出单元检测的图像输入单元与目标对象之间的相对三维位置和姿势的关系上。
17.根据权利要求16所述的信息呈现系统，其中，信息呈现装置的差异比较检测单元检测的差异包括形状信息的移动量。
18.根据权利要求16所述的信息呈现系统，其中，信息呈现装置进一步包括被构成为将来自差异比较检测单元的差异值反映在存储于形状信息存储单元中的形状信息上的形状信息管理单元。
19.根据权利要求16所述的信息呈现系统，其中，信息呈现装置的三维位置姿势信息管理单元被构成为使用差异比较检测单元基于通过从第一方向捕获目标对象而获得的图像从而检测到的第一差异值、以及差异比较检测单元基于通过从不同于第一方向的第二方向捕获目标对象而获得的图像从而检测到的第二差异值。
20.根据权利要求16所述的信息呈现系统，其中，信息呈现装置的显示单元被构成为显示重叠图像生成单元基于通过从第一方向捕获目标对象而获得的图像从而生成的第一图像、以及重叠图像生成单元基于通过从不同于第一方向的第二方向捕获目标对象而获得的图像从而生成的第二图像。
全文摘要
一种信息呈现装置，包括图像输入单元，输入真实空间中的对象的图像；三维位置/姿势关系检测单元，根据输入的对象的图像来检测图像输入单元与对象之间的相对三维位置和姿势关系；形状信息存储单元，存储对象的形状信息；差异比较检测单元，将检测到的对象的位置和姿势与存储在形状信息存储单元中的对应于输入的对象的一部分的值进行比较并检测输入的对象的实际位置和姿势与存储的该对象的形状信息之间的差异；形状信息管理单元，将差异值反映在存储于形状信息存储单元中的形状信息；重叠图像生成单元，生成其中输入的对象的图像与存储在形状信息存储单元中的该对象的形状信息相重叠的图像；以及显示单元，显示重叠图像生成单元生成的图像。
文档编号G06T1/00GK1823256SQ20048001997
公开日2006年8月23日 申请日期2004年7月2日 优先权日2003年7月11日
发明者齐藤明人, 柴崎隆男, 高桥和彦, 杉田岳雅 申请人:奥林巴斯株式会社