扩展现实显示系统、装置及方法、扩展现实信息生成装置及方法、服务器的制造方法

扩展现实显示系统、装置及方法、扩展现实信息生成装置及方法、服务器的制造方法
【技术领域】
[0001]本发明涉及扩展现实显示系统、扩展现实显示系统中包含的扩展现实信息生成装置、服务器、在该扩展现实信息生成装置中执行的扩展现实信息生成方法、扩展现实显示系统中包含的扩展现实显示装置、以及在该扩展现实显示装置执行的扩展现实显示方法。
【背景技术】
[0002]近年来，开发了扩展现实的技术。例如，日本特开平9-33271号公报中记载有摄影装置，其特征在于具备:摄像机或者摄像机一体型VTR装置等摄影单元；显示由该摄影单元拍摄到的影像、数据的显示单元；通过卫星定位检测各时刻的地球上的上述摄影单元的位置和方向的检测单元；存储地图数据的存储单元；从上述存储单元读出上述显示单元所显示的物体中的规定的物体在地球上的三维位置坐标以及该物体的名称等属性数据，将该三维位置坐标变换为上述显示单元中的二维位置坐标，在上述显示单元中的上述二维位置坐标处显示上述属性数据的控制单元。
[0003]但是，在以往的摄影装置中，必须将规定的物体在地球上的三维位置坐标与该物体关联起来存储。另外，在所拍摄到的影像中，在与物体相同的位置显示属性数据，所以存在物体被属性数据隐藏等而变得难以看见的问题。

【发明内容】

[0004]根据本发明的一个方案，扩展现实显示系统包括扩展现实信息生成装置和扩展现实显示装置，其中，扩展现实信息生成装置具备:生成侧内容取得单元，从外部的装置取得该装置中存储的内容；区域决定单元，决定内容中的用相对于对象的相对位置确定的显示区域；关联信息取得单元，取得与对象关联的关联信息；以及扩展现实信息生成单元，生成将内容、表示显示区域的区域信息以及关联信息关联起来的扩展现实信息，扩展现实显示装置具备:显示侧内容取得单元，取得第I内容；扩展现实信息取得单元，取得扩展现实信息，该扩展现实信息包含具有与所取得的第I内容中的对象相同的对象的第2内容；现实显示区域决定单元，决定第I内容中的相对于对象的相对位置成为与第2内容中的对象和显示区域的相对位置相同的关系的现实显示区域；以及显示控制单元，在所决定的现实显示区域显示所取得的扩展现实信息中包含的关联信息。
[0005]根据本发明的另一个方案，扩展现实信息生成装置具备:生成侧内容取得单元，从外部的装置取得该装置中存储的内容；区域决定单元，决定所取得的内容中的用相对于对象的相对位置确定的显示区域；关联信息取得单元，取得与对象关联的关联信息；以及扩展现实信息生成单元，生成将内容、表示显示区域的区域信息以及关联信息关联起来的扩展现实信息。
[0006]根据本发明的又一个方案，扩展现实显示装置具备:显示侧内容取得单元，取得第I内容；扩展现实信息取得单元，取得扩展现实信息，该扩展现实信息包含具有与所取得的第I内容中的对象相同的对象的第2内容，扩展现实信息除了第2内容以外，还包括表示第2内容中的用相对于对象的相对的位置确定的显示区域的区域信息、以及与对象关联的关联信息；现实显示区域决定单元，决定第I内容中的相对于对象的相对位置为与第2内容中的对象和显示区域的相对位置相同的关系的现实显示区域；以及显示控制单元，在所决定的现实显示区域中显示所取得的扩展现实信息中包含的关联信息。
[0007]根据本发明的又一其它方案，服务器具备:扩展现实信息存储单元，存储包括第I内容、表示第I内容中的用相对于对象的相对的位置确定的显示区域的区域信息、以及与对象关联的关联信息的扩展现实信息；发送请求接收单元，从扩展现实显示装置接收第2内容；扩展现实信息提取单元，从所存储的扩展现实信息中提取包含具有与所接收的第2内容中的对象相同的对象的第I内容的扩展现实信息；以及扩展现实信息发送单元，将所提取的扩展现实信息发送到扩展现实显示装置。
[0008]根据本发明的又一其它方案，扩展现实显示方法使扩展现实生成装置执行如下步骤:生成侧内容取得步骤，从外部的装置取得该装置中存储的内容；区域决定步骤，决定所取得的内容中的用相对于对象的相对位置确定的显示区域；关联信息取得步骤，取得与对象关联的关联信息；以及扩展现实信息生成步骤，生成将内容、表示显示区域的区域信息、以及关联信息关联起来的扩展现实信息。
[0009]根据本发明的又一其它方案，扩展现实显示方法使扩展现实显示装置执行如下步骤:显示侧内容取得步骤，取得第I内容；扩展现实信息取得步骤，取得扩展现实信息，该扩展现实信息包含具有与所取得的第I内容中的对象相同的对象的第2内容，扩展现实信息除了第2内容以外，还包括表示第2内容中的用相对于对象的相对的位置确定的显示区域的区域信息、以及与对象关联的关联信息；现实显示区域决定步骤，决定第I内容中的相对于对象的相对位置成为与第2内容中的对象和显示区域的相对位置相同的关系的现实显示区域；以及显示控制步骤，在所决定的现实显示区域中显示扩展现实信息中包含的关联信息。
【附图说明】
[0010]图1是表示本发明的实施方式的扩展现实显示系统的整体概要的一个例子的图。
[0011]图2是表示本实施方式的MFP的外观的立体图。
[0012]图3是表示本实施方式的MFP的硬件结构的一个例子的框图。
[0013]图4是表示本实施方式的便携信息装置的硬件结构的概要的一个例子的框图。
[0014]图5是表示本实施方式的HMD的硬件结构的一个例子的框图。
[0015]图6是表示本实施方式的服务器的硬件结构的一个例子的框图。
[0016]图7是表示第I实施方式的扩展现实信息的格式的一个例子的图。
[0017]图8是表示第I实施方式的作为扩展现实显示装置发挥功能的便携信息装置所具备的CPU的功能的概要的一个例子的框图。
[0018]图9是表示背景图像的一个例子的图。
[0019]图10是表示摄影图像的一个例子的图。
[0020]图11是表不合成图像的一个例子的图。
[0021]图12是表示基本信息的格式的一个例子的图。
[0022]图13是表示第I实施方式的作为基本信息注册装置发挥功能的便携信息装置所具备的CPU的功能的一个例子的框图。
[0023]图14是表示第I实施方式的作为扩展现实信息注册装置发挥功能的MFP所具备的CPU的功能的一个例子的框图。
[0024]图15是表示第I实施方式的服务器所具备的CPU具有的功能的一个例子的框图。
[0025]图16是表示第I实施方式的扩展现实信息提取部的详细功能的一个例子的框图。
[0026]图17是表示第I实施方式的基本信息注册处理的流程的一个例子的流程图。
[0027]图18是表示第I实施方式的扩展现实信息注册处理的流程的一个例子的流程图。
[0028]图19是表示第I实施方式的扩展现实信息管理处理的流程的一个例子的流程图。
[0029]图20是表示第I实施方式的扩展现实显示处理的流程的一个例子的流程图。
[0030]图21是表示第2实施方式的作为扩展现实显示装置发挥功能的便携信息装置所具备的CPU的功能概要的一个例子的框图。
[0031]图22是表示第2实施方式的服务器所具备的CPU具有的功能的一个例子的框图。
[0032]图23是表示第2实施方式的扩展现实信息管理处理的流程的一个例子的流程图。
[0033]图24是表示第2实施方式的扩展现实显示处理的流程的一个例子的流程图。
[0034]图25是表示第3实施方式的扩展现实信息的格式的一个例子的图。
[0035]图26是表示第3实施方式的作为扩展现实显示装置发挥功能的便携信息装置所具备的CPU的功能的概要的一个例子的框图。
[0036]图27是表示第3实施方式的作为扩展现实信息注册装置发挥功能的MFP所具备的CPU的功能的一个例子的框图。
[0037]图28是表示第3实施方式的服务器所具备的CPU具有的功能的一个例子的框图。
[0038]图29是表示第3实施方式的扩展现实信息注册处理的流程的一个例子的流程图。
[0039]图30是表示第3实施方式的扩展现实信息管理处理的流程的一个例子的流程图。
[0040]图31是表示第3实施方式的扩展现实信息显示处理的流程的一个例子的流程图。
【具体实施方式】
[0041]以下，参照【附图说明】本发明的实施方式。在以下的说明中，对相同部件赋予相同符号。它们的名称以及功能也相同。因此，不重复关于它们的详细说明。
[0042]<第I实施方式>
[0043]图1是表示本发明的实施方式的扩展现实显示系统的整体概要的一个例子的图。参照图1，扩展现实显示系统I包括分别连接到网络2的无线站3、MFP(Multi Funct1nPeripheral:多功能外围设备)100、便携信息装置200、200A、200B、个人电脑(以下称作“PC”)300、头戴式显示器(以下称作“HMD”)400以及服务器500。
[0044]MFP100作为图像处理装置发挥功能，具备用于读取原稿的原稿读取功能、用于根据图像数据在纸等记录介质上形成图像的图像形成功能以及发送接收传真数据的传真发送接收功能。另外，在第I实施方式中作为图像处理装置的一个例子，以MFP100为例进行说明，但如果是具备处理图像的功能的装置，则例如也可以替代MFP100而使用PC300、服务器500等。
[0045]PC300是一般的计算机。PC300安装有用于控制MFP100的打印驱动程序。
[0046]便携信息装置200、200A、200B是信息处理装置的一个例子。便携信息装置200、200A、200B为PDA (Personal Digital Assistants:个人数字助理)、智能电话等，由用户携带而使用，具备存储数据的功能、无线LAN功能。另外，便携信息装置200、200A、200B与PC300同样地也能够安装应用程序。便携信息装置200、200A、200B的硬件结构以及功能相同，所以，在此除非特别说明，以便携信息装置200为例进行说明。
[0047]HMD400呈眼镜的形状，由用户佩戴而使用。HMD400具备拍摄被拍摄体的摄影功能、在眼镜的镜片部分显示图像的显示功能、无线LAN功能。佩戴HMD400的用户在通过镜片来视觉辨认被拍摄体的同时，能够视觉辨认显示于镜片的图像。
[0048]网络2是局域网络(LAN)，连接方式既可以是有线也可以是无线。另外，网络2不限于LAN，也可以是使用了公共电话交换网(Public Switched Telephone Networks)的网络等。进而，网络2连接到因特网等广域网络(WAN)。
[0049]MFP100能够经由网络2而与无线站3、PC300以及服务器500之间进行数据的发送接收。无线站3是网络2的中继装置，与具备无线LAN通信功能的便携信息装置200、200A、200B以及HMD400通信，将便携信息装置200、200A、200B以及HMD400连接到网络2。因此，便携信息装置200、200A、200B以及HMD400各自能够经由无线站3以及网络2而与MFP100、PC300、服务器500进行数据的发送接收。
[0050]图2是表示本实施方式的MFP的外观的立体图。图3是表示本实施方式的MFP的硬件结构的一个例子的框图。参照图2以及图3，MFP100包括主电路110、用于读取原稿的原稿读取部130、用于将原稿搬送到原稿读取部130的自动原稿搬送装置120、用于根据原稿读取部130读取原稿而输出的图像数据在纸张等上形成图像的图像形成部140、用于对图像形成部140供给纸张的供纸部150、对形成有图像的纸张进行处理的后处理部155、作为用户接口的操作面板160。
[0051]后处理部155执行重新排出由图像形成部140形成了图像的I张以上的纸张的分类(Sort)处理、进行打孔加工的打孔处理、打入装订针的装订处理。
[0052]主电路110包括CPUl 11、通信接口(I/F)部112、R0M113、RAM114、作为大容量存储装置的硬盘驱动器(HDD) 115、传真部116、安装⑶-R0M118的外部存储装置117。CPUlll与自动原稿搬送装置120、原稿读取部130、图像形成部140、供纸部150以及操作面板160连接，控制MFP100的整体。
[0053]R0M113存储CPUlll所执行的程序、或者为了执行该程序而所需的数据。RAM114被用作CPUlll执行程序时的工作区域。另外，RAMl 14还临时地存储从原稿读取部130连续送来的读取数据(图像数据)。
[0054]操作面板160设置于MFP100的上表面，包括显示部161和操作部163。显示部161是液晶显示装置(IXD)、有机ELD (Electro-Luminescence Display:电致发光显示器)等显示装置，显示针对用户的指示菜单、与所取得的图像数据有关的信息等。操作部163具备由多个键构成的硬键部167，受理与键对应的基于用户的操作的各种指示、文字、数字等数据的输入。操作部163还包括设置于显示部161上的触摸屏165。
[0055]通信I/F部112是用于将MFP100连接到网络2的接口。CPUlll经由通信I/F部112在与便携信息装置200、200A、200B、PC300、HMD400以及服务器500之间通信，发送接收数据。另外，通信I/F部112还能够经由网络2与连接到因特网的计算机通信。
[0056]传真部116连接到公共交换电话网(PSTN)，对PSTN发送传真数据、或者从PSTN接收传真数据。传真部116将所接收的传真数据存储到HDD115、或者输出到图像形成部140。图像形成部140将通过传真部116接收到的传真数据打印到纸张上。另外，传真部116将HDDl 15中存储的数据变换为传真数据，发送到连接于PSTN的传真装置。
[0057]外部存储装置117安装⑶-ROM(Compact Disk ROM:压缩光盘只读存储器)118。CPUlll能够经由外部存储装置117而访问⑶-R0M118。CPUlll将安装于外部存储装置117的⑶-R0M118所记录的程序加载到RAM114而执行。另外，作为存储CPUlll所执行的程序的介质，不限于⑶-R0M118，也可以是光盘(M0(Magnetic Optical Disc:磁光盘)/MD (Mini Disc)/DVD (Digital Versatile Disc:数字多功能光盘))、IC 卡、光卡、掩模 ROM、EPROM(ErasabIe Programmable ROM:可擦除可编程只读存储器)、EEPROM(ElectricalIyEPR0M:电可擦可编程只读存储器)等半导体存储器。
[0058]另外，CPUlll所执行的程序不限于记录在⑶-R0M118中的程序，也可以将存储在HDDl 15中的程序加载到RAM114中而执行。在这种情况下，连接到网络2的其它计算机也可以对MFP100的HDD115中存储的程序进行改写、或者追加写入新的程序。进而，MFP100也可以从连接到网络2的其它的计算机下载程序，并将该程序存储到HDD115中。这里所说的程序不仅包括CPUlll能够直接执行的程序，还包括源程序、被压缩处理了的程序、被加密了的程序等。
[0059]在扩展现实显示系统I中，在MFP100、便携信息装置200、200A、200B、PC300、HDM400、服务器500之间发送接收数据。关于发送接收数据的协议，只要在接收侧的装置中能够确定发送源，则能够使用任意的协议。发送接收数据的协议，例如使用HTTP (HyperTextTransfer Protocol:超文本传输协议)、FTP (File Transfer Protocol:超文本传输协议)以及 SMPT (Simple Mail Transfer Protocol:简单邮件传输协议)、POP (Post OfficeProtocol:邮局协议)等。
[0060]图4是表示本实施方式的便携信息装置的