图像处理装置、图像处理方法和计算机程序产品的制作方法
【技术领域】
[0001] 本发明设及图像处理装置和图像处理方法。
【背景技术】
[0002]存在已知的向真实空间事件添加计算机辅助信息的现实增强（AR)技术。例如，已 经公开了一种技术：在真实空间中放置AR标记，拍摄包括AR标记的真实空间从而获得拍摄 图像，然后向包含在该拍摄图像中的AR标记的位置添加虚拟对象并显示合成图像（例如， 参见日本公开专利公开号2013-186691)。
[0003] 然而，通常必须在真实空间中放置AR标记，并且很难在不依赖真实空间环境的情 况下容易地提供现实增强图像。
【发明内容】
[0004]本发明的目的是为了至少部分地解决传统技术中的问题。 阳〇化]一种图像处理装置，包括：拍摄真实空间的拍摄单元；检测拍摄单元的第一姿态 信息的检测单元；从检测单元获取第一姿态信息的第一获取单元；从用户接收设置指令的 接收单元；设置单元，在接收到了设置指令时，根据第一姿态信息设置在真实空间中安排虚 拟对象的参考平面；推导单元，推导参考平面相对于拍摄单元的拍摄方向的第一相对方向； 第一计算单元，计算位于第一相对方向的参考平面的第二姿态信息；W及显示控制单元，执 行在显示单元上显示叠加图像的控制，其中在所述叠加图像中，具有相应于第二姿态信息 的姿态的绘制的虚拟对象的对象图像被叠加在拍摄单元所拍摄的真实空间图像中相应于 参考平面的区域。
[0006] 由图像处理装置实现图像处理方法，所述图像处理装置包括拍摄真实空间的拍摄 单元和检测拍摄单元第一姿态信息的检测单元。该图像处理方法包括：从检测单元获取第 一姿态信息；从用户接收设置指令；当接收到了设置指令时，根据第一姿态信息在真实空 间中设置安排虚拟对象的参考平面；推导参考平面相对于拍摄单元的拍摄方向的第一相对 方向；计算位于第一相对方向的参考平面的第二姿态信息；W及执行在显示单元上显示叠 加图像的控制，其中在所述叠加图像中，具有相应于第二姿态信息的姿态的绘制的虚拟对 象的对象图像被叠加在拍摄单元所拍摄的真实空间图像中的相应于参考平面的区域。
[0007]通过阅读下面本发明的当前优选实施例，并结合附图考虑，将更好地理解本发明 的上述和其他的目的、特征、优点W及技术和工业上的重要意义。
【附图说明】
[0008] 图1是根据本实施例的图像处理装置的的示意图；
[0009] 图2A和2B是图像处理装置的示意性外部视图；
[0010] 图3A和3B是坐标系统的说明图；
[0011] 图4是第一姿态f胃息的说明图；
[0012] 图5是示出了图像处理装置的功能性配置的模块图；
[0013] 图6是示出了光源信息表的数据结构的示例的图； 阳014] 图7A至7C是示出了拍摄单元的姿态的示例的图； 阳015] 图8A和8B是示出了设置参考平面的示例的说明图； 阳016] 图9是示出了设置参考平面和第一相对方向的示例的说明图；
[0017]图10是示出了设置参考平面的示例的说明图； 阳01引图IlA和IlB是重置参考平面的说明图；
[0019] 图12A至12D是重置参考平面的详细说明图；
[0020] 图13A至13F是如何计算第二距离相对于第一距离的缩放因子的说明图；
[002U 图14A和14B是畳加图像的显不的说明图；
[0022] 图15A至15F是对象图像的显示的说明图；
[002引图16是不出了显不方法的顺序图；从及[0024]图17是图像处理装置的硬件配置图。
【具体实施方式】
[00巧]下面将参考附图详细地解释根据本发明的图像处理装置和图像处理方法的示例 性实施例。
[0026] 图1是根据本实施例的图像处理装置10的示意图。
[0027] 图像处理装置10是在显示单元20上显示预览图像的装置。
[0028] 图像处理装置10包括拍摄单元12、显示处理单元14、存储单元16、输入单元18、 显示单元20和检测单元25。拍摄单元12、显示处理单元14、存储单元16、输入单元18、显 示单元20和检测单元25通过总线22电连接。
[0029] 顺便说一句，图像处理装置10可被配置为使得拍摄单元12、显示处理单元14和检 测单元25从存储单元16、输入单元18和显示单元20中的至少一个分离。
[0030] 并且，图像处理装置10可W是便携式终端，或者可W是固定终端。在本实施例中， 作为举例，图像处理装置10被解释为整体上包括拍摄单元12、显示处理单元14、存储单元 16、输入单元18、显示单元20和检测单元25的便携式终端。并且，图像处理装置10可被配 置为进一步包括其他功能单元，例如用于与外部设备通信的通信单元。
[0031] 拍摄单元12拍摄图像处理装置10所处的真实空间。真实空间是，例如，房间。并 且，真实空间例如是由多个墙面构成的房间；例如，真实空间是由地面、顶面和每个都延伸 到地面和顶面的四个墙面构成的立方体房间。顺便提及，真实空间可W是图像处理装置10 所处的任意实际空间，并不限于房间。拍摄单元12是通过拍摄照片获得图像数据的公知拍 摄设备。
[0032] 显示单元20在其上显示各种图像。显示单元20是公知的显示设备例如液晶显示 器化CD)或投影图像的投影仪。在本实施例中，后面将要描述的叠加图像显示在显示单元 20上。
[0033] 并且，在本实施例中，作为举例，描述了显示单元20和拍摄单元12安装在图像处 理装置10的壳体上从而显示单元20的显示方向和拍摄单元12的拍摄方向为相反方向 (180度关系）的情形。
[0034] 图2A和2B是图像处理装置10的示意性外部视图。在图像处理装置10的壳体11 上，安装了拍摄单元12和显示单元20。在壳体11内，安装了检测单元25、显示处理单元14、 存储单元16等。如图2A和2B中所示，在本实施例中，拍摄单元12和显示单元20被安装 W使得拍摄单元12的拍摄方向A2和显示单元20的显示方向Al为相反方向。顺便提及， 拍摄单元12的拍摄方向A2和显示单元20的显示方向Al并不限于180度关系，并且可W 是相同方向（0度关系）或0至180度范围内的任何角度关系。
[0035] 作为举例，在本实施例中，描述了拍摄单元12和显示单元20被安装为使得拍摄 单元12的拍摄方向A2和显示单元20的显示方向Al被设置为相反方向的情形。因此，例 如，在图像处理装置10固定的状态下，当拍摄单元12所拍摄的拍摄图像显示在显示单元20 时，显示在显示单元20上的拍摄图像和位于显示单元20后面的真实空间的场景（在与显 示单元20的显示方向Al相反的一侧）大致相同。
[0036] 返回图1，输入单元18从用户接收各种操作。例如，输入单元18是鼠标、通过麦克 风的语音识别、按钮、遥控器、键盘等。
[0037] 顺便提及，输入单元18和显示单元20可W集成为一个单元。在本实施例中，描述 了输入单元18和显示单元20集成为UI单元19的情形。例如，UI单元19是同时具有显 示功能和输入功能的触摸板。因此，用户在检查UI单元19上所显示的图像的同时在UI单 元19的显示表面上操作，从而用户可执行各种输入。
[0038] 存储单元16是诸如存储器或硬盘驱动器（皿D)的存储介质，并在其中保存用来执 行后面将要描述的各种处理的各种程序和各种数据。
[0039] 检测单元25检测指示在真实空间中拍摄单元12的姿态的第一姿态信息。
[0040] 第一姿态信息是指示在真实空间中拍摄单元12的姿态的信息。特别地，第一姿态 信息是指示在真实空间中拍摄单元12的光学轴的姿态的信息。顺便提及，在本实施例中， 描述了拍摄单元12的光学轴的方向和拍摄单元12的拍摄方向A2 -致的情形。
[0041] 运里的姿态指示真实空间中的拍摄单元12相对于参考姿态的倾斜（后将详细描 述）。在本实施例中，第一姿态信息用相对于参考姿态的转动角（横滚角，俯仰角，W及航向 角）表示（下面将详细描述）。
[0042] 特别地，在本实施例中，在垂直于拍摄方向A2的拍摄单元12的拍摄表面的左右方 向为X轴、拍摄表面的上下方向为Y轴、且与拍摄表面正交的方向为Z轴的摄像机坐标系统 中，参考姿态是当X轴与东西方向一致、Y轴与垂直方向一致、且Z轴与南北方向一致时的 姿态。
[0043] 然后，在本实施例中，第一姿态信息指示拍摄单元12的拍摄方向A2相对于该参 考姿态的倾斜（姿态），并用相对于参考姿态的转动角（横滚角a，俯仰角0，W及航向角 丫）表示。顺便提及，下文中，拍摄单元12的拍摄方向A2的姿态可W简单地描述为拍摄单 元12的姿态。
[0044] 顺便提及，摄像机坐标系统中的X-Y平面与垂直于拍摄方向A2的拍摄表面一致。 并且，在本实施例中，垂直于拍摄方向A2的拍摄表面与显示单元20的显示表面一致。并且， 摄像机坐标系统的原点（0点）是拍摄单元12的拍摄表面的中屯、。
[0045] 如上所述，在本实施例中，拍摄单元12被集成在图像处理装置10中。因此，拍摄 单元12的第一姿态信息也指示图像处理装置10、显示单元20和UI单元19的姿态。
[0046] 图3A和3B是坐标系统的说明图。图3A是真实空间的S维坐标系统（即，世界坐 标系统）的说明图。图3B是基于垂直于拍摄方向A2的拍摄单元12的拍摄表面（在本实 施例中，与显示单元20的显示表面相同）的摄像机坐标系统的说明图。图4是第一姿态信 息的说明图。
[0047] 也就是说，在本实施例中，当摄像机坐标系统的X轴（见图3B)与世界坐标系统的 东西方向（见图3A的X轴方向）一致、摄像机坐标系统的Y轴（见图3B)与世界坐标系统 的垂直方向（见图3A的Y轴方向）一致、摄像机坐标系统的Z轴（见图3B)与世界坐标系 统的南北方向（见图3A的Z轴方向）一致时的姿态被设置为参考姿态。然后，在本实施例 中，第一姿态信息用拍摄单元12相对于参考姿态的转动角（横滚角a,俯仰角0，W及航 向角Y )表示（见图4)。
[0048] 顺便提及，在图3和4中，为了解释起来简单，与拍摄单元12具有相同姿态的显示 单元20和UI单元19的姿态被示为拍