图像处理装置、图像处理方法、计算机程序以及图像显示系统的制作方法
【技术领域】
[0001] 在本说明书中公开的技术涉及用于处理跟随用户的头部的运动的图像的一种图 像处理装置、一种图像处理方法、一种计算机程序以及一种图像显示系统。
【背景技术】
[0002] 已知固定至观察图像的用户的头部或脸部的一种图像显示装置，即，头戴式显示 器。例如，头戴式显示器包括用于相应的左眼和右眼的图像显示单元，并且配置为与耳机一 起使用，以便能够控制视觉和听觉。在头戴式显示器配置为在安装在头上时完全挡住外部 世界时，增强在查看和收听期间的虚拟现实。头戴式显示器也能够在左眼和右眼上投射不 同的视频。因此，在为左眼和右眼显示具有视差的图像时，可以呈现3D图像。
[0003] 这种类型的头戴式显示器促使在眼睛的视网膜上形成并且由用户观察虚拟图像。 在对象位于在焦距内接近透镜的位置上时，在本文中使用的虚拟图像形成在透镜的对象侧 上。例如，提出了一种头戴式显示器，配置该头戴式显示器，以便具有宽视角的光学系统通 过25mm的间距设置在瞳孔的前面，并且具有大约0.7英寸的有效像素范围的尺寸的显示面 板进一步设置在具有宽视角的光学系统的前面(例如，参照专利文档1)。
[0004] 使用这种类型的头戴式显示器，可以查看广角图像。例如，提出了一种头戴式显示 器，配置该头戴式显示器，以便包括陀螺仪传感器等的头部运动跟踪装置连接至头部，以便 允许用户感到跟随用户的头部的运动的整个空间的360度视频(例如，参照专利文档2和专 利文档3)。移动显示的区域，以便消除由陀螺仪传感器检测的头部的运动，据此，允许用户 观察跟随用户的头部的运动的图像并且检查整个空间。
[0005] 头戴式显示器优选地通过更短的延迟时间呈现跟随用户的头部运动的移动的图 像。图像跟随头部的运动的感觉由长延迟时间劣化。此外，担心用户感到不舒服。
【发明内容】
[0006] 本发明要解决的问题
[0007] 在本说明书中公开的技术的目标在于，提供一种图像处理装置、一种图像处理方 法、一种计算机程序以及一种图像显示系统，能够适当地处理跟随用户的一部分身体或者 全部身体(例如，头部、手的端部、脚的端部以及手腕)的运动的图像。
[0008] 问题的解决方案
[0009] 鉴于上述问题，构成本申请，并且在权利要求1中描述的技术是一种图像处理装 置，包括：
[0010]接收单元，从外部装置接收时间序列数据；
[0011] 预测时间计算单元，计算从在所述外部装置中生成先前接收的数据中的最近数据 时的时间到在显示下一个图像时的时间的预测时间；
[0012] 时间序列数据预测单元，预测在所述预测时间的时间序列数据；以及
[0013] 绘图处理单元，基于由所述预测单元预测的时间序列数据，渲染图像。
[0014] 根据在本申请的权利要求2中描述的技术，根据权利要求1所述的图像处理装置的 时间序列数据预测单元包括插在两片时间序列数据之间的配置，并且配置为外推在所述两 片时间序列数据之前的部分，以预测在所述预测时间前的时间序列数据。
[0015] 根据在本申请的权利要求3中描述的技术，根据权利要求1所述的图像处理装置进 一步包括向显示装置发送渲染图像的发送单元。
[0016] 根据在本申请的权利要求4中描述的技术，根据权利要求1所述的图像处理装置进 一步包括显示所渲染的图像的显示单元。
[0017]根据在本申请的权利要求5中描述的技术，所述外部装置跟踪观察图像的用户的 一部分身体或者全部身体的位置或姿势。此外，根据权利要求1所述的图像处理装置的接收 装置从所述外部装置接收姿势信息，作为时间序列数据，并且所述绘图处理单元配置为基 于所述姿势信息渲染跟随用户的一部分身体或者全部身体的运动的图像。
[0018] 根据在本申请的权利要求6中描述的技术，根据权利要5所述的图像处理装置的预 测时间计算单元配置为基于从所述外部装置发送所述姿势信息时到显示基于所述姿势信 息的图像时的总延迟量，计算所述预测时间。
[0019] 根据在本申请的权利要求7中描述的技术，在根据权利要求6所述的图像处理装置 中，所述总延迟量包括在从所述外部装置中传输所述姿势信息时发生的传输延迟、在基于 所述姿势信息渲染所述图像时发生的渲染延迟、以及在显示所渲染的图像时发生的显示延 迟。
[0020] 根据在本申请的权利要求8中描述的技术，根据权利要求6所述的图像处理装置的 预测时间计算单元配置为将所述总延迟量分成可测量的恒定延迟以及不可测量的变化延 迟，以计算所述总延迟量。
[0021] 根据在本申请的权利要求9中描述的技术，在根据权利要求8所述的图像处理装置 中，所述变化延迟包括传输延迟的变化。
[0022] 根据在本申请的权利要求10中描述的技术，根据权利要求5所述的图像处理装置 的接收单元配置为从所述外部装置接收表示用户的一部分身体或者全部身体的位置或姿 势的四元数，作为时间序列数据。
[0023] 根据在本申请的权利要求11中描述的技术，根据权利要求10所述的图像处理装置 的时间序列数据预测单元包括对两个四元数执行线性插值的配置，并且配置为外推在所述 两个四元数之前的部分，以预测所述预测时间前的四元数。
[0024] 根据在本申请的权利要求12中描述的技术，根据权利要求10所述的图像处理装置 的时间序列数据预测单元包括对两个四元数执行球面线性插值的配置，并且配置为外推在 所述两个四元数之前的部分，以预测所述预测时间前的四元数。
[0025] 此外，在本申请的权利要求13中描述的技术是一种图像处理装置，包括：
[0026] 接收单元，从外部装置接收时间序列数据；
[0027] 预测时间计算单元，计算从在所述外部装置中加入先前接收的数据中的最近数据 中的时间到在显示下一个图像时的时间的预测时间；
[0028] 时间序列数据预测单元，预测在所述预测时间的时间序列数据；以及
[0029] 绘图处理单元，基于由所述预测单元预测的时间序列数据，渲染图像。
[0030] 而且，在本申请的权利要求14中描述的技术是一种图像处理装置，包括：
[0031] 接收单元，从外部装置接收时间序列数据；
[0032] 预测时间计算单元，计算从所述外部装置发送先前接收的数据中的最近时间到在 显示下一个图像时的时间的预测时间；
[0033]时间序列数据预测单元，预测在所述预测时间的时间序列数据；以及 [0034]绘图处理单元，基于由所述预测单元预测的时间序列数据，渲染图像。
[0035]而且，在本申请的权利要求15中描述的技术是一种图像处理方法，包括：
[0036] 接收步骤，从外部装置接收时间序列数据；
[0037] 预测时间计算步骤，计算从在所述外部装置中生成先前接收的数据中的最近数据 时的时间到在显示下一个图像时的时间的预测时间；
[0038]时间序列数据预测步骤，预测在所述预测时间的时间序列数据；以及
[0039] 绘图处理步骤，基于在所述预测步骤中预测的时间序列数据，渲染图像。
[0040] 此外，在本申请的权利要求16中描述的技术是一种通过计算机可读形式描述的计 算机程序，以使计算机用作：
[0041 ]接收单元，从外部装置接收时间序列数据；
[0042]预测时间计算单元，计算从在所述外部装置中生成先前接收的数据中的最近数据 时的时间到在显示下一个图像时的时间的预测时间；
[0043]时间序列数据预测单元，预测在所述预测时间的时间序列数据；以及
[0044] 绘图处理单元，基于由所述预测单元预测的时间序列数据，渲染图像。
[0045] 根据本申请的权利要求16所述的计算机程序限定通过计算机可读形式描述的计 算机程序，以便在计算机上实现预定的处理。换言之，通过在计算机上安装根据本申请的权 利要求16所述的计算机程序，在计算机上显示协同效果，据此，可以获得与根据本申请的权 利要求1所述的图像处理装置的工作效果相似的工作效果。
[0046]而且，在本申请的权利要求17中描述的技术是一种图像显示系统，包括：
[0047] 外部装置，发送时间序列数据；
[0048] 绘图装置，接收所述时间序列数据并且渲染图像;以及 [0049]显示装置，显示由所述绘图装置渲染图像，其中，
[0050] 所述绘图装置预测从在所述外部装置中生成先前接收的数据中的最近数据时的 时间到在显示下一个图像时的时间的预测时间，预测在所述预测时间的时间序列数据，并 且基于预测时间序列数据，渲染所述图像。
[0051] 在本文中使用的"系统"表示多个装置(或实现特定功能的功能模块)的逻辑集合， 并且对每个装置或功能模块是否在单个外壳内没有特定要求。
[0052] 根据在本申请的权利要求18中描述的技术，在根据权利要求17所述的图像显示系 统中，所述外部装置是跟踪装置，跟踪在所述显示单元上观察显示图像的用户的一部分身 体或者全部身体的姿势，并且发送姿势信息，并且所述绘图装置配置为基于接收的姿势信 息，渲染跟随用户的一部分身体或者全部身体的运动的图像。
[0053] 根据在本申请的权利要求19中描述的技术，在根据权利要求17所述的图像显示系 统中，所述跟踪装置发送表示用户的一部分身体或者全部身体的位置或姿势的四元数，并 且所述绘图装置配置为通过外推在两个四元数之前的部分，以对所述两个四元数执行球面 线性插值，来预测所述预测时间前的四元数，并且基于所述预测四元数，渲染所述图像。
[0054] 本发明的效果
[0055] 根据在本说明书中公开的技术，可以提供一种优异的图像处理装置、一种图像处 理方法、一种计算机程序以及一种图像显示系统，能