够适当地处理跟随用户的一部分身体 或者全部身体(例如，头部、手的端部、脚的端部以及手腕)的运动的图像。
[0056] 在传输表示用户的头部等的运动的姿势信息时，具有延迟量的变化。根据在本说 明书中公开的技术，预测在具有传输延迟的变化的姿势信息的时间序列之后的某个时间的 姿势信息，并且基于所述预测的姿势信息，对图像执行渲染处理。因此，可以减少在用户观 察跟随头部的运动的图像时感觉到的延迟的感觉。
[0057] 在本说明书中描述的效果仅仅是实例，并且本发明的效果不限于这些效果。除了 上述效果，本发明还可提供进一步额外效果。
[0058] 通过稍后描述的实施方式以及基于附图的更详细的描述，阐明在本说明书中公开 的技术的进一步另一个目标、特征以及优点。
【附图说明】
[0059]图1是示意性示出应用在本说明书中公开的技术的图像显示系统100的一个示例 性配置的示图；
[0060]图2是示出在图像显示系统100中显示跟随用户的头部运动的图像数据时发生的 延迟的示图；
[0061 ]图3是示意性示出在图像显示系统100中的延迟模型的示图；
[0062] 图4是示出四元数q的示图；
[0063] 图5是用于描述在两个四元数之间执行线性插值的方法的示图；
[0064] 图6是用于描述在两个四元数之间执行球面线性插值的方法的示图；
[0065]图7是示意性示出应用用于姿势信息的预测算法的绘图装置300的一个示例性配 置的示图；
[0066] 图8是示出四元数的预测结果的时间序列图的示图；
[0067] 图9是示出图像显示系统100的变化的示图；
[0068]图10是示出在图像显示系统100中的处理的流程的时间图。
【具体实施方式】
[0069] 在后文中，参照附图，描述在本说明书中公开的技术的一个实施方式。
[0070] 在图1中，示意性示出应用在本说明书中公开的技术的图像显示系统100的一个示 例性配置。所显示的图像显示系统100包括头部运动跟踪装置200、绘图装置300以及显示装 置400。
[0071] 通过安装在观察由显示装置400显示的图像的用户的头上，使用头部运动跟踪装 置200。头部运动跟踪装置200在预定的发送周期给绘图装置300输出用户的头部的姿势角。 在显示的实例中，头部运动跟踪装置200包括传感器单元201、姿势角操作单元202以及给绘 图装置300发送获得的姿势信息的发送单元203。
[0072] 通过组合多个传感器元件，例如，陀螺仪传感器、加速度传感器以及地磁传感器， 配置传感器单元201。在本文中使用的传感器单元201是能够检测总共9个轴的传感器，包括 三轴陀螺仪传感器、三轴加速度传感器以及三轴地磁传感器。
[0073]姿势角操作单元202基于传感器单元201的9个轴的检测结果，操作用户的头部的 姿势角。发送单元203将请求的姿势信息发送给绘图装置300。在本实施方式中，姿势角表示 为四元数。四元数是包括旋转轴(矢量)和旋转角(标量)的四元数。然而，头部运动跟踪装置 200不必操作由四元数表示的姿势角。头部运动跟踪装置200可通过与四元数不同的形式给 绘图装置300发送表示姿势角的信息。可替换地，如图9中所示，头部运动跟踪装置200可从 发送单元203中照原样输出传感器单元201的检测结果，并且绘图装置300可装有姿势角操 作单元202,以从头部运动跟踪装置200中接收的传感器信息中计算姿势角。
[0074] 在所显示的图像显示系统100中，头部运动跟踪装置200和绘图装置300通过无线 通信(例如，蓝牙(注册商标)通信)彼此耦合。假设在本实施方式中，头部运动跟踪装置200 和绘图装置300彼此异步通信，并且这两个装置的时钟彼此也不同步。毋庸置疑，头部运动 跟踪装置200和绘图装置300可通过高速有线接口彼此耦合，例如，通用串行总线(USB)，代 替无线通信。在任一种情况下，在姿势信息从头部运动跟踪装置200中发送给绘图装置300 时，发生传输延迟。
[0075]由于蓝牙(注册商标)通信用于各种装置的通信的特征，所以给每种类型的装置设 计协议，并且该协议标准化为配置文件。例如，串行端口配置文件(SPP)是在符合蓝牙(注册 商标)的装置之间的虚拟串行通信的配置文件，并且也用于连接装有Android(注册商标）的 终端(例如，智能电话)和符合蓝牙(注册商标）的装置。SPP的范围在取样速率内，并且容易 生成不规则的延迟。
[0076] 绘图装置300执行在显示装置400上显示图像的渲染处理。例如，绘图装置300配置 为装有Android(注册商标）的终端(例如，智能电话)或者配置为个人电脑或游戏机。然而， 绘图装置300不限于这些装置。
[0077] 在所显示的实例中，绘图装置300包括接收单元301、绘图处理单元302、发送单元 303以及图像源304。接收单元301从头部运动跟踪装置200中接收姿势信息。绘图处理单元 302基于姿势信息执行图像的渲染处理。发送单元303将渲染图像发送给显示装置400。图像 源304用作图像数据的供应源。
[0078]接收单元301从头部运动跟踪装置200中通过蓝牙(注册商标)通信等接收姿势信 息。如上所述，姿势信息由四元数表示。
[0079] 例如，图像源304包括媒体再现装置、广播调谐器以及通信接口等。媒体再现装置 再现记录介质，例如，蓝光(注册商标）。广播调谐器选择并且接收数字广播信号。通信接口 从互联网的服务器等中接收图像内容。
[0080] 绘图处理单元302从图像源304的图像数据中渲染要在显示装置400上显示的图 像。例如，绘图处理单元302从图像源304中供应的整个球面原始图像或高清晰度(例如，4K) 原始图像中渲染作为从原始图像中分割的局部区域并且对应于在接收单元301上接收的姿 势信息的图像。
[0081 ]绘图装置300和显示装置400通过（例如）有线电缆（例如，高清晰度多媒体接口 (HDMI注册商标)和移动高清连接技术(MHL))彼此耦合。可替换地，绘图装置300和显示装置 400可通过无线通信(例如，无线HD和Miracast)彼此親合。使用任何通信路径，发送单元303 给显示装置400发送由绘图处理单元302渲染图像数据，而不压缩。
[0082] 显示装置400包括接收单元401和显示单元402。接收单元401从绘图装置300中接 收图像。显示单元402显示接收的图像。显示装置400配置为(例如)头戴式显示器，该显示器 固定至观察图像的用户的头部或脸部。
[0083]接收单元401通过通信路径从绘图装置300中接收未压缩的图像数据，例如，HDMI (注册商标)和MHL。显示单元402在屏幕上显示接收的图像数据。
[0084] 在显示装置400配置为(例如）头戴式显示器的情况下，显示单元402包括分别固定 至用户的左眼和右眼的左屏幕和右屏幕，并且显示左眼图像和右眼图像。显示单元402的屏 幕包括显示面板，例如，由有机电致发光(EL)元件例证的微型显示器以及液晶显示器。可替 换地，显示单元402的屏幕包括激光扫描显示器，例如，视网膜直接绘图显示器。显示单元 402的屏幕还包括虚拟图像光学单元，该单元放大并且在显示单元402上投射显示图像，以 允许用户观察图像，作为预定的视角的放大的虚拟图像。
[0085] 在绘图装置300上渲染图像。例如，这种图像是从整个球面原始图像或高清晰度 (例如，4K)原始图像中分割的局部区域并且对应于用户的头部的姿势信息。在显示装置400 上，在原始图像内的显示区域移动，以便消除用户的头部的姿势角。因此，允许用户观察跟 随用户的头部的运动的图像并且检查大屏幕。
[0086] 在图1中示出的实例中，图像显示系统100包括3个独立装置，即，头部运动跟踪装 置200、绘图装置300以及显示装置400。可替换地，可通过这种方式配置图像显示系统100， 以便绘图装置300和显示装置400包含在单个装置内，或者头部运动跟踪装置200、绘图装置 300以及显示装置400均包含在单个装置内。在头部运动跟踪装置200如图1中所示配置为在 外部连接至显示装置400的可选产品的情况下，显示装置400的尺寸、重量以及成本减小。 [0087] 在图1中示出的图像显示系统100中，在头部运动跟踪装置200检测用户的头部的 姿势时并且在显示装置400显示跟随该姿势的图像时，发生延迟时间。如图2中所示，传输延 迟21、渲染延迟22以及显示延迟23被视为在延迟时间内的主要因素。在姿势信息从头部运 动跟踪装置200中传输给绘图装置300时，发生传输延迟21。在跟随姿势信息的图像经受在 绘图装置300上的绘图处理时，发生渲染延迟22。在显示装置400上显示绘图数据时，发生显 示延迟23。
[0088] 在图3中，示意性示出在图像显示系统100中执行从头部运动跟踪装置200到绘图 装置300的传输时发生的延迟模型。
[0089]头部运动跟踪装置200从传感器单元201的检测结果中计算用户的头部的姿势信 息（四元数），并且在每个预定的发送周期Atpe3ricld输出姿势信息，如由参考数字31表示的数 据序列所示。
[0090] 在姿势信息从头部运动跟踪装置200中传输给绘图装置300时发生的传输延迟恒 定的情况下，在每个发送周期发送的时间生成的姿势信息在不变地固定的传输延迟A t transmit之后到达绘图装置300,如由参考数字32表示的数据序列所示。换言之，通过预定的 间距接收姿势信息的每个项目。然而，由于传输延迟包括恒定分量和变化分量，所以传输延 迟每次不同，如由参考数字33表示的数据序列所示。在第i次发送时发生的传输延迟表示为 。例如，在用于蓝牙(注册商标)通信的SPP等协议用于从头部运动跟踪装置200中 传输给显示装置400的情况下，假设传输延迟变化。
[0