0245] 时间序列数据预测单元，预测在所述预测时间的时间序列数据；以及 [0246]绘图处理单元，基于由所述预测单元预测的时间序列数据，渲染图像。
[0247] (14) 一种图像处理装置，包括：
[0248] 接收单元，从外部装置接收时间序列数据；
[0249]预测时间计算单元，计算从所述外部装置发送先前接收的数据中的最近时间到在 显示下一个图像时的时间的预测时间；
[0250]时间序列数据预测单元，预测在所述预测时间的时间序列数据；以及
[0251] 绘图处理单元，基于由所述预测单元预测的时间序列数据，渲染图像。
[0252] (15)-种图像处理方法，包括：
[0253] 接收步骤，从外部装置接收时间序列数据；
[0254] 预测时间计算步骤，计算从在所述外部装置中生成先前接收的数据中的最近数据 时的时间到在显示下一个图像时的时间的预测时间；
[0255] 时间序列数据预测步骤，预测在所述预测时间的时间序列数据；以及
[0256] 绘图处理步骤，基于在所述预测步骤中预测的时间序列数据，渲染图像。
[0257] (16) -种通过计算机可读形式描述的计算机程序，以使计算机用作：
[0258] 接收单元，从外部装置接收时间序列数据；
[0259] 预测时间计算单元，计算从在所述外部装置中生成先前接收的数据中的最近数据 时的时间到在显示下一个图像时的时间的预测时间；
[0260]时间序列数据预测单元，预测在所述预测时间的时间序列数据；以及
[0261] 绘图处理单元，基于由所述预测单元预测的时间序列数据，渲染图像。
[0262] (17)-种图像显示系统，包括：
[0263]外部装置，发送时间序列数据；
[0264]绘图装置，接收所述时间序列数据并且渲染图像;以及 [0265]显示装置，显示由所述绘图装置渲染图像，其中，
[0266] 所述绘图装置预测从在所述外部装置中生成先前接收的数据中的最近数据时的 时间到在显示下一个图像时的时间的预测时间，预测在所述预测时间的时间序列数据，并 且基于预测时间序列数据，渲染所述图像。
[0267] (18)根据上述(17)所述的图像显示系统，其中，
[0268] 所述外部装置是跟踪装置，跟踪在所述显示单元上观察显示图像的用户的一部分 身体或者全部身体的姿势，并且发送姿势信息，并且
[0269] 所述绘图装置基于接收的姿势信息，渲染跟随用户的一部分身体或者全部身体的 运动的图像。
[0270] (19)根据上述(17)所述的图像显示系统，其中，
[0271] 所述跟踪装置发送表示用户的一部分身体或者全部身体的位置或姿势的四元数， 并且
[0272] 所述绘图装置通过外推在两个四元数之前的部分，以对所述两个四元数执行球面 线性插值，来预测所述预测时间前的四元数，并且基于所述预测四元数，渲染所述图像。
[0273] 参考符号列表
[0274] 100:图像显示系统
[0275] 200:头部运动跟踪装置
[0276] 201:传感器单元
[0277] 202:姿势角操作单元
[0278] 203:发送单元
[0279] 300:绘图装置
[0280] 301:接收单元
[0281] 302:绘图处理单元
[0282] 303:发送单元
[0283] 304:图像源
[0284] 400:显示装置
[0285] 401:接收单元
[0286] 402:显示单元
[0287] 71:变化延迟估计单元
[0288] 72:总延迟量计算单元
[0289] 73:预测单元
【主权项】
1. 一种图像处理装置，包括： 接收单元，从外部装置接收时间序列数据； 预测时间计算单元，计算从在所述外部装置中生成先前接收的数据中的最近数据时的 时间到在显示下一个图像时的时间的预测时间； 时间序列数据预测单元，预测所述预测时间的时间序列数据；以及 绘图处理单元，基于由所述预测单元预测的所述时间序列数据，渲染图像。2. 根据权利要求1所述的图像处理装置，其中， 所述时间序列数据预测单元包括插在两片时间序列数据之间的配置，并且外推在所述 两片时间序列数据之前的部分，以预测在所述预测时间前的时间序列数据。3. 根据权利要求1所述的图像处理装置，进一步包括向显示装置发送所渲染的所述图 像的发送单元。4. 根据权利要求1所述的图像处理装置，进一步包括显示所渲染的所述图像的显示单 J L· 〇5. 根据权利要求1所述的图像处理装置，其中， 所述外部装置跟踪观察图像的用户的一部分身体或者全部身体的位置或姿势， 所述接收单元从所述外部装置接收姿势信息，作为所述时间序列数据，并且 所述绘图处理单元基于所述姿势信息渲染跟随所述用户的一部分身体或者全部身体 的运动的图像。6. 根据权利要求5所述的图像处理装置，其中， 所述预测时间计算单元基于从所述外部装置发送所述姿势信息时到显示基于所述姿 势信息的图像时的总延迟量，计算所述预测时间。7. 根据权利要求6所述的图像处理装置，其中， 所述总延迟量包括在从所述外部装置传输所述姿势信息时发生的传输延迟、在基于所 述姿势信息渲染所述图像时发生的渲染延迟、以及在显示所渲染的所述图像时发生的显示 延迟。8. 根据权利要求6所述的图像处理装置，其中， 所述预测时间计算单元将所述总延迟量分成可测量的恒定延迟以及不可测量的变化 延迟，以计算所述总延迟量。9. 根据权利要求8所述的图像处理装置，其中， 所述变化延迟包括传输延迟的变化。10. 根据权利要求5所述的图像处理装置，其中， 所述接收单元从所述外部装置接收表示所述用户的一部分身体或者全部身体的位置 或姿势的四元数，作为所述时间序列数据。11. 根据权利要求10所述的图像处理装置，其中， 所述时间序列数据预测单元包括对两个四元数执行线性插值的配置，并且外推在所述 两个四元数之前的部分，以预测所述预测时间前的四元数。12. 根据权利要求10所述的图像处理装置，其中， 所述时间序列数据预测单元包括对两个四元数执行球面线性插值的配置，并且外推在 所述两个四元数之前的部分，以预测所述预测时间前的四元数。13. -种图像处理装置，包括： 接收单元，从外部装置接收时间序列数据； 预测时间计算单元，计算从在所述外部装置中加入先前接收的数据中的最近数据时的 时间到在显示下一个图像时的时间的预测时间； 时间序列数据预测单元，预测所述预测时间的时间序列数据；以及 绘图处理单元，基于由所述预测单元预测的所述时间序列数据，渲染图像。14. 一种图像处理装置，包括： 接收单元，从外部装置接收时间序列数据； 预测时间计算单元，计算从所述外部装置发送先前接收的数据中的最近数据时的时间 到在显示下一个图像时的时间的预测时间； 时间序列数据预测单元，预测所述预测时间的时间序列数据；以及 绘图处理单元，基于由所述预测单元预测的所述时间序列数据，渲染图像。15. -种图像处理方法，包括： 接收步骤，从外部装置接收时间序列数据； 预测时间计算步骤，计算从在所述外部装置中生成先前接收的数据中的最近数据时的 时间到在显示下一个图像时的时间的预测时间； 时间序列数据预测步骤，预测所述预测时间的时间序列数据；以及 绘图处理步骤，基于在所述预测步骤中预测的所述时间序列数据，渲染图像。16. -种通过计算机可读形式描述的计算机程序，以使计算机用作： 接收单元，从外部装置接收时间序列数据； 预测时间计算单元，计算从在所述外部装置中生成先前接收的数据中的最近数据时的 时间到在显示下一个图像时的时间的预测时间； 时间序列数据预测单元，预测所述预测时间的时间序列数据；以及 绘图处理单元，基于由所述预测单元预测的所述时间序列数据，渲染图像。17. -种图像显示系统，包括： 外部装置，发送时间序列数据； 绘图装置，接收所述时间序列数据并且渲染图像；以及 显示装置，显示由所述绘图装置渲染的所述图像，其中， 所述绘图装置预测从在所述外部装置中生成先前接收的数据中的最近数据时的时间 到在显示下一个图像时的时间的预测时间，预测所述预测时间的时间序列数据，并且基于 预测的时间序列数据，渲染所述图像。18. 根据权利要求17所述的图像显示系统，其中， 所述外部装置是跟踪装置，跟踪在所述显示单元上观察显示图像的用户的一部分身体 或者全部身体的姿势，并且发送姿势信息，并且 所述绘图装置基于接收的姿势信息，渲染跟随所述用户的一部分身体或者全部身体的 运动的图像。19. 根据权利要求17所述的图像显示系统，其中， 跟踪装置发送表示用户的一部分身体或者全部身体的位置或姿势的四元数，并且 所述绘图装置通过外推在两个四元数之前的部分，以对所述两个四元数执行球面线性 插值，来预测所述预测时间前的四元数，并且基于预测的四元数，渲染所述图像。
【专利摘要】本申请生成一种跟随观察图像的用户的头部的运动的图像。绘图装置300从已经接收的姿势角数据的时间序列预测某个时间段要接收的姿势角数据，并且基于所述预测的姿势角数据，渲染图像。姿势角数据的预测算法大致分成两个步骤：(1)估计何时将接收所述姿势角数据，以及(2)预测预测的时间的所述姿势角数据。通过从所预测的姿势角数据渲染在预测的时间的图像，减少在显示跟随用户的头部的运动的图像时亲身感觉到的延迟。
【IPC分类】G09G5/00, H04N5/64
【公开号】CN105593924
【申请号】CN201480054842
【发明人】山本祐辉, 河本献太, 广田洋一
【申请人】索尼公司
【公开日】2016年5月18日
【申请日】2014年11月4日
【公告号】WO2015098292A1