一种VR移动物体追踪显示方法及装置与流程

一种vr移动物体追踪显示方法及装置
技术领域
1.本发明涉及虚拟现实领域，特别是涉及一种vr移动物体追踪显示方法及装置。


背景技术：

2.虚拟现实技术(英文名称：virtual reality，缩写为vr)，是20世纪发展起来的一项全新的实用技术。虚拟现实技术囊括计算机、电子信息、仿真技术，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。随着社会生产力和科学技术的不断发展，各行各业对vr技术的需求日益旺盛。vr技术也取得了巨大进步，并逐步成为一个新的科学技术领域。
3.对于目前的vr设备而言，延迟是影响用户体验的主要因素之一，这里所指的延迟，是motion-to-photon latency，是指从获取用户执行的动作，到在屏幕上展示与动作对应的图像所花费的时间，简称mtp延迟。即使是用户的眼睛在追踪图像中的移动物体时，现有技术也是采集动作后，再根据动作所对应的图像进行渲染。当因为移动物体不断的移动导致其周围环境变化，进行造成渲染量大的问题，使得主机可能无法及时完成对下一帧图像的渲染。


技术实现要素：

4.有鉴于现有技术的上述的一部分缺陷，本发明所要解决的技术问题是提供一种vr移动物体追踪显示方法及装置，应用于移动物体追踪显示，旨在增加渲染时间，保证主机可以有充足的时间对下一帧图像进行渲染，减少延迟问题。
5.为实现上述目的，本发明第一方面公开了一种vr移动物体追踪显示方法，所述方法包括：
6.步骤s101：判断当前帧图像中心区域的目标对象是否为移动物体，若是，则进行步骤s102；若否，则进行正常渲染操作；
7.步骤s102：响应于所述目标对象为移动物体，获得所述移动物体的运动轨迹；
8.步骤s103：根据所述移动物体的运动轨迹，获得所述移动物体在下一帧的位置，根据所述移动物体的下一帧位置并以所述移动物体为中心进行预测图像渲染；其中，所述预测图像为所述当前帧图像以所述移动物体为中心的下一帧图像；
9.步骤s104：根据所述预测图像，获得与所述预测图像相对应的预测转动幅度；
10.步骤s105：判断所述预测转动幅度是否与当前动作相符合，若是，则进行步骤s106；若否，则进行正常渲染操作；其中，所述当前动作为响应于所述当前帧对应的屏幕刷新信号，通过所述运动传感器采集获得的；
11.步骤s106：响应于所述预测转动幅度与所述当前动作相匹配，将所述预测图像确定为下一帧图像；
12.步骤s107：响应于下一帧对应的屏幕刷新信号，调用所述预测图像进行显示。
13.可选的，所述步骤s101，包括：
14.将所述当前帧图像的所述目标对象与上一帧图像的所述目标对象进行对比，确定所述目标对象处于的周围环境是否发生变化；若是，则判断当前帧图像中心区域的目标对象为移动物体，进行步骤s102；若否，则进行正常渲染操作。
15.可选的，所述步骤s103，包括：
16.根据所述移动物体的运动轨迹，获得所述移动物体在下一帧的位置；
17.根据所述移动物体在下一帧的位置，确定渲染中心；
18.根据当前帧图像和所述运动轨迹，确定渲染范围；
19.根据所述渲染中心和所述渲染范围，对预测图像进行渲染。
20.可选的，所述步骤s104，包括：
21.根据所述预测图像与所述当前帧图像的对比，获得所述预测转动幅度；其中，所述预测转动幅度为身体转动幅度、头部转动幅度以及眼睛转动幅度的共同作用。
22.可选的，所述步骤s105；包括：
23.根据上一动作与所述当前动作之间身体转动幅度、头部转动幅度以及眼睛转动幅度获得当前转动幅度；
24.对比所述当前转动幅度是否与预测转动幅度相同，若是，则进行步骤s106；若否，则进行正常渲染操作。
25.本发明第二方面公开了一种vr移动物体追踪显示装置，所述装置包括：移动物体判断单元，运动轨迹获得单元、渲染单元、预测转动幅度获得单元、动作判断单元、下一帧图像确定单元以及显示单元；
26.所述移动物体判断单元，用于判断当前帧图像中心区域的目标对象是否为移动物体，若是，则进行使所述运动轨迹获得单元进行工作；若否，则进行正常渲染操作；
27.所述运动轨迹获得单元，用于响应于所述目标对象为移动物体，获得所述移动物体的运动轨迹；
28.所述渲染单元，用于根据所述移动物体的运动轨迹，获得所述移动物体在下一帧的位置，根据所述移动物体的下一帧位置并以所述移动物体为中心进行预测图像渲染；其中，所述预测图像为所述当前帧图像以所述移动物体为中心的下一帧图像；
29.所述预测转动幅度获得单元，用于根据所述预测图像，获得与所述预测图像相对应的预测转动幅度；
30.所述动作判断单元，用于判断所述预测转动幅度是否与当前动作相符合，若是，则使所述下一帧图像确定单元进行工作；若否，则进行正常渲染操作；其中，所述当前动作为响应于所述当前帧对应的屏幕刷新信号，通过所述运动传感器采集获得的；
31.所述下一帧图像确定单元，用于响应于所述预测转动幅度与所述当前动作相匹配，将所述预测图像确定为下一帧图像；
32.所述显示单元，用于响应于下一帧对应的屏幕刷新信号，调用所述预测图像进行显示。
33.可选的，所述移动物体判断单元具体用于：
34.将所述当前帧图像的所述目标对象与上一帧图像的所述目标对象进行对比，确定所述目标对象处于的周围环境是否发生变化；若是，则判断当前帧图像中心区域的目标对象为移动物体，使所述运动轨迹获得单元进行工作；若否，则进行正常渲染操作。
35.可选的，所述渲染单元，包括:轨迹位置确定子单元、渲染中心确定子单元，渲染范围确定子单元以及渲染操作子单元；
36.所述轨迹位置确定子单元，用于根据所述移动物体的运动轨迹，获得所述移动物体在下一帧的位置；
37.所述渲染中心确定子单元，用于根据所述移动物体在下一帧的位置，确定渲染中心；
38.所述渲染范围确定子单元，用于根据当前帧图像和所述运动轨迹，确定渲染范围；
39.所述渲染操作子单元，用于根据所述渲染中心和所述渲染范围，对预测图像进行渲染。
40.可选的，所述预测转动幅度获得单元具体用于：
41.根据所述预测图像与所述当前帧图像的对比，获得所述预测转动幅度；其中，所述预测转动幅度为身体转动幅度、头部转动幅度以及眼睛转动幅度的共同作用。
42.可选的，所述动作判断单元包括：当前转动幅度获得子单元和幅度对比子单元；
43.所述当前转动幅度获得子单元，用于根据上一动作与所述当前动作之间身体转动幅度、头部转动幅度以及眼睛转动幅度获得当前转动幅度；
44.所述幅度对比子单元，用于对比所述当前转动幅度是否与预测转动幅度相同，若是，则使下一帧图像确定单元进行工作；若否，则进行正常渲染操作。
45.本发明的有益效果：本发明包括：步骤s101：判断当前帧图像中心区域的目标对象是否为移动物体，若是，则进行步骤s102；若否，则进行正常渲染操作；步骤s102：响应于目标对象为移动物体，获得移动物体的运动轨迹；步骤s103：根据移动物体的运动轨迹，获得移动物体在下一帧的位置，根据移动物体的下一帧位置并以移动物体为中心进行预测图像渲染；步骤s104：根据预测图像，获得与预测图像相对应的预测转动幅度；步骤s105：判断预测转动幅度是否与当前动作相符合，若是，则进行步骤s106；若否，则进行正常渲染操作；步骤s106：响应于预测转动幅度与当前动作相匹配，将预测图像确定为下一帧图像；步骤s107：响应于下一帧对应的屏幕刷新信号，调用预测图像进行显示。相较于现有技术，本发明直接判断当前帧图像中目标对象是否为移动物体，确定为移动物体后根据目标对象的移动轨迹对下一帧进行渲染，无需等待当前动作采集完成后进行渲染，从而增加了渲染处理时间，保证主机有足够的时间对下一帧进行渲染。本发明另一方面通过当前动作与预测图像相对应的预测转动幅度相对比，判断用户的眼睛是否在追踪目标对象，从而保证了显示的正确性。综上，本发明有效减少降低移动物体追踪显示延迟大的问题。
附图说明
46.图1是本发明一具体实施例提供的一种vr移动物体追踪显示方法的流程示意图；
47.图2是本发明一具体实施例提供的一种vr移动物体追踪显示装置的结构示意图；
48.图3是现有技术的一种vr显示控制方法的时序示意图；
49.图4是本发明一具体实施例提供的一种vr移动物体追踪显示方法的时序示意图。
具体实施方式
50.本发明公开了一种vr移动物体追踪显示方法及装置，本领域技术人员可以借鉴本
文内容，适当改进技术细节实现。特别需要指出的是，所有类似的替换和改动对本领域技术人员来说是显而易见的，它们都被视为包括在本发明。本发明的方法及应用已经通过较佳实施例进行了描述，相关人员明显能在不脱离本发明内容、精神和范围内对本文所述的方法和应用进行改动或适当变更与组合，来实现和应用本发明技术。
51.经申请人研究发现：现有技术中的一种vr显示控制方法的时序示意图如图3所示，当vsync信号到来，vr头盔中的屏幕开始显示第n-1帧图像时，vr头盔中的传感器感应用户的动作，该动作对应的图像为第n帧图像，然后将动作信息发送至电脑主机，电脑主机根据动作信息完成第n帧图像的渲染，并缓存渲染后的图像数据。当屏幕接收到vsync信号，可以从缓存中读取渲染后的第n帧图像，并显示第n帧图像。现有技术在对移动物体进行渲染当前帧图片和显示当前帧图片之间的时间间隔十分短暂，导致主机可能无法及时完成对当前帧图像的处理，从而造成明显延迟的问题。申请人在多次试验中，发现移动物体的移动轨迹是已知的，可以根据移动物体的移动轨迹进行渲染，减少了动作采集时间，增加了渲染时间，保证渲染时间的充足。
52.因此，本发明实施例提供了一种vr移动物体追踪显示方法，如图1所示，该方法包括：
53.步骤s101：判断当前帧图像中心区域的目标对象是否为移动物体。若是，则进行步骤s102；若否，则进行正常渲染操作。
54.其中，正常渲染操作为运动传感器先采集当前动作，主机根据当前动作，获得与当前动作相匹配的下一帧图像并进行渲染。
55.需要说明的是，当前帧图像中心区域为用户上一动作对应的视点所在位置，即，用户上一动作的关注点。如果该关注点为移动物体，则说明该用户的眼睛有很大可能在追踪该物体。视点为用户眼睛在图像中的聚焦点。
56.可选的，步骤s101，包括：
57.将当前帧图像的目标对象与上一帧图像的目标对象进行对比，确定目标对象处于的周围环境是否发生变化；若是，则判断当前帧图像中心区域的目标对象为移动物体，进行步骤s102；若否，则进行正常渲染操作。
58.需要说明的是，通过当前帧中的目标对象和上一帧图像的目标对象处于的环境对比，可以确定目标对象是否为移动物体。因为一旦物体移动，其处于的周围环境势必也会产生变化。
59.步骤s102：响应于目标对象为移动物体，获得移动物体的运动轨迹。
60.需要说明的是，vr图像中不管是游戏还是视频，其中物体的运动轨迹是可以提前得知的。在游戏中，物体按照预设程序进行反应移动；在视频中，物体移动的轨迹早已确定。
61.步骤s103：根据移动物体的运动轨迹，获得移动物体在下一帧的位置，根据移动物体的下一帧位置并以移动物体为中心进行预测图像渲染。
62.其中，预测图像为当前帧图像以移动物体为中心的下一帧图像。
63.可选的，步骤s103，包括：
64.根据移动物体的运动轨迹，获得移动物体在下一帧的位置；
65.根据移动物体在下一帧的位置，确定渲染中心；
66.根据当前帧图像和运动轨迹，确定渲染范围；
67.根据渲染中心和渲染范围，对预测图像进行渲染。
68.需要说明的是，因为判断为用户眼睛在追踪目标对象(移动物体)，所以预测图像的中心区域为目标对象，再根据目标对象下一帧的位置，可以很清楚对预测图像进行渲染。
69.步骤s104：根据预测图像，获得与预测图像相对应的预测转动幅度。
70.需要说明的是，预测转动幅度为用户如果真的是追踪目标对象时，身体发生的转动，或者可以说是视点转动的幅度。
71.可选的，根据预测图像与当前帧图像的对比，获得预测转动幅度；其中，预测转动幅度为身体转动幅度、头部转动幅度以及眼睛转动幅度的共同作用。
72.具体的，根据预测图像中的目标移动物体与当前帧图像的目标移动物体位置，以及预测图像和当前帧图像中目标移动物体均处于图像中心区域，可以确定预测转动幅度。
73.步骤s105：判断预测转动幅度是否与当前动作相符合。
74.若是，则进行步骤s106；若否，则进行正常渲染操作。
75.其中，当前动作为响应于当前帧对应的屏幕刷新信号，通过运动传感器采集获得的。
76.需要说明的是，该步骤的目的是进一步确认用户是否真的在追踪目标对象。避免因为用户中途改变追踪其它目标或者并非追踪目标对象，而造成的图像显示错误。其中，对比的时间远小于渲染时间和动作采集时间，几乎不会对正常渲染操作造成影响。
77.在本实施例中，正常渲染操作之中，要先进行步骤s105。先采集当前动作，进行步骤s105后，判断不符合后，再根据当前动作对下一帧图像进行渲染。
78.可选的，步骤s105；包括：
79.根据上一动作与当前动作之间身体转动幅度、头部转动幅度以及眼睛转动幅度获得当前转动幅度；
80.对比当前转动幅度是否与预测转动幅度相同，若是，则进行步骤s106；若否，则进行正常渲染操作。
81.需要说明的是，转动幅度相同的情况下，身体转动幅度、头部转动幅度以及眼睛转动幅度有无数种排列组合。所以只要当前转动幅度与预测转动幅度相同，就说明用户是在追踪目标对象。
82.步骤s106：响应于预测转动幅度与当前动作相匹配，将预测图像确定为下一帧图像。匹配说明用户是在追踪目标对象。
83.步骤s107：响应于下一帧对应的屏幕刷新信号，调用预测图像进行显示。
84.在一具体实施例中，本发明实施例对应的时序示意图如图4所示，在确定用户在追踪移动目标的情况下。在显示第一n-1帧时，同时渲染第n帧(预测)和对第n个动作的采集，第n个动作采集完毕后，对比是否满足第n帧(预测)对应的预测转动幅度。在图4中，是满足的条件，所以响应于屏幕刷新信号vsyns，对第n帧进行显示。
85.本发明方法实施例包括：步骤s101：判断当前帧图像中心区域的目标对象是否为移动物体，若是，则进行步骤s102；若否，则进行正常渲染操作；步骤s102：响应于目标对象为移动物体，获得移动物体的运动轨迹；步骤s103：根据移动物体的运动轨迹，获得移动物体在下一帧的位置，根据移动物体的下一帧位置并以移动物体为中心进行预测图像渲染；步骤s104：根据预测图像，获得与预测图像相对应的预测转动幅度；步骤s105：判断预测转
动幅度是否与当前动作相符合，若是，则进行步骤s106；若否，则进行正常渲染操作；步骤s106：响应于预测转动幅度与当前动作相匹配，将预测图像确定为下一帧图像；步骤s107：响应于下一帧对应的屏幕刷新信号，调用预测图像进行显示。相较于现有技术，本发明实施例直接判断当前帧图像中目标对象是否为移动物体，确定为移动物体后根据目标对象的移动轨迹对下一帧进行渲染，无需等待当前动作采集完成后进行渲染，从而增加了渲染处理时间，保证主机有足够的时间对下一帧进行渲染。本发明实施例另一方面通过当前动作与预测图像相对应的预测转动幅度相对比，判断用户的眼睛是否在追踪目标对象，从而保证了显示的正确性。
86.基于上述实施例提供的一种vr移动物体追踪显示方法，本发明实施例还提供了一种vr移动物体追踪显示装置，如图2所示，包括：装置包括：移动物体判断单元201，运动轨迹获得单元202、渲染单元203、预测转动幅度获得单元204、动作判断单元205、下一帧图像确定单元206以及显示单元207；
87.移动物体判断单元201，用于判断当前帧图像中心区域的目标对象是否为移动物体，若是，则进行使运动轨迹获得单元202进行工作；若否，则进行正常渲染操作；
88.运动轨迹获得单元202，用于响应于目标对象为移动物体，获得移动物体的运动轨迹；
89.渲染单元203，用于根据移动物体的运动轨迹，获得移动物体在下一帧的位置，根据移动物体的下一帧位置并以移动物体为中心进行预测图像渲染；其中，预测图像为当前帧图像以移动物体为中心的下一帧图像；
90.预测转动幅度获得单元204，用于根据预测图像，获得与预测图像相对应的预测转动幅度；
91.动作判断单元205，用于判断预测转动幅度是否与当前动作相符合，若是，则使下一帧图像确定单元206进行工作；若否，则进行正常渲染操作；其中，当前动作为响应于当前帧对应的屏幕刷新信号，通过运动传感器采集获得的；
92.下一帧图像确定单元206，用于响应于预测转动幅度与当前动作相匹配，将预测图像确定为下一帧图像；
93.显示单元207，用于响应于下一帧对应的屏幕刷新信号，调用预测图像进行显示。
94.可选的，移动物体判断单元201具体用于：
95.将当前帧图像的目标对象与上一帧图像的目标对象进行对比，确定目标对象处于的周围环境是否发生变化；若是，则判断当前帧图像中心区域的目标对象为移动物体，使运动轨迹获得单元202进行工作；若否，则进行正常渲染操作。
96.可选的，渲染单元203，包括:轨迹位置确定子单元、渲染中心确定子单元，渲染范围确定子单元以及渲染操作子单元；
97.轨迹位置确定子单元，用于根据移动物体的运动轨迹，获得移动物体在下一帧的位置；
98.渲染中心确定子单元，用于根据移动物体在下一帧的位置，确定渲染中心；
99.渲染范围确定子单元，用于根据当前帧图像和运动轨迹，确定渲染范围；
100.渲染操作子单元，用于根据渲染中心和渲染范围，对预测图像进行渲染。
101.可选的，预测转动幅度获得单元204具体用于：
102.根据预测图像与当前帧图像的对比，获得预测转动幅度；其中，预测转动幅度为身体转动幅度、头部转动幅度以及眼睛转动幅度的共同作用。
103.可选的，动作判断单元205包括：当前转动幅度获得子单元和幅度对比子单元；
104.当前转动幅度获得子单元，用于根据上一动作与当前动作之间身体转动幅度、头部转动幅度以及眼睛转动幅度获得当前转动幅度；
105.幅度对比子单元，用于对比当前转动幅度是否与预测转动幅度相同，若是，则使下一帧图像确定单元206进行工作；若否，则进行正常渲染操作。
106.本发明装置实施例包括：移动物体判断单元201判断当前帧图像中心区域的目标对象是否为移动物体若是，则进行使运动轨迹获得单元202进行工作；若否，则进行正常渲染操作；运动轨迹获得单元202：响应于目标对象为移动物体，获得移动物体的运动轨迹；渲染单元203根据移动物体的运动轨迹，获得移动物体在下一帧的位置，根据移动物体的下一帧位置并以移动物体为中心进行预测图像渲染；预测转动幅度获得单元204根据预测图像，获得与预测图像相对应的预测转动幅度；动作判断单元205判断预测转动幅度是否与当前动作相符合，若是，则使下一帧图像确定单元206进行工作；若否，则进行正常渲染操作；下一帧图像确定单元206响应于预测转动幅度与当前动作相匹配，将预测图像确定为下一帧图像；显示单元207响应于下一帧对应的屏幕刷新信号，调用预测图像进行显示。相较于现有技术，本发明实施例直接判断当前帧图像中目标对象是否为移动物体，确定为移动物体后，根据目标对象的移动轨迹对下一帧进行渲染，无需等待当前动作采集完成后进行渲染，从而增加了渲染处理时间，保证主机有足够的时间对下一帧进行渲染。本发明实施例另一方面通过当前动作与预测图像相对应的预测转动幅度相对比，判断用户的眼睛是否在追踪目标对象，从而保证了显示的正确性。
107.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
108.本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
109.以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。