头戴式显示设备及其方法与流程

文档序号:21732987发布日期:2020-08-05 01:28阅读:来源:国知局

技术特征:

1.一种被配置为由用户(121)穿戴的头戴式显示设备(100),所述显示设备包括:

至少部分透视的显示器(101),

面向前方的摄像头(102),其能够操作为捕捉现实世界场景的第一图像,以及

处理装置(104),其能够操作为:

从在所述第一图像中可见的一个或多个现实世界对象或其一部分(130~135)中选择校准对象,以及

基于现实世界位置来导出用于计算显示位置的校准变换,使得在所述显示器上的所述显示位置处显示的虚拟对象与所述用户看到的位于所述现实世界位置处的相应现实世界对象对齐。

2.根据权利要求1所述的显示设备,还包括:

面向眼睛的摄像头(103),其能够操作为捕捉所述用户的角膜(123)对所述现实世界场景的反射的第二图像,

所述处理装置能够操作为:

从在所述第一图像和所述第二图像中均可见的一个或多个现实世界对象或其一部分中选择所述校准对象,以及

使用所述第一图像和所述第二图像来导出所述校准变换。

3.根据权利要求2所述的显示设备,所述处理装置能够操作为从一个或多个现实世界对象或其一部分中选择所述校准对象,所述一个或多个现实世界对象或其一部分在所述第一图像中的与所述面向眼睛的摄像头(103)的视野(113)相对应的区域中是可见的。

4.根据权利要求2或3所述的显示设备,所述处理装置能够操作为基于所述第二图像中的所述校准对象的与所述第一图像相比的失真来选择所述校准对象。

5.根据权利要求1至3中任一项所述的显示设备,所述处理装置能够操作为基于所述校准对象的视觉外观来选择所述校准对象。

6.根据权利要求1至3中任一项所述的显示设备,所述处理装置能够操作为在所述一个或多个现实世界对象中将先前选择的校准对象选择作为所述校准对象。

7.根据权利要求1至3中任一项所述的显示设备,还包括一个或多个运动传感器(106),其能够操作为跟踪所述显示设备的运动,所述处理装置能够操作为:

基于所跟踪的所述显示设备的运动,估计所述一个或多个现实世界对象在所述第一图像中保持可见的持续时间,以及

基于所估计的所述校准对象在所述第一图像中保持可见的持续时间,选择所述校准对象。

8.根据权利要求1至3中任一项所述的显示设备,所述处理装置能够操作为通过如下方式来选择所述校准对象:

通过将一个或多个现实世界对象的视觉特征与数据库中存储的与现实世界对象的视觉特征有关的信息进行匹配来识别所述一个或多个现实世界对象,以及

基于从所述数据库获得的信息来选择所述校准对象,所述信息指示所识别的现实世界对象或其一部分作为校准对象的各自适合性。

9.根据权利要求1至3中任一项所述的显示设备,还包括无线通信接口(105),所述处理装置能够操作为通过如下方式来选择所述校准对象:

使用所述无线通信接口在所述一个或多个现实世界对象中识别包括显示器(131)在内的通信设备(130),以及

将以下至少一项选择作为所述校准对象:所述通信设备的所述显示器(131)和在其上显示的图形内容(132)。

10.根据权利要求9所述的显示设备,所述处理装置还能够操作为经由所述无线通信接口从所述通信设备(130)接收所显示的图形内容(132)的表示。

11.根据权利要求9所述的显示设备,所述处理装置还能够操作为经由所述无线通信接口向所述通信设备(130)发送用于在所述通信设备的所述显示器(131)上显示所述图形内容(132)的指令。

12.根据权利要求11所述的显示设备,所述处理装置还能够操作为经由所述无线通信接口向所述通信设备(130)发送所述图形内容(132)的表示。

13.根据权利要求1至12中任一项所述的显示设备,所述处理装置能够操作为响应于以下任何一项来选择所述校准对象并导出所述校准变换:

从所述用户接收到用于发起校准过程的指令,

所述显示设备上电,

检测到所显示的虚拟对象相对于所述现实世界场景未对齐,

检测到所述用户与所述显示设备的先前用户不同,

检测到所述显示设备相对于所述用户的至少一只眼睛(122)已经发生了位移,以及

检测到所述显示器(101)和所述面向前方的摄像头(102)中的任何一个相对于所述显示设备已经发生了位移。

14.根据权利要求1至13中任一项所述的显示设备,所述处理装置能够操作为:响应于选择所述校准对象,调整所述用户看到的与所选择的校准对象重叠的一个或多个所显示的虚拟对象。

15.根据权利要求1至14中任一项所述的显示设备,所述处理装置还能够操作为:响应于选择所述校准对象,通知所述用户校准正在进行中。

16.根据权利要求15所述的显示设备,所述处理装置还能够操作为:通过在所述显示器上向所述用户显示用于识别所选择的校准对象的标记(250)来通知所述用户校准正在进行中。

17.根据权利要求1至16中任一项所述的显示设备,所述处理装置还能够操作为:

接收用于显示虚拟对象的指令,所述指令包括在向所述用户显示时所述虚拟对象的相应现实世界位置;

通过对所接收的现实世界位置应用所述校准变换来计算所述虚拟对象的显示位置;以及

在所述显示器上的所计算出的显示位置处显示所述虚拟对象。

18.一种由被配置为由用户穿戴的头戴式显示设备执行的方法(500),所述方法包括:

从一个或多个现实世界对象或其一部分中选择(504)校准对象,所述一个或多个现实世界对象或其一部分在现实世界场景的第一图像中是可见的,所述第一图像由所述显示设备中包括的面向前方的摄像头捕捉;以及

基于现实世界位置来导出(507)用于计算显示位置的校准变换,使得在所述显示设备包括的至少部分透视的显示器上的所述显示位置处显示的虚拟对象与所述用户看到的位于所述现实世界位置处的相应现实世界对象对齐。

19.根据权利要求18所述的方法,其中,从一个或多个现实世界对象或其一部分中选择(504)所述校准对象,所述一个或多个现实世界对象或其一部分在所述第一图像中和在所述用户的角膜对所述现实世界场景的反射的第二图像中均是可见的,所述第二图像由所述显示设备中包括的面向眼睛的摄像头捕捉,以及使用所述第一图像和所述第二图像来导出(507)所述校准变换。

20.根据权利要求19所述的方法,其中,从一个或多个现实世界对象或其一部分中选择(504)所述校准对象,所述一个或多个现实世界对象或其一部分在所述第一图像中的与所述面向眼睛的摄像头的视野相对应的区域中是可见的。

21.根据权利要求19或20所述的方法,其中,基于所述第二图像中的所述校准对象的与所述第一图像相比的失真来选择(504)所述校准对象。

22.根据权利要求18至20中任一项所述的方法,其中,基于所述校准对象的视觉外观来选择(504)所述校准对象。

23.根据权利要求18至20中任一项所述的方法,其中,在所述一个或多个现实世界对象中将先前选择的校准对象选择(504)作为所述校准对象。

24.根据权利要求18至20中任一项所述的方法,还包括:

使用所述显示设备中包括的一个或多个运动传感器来跟踪(502)所述显示设备的运动,以及

基于所跟踪的所述显示设备的运动,估计(503)所述一个或多个现实世界对象在所述第一图像中保持可见的持续时间,

其中,基于所估计的所述校准对象在所述第一图像中保持可见的持续时间,选择(504)所述校准对象。

25.根据权利要求18至20中任一项所述的方法,其中,选择(504)所述校准对象包括:

通过将一个或多个现实世界对象的视觉特征与数据库中存储的与现实世界对象的视觉特征有关的信息进行匹配来识别所述一个或多个现实世界对象,以及

基于从所述数据库获得的信息来选择所述校准对象,所述信息指示所识别的现实世界对象或其一部分作为校准对象的各自适合性。

26.根据权利要求18至20中任一项所述的方法,其中,选择(504)所述校准对象包括:

使用所述显示设备中包括的无线通信接口在所述一个或多个现实世界对象中识别包括显示器在内的通信设备,以及

将以下至少一项选择作为所述校准对象:所述通信设备的所述显示豁和在其上显示的图形内容。

27.根据权利要求26所述的方法,其中,选择(504)所述校准对象还包括:经由所述无线通信接口从所述通信设备接收所显示的图形内容的表示。

28.根据权利要求26所述的方法,其中,选择(504)所述校准对象还包括:经由所述无线通信接口向所述通信设备发送用于在所述通信设备的所述显示器上显示所述图形内容的指令。

29.根据权利要求28所述的方法,其中,选择(504)所述校准对象还包括:经由所述无线通信接口向所述通信设备发送所述图形内容的表示。

30.根据权利要求18至29中任一项所述的方法,其中,响应于以下任何一项来选择(504)所述校准对象并导出(507)所述校准变换:

从所述用户接收到用于发起校准过程的指令,

所述显示设备上电,

检测到所显示的虚拟对象相对于所述现实世界场景未对齐,

检测到所述用户与所述显示设备的先前用户不同,

检测到所述显示设备相对于所述用户的至少一只眼睛(122)已经发生了位移,以及

检测到所述显示器(101)和所述面向前方的摄像头(102)中的任何一个相对于所述显示设备已经发生了位移。

31.根据权利要求18至30中任一项所述的方法,还包括:响应于选择(504)所述校准对象,调整(505)所述用户看到的与所选择的校准对象重叠的一个或多个所显示的虚拟对象。

32.根据权利要求18至31中任一项所述的方法,还包括:响应于选择(504)所述校准对象,通知(506)所述用户校准正在进行中。

33.根据权利要求32所述的方法,其中,通过在所述显示器上向所述用户显示用于识别所选择的校准对象的标记来通知(506)所述用户校准正在进行中。

34.根据权利要求18至33中任一项所述的方法,还包括:

接收(508)用于显示虚拟对象的指令,所述指令包括在向所述用户显示时所述虚拟对象的相应现实世界位置,

通过对所接收的现实世界位置应用所述校准变换来计算(509)所述虚拟对象的显示位置,以及

在所述显示器上的所计算出的显示位置处显示(510)所述虚拟对象。

35.一种计算机程序(304),包括计算机可执行指令,当所述计算机可执行指令在头戴式显示设备中包括的处理单元(302)上执行时,所述计算机可执行指令使得所述显示设备执行根据权利要求18至34中任一项所述的方法。

36.一种具有存储在其上的根据权利要求35所述的计算机程序(304)的计算机可读存储介质(303)。


技术总结
提供了一种被配置为由用户(121)穿戴的头戴式显示设备(HMD)(100)。该HMD包括至少部分透视的显示器(101)、面向前方的摄像头(102)和处理装置(104),该面向前方的摄像头(102)可操作为捕捉现实世界场景的第一图像,该处理装置可操作为从在第一图像中可见的一个或多个现实世界对象或其一部分(130~135)中选择校准对象,并基于现实世界位置导出用于计算显示位置的校准变换,使得在显示器上的显示位置处显示的虚拟对象与用户看到的位于现实世界位置处的相应现实世界对象对齐。

技术研发人员:何塞·阿劳若;索马·塔亚门
受保护的技术使用者:瑞典爱立信有限公司
技术研发日:2017.12.19
技术公布日:2020.08.04
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1