用于显示双目变形补偿的系统和方法与流程

本发明一般地涉及被配置为促进一个或多个用户的交互虚拟或增强现实环境的系统和方法。

背景技术：

1、现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中数字再现的图像或其部分以它们看起来是真实的或可以被感知为真实的方式呈现给用户。虚拟现实(vr)场景通常涉及以对其它实际的真实世界视觉输入不透明的方式呈现数字或虚拟图像信息，而增强现实(ar)场景通常涉及将数字或虚拟图像信息的呈现为对终端用户周围的实际世界的可视化的增强。

2、例如，参考图1，示出了增强现实场景4，其中ar技术的用户看到以人、树木、背景中的建筑物和混凝土平台8为特征的真实世界公园状设施6。除了这些项之外，ar技术的终端用户还感知他“看到”站在真实世界平台8上的机器人雕像10，以及看起来是大黄蜂的化身的正在飞行的卡通式的化身角色12，尽管这些元素10，12在真实世界中不存在。人类视觉感知系统非常复杂，并且产生有助于在其它虚拟或真实世界的影像元素中舒适、感觉自然、丰富地呈现的虚拟图像元素的vr或ar技术也极具挑战性。

3、vr和ar系统通常使用头戴式显示器(或头盔式显示器或智能眼镜)，它们至少与用户的头部宽松地耦合，并因此在终端用户的头部移动时移动。如果显示子系统检测到终端用户的头部动作，则可以更新正在显示的数据，以考虑头部姿势(即用户头部的取向和/或位置)的变化。

4、作为示例，如果佩戴头戴式显示器的用户在显示器上观看三维(3d)对象的虚拟表示，并且在3d对象出现的区域周围走动，则可以为每个视点重新渲染该3d对象，从而使终端用户感觉到他或她正在围绕占用真实空间的对象走动。如果使用头戴式显示器在虚拟空间(例如，丰富的虚拟世界)中显示多个对象，则头部姿势的测量可用于重新渲染场景，以匹配终端用户的动态变化的头部位置和取向，并提供增强的虚拟空间中的沉浸感。

5、启用ar(即同时查看真实和虚拟元素)的头戴式显示器可以具有几种不同类型的配置。在一种这样的通常被称为“视频透视”显示器的配置中，摄像头捕获真实场景的元素，计算系统将虚拟元素叠加到捕获的真实场景上，并且非透明显示器将合成图像呈现给眼睛。另一配置通常被称为“光学透视”显示器，其中终端用户可以透视显示子系统中的透明(或半透明)元素，来直接观看来自环境中真实对象的光。通常被称为“组合器”的透明元素将来自显示器的光叠加到终端用户对真实世界的视图上。

6、vr和ar系统通常采用显示子系统，其具有投影子系统和位于终端用户视场前方的显示表面，并且该投影子系统在该显示表面上顺序地投影图像帧。在真正的三维系统中，可以以帧速率或子帧速率控制显示表面的深度。投影子系统可以包括：一个或多个光纤，来自一个或多个光源的光以限定的图案发射不同颜色的光到其中；以及扫描设备，其以预定的图案扫描一个或多个光纤以创建被顺序地显示给终端用户的图像帧。

7、在一个实施例中，显示子系统包括一个或多个平面光波导，其通常平行于用户的视场，并且来自一个或多个光纤的光被注入到其中。一个或多个线性衍射光栅被嵌入一个或多个波导内以改变沿一个或多个波导传播的入射光的角度。通过将光的角度改变为超过全内反射(tir)的阈值，光从一个或多个波导的一个或多个侧面逸出。一个或多个线性衍射光栅具有较低的衍射效率，因此每当光遇到一个或多个线性衍射光栅时，仅一部分光能被导引出波导。通过在沿一个或多个光栅的多个位置处耦出光，有效地增加了显示子系统的出射光瞳。显示子系统可以进一步包括：一个或多个准直元件，其对来自一个或多个光纤的光进行准直的；以及光输入设备，其将准直后光光学耦合到一个或多个波导的边缘或从一个或多个波导的边缘光学耦合准直后光。

技术实现思路

1、本公开描述了用于补偿出现在显示设备内的双目变形的技术，诸如所述设备是ar或vr系统的部件。

2、至少一些实施例涉及一种用于由终端用户使用的虚拟图像生成系统的显示子系统。该子系统可以包括第一波导装置和第二波导装置；第一投影子组件和第二投影子组件，其被配置为将第一光束和第二光束分别引入到第一波导装置和第二波导装置中，从而至少第一光线和至少第二光线分别从第一波导装置和第二波导装置出射，以将第一单目图像和第二单目图像作为双目图像显示给终端用户；以及光感测组件，其被配置为检测指示作为双目图像所显示的第一单目图像和第二单目图像之间的失配的至少一个参数。实施例可以可选地包括以下方面中的一者或多者。

3、在一些实施例中，第一投影子组件和第二投影子组件中的每一者包括：一个或多个光源，其被配置为生成光；以及光学耦合组件，其被配置为将光准直成相应的光束，并将相应的光束耦合到相应的波导装置中。

4、在一些实施例中，每个光学耦合组件包括：准直元件，其被配置为将相应的光准直成相应的准直后光束中；以及耦入元件(ice)，其被配置为将相应的准直后光束光学耦合到相应的波导装置中。

5、在一些实施例中，第一波导装置和第二波导装置中的每一者包括：平面光波导，相应的ice被配置为将相应的准直后光束作为耦入的光束光学耦合到所述平面光波导中；正交光瞳扩展(ope)元件，其与平面光波导相关联，用于将相应的耦入的光束分割成多个正交光束；以及出射光瞳扩展(epe)元件，其与平面光波导相关联，用于将多个正交光束分割成从相应的平面光波导出射的光线。

6、在一些实施例中，相应的平面光波导包括由单块光学透明材料形成的单基板；第一波导装置和第二波导装置分别具有被配置为位于终端用户的眼睛与周围环境之间的视场中的部分透明的显示表面。

7、在一些实施例中，显示子系统进一步包括被配置为由终端用户佩戴的框架结构，其中，第一波导装置和第二波导装置是由该框架结构承载的左目镜和右目镜。

8、在一些实施例中，框架结构包括：承载左目镜和右目镜的框架；以及光感测组件被附在其上的桥接部。

9、在一些实施例中，框架结构包括从桥延伸的左悬臂和右悬臂，左目镜被附到第一悬臂，并且第二目镜被附到第二悬臂。

10、在一些实施例中，光感测组件被光学耦合到第一波导装置和第二波导装置，但从第一波导装置和第二波导装置刚性解耦。

11、在一些实施例中，第一波导装置和第二波导装置中的每一者包括耦出元件，其被配置为将来自相应的第一波导装置和第二波导装置的光光学耦合到光感测组件，其中，至少一个被检测到的参数是根据从第一波导装置和第二波导装置耦出的光而得出的。

12、在一些实施例中，光感测组件包括：两个独立的感测布置，其被配置为分别检测从第一波导装置和第二波导装置耦出的光。

13、在一些实施例中，光感测组件包括：单个传感器，其被配置为检测从第一波导装置和第二波导装置耦出的光。

14、在一些实施例中，光感测组件包括：光波导装置，其被配置为将从第一波导装置和第二波导装置耦出的光传播到单个传感器。

15、在一些实施例中，光感测组件包括至少一个非成像传感器，并且至少一个被检测到的参数指示至少第一光线从第一波导装置出射的角度和至少第二光线从第二波导装置出射的角度。

16、在一些实施例中，至少一个被检测到的参数包括分别代表至少第一光线和至少第二光线的两个光线的强度；两个代表性光线分别从终端用户的视场之外的第一波导装置和第二出射。

17、在一些实施例中，光感测组件包括至少一个成像传感器，并且至少一个被检测到的参数包括分别由第一波导装置和第二波导装置生成的第一代表性虚拟单目图像和第二代表性虚拟单目图像。

18、在一些实施例中，第一代表性虚拟单目图像和第二代表性虚拟单目图像是显示给终端用户的第一虚拟单目图像和第二虚拟单目图像的相同副本。

19、在一些实施例中，第一代表性虚拟单目图像和第二代表性虚拟单目图像是与显示给终端用户的第一虚拟单目图像和第二虚拟单目图像分离的测试虚拟单目图像。

20、在一些实施例中，测试虚拟单目图像由终端用户的视场之外的相应的第一波导装置和第二波导装置显示。

21、至少一些实施例涉及一种虚拟图像生成系统，其包括：显示子系统，其可以可选地包括这些方面中的一者或多者；以及控制子系统，其被配置为基于由光感测组件检测到的至少一个参数来校正第一单目图像和第二单目图像之间的失配。实施例可以可选地包括以下方面中的一者或多者。

22、在一些实施例中，虚拟图像生成系统进一步包括存储器，其被配置为存储用于第一波导装置和第二波导装置的校准简档，并且控制子系统被配置为通过修改所存储的校准简档来校正第一单目图像之间和第二单目图像之间的失配。

23、在一些实施例中，虚拟图像生成系统进一步包括存储器，其被配置为存储三维场景，其中，控制子系统被配置为渲染该三维场景的多个合成图像帧，并且显示子系统被配置为将多个图像帧顺序地显示给终端用户。

24、至少一些实施例涉及一种由终端用户使用的虚拟图像生成系统，该系统包括：左目镜和右目镜；左投影子组件和右投影子组件，其被配置为将光投影到该左目镜和该右目镜中，以使得左单目图像和右单目图像作为双目图像被显示给终端用户；光感测组件，其被配置为检测指示作为双眼图像所显示的左单目图像与右单目图像之间的失配的至少一个参数；框架结构，其被配置为由终端用户佩戴，该框架结构被配置为将左目镜和右目镜分别定位在终端用户的眼睛前面；以及控制子系统，其被配置为基于由光感测组件检测到的至少一个被检测到的参数来校正该左单目图像和该右单目图像之间的失配。实施例可以可选地包括以下方面中的一者或多者。

25、在一些实施例中，左投影子组件和右投影子组件中的每一者包括：一个或多个光源，其被配置为生成光；以及光学耦合组件，其被配置为将光准直成相应的光束，并将相应的光束耦合到相应的目镜中。

26、在一些实施例中，每个光学耦合组件包括：准直元件，其被配置为将相应的光准直成相应的准直后光束；以及耦入元件(ice)，其被配置为将相应的准直后光束光学耦合到相应的目镜中。

27、在一些实施例中，左目镜和右目镜中的每一者包括：平面光波导，相应的ice被配置为将相应的准直后光束作为耦入的光束光学耦合到平面光波导中；正交光瞳扩展(ope)元件，其与平面光波导相关联，用于将相应的耦入的光束分割成多个正交光束；以及出射光瞳扩展(epe)元件，其与平面光波导相关联，用于将多个正交光束分割成从相应的平面光波导出射的光线。

28、在一些实施例中，相应的平面光波导包括由单块光学透明材料形成的单基板。

29、在一些实施例中，左投影子组件和右投影子组件由框架结构承载，并且光感测组件由框架结构承载。

30、在一些实施例中，框架结构包括：承载左目镜和右目镜的框架；以及光感测组件被附在其上的桥接部。

31、在一些实施例中，框架结构包括从桥延伸的左悬臂和右悬臂，左目镜被附到该左悬臂，并且右目镜被附到该右悬臂。

32、在一些实施例中，光感测组件被光学耦合到左目镜和右目镜，但从该左目镜和该右目镜刚性解耦。

33、在一些实施例中，左目镜和右目镜中的每一者包括耦出元件，其被配置为将来自相应的左目镜和右目镜的光光学耦合到光感测组件，其中，至少一个被检测到的参数是根据从该左目镜和该右目镜耦出的光而得出的。

34、在一些实施例中，光感测组件包括：两个独立的感测布置，其被配置为分别检测从左目镜和右目镜耦出的光。

35、在一些实施例中，光感测组件包括：单个传感器，其被配置为检测从左目镜和右目镜耦出的光。

36、在一些实施例中，光感测组件包括：光波导装置，其被配置为将从左目镜和右目镜耦出的光传播到单个传感器。

37、在一些实施例中，光感测组件包括至少一个非成像传感器，并且至少一个被检测到的参数指示光线从左目镜出射的角度和第二光线从右目镜出射的角度。

38、在一些实施例中，至少一个被检测到的参数包括分别代表第一光线和第二光线的两个光线的强度。

39、在一些实施例中，代表性光线分别从终端用户的视场之外的左目镜和右目镜出射。

40、在一些实施例中，光感测组件包括至少一个成像传感器，并且至少一个被检测到的参数包括分别由左目镜和右目镜生成的左代表性虚拟单目图像和右代表性虚拟单目图像。

41、在一些实施例中，左代表性虚拟单目图像和右代表性虚拟单目图像是显示给终端用户的左虚拟单目图像和右虚拟单目图像的相同副本。

42、在一些实施例中，左代表性虚拟单目图像和右代表性虚拟单目图像是与显示给终端用户的左虚拟单目图像和右虚拟单目图像分离的测试虚拟单目图像。

43、在一些实施例中，测试虚拟单目图像由终端用户的视场之外的相应的左目镜和右目镜显示。

44、在一些实施例中，虚拟图像生成系统进一步包括存储器，其被配置为存储用于左目镜和右目镜的校准简档，并且控制子系统被配置为通过修改所存储的校准简档来校正左单目图像和右单目图像之间的失配。

45、在一些实施例中，虚拟图像生成系统进一步包括存储器，其被配置为存储三维场景，其中，控制子系统被配置为渲染该三维场景的多个合成图像帧，并且显示子系统被配置为将该多个图像帧顺序地显示给终端用户。

46、至少一些实施例涉及一种显示系统，其包括：投影组件对，其被配置为发射光，该投影组件对包括第一投影组件和第二投影组件；目镜对，其包括：被光学耦合到第一投影组件的第一目镜和被光学耦合到第二投影组件的第二目镜；感测组件，其包括被配置为捕获图像的成像传感器对，该成像传感器对包括：通过第一目镜被光学耦合到第一投影组件的第一成像传感器和通过第二目镜被光学耦合到第二投影组件的第二成像传感器；以及与该投影组件对和该成像传感器对通信的一个或多个处理器，所述一个或多个处理器被配置为：接收表示由第二成像传感器捕获的图像的数据；以及至少部分地基于从第二成像传感器接收的数据来控制该第一投影组件的操作。实施例可以可选地包括以下方面中的一者或多者。

47、在一些实施例中，根据权利要求47所述的显示系统，其中，一个或多个处理器进一步被配置为：接收表示由第一成像传感器捕获的图像的数据，以及至少部分地基于从该第一成像传感器接收的数据来控制第二投影组件的操作。

48、在一些实施例中，为了至少部分地基于从第二成像传感器接收的数据来控制第一投影组件的操作，一个或多个处理器被配置为至少部分地基于从第一成像传感器和第二成像传感器接收的数据来控制第一投影组件的操作。

49、在一些实施例中，为了至少部分地基于从第一成像传感器接收的数据来控制第二投影组件的操作，该一个或多个处理器被配置为至少部分地基于从第一成像传感器和第二成像传感器接收的数据来控制第二投影组件的操作。

50、在一些实施例中，感测组件进一步包括被物理耦合到成像传感器对的细长体。

51、在一些实施例中，第一成像传感器被物理耦合到细长体的第一远端部分，并且第二成像传感器被物理耦合到细长体的第二远端部分。

52、在一些实施例中，第一成像传感器与第二成像传感器横向对准地被物理耦合到细长体。

53、在一些实施例中，显示系统进一步包括壳体结构，其中，感测组件被安装到壳体结构的内表面。

54、在一些实施例中，一个或多个处理器进一步被配置为从第一渲染摄像头的视角生成虚拟场景的图像，使第一投影组件发射光，该光表示从该第一渲染摄像头的视角生成的虚拟场景的图像，从第二渲染摄像头的视角生成虚拟场景的图像，以及使第二投影组件发射光，该光表示从第二渲染摄像头的视角生成的虚拟场景的图像。

55、在一些实施例中，为了至少部分地基于从第二成像传感器接收的数据来控制第一投影组件的操作，一个或多个处理器被配置为至少部分地基于从第二成像传感器接收的数据来控制第一渲染摄像头的一个或多个外部参数。

56、在一些实施例中，一个或多个处理器进一步被配置为：接收表示由第一成像传感器捕获的图像的数据；以及至少部分地基于从第一成像传感器接收的数据来控制第二投影组件的操作，其中，为了至少部分地基于从该第一成像传感器接收的数据来控制第二投影组件的操作，一个或多个处理器被配置为至少部分地基于从该第一成像传感器接收的数据来控制该第二渲染摄像头的一个或多个外部参数。

57、至少一些实施例涉及一种头戴式显示系统，其包括：壳体结构；投影组件对，其被配置为发射光；光感测组件，其被安装到该壳体结构的内表面；目镜对，其被配置为将该投影组件对光学耦合到该感测组件；以及与该投影组件对和该光感测组件通信的一个或多个处理器，该一个或多个处理器被配置为至少部分地基于从该光感测组件接收的数据来控制该投影组件对的操作。实施例可以可选地包括以下方面中的一者或多者。

58、在一些实施例中，目镜对中的每个目镜包括：相应的波导装置；相应的耦入元件，其被配置为将由投影组件对中相应的投影组件发射的光耦入到相应的波导装置中；以及相应的耦出元件，其被配置为将在相应的波导装置内被引导的来自投影组件对中相应的投影组件的光耦合到相应的波导装置之外。

59、在一些实施例中，相应的耦出元件的第一部分被配置为将在相应的波导装置内被引导的来自投影组件对中相应的投影组件的光朝着用户的相应眼睛从相应的波导装置中耦出；以及相应的耦出元件的第二部分被配置为将在相应的波导装置内被引导的来自投影组件对中的相应的投影组件的光朝着光感测组件从相应的波导装置中耦出。

60、在一些实施例中，目镜对中的每个目镜包括：相应的出射光瞳扩展(epe)元件，其被配置为将在相应的波导装置内被引导的来自投影组件对中的相应的投影组件的光分成多个光线，所述光线从相应的波导装置出射并被引导到用户的相应眼睛。

61、在一些实施例中，光感测组件从目镜对刚性解耦。

62、参考图2，显示子系统20可包括：一个或多个生成光的光源22；发射光的光纤24；以及将从光纤24的远端出射的光准直成光束36的准直元件26。显示子系统20进一步包括：压电元件28，光纤24作为不固定的柔性悬臂被安装在该压电元件上或该压电元件中；以及驱动电子器件30，其被电耦合到压电元件22，以激活电刺激压电元件28，从而使光纤24的远端以产生绕支点34的偏转32的预定扫描图案振动，从而根据扫描图案扫描准直后光束36。

63、显示子系统20包括：波导装置38，其包括平面光波导40，该平面光波导40大体上平行于终端用户的视场；与平面光波导40相关联的衍射光学元件(doe)42；以及耦入元件(ice)42(其采用doe的形式)，其被集成在平面光波导40的端部内。ice 42将准直后光36从准直元件26耦入并重定向到平面光波导40中。来自准直元件26的准直后光束36沿平面光波导40传播并与doe 42相交，使一部分光作为光线46朝向聚焦在取决于平面光波导40的透镜因子的视距上的终端用户的眼睛从波导装置38的表面出射。因此，一个或多个光源22与驱动电子器件30结合生成以空间和/或时间上变化的光的形式编码的图像数据。

64、由终端用户可视化的每个像素的位置高度取决于光线48从平面光波导40出射的角度。因此，以不同角度从波导40出射的光线48将在终端用户的视场中的不同位置处创建像素。例如，如果期望将像素定位在终端用户的视场的右上方处，则可以将准直后光束36以一个角度输入到波导装置38中，并且如果期望将像素定位在终端用户的视场的中心处，则可以将准直后光束36以不同的第二角度输入到波导装置38中。因此，当根据扫描图案对光纤24进行扫描时，源自光纤24的光束36将以不同的角度被输入到波导装置38中，从而在终端用户的视场中的不同位置处创建像素。因此，在终端用户的视场中每个像素的位置高度取决于光线48从平面光波导40出射的角度，并且因此，这些像素的位置被编码在由显示子系统20生成的图像数据内。

65、尽管光束36进入波导装置38的角度与光线48从平面光波导40出射的角度不同，并且因此光束36进入平面光波导40的角度将与光线48从平面光波导40出射的角度不同，但是光束36进入波导装置38的角度与光线48从平面光波导40出射的角度之间的关系是众所周知的并且是可以预见的，并且因此光线48从平面光波导40出射的角度可以根据准直后光束36进入波导装置38的角度被容易地预测出。

66、根据前述内容可以理解的是，光束36从光纤24进入波导装置38的实际角度，并且因此光线48朝向终端用户从波导40出射的实际角度与出射光线48的设计的角度是相同或接近相同的或者是一对一的关系，以使得由终端用户可视化的像素的位置被恰当地编码在由显示子系统20生成的图像数据中。但是，由于不同扫描仪之间的制造公差以及变化的环境条件，诸如可能改变用于将显示子系统20集成在一起的粘合材料的一致性的温度变化，在没有补偿的情况下，出射光线48的实际角度将与出射光线48的设计的角度发生变化，从而在终端用户的视场内的不正确位置创建像素，导致图像失真。

67、在一些实施例中，显示子系统20的两个波导装置38可以分别采用左目镜70l和右目镜70r的形式，如图3所示。这样的目镜70l，70r可以结合到双目对准目镜对中。尽管每个目镜70l、70r都可以是内部刚性的，在这样的实施例中，两个目镜70l、70r借助于框架结构(未示出)的形状因子可以相对于彼此是柔性的/可变形的。当框架结构的形状因子变得更轻、更薄和更柔韧以利于运输，舒适度和更美观的外观时，这种变形问题变得尤为显著。在某些情况下，两个目镜70l、70r的相对运动可能会在要投影到用户视网膜上的虚拟双目图像中引入失真和其它误差。

68、例如，如图4a-4d所示，作为虚拟图像生成系统的一部分，可以分别通过目镜对70l、70r向左眼和右眼呈现虚拟内容的示例性表示并由左眼和右眼感知虚拟内容的示例性表示。如图4a所示，两个目镜70l、70r以理想的方式彼此对准。换言之，从制造虚拟图像生成系统的时间以来，两个目镜70l、70r的对准没有改变。因此，虚拟图像生成系统可以通过两个目镜70l、70r将左单目虚拟内容72l和右单目虚拟内容72r作为双目对准的虚拟内容74生成并呈现给用户的眼睛。

69、但是，如果在制造虚拟图像生成系统的时间之后，假设地，两个目镜70l、70r的对准发生了某些变化，则图4b、4c和4d中的每一者中的目镜对70l、70r的对准可以与图4a的对准不同。如图4b、4c和4d所示，目镜对70l、70r绕俯仰轴、翻滚轴和偏航轴对准中的出厂变化可能会导致左虚拟内容72l和右虚拟内容72r通过目镜对70l、70r作为双目失准的虚拟内容74被呈现和感知，分别如图4b、4c和4d所示。左目镜和右目镜70l、70r之间的这种失准可导致左虚拟内容72l和右虚拟内容72l72r之间的感知到的平移和/或旋转失准。此外，研究表明，双目失准会导致人类视觉系统发生生理疲劳，并且人类对于虚拟图像分别绕下至4、6和10弧分的俯仰、翻滚和偏航轴的双目旋转失准敏感。如以下进一步详细描述，对双目目镜的失准的补偿可以通过以下系统和技术来实现，该系统和技术用于直接分流意图用于左眼和右眼的光并比较地感测和校正虚拟图像中的相对失准。

70、根据本发明的第一方面，提供一种用于由终端用户使用的虚拟图像生成系统的显示子系统。该显示子系统包括第一波导装置和第二波导装置。在一个实施例中，该第一波导装置和该第二波导装置分别被配置为位于终端用户的眼睛前方。在另一实施例中，该第一波导装置和该第二波导装置分别具有部分透明的显示表面，其被配置为位于终端用户的双眼的视场与周围环境之间。在又一实施例中，显示子系统进一步包括被配置为由终端用户佩戴的框架结构，在这种情况下，该第一波导装置和该第二波导装置是由该框架结构承载的左目镜和右目镜。

71、显示子系统进一步包括第一投影子组件和第二投影子组件，其被配置为分别将第一光束和第二光束引入第一波导装置和第二波导装置中，以使得至少第一光线和至少第二光线分别从该第一波导装置和该第二波导装置出射，以将第一单目图像和第二单目图像作为双目图像显示给终端用户。

72、在一个实施例中，第一投影子组件和第二投影子组件中的每一者包括：一个或多个光源，其被配置为生成光；以及光学耦合组件，其被配置为将光准直成相应的光束，并将该相应的光束耦合到相应的波导装置中。光学耦合组件可以包括：准直元件，其被配置为将相应的光准直成相应的准直后光束；以及耦入元件(ice)，其被配置为将相应的准直后光束光学耦合到相应的波导装置中。在这种情况下，第一波导装置和第二波导装置中的每一者可以包括：平面光波导(例如，由单块光学透明材料形成的单基板)，相应的ice被配置为将相应的准直后光束作为耦入的光束光学耦合到该平面光波导中；正交光瞳扩展(ope)元件，其与该平面光波导相关联，用于将相应的耦入光束分割成多个正交光束；以及出射光瞳扩展(epe)元件，其与该平面光波导相关联，用于将该多个正交光束分割成从相应的平面光波导出射的光线。

73、在该实施例中，第一投影子组件和第二投影子组件中的每一者可以进一步包括：扫描设备，其被配置为响应于控制信号以预定的扫描图案扫描由相应的一个或多个光源产生的光。每个扫描设备可以包括：光纤，其被配置为发射由相应的一个或多个光源生成的光；以及机械驱动组件，其被配置为根据该预定扫描图案使相应的光纤移位。每个机械驱动组件可包括：压电元件，该光纤被安装到其上；以及驱动电子器件，其被配置为将电信号传输到压电元件，从而使该光纤根据该预定的扫描图案振动。

74、显示子系统进一步包括光感测组件，其被配置为检测指示作为双目图像所显示的第一单目图像和第二单目图像之间的失配的至少一个参数。

75、在实施例中，显示子系统进一步包括框架结构，其具有：承载作为左目镜和右目镜的第一波导装置和第二波导装置的框架；以及光感测组件被附在其上的桥接部。框架结构可以进一步具有从该桥接部延伸的左悬臂和右悬臂，在这种情况下，该左目镜被附到该左悬臂，并且该右目镜附到该右悬臂。在另一实施例中，光感测组件被光学耦合到该第一波导装置和该第二波导装置，但从该第一波导装置和该第二波导装置刚性解耦。

76、在又一实施例中，第一波导装置和第二波导装置中的每一者包括耦出元件，其被配置为将来自相应的第一波导装置和第二波导装置的光光学耦合到光感测组件，在这种情况下，被检测到的参数是根据从该第一波导装置和该第二波导装置耦出的光而得出的。该光感测组件可以包括：两个独立的感测布置，其被配置为分别检测从该第一波导装置和该第二波导装置耦出的光。或者，该光感测组件可以包括：单个传感器，其被配置为检测从该第一单个传感器和该第二波导装置耦出的光。在这种情况下，该光感测组件可以包括：光波导装置，其被配置为将从该第一波导装置和该第二波导装置耦出的光传播到单个传感器。

77、在再一实施例中，光感测组件包括至少一个非成像传感器，在这种情况下，被检测到的参数可以指示第一光线从第一波导装置出射的角度和第二光线从第二波导装置出射的角度。被检测到的参数可以包括分别代表该第一光线和该第二光线的两个光线的强度。这两个代表性光线可以分别从终端用户的视场之外的第一波导装置和第二波导装置出射。

78、在再一实施例中，光感测组件包括至少一个成像传感器，在这种情况下，被检测到的参数可以包括分别由第一波导装置和第二波导装置生成的第一代表性虚拟单目图像和第二代表性虚拟单目图像。该第一代表性虚拟单目图像和第二代表性虚拟单目图像可以是显示给终端用户的第一虚拟单目图像和第二虚拟单目图像的相同副本。或者，该第一代表性虚拟单目图像和该第二代表性虚拟单目图像可以是与显示给终端用户的该第一虚拟单目图像和该第二虚拟单目图像分离的测试虚拟单目图像。该测试虚拟单目图像可以由终端用户的视场之外的相应的第一波导装置和第二波导装置显示。

79、根据本发明的第二方面，虚拟图像生成系统包括：上述显示子系统；以及控制子系统，其被配置为基于由光感测组件检测到的参数来校正第一和第二单目图像之间的失配。在一个实施例中，该虚拟图像生成系统进一步包括存储器，其被配置为存储用于第一波导装置和第二波导装置的校准简档，在这种情况下，该控制子系统可以被配置为通过修改所存储的校准简档来校正该第一单目图像和该第二单目图像之间的失配。在另一个实施例中，该虚拟图像生成系统进一步包括存储器，其被配置为存储三维场景，在这种情况下，该控制子系统可以被配置为渲染该三维场景的多个合成图像帧，并且该显示子系统可以被配置为将该多个图像帧顺序地显示给终端用户。

80、根据本发明的第三方面，提供了一种由终端用户使用的虚拟图像生成系统。虚拟图像生成系统包括左目镜和右目镜。左目镜和右目镜可分别具有被配置为位于终端用户的眼睛与周围环境之间的视场中的部分透明的显示表面。

81、该虚拟图像生成系统进一步包括左投影子组件和右投影子组件，其被配置为将光投影到左目镜和右目镜中，以使得左单目图像和右单目图像作为双目图像被显示给终端用户。

82、在一个实施例中，左投影子组件和右投影子组件中的每一者包括：一个或多个光源，其被配置为生成光；以及光学耦合组件，其被配置为将光准直成相应的光束，并将相应的光束耦合到相应的目镜中。每个光学耦合组件可以包括：准直元件，其被配置为将相应的光准直成相应的准直后光束；以及耦入元件(ice)，其被配置为将相应的准直后光束光学耦合到相应的目镜中的。左目镜和右目镜中的每一者可以包括：平面光波导(例如，由单块光学透明材料形成的单基板)，相应的ice被配置为将相应的准直后光束作为耦入的光束光学耦合到该平面光波导中；正交光瞳扩展(ope)元件，其与该平面光波导相关联，用于将相应的耦入的光束分割成多个正交光束；以及出射光瞳扩展(epe)元件，其与该平面光波导相关联，用于将该多个正交光束分割成从相应的平面光波导出射的光线。

83、在另一实施例中，左投影子组件和右投影子组件中的每一者包括扫描设备，其被配置为响应于控制信号以预定的扫描图案扫描由相应的一个或多个光源生成的光。每个扫描设备可以包括：光纤，其被配置为发射由相应的一个或多个光源生成的光；以及机械驱动组件，其被配置为根据预定扫描图案使相应的光纤移位。每个机械驱动组件可包括：压电元件，该光纤被安装到其上；以及驱动电子器件，其被配置为将电信号传输到该压电元件，从而使该光纤根据该预定的扫描图案振动。

84、该虚拟图像生成系统进一步包括光感测组件，该光感测组件被配置为检测指示作为双目图像所显示的左单目图像和右单目图像之间的失配的至少一个参数。该虚拟图像生成系统进一步包括：框架结构，其被配置为由终端用户佩戴。该框架结构被配置为将左目镜和右目镜分别定位在终端用户的眼睛前方。在一个实施例中，左投影子组件和右投影子组件由该框架结构承载，并且光感测组件由该框架结构承载。在另一实施例中，该框架结构包括：承载该左目镜和该右目镜的框架；以及该光感测组件被附在其上的桥接部。该框架结构可以包括从该桥接部延伸的左悬臂和右悬臂，该左目镜可以被附到该左悬臂，该右目镜可以被附到该右悬臂。在另一实施例中，该光感测组件被光学耦合到该左目镜和该右目镜，但从该左目镜和该右目镜刚性解耦。

85、在又一实施例中，左目镜和右目镜中的每一者包括：耦出元件，其被配置为将来自相应的左目镜和右目镜的光光学耦合到光感测组件，在这种情况下，被检测到的参数可以根据从该左目镜和该右目镜耦出的光而得出的。该光感测组件可以包括：两个独立的感测布置，其被配置为分别检测从该左目镜和该右目镜耦出的光。或者，该感测组件可以包括：单个传感器，其被配置为检测从该左目镜和该右目镜耦出的光。在这种情况下，该光感测组件可以包括：光波导装置，其被配置为将从该左目镜和该右目镜耦出的光传播到该单个传感器。

86、在再一实施例中，光感测组件包括至少一个非成像传感器，并且一个或多个被检测到的参数指示光线从左目镜出射的角度和第二光线从右目镜出射的角度。该一个或多个被检测到的参数可以包括分别表示一个或多个第一光线和一个或多个第二光线的两个光线的强度。这两个代表性光线可以分别从终端用户的视场之外的第一波导装置和第二波导装置出射。

87、在再一实施例中，光感测组件包括至少一个成像传感器，在这种情况下，一个或多个被检测到的参数可以包括分别由左目镜和右目镜生成的左代表性虚拟单目图像和右代表性虚拟单目图像。该左代表性虚拟单目图像和该右代表性虚拟单目图像可以是显示给终端用户的左虚拟单目图像和右虚拟单目图像的相同副本。或者，该左代表性虚拟单目图像和该右代表性虚拟单目图像可以是与显示给终端用户的该左虚拟单目图像和该右虚拟单目图像分离的测试虚拟单目图像。该测试虚拟单目图像可以由终端用户的视场之外的相应的左目镜和右目镜显示。

88、该虚拟图像生成系统进一步包括：控制子系统，其被配置为基于由光感测组件检测到的一个或多个参数来校正左单目图像和右单目图像之间的失配。在一个实施例中，该虚拟图像生成系统进一步包括：存储器，其被配置为存储用于左目镜和右目镜的校准简档，在这种情况下，该控制子系统可以被配置为通过修改所存储的校准简档来校正该左单目图像和该右单目图像之间的失配。在另一实施例中，该虚拟图像生成系统进一步包括：存储器，其被配置为存储三维场景，在这种情况下，该控制子系统可以被配置为渲染该三维场景的多个合成图像帧，并且该显示子系统可以被配置为将该多个图像帧顺序地显示给终端用户。

89、在详细的说明书、附图和权利要求中描述了本发明的附加和其它目的、特征和优点。