近眼显示系统及显示方法与流程

1.本发明大致涉及光电显示技术领域，尤其涉及一种近眼显示系统及显示方法。


背景技术：

2.增强现实(augmented reality)技术是促使真实世界信息和虚拟世界信息综合在一起的技术，将原本在现实世界的空间范围内比较难以进行体验的实体信息实施模拟仿真处理，将虚拟信息内容叠加在真实世界信息上，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。真实环境和虚拟物体之间叠加之后，能够在同一个画面以及空间中同时存在。
3.增强现实技术不仅能够有效体现出真实世界的内容，也能够促使虚拟的信息内容显示出来，并使得这些真实内容和虚拟内容相互补充和叠加。在视觉化的增强现实中，用户通常需要在头戴式显示器(例如ar眼镜)的基础上，促使真实环境和虚拟物体叠加在一起，在叠加之后可以充分看到真实环境围绕着虚拟物体。
4.混合现实(mixed reality)技术是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。
5.现有ar、mr技术中，增强及混合现实所提供的信息内容和人类能够感知的信息内容之间还存在着明显的不同，如何改进ar、mr技术以营造更加类似于真实世界的虚拟环境，是现代显示技术的一个研究方向。
6.背景技术部分的内容仅仅是公开人所知晓的技术，并不当然代表本领域的现有技术。


技术实现要素：

7.有鉴于现有技术的至少一个缺陷，本发明提供一种近眼显示系统，包括：
8.控制装置，配置成可生成虚拟画面和待投射图像；
9.显示装置，与所述控制装置耦接以从所述控制装置接收待投射图像，并配置成可在所述显示装置的佩戴者的视野中显示所述待投射图像；
10.所述控制装置配置成可根据所述显示装置的定向和/或位置调整所述待投射图像，以使得当所述显示装置的定向和/或位置在预设范围内时，所述待投射图像包括所述虚拟画面的至少部分画面。
11.根据本发明的一个方面，其中所述控制装置配置成可实时获取所述显示装置的航向角和俯仰角，以根据所述航向角的变化，将所述待投射图像在所述虚拟画面上沿水平方向调整，并根据所述俯仰角的变化，将所述待投射图像在所述虚拟画面上沿竖直方向调整。
12.根据本发明的一个方面，其中所述控制装置配置成可实时获取所述显示装置的横滚角，并根据所述横滚角对所述待投射图像进行调整，使其在所述显示装置中显示的方向与水平方向所成的角度不发生变化。
13.根据本发明的一个方面，其中所述显示装置包括惯性测量单元，所述航向角、俯仰角和横滚角通过所述惯性测量单元实时获取，并实时传送给所述控制装置。
14.根据本发明的一个方面，其中所述控制装置配置成可实时获取所述显示装置在佩戴者所处空间中的位置，并根据所述显示装置的位置变化对所述待投射图像进行调整，使所述虚拟画面在佩戴者所处空间中的坐标不变。
15.根据本发明的一个方面，其中所述控制装置包括摄像头单元，所述摄像头单元配置成可实时获取所述显示装置的位置。
16.根据本发明的一个方面，其中所述控制装置包括显示屏单元，所述虚拟画面包括位于所述显示屏单元相邻侧的至少一个虚拟屏画面。
17.根据本发明的一个方面，其中所述虚拟画面包括位于所述显示屏单元左右两侧的第一虚拟屏画面和第二虚拟屏画面，和/或位于所述显示屏单元上下两侧的第三虚拟屏画面和第四虚拟屏画面。
18.根据本发明的一个方面，其中所述控制装置包括用户操作单元，佩戴者可通过所述用户操作单元对所述虚拟画面进行操作。
19.根据本发明的一个方面，其中所述控制装置包括：台式电脑、笔记本电脑、平板电脑、手机中的一种或多种。
20.根据本发明的一个方面，其中所述显示装置包括：ar眼镜、mr眼镜中的一种或多种。
21.根据本发明的一个方面，其中所述用户操作单元包括：键盘、鼠标中的一种或多种。
22.本发明还提供一种使用如上所述的近眼显示系统进行显示的方法，包括：
23.通过控制装置生成虚拟画面；
24.根据显示装置的定向和/或位置，基于所述虚拟画面，生成待投射图像；
25.将所述待投射图像发送到所述显示装置，通过所述显示装置在佩戴者的视野中显示所述待投射图像。
26.根据本发明的一个方面，所述方法还包括：
27.通过所述控制装置实时获取所述显示装置的航向角、俯仰角和横滚角，根据所述横滚角对所述待投射图像进行调整，使其在所述显示装置中显示的方向与水平方向所成的角度不发生变化，根据所述航向角的变化，将所述待投射图像在所述虚拟画面上沿水平方向调整，并根据所述俯仰角的变化，将所述待投射图像在所述虚拟画面上沿竖直方向调整。
28.根据本发明的一个方面，其中所述实时获取所述显示装置的航向角、俯仰角和横滚角的步骤包括：
29.通过安装在所述显示装置上的惯性测量单元实时获取所述航向角、俯仰角和横滚角，并实时传送给所述控制装置。
30.根据本发明的一个方面，所述方法还包括：
31.通过所述控制装置实时获取所述显示装置在佩戴者所处空间中的位置，并根据所述显示装置的位置变化对所述待投射图像进行调整，使所述虚拟画面在佩戴者所处空间中的坐标不变。
32.根据本发明的一个方面，其中所述实时获取所述显示装置在佩戴者所处空间中的
位置的步骤包括：
33.通过安装在所述控制装置上的摄像头单元实时获取所述显示装置在佩戴者所处空间中的位置。
34.根据本发明的一个方面，其中所述控制装置包括显示屏单元，所述生成虚拟画面的步骤包括：
35.生成包括位于所述显示屏单元相邻侧的至少一个虚拟屏画面的虚拟画面。
36.根据本发明的一个方面，其中所述生成虚拟画面的步骤包括：
37.生成包括位于所述显示屏单元左右两侧的第一虚拟屏画面和第二虚拟屏画面，和/或位于所述显示屏单元上下两侧的第三虚拟屏画面和第四虚拟屏画面的虚拟画面。
38.根据本发明的一个方面，其中所述控制装置包括用户操作单元，所述方法还包括：
39.接收来自所述用户操作单元的输入信号；
40.执行与所述输入信号相对应的操作指令。
41.本发明的优选实施例提供了一种近眼显示系统，该近眼显示系统适于根据虚拟画面生成待投射图像，并根据佩戴者的位置和/或定向调整待投射图像，并适于透视佩戴者周围的部分物理环境，使得待投射图像与佩戴者周围的物理环境融为一体，且该虚拟画面在物理环境中的位置不变，提供与真实世界更加接近的增强/混合现实环境。
附图说明
42.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
43.图1示意性地示出了本发明所提供的近眼显示系统适用的物理环境；
44.图2示意性地示出了根据本发明的一个优选实施例的近眼显示系统；
45.图3示意性地示出了根据本发明的一个优选实施例的近眼显示系统及其适用的物理环境；
46.图4示意性地示出了本发明的一个优选实施例中根据显示装置的航向角调整待投射图像；
47.图5示意性地示出了本发明的一个优选实施例中根据显示装置的俯仰角调整待投射图像；
48.图6示意性地示出了本发明的一个优选实施例中根据显示装置的横滚角调整待投射图像；
49.图7a示意性地示出了本发明的一个优选实施例中根据显示装置的左右移动距离调整待投射图像；
50.图7b示意性地示出了本发明的一个优选实施例中根据显示装置的前后移动距离调整待投射图像；
51.图8示意性地示出了根据本发明的一个优选实施例的控制装置；
52.图9示意性地示出了根据本发明的一个优选实施例的虚拟画面可能的分布情况；
53.图10示意性地示出了根据本发明的一个优选实施例的使用近眼显示系统进行显示的方法。
具体实施方式
54.在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
55.在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。
56.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语"安装"、"相连"、"连接"应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接:可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
57.在本发明中，除非另有明确的规定和限定，第一特征在第二特征之"上"或之"下"可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征"之上"、"上方"和"上面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度低于第二特征。
58.下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
59.以下结合附图对本发明的实施例进行说明，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。
60.图1示出了近眼显示系统120的佩戴者110所在的一个示例性物理环境100(真实世界环境)。物理环境100包含一个或多个真实世界物件，例如一个或多个电脑显示屏130。在本发明的优选实施例中，佩戴者110可利用近眼显示系统120体验透过视觉渲染呈现且可以包含对于佩戴者110操作的反馈的增强现实(ar)和/或混合现实(mr)环境。
61.图2为根据本发明的一个优选实施例的近眼显示系统120的简化后的示意图。如图2所示，近眼显示系统120包括控制装置121和显示装置122。
62.控制装置121配置成可生成虚拟画面140(最大框选范围)和待投射图像150。其中虚拟画面140包括一个或多个可在用户视野中投射的画面，待投射图像150包括虚拟画面
140中的至少部分画面，控制装置121生成待投射图像150的图像信息及投射坐标信息。
63.显示装置122与控制装置121耦接以从控制装置121接收待投射图像150，并配置成可在显示装置122的佩戴者的视野中显示待投射图像150。控制装置121配置成可根据显示装置122的定向和/或位置调整待投射图像150，以使得当显示装置122的定向和/或位置在预设范围内时，待投射图像150包括虚拟画面140中的至少部分画面。显示装置122的定向和/或位置对应于佩戴者的视场范围，根据佩戴者的视场范围，调整投射到佩戴者视野中的图像，使得在佩戴者看来，虚拟画面140始终位于物理环境的同一位置处，即虚拟画面140相对于真实世界的位置不变，从而营造出仿真效果的办公环境。
64.下文中，以虚拟画面140形成虚拟显示屏(以下有时称为虚拟显示屏140)为例进行描述。
65.如图3所示，电脑显示屏130为物理环境100中的真实显示屏，显示屏140为控制装置121生成的虚拟显示屏。优选地，显示装置122是能够获取对应于显示装置122的视场角160的部分物理环境100的透视相机，因而近眼显示系统120能够通过显示装置122渲染出同时包含虚拟物件(虚拟显示屏140)与真实世界环境(视场角160范围内的部分物理环境100)的视觉环境。优选地，佩戴者110可以通过与操作电脑显示屏130相同的方法操作虚拟显示屏140，以此营造出具有多个扩展屏的电脑系统的办公环境。
66.根据本发明的一个优选实施例，控制装置121配置成可实时获取显示装置122的航向角和俯仰角，以根据显示装置122的航向角的变化，将待投射图像150在虚拟画面140上沿水平方向调整；并根据显示装置122的俯仰角的变化，将待投射图像150在虚拟画面140上沿竖直方向调整。
67.如图4所示，当佩戴者110向左侧转动头部时，带动显示装置122同时向左侧转动，即佩戴者110的视场角160向左侧旋转。控制装置121根据实时获取的显示装置122的航向角，实时调整待投射图像在虚拟画面140上的位置。例如，参见图4，佩戴者110起初正对电脑显示屏130，通过余光可以观看到左右两侧的虚拟显示屏140的各一部分(分别对应于控制装置121生成的待投射图像150-1和150-2，其通过显示装置122投射在佩戴者110的视野中)。当佩戴者110的头部带动显示装置122逐渐左转时，控制装置121通过实时获取显示装置122的航向角，实时调整待投射图像在虚拟显示屏140上的位置。最终，佩戴者110可以看到左侧虚拟显示屏140中更多的部分(对应于待投射图像150-1和150-3),并且不再能观看到右侧虚拟显示屏140中对应于待投射图像150-2的部分。
68.如图5所示，当佩戴者110向上方转动头部(仰头)时，带动显示装置122同时向上方转动，即佩戴者110的视场角160向上方旋转。控制装置121根据实时获取的显示装置122的俯仰角，实时调整待投射图像在虚拟画面140上的位置。例如，参见图5，佩戴者110起初可以观看到虚拟显示屏140中的相对较多的部分(对应于控制装置121生成的待投射图像150-4和150-5，其通过显示装置122投射在佩戴者110的视野中)。当佩戴者110的头部带动显示装置122逐渐向上转动时，控制装置121通过实时获取显示装置122的俯仰角，实时调整待投射图像在虚拟显示屏140上的位置。最终，佩戴者110仅可以观看到虚拟显示屏140中对应于待投射图像150-4的部分，而不再能观看到虚拟显示屏140中对应于待投射图像150-5的部分。
69.根据本发明的一个优选实施例，控制装置121配置成可实时获取显示装置122的横滚角，并根据所述横滚角对待投射图像150进行调整，使其在显示装置122中显示的方向与
水平方向所成的角度不发生变化。
70.如图6所示，佩戴者110的头部沿如图中箭头所示的顺时针方向转动时，视场角160并未发生改变，因此应保持投射在佩戴者110视野中的图像与水平方向的夹角不发生变化。然而此时显示装置122已随佩戴者110的头部转动而发生转动，因此，应将虚拟显示屏140中对应于待投射图像的部分沿逆时针方向回转相同的角度后，再投射在佩戴者110的视野中。
71.根据本发明的一个优选实施例，显示装置122包括惯性测量单元，所述航向角、俯仰角和横滚角通过所述惯性测量单元实时获取，并实时传送给控制装置121。惯性测量单元安装上显示装置122上，用于随时获取佩戴者110头部的运动角度。
72.根据本发明的一个优选实施例，控制装置121配置成可实时获取显示装置122在佩戴者110所处空间(如图中所示的物理环境100)中的位置，并根据显示装置122的位置变化对待投射图像150进行调整，使虚拟画面140在佩戴者110所处空间中的坐标不变。
73.如图7a所示，当佩戴者110向左侧或右侧移动时，控制装置121对待投射图像在虚拟显示屏140上的位置进行实时调整。例如，当佩戴者110移动至图中左侧位置时，其视场范围内仅可显示图中所示的左侧虚拟显示屏140，而不再显示右侧虚拟显示屏140；而当佩戴者110移动至图中的右侧位置时，其视场范围内仅可显示图中所示的右侧虚拟显示屏140，而不再显示左侧虚拟显示屏140。
74.如图7b所示，当佩戴者110向前或向后移动时，控制装置121对待投射图像在虚拟显示屏140上的位置进行实时调整。例如，当佩戴者110向前移动时，其视场范围内显示的待投射图像在虚拟显示屏140中所占的比例减小；而当佩戴者110向后移动时，其视场范围内显示的待投射图像在虚拟显示屏140中所占的比例增大。
75.根据本发明的一个优选实施例，其中控制装置121包括摄像头单元，所述摄像头单元配置成可实时获取显示装置122的位置。即所述摄像头单元安装在控制装置121上，以实时获取显示装置122(对应于佩戴者110的头部)与控制装置121的相对位置，计算显示装置122在物理环境100中的坐标。
76.根据本发明的一个优选实施例，如图8所示，控制装置121为电脑，控制装置121包括显示屏单元，例如如上所述的真实显示屏(电脑显示屏130)，显示屏单元130作为真实显示屏可以直接观看，虚拟画面140包括位于显示屏单元130相邻侧的至少一个虚拟屏画面。
77.根据本发明的一个优选实施例，如图9所示，虚拟画面140包括位于显示屏单元130左右两侧的第一虚拟屏画面和第二虚拟屏画面，和/或位于显示屏单元130上下两侧的第三虚拟屏画面和第四虚拟屏画面。
78.根据本发明的一个优选实施例，控制装置121包括用户操作单元，佩戴者110可通过所述用户操作单元对虚拟画面140进行操作。优选地，所述用户操作单元包括鼠标、键盘中的一种或多种。
79.根据本发明的一个优选实施例，控制装置121包括：台式电脑、笔记本电脑、平板电脑、手机中的一种或多种；显示装置122包括：ar眼镜、mr眼镜中的一种或多种。
80.根据本发明的一个优选实施例，如图10所示，本发明还提供一种使用如上所述的近眼显示系统120进行显示的方法10，包括：
81.在步骤s101中，通过控制装置生成虚拟画面；
82.在步骤s102中，根据显示装置的定向和/或位置，基于所述虚拟画面，生成待投射
图像；
83.在步骤s103中，将所述待投射图像发送到所述显示装置，通过所述显示装置在佩戴者的视野中显示所述待投射图像。
84.根据本发明的一个优选实施例，显示方法10还包括：
85.通过所述控制装置实时获取所述显示装置的航向角、俯仰角和横滚角，根据所述横滚角对所述待投射图像进行调整，使其在所述显示装置中显示的方向与水平方向所成的角度不发生变化，根据所述航向角的变化，将所述待投射图像在所述虚拟画面上沿水平方向调整，并根据所述俯仰角的变化，将所述待投射图像在所述虚拟画面上沿竖直方向调整。
86.根据本发明的一个优选实施例，其中所述实时获取所述显示装置的航向角、俯仰角和横滚角的步骤包括：
87.通过安装在所述显示装置上的惯性测量单元实时获取所述航向角、俯仰角和横滚角，并实时传送给所述控制装置。
88.根据本发明的一个优选实施例，显示方法10还包括：
89.通过所述控制装置实时获取所述显示装置在佩戴者所处空间中的位置，并根据所述显示装置的位置变化对所述待投射图像进行调整，使所述虚拟画面在佩戴者所处空间中的坐标不变。
90.根据本发明的一个优选实施例，其中所述实时获取所述显示装置在佩戴者所处空间中的位置的步骤包括：
91.通过安装在所述控制装置上的摄像头单元实时获取所述显示装置在佩戴者所处空间中的位置。
92.根据本发明的一个优选实施例，其中所述控制装置包括显示屏单元，所述生成虚拟画面的步骤包括：
93.生成包括位于所述显示屏单元相邻侧的至少一个虚拟屏画面的虚拟画面。
94.根据本发明的一个优选实施例，其中所述生成虚拟画面的步骤包括：
95.生成包括位于所述显示屏单元左右两侧的第一虚拟屏画面和第二虚拟屏画面，和/或位于所述显示屏单元上下两侧的第三虚拟屏画面和第四虚拟屏画面的虚拟画面。
96.根据本发明的一个优选实施例，其中所述控制装置包括用户操作单元，所述方法还包括：
97.接收来自所述用户操作单元的输入信号；
98.执行与所述输入信号相对应的操作指令。
99.有关所述显示方法的内容均可参照上文中对于所述近眼显示系统的相关描述，此处不再赘述。
100.本发明的优选实施例提供了一种近眼显示系统，该近眼显示系统适于根据虚拟画面生成待投射图像，并根据佩戴者的位置和/或定向调整待投射图像，并适于透视佩戴者周围的部分物理环境，使得待投射图像与佩戴者周围的物理环境融为一体，且该虚拟画面在物理环境中的位置不变，提供与真实世界更加接近的增强/混合现实环境。
101.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。
凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。