本公开涉及显示系统,更具体地涉及增强现实显示系统。
背景技术:
1、现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的开发,其中数字再现图像或其一部分以看起来是真实的或可以被感知为真实的方式被呈现给用户。虚拟现实或“vr”场景通常涉及数字或虚拟图像信息的呈现而对其它实际的真实世界视觉输入不透明;增强现实或“ar”场景通常涉及将数字或虚拟图像信息呈现为对用户周围的实际世界的可视化的增强。混合现实或“mr”场景是“ar”类型的场景,并且通常涉及被整合到自然世界中且响应于自然世界的虚拟对象。例如,在mr场景中,ar图像内容可以被真实世界中的对象阻挡或者被感知为与与真实世界中的对象交互。
2、参考图1a,示出了增强现实场景1,其中ar技术的用户看到以人、树木、背景中的建筑物和混凝土平台1120为特征的真实世界的公园状设置1100。除了这些物品之外,ar技术的用户还感知到他/她“看到”“虚拟内容”,例如站在真实世界平台1120上的机器人雕像1110,以及看起来是大黄蜂的化身的飞过的卡通式化身角色1130,即使这些元素1130、1110在真实世界中不存在。由于人类的视觉感知系统是复杂的,因此产生促进除其他虚拟或真实世界图像元素之外的虚拟图像元素的舒适的、感觉自然的、丰富的呈现的ar技术是具有挑战性的。
3、本文公开的系统和方法解决了与ar和vr技术相关的各种挑战。
技术实现思路
1、本公开提供了显示系统的各种示例。这些示例包括但不限于以下示例。
2、1.一种显示系统,其被配置为将光投射到用户的眼睛以在所述用户的视野中显示增强现实图像内容,所述头戴式显示系统包括:
3、框架,其被配置为被支撑在所述用户的头部上;
4、头戴式显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便以不同的发散量向所述用户的视野显示增强现实图像内容,就像是从距所述用户的眼睛不同的距离处投射的一样,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示器时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户的前方的环境的所述一部分的视图;
5、一个或多个环境传感器,其被配置为检测所述用户的周围环境;
6、处理电子设备,其与所述显示器和所述一个或多个环境传感器通信,所述处理电子设备被配置为:
7、感测涉及增加的用户关注(focus)的情况(situation);以及
8、至少部分地基于感测到所述增加的关注而改变对所述用户的视野内的真实或虚拟对象的用户感知。
9、2.根据示例1所述的显示系统,其中所述处理电子设备被配置为通过改变包括所述对象的图像内容来改变对所述用户的视野内的虚拟对象的用户感知。
10、3.根据示例1或2所述的显示系统,其中所述处理电子设备被配置为通过将所述对象从第一位置移动到第二位置来改变对对象的用户感知。
11、4.根据示例3所述的显示系统,其中所述第一位置是外围区域,所述第二位置是中心区域,或者,其中所述第一位置是中心区域,所述第二位置是外围区域。
12、5.根据示例2至4中任一项所述的显示系统,其中改变图像内容包括改变包括所述对象的图像内容的对比度、不透明度、颜色、颜色饱和度、颜色平衡、大小、亮度、边缘或锐度中的至少一者。
13、6.根据示例1至5中任一项所述的显示系统,进一步被配置为向所述用户提供警报。
14、7.根据示例6所述的显示系统,其中所述警报是视觉警报或音频警报。
15、8.根据示例1至7中任一项所述的显示系统,其中所述一个或多个环境传感器包括深度传感器、双目世界相机对、地理定位传感器、接近传感器或gps。
16、9.根据示例1至8中任一项所述的显示系统,进一步包括一个或多个用户传感器,所述一个或多个用户传感器被配置为感测所述用户,所述处理电子设备与所述一个或多个用户传感器通信。
17、10.根据示例9所述的显示系统,其中所述一个或多个用户传感器包括一个或多个相机。
18、11.根据示例1至10中任一项所述的显示系统,其中所述头戴式显示器包括波导,所述波导包括衍射光学元件,所述衍射光学元件被配置为通过从所述波导中提取光来输出所述光,其中所述波导是波导堆叠中的一者,其中所述波导堆叠中的不同波导被配置为输出具有不同波前发散的光。
19、12.根据示例1至11中任一项所述的显示系统,其中所述处理电子设备进一步被配置为确定对所述情况的用户意图,以及至少部分地基于所确定的用户意图改变对所述用户的视野内的所述真实或虚拟对象的用户感知。
20、13.根据示例1至12中任一项所述的显示系统,其中所述处理电子设备进一步被配置为确定对所述情况的用户意图,以及至少部分地基于感测到所述增加的关注而改变对所述用户的视野内的所述真实或虚拟对象的用户感知。
21、14.根据示例1至13中任一项所述的显示系统,其中所述环境传感器包括被配置为检测无线电信号的传感器。
22、15.根据示例1至14中任一项所述的显示系统,其中所述环境传感器包括被配置为检测来自汽车的蓝牙信号的传感器。
23、16.根据示例1至15中任一项所述的显示系统,其中所述涉及增加的用户关注的情况包括驾驶机动车辆。
24、17.根据示例16所述的显示系统,其中所述处理电子设备被配置为至少部分地基于关于用户的一个或多个数据记录而改变对所述用户的视野内的所述真实或虚拟对象的用户感知,所述一个或多个数据记录包括所述用户的驾驶记录。
25、18.根据示例1至17中任一项所述的显示系统,其中所述处理电子设备被配置为通过改变背景来改变对所述用户的视野内的所述真实或虚拟对象的用户感知。
26、19.根据示例18所述的显示系统,其中改变背景包括增加背景的均匀化,从而减少所述背景中的可见特征。
27、20.根据示例19所述的显示系统,其中增加背景的均匀化包括清除(wash out)或掩盖(paint over)所述背景中的特征。
28、21.根据示例18至20中任一项所述的显示系统,其中所述处理电子设备被配置为通过增加所述背景中的光强度来改变所述背景,使得所述用户和所述头戴式显示器的前方的环境中的特征对所述用户而言不太突出。
29、22.根据示例1至21中任一项所述的显示系统,其中所述处理电子设备被配置为增加所述光强度,使得所述用户和所述头戴式显示器的前方的环境中的特征对所述用户而言不太突出。
30、23.根据示例1至22中任一项所述的显示系统,其中改变对所述用户的视野内的对象的用户感知包括突出显示所述对象。
31、24.根据示例23所述的显示系统,其中突出显示所述对象包括将部分透明的颜色叠加在所述对象之上。
32、25.根据示例1至24中任一项所述的显示系统,进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
33、26.根据示例1至25中任一项所述的显示系统,其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将光投射到所述用户的一个或多个波导。
34、27.根据示例25所述的显示系统,其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
35、28.根据示例25至27中任一项所述的显示系统,其中所述光源包括光纤扫描投影仪。
36、29.根据示例1至28中任一项所述的显示系统,其中所述一个或多个环境传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获系统。
37、30.根据示例1至29所述的显示系统,其中所述环境传感器包括一个或多个面向外的相机。
38、31.根据示例1至30中任一项所述的显示系统,其中一个或多个环境传感器包括距离测量系统。
39、32.根据示例31所述的显示系统,其中所述距离测量系统包括激光测距仪。
40、33.根据示例1至32中任一项所述的显示系统,进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪系统。
41、34.根据示例1至33中任一项所述的显示系统,进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获系统。
42、35.根据示例1至34中任一项所述的显示系统,其中所述头戴式显示系统被配置为与向所述用户的视野的第二部分呈现的图像内容相比,不同地处理向所述用户的视野的至少第一部分呈现的图像内容。
43、36.根据示例1至35中任一项所述的显示系统,其中所述头戴式显示系统被配置为与向所述用户的视野的中心区域呈现的图像内容相比,不同地处理向所述用户的视野的所述外围区域的至少一部分呈现的图像内容。
44、37.根据示例1至37中任一项所述的显示系统,其中改变所述用户感知包括加强或削弱(de-emphasizing)。
45、38.根据示例37所述的显示系统,其中由所述处理电子设备提供的加强包括放大图像内容。
46、39.根据示例37至38中任一项所述的显示系统,其中由所述处理电子设备提供的加强或削弱包括改变亮度。
47、40.根据示例37至39中任一项所述的显示系统,其中由所述处理电子设备提供的加强包括增加亮度。
48、41.根据示例37至40中任一项所述的显示系统,其中由所述处理电子设备提供的削弱包括降低亮度。
49、42.根据示例37至41中任一项所述的显示系统,其中由所述处理电子设备提供的削弱包括增加亮度。
50、43.根据示例37至42中任一项所述的显示系统,其中由所述处理电子设备提供的加强或削弱包括改变对比度。
51、44.根据示例37至43中任一项所述的显示系统,其中由所述处理电子设备提供的加强包括增加对比度。
52、45.根据示例37至44中任一项所述的显示系统,其中由所述处理电子设备提供的削弱包括降低对比度。
53、46.根据示例37至45中任一项所述的显示系统,其中由所述处理电子设备提供的加强或削弱包括改变颜色饱和度。
54、47.根据示例37至46中任一项所述的显示系统,其中由所述处理电子设备提供的加强包括增加颜色饱和度。
55、48.根据示例37至47中任一项所述的显示系统,其中由所述处理电子设备提供的削弱包括降低颜色饱和度。
56、49.根据示例37至48中任一项所述的显示系统,其中由所述处理电子设备提供的加强或削弱包括改变锐度。
57、50.根据示例37至49中任一项所述的显示系统,其中由所述处理电子设备提供的加强包括增加锐度。
58、51.根据示例37至50中任一项所述的显示系统,其中由所述处理电子设备提供的削弱包括降低锐度。
59、52.根据示例37至51中任一项所述的显示系统,其中由所述处理电子设备提供的加强或削弱包括改变不透明度。
60、53.根据示例37至52中任一项所述的显示系统,其中由所述处理电子设备提供的加强包括增加不透明度。
61、54.根据示例37至53中任一项所述的显示系统,其中由所述处理电子设备提供的削弱包括降低不透明度。
62、55.根据示例37至54中任一项所述的显示系统,其中由所述处理电子设备提供的削弱包括增加不透明度。
63、56.根据示例37至55中任一项所述的显示系统,其中加强包括边缘加强特征。
64、57.根据示例37至56中任一项所述的显示系统,由所述处理电子设备提供的加强或削弱包括改变颜色平衡。
65、1.一种显示系统,其被配置为将光投射到用户的眼睛以在所述用户的视野中显示增强现实图像内容,所述头戴式显示系统包括:
66、框架,其被配置为被支撑在所述用户的头部上;
67、头戴式显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便将图像内容呈现到所述用户的视野,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户和所述头戴式显示器的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户和所述头戴式显示器的前方的环境的所述一部分的视图;
68、一个或多个面向外的相机,其被配置为对所述用户的环境中的对象进行成像;
69、一个或多个眼睛跟踪传感器,其被配置为确定所述用户的眼睛正在观看的位置;
70、处理电子设备,其与所述显示器、所述面向外的相机以及所述眼睛跟踪传感器通信,以控制所述显示器上的图像内容的呈现,所述处理电子设备被配置为:
71、向所述用户的视野显示图像内容;
72、确定所述眼睛所指向的对象;以及
73、执行加强所述眼睛所指向的对象的渲染(rendering)或削弱所述眼睛所指向的所述对象的周围的一个或多个特征中的至少一者。
74、2.根据示例1所述的显示系统,其中所述处理电子设备被配置为在所述显示器上显示所述对象并加强所述对象的渲染。
75、3.根据示例1或2所述的显示系统,其中所述处理电子设备被配置为在所述显示器上显示所述对象的周围的所述一个或多个特征,并当在所述显示器上被渲染时,削弱所述眼睛所指向的对象的周围的所述一个或多个特征。
76、4.根据示例1至3中任一项所述的显示系统,其中所述对象的周围的所述一个或多个特征包括所述用户和所述头戴式显示系统的前方的环境中的真实特征,并且所述处理电子设备被配置为削弱所述眼睛所指向的对象的周围的所述一个或多个真实特征。
77、5.根据示例4所述的显示系统,其中所述处理电子设备被配置为通过增加被引导到所述眼睛中的光的强度来削弱所述眼睛所指向的对象的周围的所述一个或多个真实特征,使得所述用户和所述头戴式显示器的前方环境中的所述一个或多个真实特征对所述用户而言不太突出。
78、6.根据示例1至4中任一项所述的显示系统,其中所述处理电子设备被配置为增加投射到所述眼睛中的光的强度,使得所述用户和所述头戴式显示器的前方环境中的特征对所述用户而言不太突出。
79、7.根据示例1至6中任一项所述的显示系统,其中所述削弱包括降低通过所述透明部分的所述环境的视图的亮度、可见度、锐度或对比度、或者改变通过所述透明部分的所述环境的颜色中的一者或多者。
80、8.根据示例1至7中任一项所述的显示系统,其中所述处理电子设备被配置为增加投射到所述眼睛中的光的强度,使得所述用户和所述头戴式显示器的前方环境中的特征对所述用户而言不太突出,而不是通过在所述显示器上显示图像。
81、9.根据示例1至8中任一项所述的显示系统,其中所述削弱包括增加不透明度以使得通过所述透明部分的所述环境的视图衰减。
82、10.根据示例1至9中任一项所述的显示系统,其中所述削弱包括降低通过所述透明部分的所述环境的视图的亮度、可见度、锐度或对比度、或者改变通过所述透明部分的所述环境的颜色中的一者或多者,而不是通过在所述显示器上显示图像。
83、11.根据示例1至10中任一项所述的显示系统,其中所述削弱包括增加不透明度以使得通过所述透明部分的所述环境的视图衰减,而不是通过在所述显示器上显示图像。
84、12.根据示例1至11中任一项所述的显示系统,其中所述处理电子设备被配置为通过改变背景来改变对所述用户的视野内的所述真实或虚拟对象的用户感知。
85、13.根据示例12所述的显示系统,其中改变背景包括增加背景的均匀化,从而减少所述背景中的可见特征。
86、14.根据示例13所述的显示系统,其中增加背景的均匀化包括清除或掩盖所述背景中的特征。
87、15.根据示例12至14中任一项所述的显示系统,其中所述处理电子设备被配置为通过增加所述背景中的光强度来改变所述背景,使得所述用户和所述头戴式显示器的前方的环境中的特征对所述用户而言不太突出。
88、16.根据示例1至15中任一项所述的显示系统,其中所述处理电子设备被配置为加强由所述显示器显示的图像内容的渲染。
89、17.根据示例1至16中任一项所述的显示系统,其中所述处理电子设备被配置为削弱由所述显示器显示的图像内容的渲染。
90、18.一种显示系统,其被配置为将光投射到用户的眼睛以在所述用户的视野内显示增强现实图像内容,所述头戴式显示系统包括:
91、框架,其被配置为被支撑在所述用户的头部上;
92、头戴式显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便将图像内容呈现到所述用户的视野,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户和所述头戴式显示器的前方环境的一部分的光透射到所述用户的眼睛,以提供所述用户和所述头戴式显示器的前方的环境的所述一部分的视图;
93、处理电子设备,其与所述显示器通信,所述处理电子设备被配置为:
94、向所述用户的视野显示图像内容;
95、执行加强由所述显示器显示的所述图像内容的渲染或削弱所述图像内容的渲染中的至少一者,
96、其中所述加强包括相对于由所述显示器显示的其它图像内容,增加所渲染的图像内容的对比度、颜色饱和度、亮度、边缘可见度、不透明度或锐度、突出显示或改变所渲染的图像内容的颜色或颜色平衡中的一者或多者,以及
97、其中所述削弱包括相对于由所述显示器显示的其它图像内容,降低所渲染的图像内容的对比度、颜色饱和度、亮度、边缘可见度、不透明度或锐度、或者改变所渲染的图像内容的颜色或颜色平衡中的一者或多者。
98、19.根据示例18所述的显示系统,其中所述处理电子设备被配置为加强由所述显示器显示的图像内容的渲染。
99、20.根据示例18或19所述的显示系统,其中所述处理电子设备被配置为削弱由所述显示器显示的图像内容的渲染。
100、21.根据示例18至20中任一项所述的显示系统,其中所述处理电子设备被配置为相对于由所述显示器显示的周围图像内容,加强由所述显示器显示的所述图像内容的渲染。
101、22.根据示例18至21中任一项所述的显示系统,其中所述处理电子设备被配置为相对于被所述削弱的图像围绕的由所述显示器显示的图像内容,削弱由所述显示器显示的所述图像内容的渲染。
102、23.根据示例18至22中任一项所述的显示系统,进一步包括被配置为对所述用户的环境中的对象进行成像的一个或多个面向外的相机。
103、24.根据示例18至23中任一项所述的显示系统,进一步包括被配置为确定所述用户的眼睛正在观看的位置的一个或多个眼睛跟踪传感器。
104、25.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以在所述用户的视野内显示增强现实图像内容,所述头戴式显示系统包括:
105、框架,其被配置为被支撑在所述用户的头部上;
106、头戴式显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便将图像内容呈现到所述用户的视野,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户和所述头戴式显示器的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户和所述头戴式显示器的前方的环境的所述一部分的视图;
107、一个或多个面向外的相机,其被配置为对所述用户的环境中的对象进行成像;
108、处理电子设备,其与所述显示器和所述面向外的相机通信,所述处理电子设备被配置为:
109、向所述用户的视野显示图像内容;
110、通过向从所述一个或多个面向外的相机接收的图像应用对象识别来识别所述用户的环境中的一个或多个对象;以及
111、基于所述对象识别,执行加强由所述显示器显示的所述图像内容的渲染或削弱所述图像内容的渲染中的至少一者,
112、其中所述加强包括增加所渲染的图像内容的对比度、颜色饱和度、亮度、边缘可见度、不透明度或锐度,突出显示、或改变所渲染的图像内容的颜色或颜色平衡中的一者或多者,以及
113、其中所述削弱包括降低所渲染的图像内容的对比度、颜色饱和度、亮度、边缘可见度、不透明度或锐度,或改变所渲染的图像内容的颜色或颜色平衡中的一者或多者。
114、26.根据示例25所述的显示系统,其中所述一个或多个面向外的相机被设置在所述框架上。
115、27.根据示例25或26所述的显示系统,其中所述处理电子设备被配置为加强由所述显示器显示的图像内容的渲染。
116、28.根据示例25至27中任一项所述的显示系统,其中所述处理电子设备被配置为削弱由所述显示器显示的图像内容的渲染。
117、29.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以在所述用户的视野内显示增强现实图像内容,所述头戴式显示系统包括:
118、框架,其被配置为被支撑在所述用户的头部上;
119、头戴式显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便将图像内容呈现到所述用户的视野,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户和所述头戴式显示器的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户和所述头戴式显示器的前方的环境的所述一部分的视图;
120、一个或多个面向外的相机,其被配置为对所述用户的环境中的对象进行成像;
121、处理电子设备,其与所述显示器和所述面向外的相机通信,所述处理电子设备被配置为:
122、向所述用户的视野显示图像内容;
123、通过向从所述一个或多个面向外的相机接收的图像应用对象识别来识别所述用户的环境中的一个或多个对象;以及
124、基于所述对象识别,削弱通过所述透明部分呈现到所述用户的眼睛的所述用户的前方的所述环境的视图的至少一部分。
125、30.根据示例29所述的显示系统,其中所述削弱包括降低通过所述透明部分的所述环境的视图的亮度、可见度、锐度或对比度、或改变通过所述透明部分的所述环境的颜色中的一者或多者。
126、31.根据示例29或30所述的显示系统,其中所述削弱包括增加不透明度以使得通过所述透明部分的所述环境的视图衰减。
127、32.根据示例29至31中任一项所述的显示系统,其中所述削弱包括降低通过所述透明部分的所述环境的视图的亮度、可见度、锐度或对比度、或改变通过所述透明部分的所述环境的颜色中的一者或多者,而不是通过在所述显示器上显示图像。
128、33.根据示例29至32中任一项所述的显示系统,其中所述削弱包括增加不透明度以使得通过所述透明部分的所述环境的视图衰减,而不是通过在所述显示器上显示图像。
129、34.根据示例29至33中任一项所述的显示系统,其中所述处理电子设备被配置为通过改变背景来改变对所述用户的视野内的所述真实或虚拟对象的用户感知。
130、35.根据示例34所述的显示系统,其中改变背景包括增加背景的均匀化,从而减少所述背景中的可见特征。
131、36.根据示例35所述的显示系统,其中增加背景的均匀化包括清除或掩盖所述背景中的特征。
132、37.根据示例29至36中任一项所述的显示系统,其中所述处理电子设备被配置为通过增加所述背景中的光强度来改变所述背景,使得所述用户和所述头戴式显示器的前方的环境中的特征对所述用户而言不太突出。
133、38.根据示例29至37中任一项所述的显示系统,其中所述处理电子设备被配置为增加光强度,使得所述用户和所述头戴式显示器的前方的环境中的特征对所述用户而言不太突出。
134、39.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以在所述用户的视野内显示增强现实图像内容,所述头戴式显示系统包括:
135、框架,其被配置为被支撑在所述用户的头部上;
136、一个或多个面向外的传感器,其被配置为感测所述用户的环境;
137、头戴式显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便将图像内容呈现到所述用户的视野,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户和所述头戴式显示器的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户和所述头戴式显示器的前方的环境的所述一部分的视图;
138、处理电子设备,其与所述显示器以及包括关于所述用户的数据记录的一个或多个存储系统通信,所述处理电子设备被配置为:
139、向所述用户的视野显示图像内容;以及
140、基于来自所述一个或多个面向外的传感器的输出和所述一个或多个关于所述用户的数据记录,改变对所述用户的视野内的真实或虚拟对象的用户感知。
141、40.根据示例39所述的显示系统,其中所述一个或多个面向外的传感器包括被设置在所述框架上的一个或多个面向外的相机。
142、41.根据示例39或40所述的显示系统,其中所述一个或多个面向外的相机被配置为对所述用户的环境中的对象进行成像,并且所述处理电子设备被配置为通过向从所述一个或多个面向外的相机接收的图像应用对象识别来识别所述用户的环境中的一个或多个对象,以及基于所述对象识别,改变对所述用户的视野内的所述真实或虚拟对象的用户感知。
143、42.根据示例39至41中任一项所述的显示系统,其中所述处理电子设备被配置为感测涉及用户关注的情况,确定对所述情况的用户意图,以及至少部分地基于所述用户意图而改变对所述用户的视野内的所述真实或虚拟对象的用户感知。
144、43.根据示例39至42中任一项所述的显示系统,其中改变对所述用户的视野内的真实或虚拟对象的用户感知包括加强或削弱对所述用户的视野内的所述真实或虚拟对象的用户感知中的至少一者。
145、44.根据示例39至43中任一项所述的显示系统,其中所述一个或多个面向外的相机被配置为对所述用户的环境中的对象进行成像,并且所述处理电子设备被配置为通过向从所述一个或多个面向外的相机接收的图像应用对象识别来识别所述用户环境中的一个或多个对象,以及基于所述对象识别,执行加强或削弱对所述用户的视野内的所述真实或虚拟对象的用户感知中的至少一者。
146、45.根据示例39至44中任一项所述的显示系统,其中所述数据记录包括所述用户的驾驶记录。
147、46.根据示例45所述的显示系统,其中所述数据记录包括所述用户是否已具有驾驶违章。
148、47.根据示例45或46中任一项所述的显示系统,其中所述数据记录包括所述用户的年龄和所述用户是否为青少年(teenage)驾驶员中的至少一者。
149、48.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以在所述用户的视野内显示增强现实图像内容,所述头戴式显示系统包括:
150、框架,其被配置为被支撑在所述用户的头部上;
151、头戴式显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便将图像内容呈现到所述用户的视野,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户和所述头戴式显示器的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户和所述头戴式显示器的前方的环境的所述一部分的视图;
152、一个或多个面向外的相机,其被配置为对所述用户的环境中的对象进行成像;
153、处理电子设备,其与所述显示器和所述面向外的相机通信,所述处理电子设备被配置为:
154、向所述用户的视野显示图像内容;
155、通过向从所述一个或多个面向外的相机接收的图像应用对象识别来识别所述用户的环境中的一个或多个对象;以及
156、基于所述对象识别,通过所述透明部分向用户的眼睛突出显示所述用户的前方的所述环境的视图的至少一部分。
157、49.根据示例48所述的头戴式显示系统,其中突出显示所述对象包括将部分透明的颜色叠加在所述对象之上。
158、50.根据示例48或49所述的头戴式显示系统,其中突出显示所述对象包括突出显示所述对象,而不是通过显示来自所述一个或多个面向外的相机的图像。
159、51.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以在所述用户的视野内显示增强现实图像内容,所述头戴式显示系统包括:
160、头戴式显示器,其被设置在框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便将图像内容呈现到所述用户的视野,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户和所述头戴式显示器的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户和所述头戴式显示器的前方的环境的所述一部分的视图;
161、面向外的相机,其被配置为对所述用户的环境中的对象进行成像;以及
162、处理电子设备,其与所述显示器和所述面向外的相机通信,以控制所述显示器上的图像内容的呈现,所述处理电子设备被配置为:
163、确定所述用户正在操作车辆;以及
164、加强所述用户的视野中的对象。
165、52.根据示例51所述的显示系统,其中加强所述用户的视野中的对象包括将所述对象的图像内容从所述用户的视野中的第一位置移动到第二位置。
166、53.根据示例51或52所述的显示系统,其中加强所述用户的视野中的对象包括相对于在不进行加强的情况下所述对象的原始颜色,改变所述对象的感知颜色。
167、54.根据示例51至53中任一项所述的显示系统,其中加强所述用户的视野中的对象包括增加所显示的图像内容的对比度、颜色饱和度、亮度、边缘可见度、不透明度或锐度中的一者或多者。
168、55.根据示例51至54中任一项所述的显示系统,其中加强所述用户的视野中的对象包括通过将部分透明的颜色叠加在所述对象之上来突出显示所述对象。
169、56.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以在所述用户的视野内显示增强现实图像内容,所述头戴式显示系统包括:
170、框架,其被配置为被支撑在所述用户的头部上;
171、数据库,其被配置为包含一个或多个用户记录;
172、头戴式显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便将图像内容呈现到所述用户的视野,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户和所述头戴式显示器的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户和所述头戴式显示器的前方的环境的所述一部分的视图;以及
173、处理电子设备,其与所述显示器和所述数据库通信,所述处理电子设备被配置为基于所述用户的一个或多个记录减少所显示的图像内容的量。
174、57.根据示例56所述的显示系统,其中所述一个或多个用户记录包括驾驶记录、事故记录、传票记录、在校表现记录、犯罪记录或逮捕记录中的至少一者。
175、58.根据示例56或57所述的显示系统,其中所述一个或多个用户记录包括所述用户的年龄。
176、59.根据示例56至58中任一项所述的显示系统,其中基于所述用户的一个或多个记录减少所显示的图像内容的量包括选择性地使所述用户访问所显示的图像内容。
177、60.根据示例56至59中任一项所述的显示系统,其中基于所述用户的一个或多个记录减少所显示的图像内容的量包括不显示图像内容。
178、61.根据示例56至59中任一项所述的显示系统,其中基于所述用户的一个或多个记录减少所显示的图像内容的量包括基本上不显示图像内容。
179、62.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以在所述用户的视野内显示增强现实图像内容,所述头戴式显示系统包括:
180、框架,其被配置为被支撑在所述用户的头部上;
181、头戴式显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便将图像内容呈现到所述用户的视野,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户和所述头戴式显示器的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户和所述头戴式显示器的前方的环境的所述一部分的视图;以及
182、处理电子设备,其与所述显示器通信,所述处理电子设备被配置为:
183、至少部分地基于所建立的与车辆的处理器的通信链路,确定所述用户在所述车辆附近;以及
184、基于所建立的通信链路减少所显示的图像内容的量。
185、63.根据示例62所述的头戴式显示系统,其中确定所述用户在所述车辆附近包括发送和/或接收射频信号或红外信号中的至少一者。
186、64.根据示例62所述的头戴式显示系统,其中确定所述用户在所述车辆附近包括发送和/或接收射频信号中的至少一者。
187、65.根据示例62所述的头戴式显示系统,其中确定所述用户在所述车辆附近包括发送和/或接收无线信号中的至少一者。
188、66.根据示例62所述的头戴式显示系统,其中确定所述用户在所述车辆附近包括发送和/或接收蓝牙信号中的至少一者。
189、67.根据示例62或66中任一项所述的头戴式显示系统,其中基于所建立的通信链路减少所显示的图像内容的量包括不显示任何图像内容。
190、68.根据示例62或66中任一项所述的头戴式显示系统,其中基于所建立的通信链路减少所显示的图像内容的量包括基本上不显示任何图像内容。
191、69.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以在所述用户的视野内显示增强现实图像内容,所述头戴式显示系统包括:
192、框架,其被配置为被支撑在所述用户的头部上;
193、头戴式显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便将图像内容呈现到所述用户的视野,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户和所述头戴式显示器的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户和所述头戴式显示器的前方的环境的所述一部分的视图;
194、面向外的相机,其被配置为对所述用户的环境中的对象进行成像;
195、环境传感器,其被配置为识别所述对象的一个或多个方位;以及
196、处理电子设备,其与所述显示器、所述面向外的相机以及所述环境传感器通信,所述处理电子设备被配置为:
197、确定所述用户是否正在操作车辆;
198、确定所述车辆碰撞所述对象以及所述对象碰撞所述车辆中的至少一者的风险;以及
199、基于所确定的风险减少所显示的图像内容的量。
200、70.根据示例69所述的头戴式显示系统,其中确定所述碰撞风险包括基于由所述环境传感器识别的所述对象的所述一个或多个方位确定所述对象和所述车辆不断接近的速率。
201、71.根据示例69或70所述的头戴式显示系统,其中被配置为识别所述对象的一个或多个方位的所述环境传感器包括激光测距仪、lidar、雷达测距仪或超声波测距设备中的至少一者。
202、72.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以在所述用户的视野内显示增强现实图像内容,所述头戴式显示系统包括:
203、显示器,其被设置在框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便将图像内容呈现到所述用户的视野,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户和所述头戴式显示器的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户和所述头戴式显示器的前方的环境的所述一部分的视图;
204、面向外的相机,其被配置为对所述用户的环境中的对象进行成像;以及
205、处理电子设备,其与所述显示器和所述面向外的相机通信,以控制所述显示器上的图像内容的呈现,所述处理电子设备被配置为:
206、确定所述用户正在操作车辆;
207、以不同的发散量向所述用户的视野显示图像内容,就像是从距所述用户的眼睛不同的距离处投射的那样;以及
208、基于所述用户正在操作车辆的确定,减少所显示的图像内容的量。
209、上述任何示例可以包括下面阐述的特征中的任何一者或多者以产生以下任一示例。
210、73.根据示例1至72中任一项所述的显示系统,其中所述处理电子设备可以被配置为通过改变包括所述对象的图像内容来改变对所述用户的视野内的虚拟对象的用户感知。
211、74.根据示例73所述的显示系统,其中改变图像内容包括改变包括所述对象的图像内容的对比度、不透明度、颜色、颜色饱和度、颜色平衡、大小、亮度、边缘或锐度中的至少一者。
212、75.根据示例1至74中任一项所述的显示系统,其中所述处理电子设备可以被配置为通过将所述对象从第一位置移动到第二位置来改变对所述对象的用户感知。
213、76.根据示例75所述的显示系统,其中所述第一位置是外围区域,所述第二位置是中心区域,或者其中所述第一位置是中心区域,所述第二位置是外围区域。
214、77.根据示例1至76中任一项所述的显示系统,进一步被配置为向所述用户提供警报。
215、78.根据示例77所述的显示系统,其中所述警报是视觉警报或音频警报。
216、79.根据示例1至78中任一项所述的显示系统,进一步包括一个或多个环境传感器。
217、80.根据示例1至79中任一项所述的显示系统,其中所述一个或多个环境传感器包括深度传感器、双目世界相机对、地理定位传感器、接近传感器或gps。
218、81.根据示例1至79中任一项所述的显示系统,进一步包括一个或多个用户传感器。
219、82.根据示例1至81中任一项所述的显示系统,其中所述一个或多个用户传感器包括一个或多个相机。
220、83.根据示例1至82中任一项所述的显示系统,其中所述头戴式显示器包括波导,所述波导包括衍射光学元件,所述衍射光学元件被配置为通过从所述波导中提取光来输出所述光,其中所述波导是波导堆叠中的一者,其中所述波导堆叠中的不同波导被配置为输出具有不同波前发散的光。
221、84.根据示例1至83中任一项所述的显示系统,其中所述处理电子设备进一步被配置为确定对所述情况的用户意图,以及至少部分地基于所确定的用户意图而改变对所述用户的视野内的所述真实或虚拟对象的用户感知。
222、85.根据示例1至84中任一项所述的显示系统,其中所述处理电子设备进一步被配置为确定对所述情况的用户意图,以及至少部分地基于感测到所述增加的关注而改变对所述用户的视野内的所述真实或虚拟对象的用户感知。
223、86.根据示例1至85中任一项所述的显示系统,其中所述环境传感器包括被配置为检测无线电信号的传感器。
224、87.根据示例1至86中任一项所述的显示系统,其中所述环境传感器包括被配置为检测来自汽车的蓝牙信号的传感器。
225、88.根据示例1至87中任一项所述的显示系统,其中所述处理电子设备被配置为确定所述用户是否正在驾驶机动车辆。
226、89.根据示例1至88中任一项所述的显示系统,其中所述处理电子设备被配置为至少部分地基于关于所述用户的一个或多个数据记录而改变对所述用户的视野内的真实或虚拟对象的用户感知,所述一个或多个数据记录包括所述用户的驾驶记录。
227、90.根据示例1至89所述的显示系统,其中所述处理电子设备被配置为改变背景。
228、91.根据示例90所述的显示系统,其中改变背景包括增加背景的均匀化,从而减少所述背景中的可见特征。
229、92.根据示例91所述的显示系统,其中增加背景的均匀化包括清除或掩盖所述背景。
230、93.根据示例1至92中任一项所述的显示系统,其中所述处理电子设备被配置为通过增加所述背景中的光强度来改变所述背景,使得所述用户和所述头戴式显示器的前方的环境中的特征对所述用户而言不太突出。
231、94.根据示例1至93中任一项所述的显示系统,其中所述处理电子设备被配置为增加所述光强度,使得所述用户和所述头戴式显示器的前方的环境中的特征对所述用户而言不太突出。
232、95.根据示例1至94中任一项所述的显示系统,其中所述处理电子设备被配置为通过突出显示所述对象来改变对所述用户的视野内的对象的用户感知。
233、96.根据示例95所述的显示系统,其中突出显示所述对象包括将部分透明的颜色叠加在所述对象之上。
234、97.根据示例1至96中任一项所述的显示系统,进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
235、98.根据示例97所述的显示系统,其中所述一个或多个光源被配置为将光引导到一个或多个波导中。
236、99.根据示例97或98中任一项所述的显示系统,其中所述一个或多个光源包括光纤扫描投影仪。
237、100.根据示例1至99中任一项所述的显示系统,其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将光投射到所述用户的一个或多个波导。
238、101.根据示例1至100中任一项所述的显示系统,进一步包括被配置为监视所述环境的一个或多个传感器。
239、102.根据示例101所述的显示系统,其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获系统。
240、103.根据示例102所述的显示系统,其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获系统包括一个或多个面向外的相机。
241、104.根据示例101至103中任一项所述的显示系统,其中一个或多个传感器包括距离测量系统。
242、105.根据示例104所述的显示系统,其中所述距离测量系统包括激光测距仪。
243、106.根据示例1至105中任一项所述的显示系统,进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪系统。
244、107.根据示例1至106中任一项所述的显示系统,进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获系统。
245、108.根据示例1至107中任一项所述的显示系统,其中所述头戴式显示系统被配置为与向所述用户的视野的第二部分呈现的图像内容相比,不同地处理向所述用户的视野的至少第一部分呈现的图像内容。
246、109.根据示例1至108中任一项所述的显示系统,其中所述头戴式显示系统被配置为与向所述用户的视野的中心区域呈现的图像内容相比,不同地处理向所述用户的视野的所述外围区域的至少一部分呈现的图像内容。
247、110.根据示例1至109中任一项所述的显示系统,其中由所述处理电子设备提供的加强包括放大图像内容。
248、111.根据示例1至110中任一项所述的显示系统,其中由所述处理电子设备提供的加强或削弱包括改变亮度。
249、112.根据示例1至111中任一项所述的显示系统,其中由所述处理电子设备提供的加强包括增加亮度。
250、113.根据示例1至112中任一项所述的显示系统,其中由所述处理电子设备提供的削弱包括降低亮度。
251、114.根据示例1至113中任一项所述的显示系统,其中由所述处理电子设备提供的削弱包括增加亮度。
252、115.根据示例1至114中任一项所述的显示系统,其中由所述处理电子设备提供的加强或削弱包括改变对比度。
253、116.根据示例1至115中任一项所述的显示系统,其中由所述处理电子设备提供的加强包括增加对比度。
254、117.根据示例1至116中任一项所述的显示系统,其中由所述处理电子设备提供的削弱包括降低对比度。
255、118.根据示例1至117中任一项所述的显示系统,其中由所述处理电子设备提供的加强或削弱包括改变颜色饱和度。
256、119.根据示例1至118中任一项所述的显示系统,其中由所述处理电子设备提供的加强包括增加颜色饱和度。
257、120.根据示例1至119中任一项所述的显示系统,其中由所述处理电子设备提供的削弱包括降低颜色饱和度。
258、121.根据示例1至120中任一项所述的显示系统,其中由所述处理电子设备提供的加强或削弱包括改变锐度。
259、122.根据示例1至121中任一项所述的显示系统,其中由所述处理电子设备提供的加强包括增加锐度。
260、123.根据示例1至122中任一项所述的显示系统,其中由所述处理电子设备提供的削弱包括降低锐度。
261、124.根据示例1至123中任一项所述的显示系统,其中由所述处理电子设备提供的加强或削弱包括改变不透明度。
262、125.根据示例1至124中任一项所述的显示系统,其中由所述处理电子设备提供的加强包括增加不透明度。
263、126.根据示例1至125中任一项所述的显示系统,其中由所述处理电子设备提供的削弱包括降低不透明度。
264、127.根据示例1至126中任一项所述的显示系统,其中由所述处理电子设备提供的削弱包括增加不透明度。
265、128.根据示例1至127中任一项所述的显示系统,其中加强包括边缘加强特征。
266、129.根据示例1至128中任一项的显示系统,由所述处理电子设备提供的加强或削弱包括改变颜色平衡。
267、下面提供其它示例。
268、示例集ia
269、1.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以显示增强现实图像内容,所述用户的眼睛具有视野,所述视野具有中心区域和被设置在所述中心区域周围的外围区域,所述头戴式显示系统包括:
270、框架,其被配置为被支撑在所述用户的头部上;
271、显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便在所述用户的视野的所述中心区域处呈现图像内容,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户的前方的环境的所述一部分的视图;
272、处理电子设备,其与所述显示器通信,以控制所述显示器上的图像内容的呈现,
273、其中所述头戴式显示系统被配置为向所述用户的视野的所述外围区域呈现与向所述用户的视野的所述中心区域呈现的图像内容相比加强的图像内容。
274、2.根据示例1所述的系统,进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
275、3.根据示例1或2所述的系统,其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将光投射到所述用户的一个或多个波导。
276、4.根据示例3所述的系统,其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
277、5.根据示例2至4中任一项所述的系统,其中所述光源包括光纤扫描投影仪。
278、6.根据以上任一示例所述的系统,进一步包括被配置为监视所述环境的一个或多个传感器。
279、7.根据示例6所述的系统,其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
280、8.根据示例7所述的系统,其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
281、9.根据示例6至8中任一项所述的系统,其中一个或多个传感器包括距离测量设备。
282、10.根据示例9所述的系统,其中所述距离测量系统包括激光测距仪。
283、11.根据以上任一示例所述的系统,进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
284、12.根据示例1或11所述的系统,进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
285、13.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比,不同地处理向所述用户的视野的所述外围区域的至少一部分呈现的图像内容。
286、14.根据示例13所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比,通过放大被向所述用户的视野的所述外围区域的至少一部分呈现的图像内容来不同地处理图像内容。
287、15.根据示例13至14中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比,通过增加向所述用户的视野的所述外围区域的至少一部分呈现的图像内容的亮度来不同地处理图像内容。
288、16.根据示例13至15中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比,通过增加向所述用户的视野的所述外围区域的至少一部分呈现的图像内容的对比度来不同地处理图像内容。
289、17.根据示例13至16中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比,通过增加向所述用户的视野的所述外围区域的至少一部分呈现的图像内容的颜色饱和度来不同地处理图像内容。
290、18.根据示例13至17中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比,通过锐化向所述用户的视野的所述外围区域的至少一部分呈现的图像内容来不同地处理图像内容。
291、19.根据示例18所述的系统,其中锐化包括与向所述用户的视野的所述中心区域呈现的图像内容相比,边缘加强向所述用户的视野的所述外围区域的至少一部分呈现的图像内容中的特征。
292、20.根据示例13至19中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比,通过改变向所述用户的视野的所述外围区域的至少一部分呈现的图像内容的颜色平衡来不同地处理图像内容。
293、21.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以显示增强现实图像内容,所述用户的眼睛具有视野,所述视野具有中心区域和被设置在所述中心区域周围的外围区域,所述头戴式显示系统包括:
294、框架,其被配置为被支撑在所述用户的头部上;
295、显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便在所述用户的视野的所述中心区域和所述外围区域处呈现图像内容,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户的前方的环境的所述一部分的视图;
296、处理电子设备,其与所述显示器通信,以控制所述显示器上的图像内容的呈现,
297、其中所述头戴式显示系统被配置为向所述用户的视野的所述中心区域呈现与向所述用户的视野的所述外围区域呈现的图像内容相比削弱的图像内容。
298、22.根据示例21所述的系统,进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
299、23.根据示例21或22所述的系统,其中是透明的并且被设置在所述用户的眼睛的前方的位置处的所述显示器的所述至少一部分包括被配置为将光投射到所述用户的一个或多个波导。
300、24.根据示例23所述的系统,其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
301、25.根据示例22至24中任一项所述的系统,其中所述光源包括光纤扫描投影仪。
302、26.根据示例21至25中任一项所述的系统,进一步包括被配置为监视所述环境的一个或多个传感器。
303、27.根据示例26所述的系统,其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
304、28.根据示例27所述的系统,其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
305、29.根据示例26至28中任一项所述的系统,其中一个或多个传感器包括距离测量设备。
306、30.根据示例29所述的系统,其中所述距离测量设备包括激光测距仪。
307、31.根据示例21至30中任一项所述的系统,进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
308、32.根据示例21至31所述的系统,进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
309、33.根据示例21至32中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比,不同地处理向所述用户的视野的所述中心区域的至少一部分呈现的图像内容。
310、34.根据示例33所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比,通过模糊(blur)向所述用户的视野的所述中心区域的至少一部分呈现的图像内容来不同地处理图像内容。
311、35.根据示例33至34中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比,通过使向所述用户的视野的所述中心区域的至少一部分呈现的图像内容变暗或衰减来不同地处理图像内容。
312、36.根据示例33至35中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比,通过降低向所述用户的视野的所述中心区域的至少一部分呈现的图像内容的对比度来不同地处理图像内容。
313、37.根据示例33至36中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比,通过降低向所述用户的视野的所述中心区域的至少一部分呈现的图像内容的颜色饱和度来不同地处理图像内容。
314、38.根据示例33至37中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比,通过降低向所述用户的视野的所述中心区域的至少一部分呈现的图像内容的锐度来不同地处理图像内容。
315、39.根据示例38所述的系统,其中降低锐度包括与向所述用户的视野的所述外围区域呈现的图像内容相比,去掉对向所述用户的视野的所述中心区域的至少一部分呈现的图像内容中的特征的边缘的加强。
316、40.根据示例33至39中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比,通过改变向所述用户的视野的所述中心区域的至少一部分呈现的图像内容的颜色平衡来不同地处理图像内容。
317、41.根据示例33至40中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比,通过缩小向所述用户的视野的所述中心区域的至少一部分呈现的图像内容来不同地处理图像内容。
318、42.根据示例14所述的系统,其中所述放大至少部分地基于所述眼睛的分辨率。
319、43.根据示例34所述的系统,其中所述模糊包括使用相同的颜色来模糊向所述用户的视野的所述中心区域的所述至少一部分呈现的所述图像内容。
320、44.根据示例44所述的系统,其中与向所述用户的视野的所述外围区域呈现的所述图像内容中的颜色相比,所述相同的颜色包括高对比度颜色。
321、45.根据示例1至20或42中任一项所述的系统,其中所述系统被配置为向所述用户提供警报以指示所呈现的图像已被加强。
322、46.根据示例21至41中任一项或示例43至44中任一项所述的系统,其中所述系统被配置为向所述用户提供警报以指示所呈现的图像已被削弱。
323、47.根据示例45或46中任一项所述的系统,其中所述警报是视觉警报。
324、48.根据示例45或46中任一项所述的系统,其中所述警报是音频警报。
325、49.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为构建所述用户的前方的环境的所述至少一部分的3d表示,并且被配置为解释所述环境的所述至少一部分的表示,所述环境的所述部分包括患者,并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
326、50.根据以上任一示例所述的系统,其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括一个或多个波导。
327、51.根据示例50所述的系统,包括被配置为将光引导到所述一个或多个波导中的一个或多个光源,所述波导被配置为将光引导到所述用户的眼睛中。
328、52.根据示例50至51中任一项所述的系统,其中所述一个或多个光源包括光纤扫描投影仪。
329、53.根据以上任一示例所述的系统,进一步包括被配置为监视所述环境的一个或多个传感器。
330、54.根据示例53所述的系统,其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
331、55.根据示例54所述的系统,其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
332、56.根据以上任一示例所述的系统,进一步包括距离测量设备。
333、57.根据以上任一示例所述的系统,进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
334、58.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
335、59.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
336、60.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为在所述显示器上呈现的第一图像模态(modality)和第二图像模态之间切换。
337、61.根据示例60所述的系统,其中所述第一图像模态包括mri扫描。
338、62.根据示例60至61中任一项所述的系统,其中所述第二图像模态包括超声波。
339、63.根据示例60至62中任一项所述的系统,其中所述第一图像模态包括x射线扫描。
340、64.根据以上任一示例所述的系统,进一步包括适于产生超声波的电子发射器。
341、65.根据以上任一示例所述的系统,进一步包括适于将超声波转换为电信号的传感器。
342、66.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为允许用户将所述用户的前方的环境的所述一部分上的虚拟基准标记(fiducial marker)放置到所述用户的眼睛。
343、67.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将图像投射到所述显示器上,使得所述图像看起来附着到所述环境中的真实世界对象上。
344、68.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示虚拟切割指导线(guideline),使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
345、69.根据示例68所述的系统,其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
346、70.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的环境的所述一部分中的对象的方位的数据。
347、71.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的环境的所述一部分中的对象的方位。
348、72.根据示例71所述的系统,其中所述头戴式显示器被配置为基于所述对象位置的数据库设置参考点,并将图像投射到所述用户的眼睛中,使得所述图像看起来相对于所述参考点固定。
349、73.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而使对象的3d图像的视图绕轴旋转。
350、74.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而使3d对象的图像的视图平移。
351、75.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示对象的3d图像的第一切片。
352、76.根据示例75所述的系统,其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3d图像的第二切片的图像。
353、77.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为传送(transmit)所述用户的前方的环境的一部分的图像,使得头戴式显示器的第二用户能够观看所传送的环境的所述一部分的所述图像。
354、78.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
355、79.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为监测用户的医疗参数并基于所述医疗参数提供警报。
356、80.根据示例79所述的系统,其中所述用户的医疗参数包括生命体征。
357、81.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射超声波,并测量由所述超声波产生的信号,并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
358、82.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
359、83.根据以上任一示例所述的系统,进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
360、84.根据以上任一示例所述的系统,其中所述一个或多个光源包括光纤扫描投影仪。
361、85.根据示例16所述的系统,其中增加对比度包括调整所述图像内容的至少一种颜色的亮度或暗度。
362、86.根据示例16所述的系统,其中增加对比度包括将黑色、灰色、白色或其它颜色添加到所述图像内容的至少一种颜色中。
363、87.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为至少在所呈现的图像内容附近提供一不透明度。
364、88.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
365、89.根据示例88的系统,其中所述第一图像模态和所述第二图像模态各自包括来自mri、ct、pet、mra或cta扫描的图像。
366、90.根据示例88或89所述的系统,其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
367、示例集ib
368、1.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以显示增强现实图像内容,所述用户的眼睛具有视野,所述视野具有中心区域和被设置在所述中心区域周围的外围区域,所述头戴式显示系统包括:
369、框架,其被配置为被支撑在所述用户的头部上;
370、显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便在所述用户的视野的所述中心区域处呈现图像内容,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户的前方的环境的所述一部分的视图;
371、处理电子设备,其与所述显示器通信,以控制所述显示器上的图像内容的呈现,
372、其中所述头戴式显示系统被配置为向所述用户的视野的所述中心区域呈现与向所述用户的视野的所述外围区域呈现的图像内容相比加强的图像内容。
373、2.根据示例1所述的系统,进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
374、3.根据示例1或2所述的系统,其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将光投射到所述用户的一个或多个波导。
375、4.根据示例3所述的系统,其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
376、5.根据示例2至4中任一项所述的系统,其中所述光源包括光纤扫描投影仪。
377、6.根据以上任一示例所述的系统,进一步包括被配置为监视所述环境的一个或多个传感器。
378、7.根据示例6所述的系统,其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
379、8.根据示例7所述的系统,其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
380、9.根据示例6至8中任一项所述的系统,其中一个或多个传感器包括距离测量设备。
381、10.根据示例9所述的系统,其中所述距离测量设备包括激光测距仪。
382、11.根据以上任一示例所述的系统,进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
383、12.根据示例1或11所述的系统,进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
384、13.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比,不同地处理向所述用户的视野的所述中心区域的至少一部分呈现的图像内容。
385、14.根据示例13所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比,通过放大向所述用户的视野的所述中心区域的至少一部分呈现的图像内容来不同地处理图像内容。
386、15.根据示例13至14中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比,通过增加向所述用户的视野的所述中心区域的至少一部分呈现的图像内容的亮度来不同地处理图像内容。
387、16.根据示例13至15中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比,通过增加向所述用户的视野的所述中心区域的至少一部分呈现的图像内容的对比度来不同地处理图像内容。
388、17.根据示例13至16中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比,通过增加向所述用户的视野的所述中心区域的至少一部分呈现的图像内容的颜色饱和度来不同地处理图像内容。
389、18.根据示例13至17中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比,通过锐化向所述用户的视野的所述中心区域的至少一部分呈现的图像内容来不同地处理图像内容。
390、19.根据示例18所述的系统,其中锐化包括与向所述用户的视野的所述外围区域呈现的图像内容相比,边缘加强向所述用户的视野的所述中心区域的至少一部分呈现的图像内容中的特征。
391、20.根据示例13至19中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述外围区域呈现的图像内容相比,通过改变向所述用户的视野的所述中心区域的至少一部分呈现的图像内容的颜色平衡来不同地处理图像内容。
392、21.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以显示增强现实图像内容,所述用户的眼睛具有视野,所述视野具有中心区域和被设置在所述中心区域周围的外围区域,所述头戴式显示系统包括:
393、框架,其被配置为被支撑在所述用户的头部上;
394、显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便在所述用户的视野的所述中心区域和外围区域处呈现图像内容,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户的前方的环境的所述一部分的视图;
395、处理电子设备,其与所述显示器通信,以控制所述显示器上的图像内容的呈现,
396、其中所述头戴式显示系统被配置为向所述用户的视野的所述外围区域呈现与向所述用户的视野的所述中心区域呈现的图像内容相比削弱的图像内容。
397、22.根据示例21所述的系统,进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
398、23.根据示例21或22所述的系统,其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将光投射到所述用户的一个或多个波导。
399、24.根据示例23所述的系统,其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
400、25.根据示例22至24中任一项所述的系统,其中所述光源包括光纤扫描投影仪。
401、26.根据示例21至25中任一项所述的系统,进一步包括被配置为监视所述环境的一个或多个传感器。
402、27.根据示例26所述的系统,其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
403、28.根据示例27所述的系统,其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
404、29.根据示例26至28中任一项所述的系统,其中一个或多个传感器包括距离测量设备。
405、30.根据示例29所述的系统,其中所述距离测量设备包括激光测距仪。
406、31.根据示例21至30中任一项所述的系统,进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
407、32.根据示例21至31所述的系统,进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
408、33.根据示例21至32中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比,不同地处理向所述用户的视野的所述外围区域的至少一部分呈现的图像内容。
409、34.根据示例33所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比,通过模糊向所述用户的视野的所述外围区域的至少一部分呈现的图像内容来不同地处理图像内容。
410、35.根据示例33至34中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比,通过使向所述用户的视野的所述外围区域的至少一部分呈现的图像内容变暗或衰减来不同地处理图像内容。
411、36.根据示例33至35中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比,通过降低向所述用户的视野的所述外围区域的至少一部分呈现的图像内容的对比度来不同地处理图像内容。
412、37.根据示例33至36中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比,通过降低向所述用户的视野的所述外围区域的至少一部分呈现的图像内容的颜色饱和度来不同地处理图像内容。
413、38.根据示例33至37中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比,通过降低向所述用户的视野的所述外围区域的至少一部分呈现的图像内容的锐度来不同地处理图像内容。
414、39.根据示例38所述的系统,其中降低锐度包括与向所述用户的视野的所述中心区域呈现的图像内容相比,去掉对向所述用户的视野的所述外围区域的至少一部分呈现的图像内容中的特征的边缘的加强。
415、40.根据示例33至39中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比,通过改变向所述用户的视野的所述外围区域的至少一部分呈现的图像内容的颜色平衡来不同地处理图像内容。
416、41.根据示例33至40中任一项所述的系统,其中所述头戴式显示系统被配置为与向所述用户的视野的所述中心区域呈现的图像内容相比,通过缩小向所述用户的视野的所述外围区域的至少一部分呈现的图像内容来不同地处理图像内容。
417、42.根据示例14所述的系统,其中所述放大至少部分地基于所述眼睛的分辨率。
418、43.根据示例34所述的系统,其中所述模糊包括使用相同的颜色来模糊向所述用户的视野的所述外围区域的所述至少一部分呈现的所述图像内容。
419、44.根据示例44所述的系统,其中与向所述用户的视野的所述中心区域呈现的所述图像内容中的颜色相比,所述相同的颜色包括高对比度颜色。
420、45.根据示例1至20或42中任一项所述的系统,其中所述系统被配置为向所述用户提供警报以指示所呈现的图像已被加强。
421、46.根据示例21至41中任一项或示例43至44中任一项所述的系统,其中所述系统被配置为向所述用户提供警报以指示所呈现的图像已被削弱。
422、47.根据示例45或46中任一项所述的系统,其中所述警报是视觉警报。
423、48.根据示例45或46中任一项所述的系统,其中所述警报是音频警报。
424、49.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为构建所述用户的前方的环境的所述至少一部分的3d表示,并且解释所述环境的所述至少一部分的表示,所述环境的所述部分包括患者,并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
425、50.根据以上任一示例所述的系统,其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括一个或多个波导。
426、51.根据示例50所述的系统,包括被配置为将光引导到所述一个或多个波导中的一个或多个光源,所述波导被配置为将光引导到所述用户的眼睛中。
427、52.根据示例50至51中任一项所述的系统,其中所述一个或多个光源包括光纤扫描投影仪。
428、53.根据以上任一示例所述的系统,进一步包括被配置为监视所述环境的一个或多个传感器。
429、54.根据示例53所述的系统,其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
430、55.根据示例54所述的系统,其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
431、56.根据以上任一示例所述的系统,进一步包括距离测量设备。
432、57.根据以上任一示例所述的系统,进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
433、58.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
434、59.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
435、60.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为在所述显示器上呈现的第二图像模态和第一图像模态之间切换。
436、61.根据示例60所述的系统,其中所述第一图像模态包括mri扫描。
437、62.根据示例60至61中任一项所述的系统,其中所述第二图像模态包括超声波。
438、63.根据示例60至61中任一项所述的系统,其中所述第一图像模态包括x射线扫描。
439、64.根据以上任一示例所述的系统,进一步包括适于产生超声波的电子发射器。
440、65.根据以上任一示例所述的系统,进一步包括适于将超声波转换为电信号的传感器。
441、66.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为允许用户将所述用户的前方的环境的所述一部分上的虚拟基准标记放置到所述用户的眼睛。
442、67.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将图像投射到所述显示器上,使得所述图像看起来附着到所述环境中的真实世界对象上。
443、68.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示虚拟切割指导线,使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
444、69.根据示例68所述的系统,其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
445、70.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的环境的所述一部分中的对象的方位的数据。
446、71.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为使用对象位置数据库来获得所述用户的前方的环境的所述一部分中的对象的方位。
447、72.根据示例71所述的系统,其中所述头戴式显示器被配置为基于所述对象位置数据库而设置参考点,并将图像投射到所述用户的眼睛中,使得所述图像看起来相对于所述参考点固定。
448、73.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而使对象的3d图像的视图绕轴旋转。
449、74.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而平移3d对象的图像的视图。
450、75.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示对象的3d图像的第一切片。
451、76.根据示例76所述的系统,其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3d图像的第二切片的图像。
452、77.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像,使得头戴式显示器的第二用户能够观看所传送的所述环境的所述一部分的所述图像。
453、78.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
454、79.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为监测用户的医疗参数并基于所述医疗参数提供警报。
455、80.根据示例79所述的系统,其中所述用户的医疗参数包括生命体征。
456、81.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射超声波,并测量由所述超声波产生的信号,并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
457、82.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
458、83.根据以上任一示例所述的系统,进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
459、84.根据以上任一示例所述的系统,其中所述一个或多个光源包括光纤扫描投影仪。
460、85.根据示例16所述的系统,其中增加对比度包括调整所述图像内容的至少一种颜色的亮度或暗度。
461、86.根据示例16所述的系统,其中增加对比度包括将黑色、灰色、白色或其它颜色添加到所述图像内容的至少一种颜色中。
462、87.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为至少在所呈现的图像内容附近提供不透明度。
463、88.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
464、89.根据示例88的系统,其中所述第一图像模态和所述第二图像模态各自包括来自mri、ct、pet、mra或cta扫描的图像。
465、90.根据示例88或89所述的系统,其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
466、示例集iia
467、1.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以显示增强现实图像内容,所述用户的眼睛具有视野,所述视野具有中心区域和被设置在所述中心区域周围的外围区域,所述头戴式显示系统包括:
468、框架,其被配置为被支撑在所述用户的头部上;
469、显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便在多个深度平面上向所述用户呈现图像内容,所述显示器的至少一部分包括一个或多个波导,所述一个或多个波导是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户的前方的环境的所述一部分的视图,所述用户的眼睛的视野的所述中心区域对应于所述用户的前方的所述环境中的中心区域,并且所述用户的眼睛的视野的所述外围区域对应于所述用户的前方的所述环境中的外围区域;
470、面向外的图像捕获设备,其被配置为对所述用户的前方的所述环境的所述至少一部分进行成像;
471、一个或多个传感器,其被配置为测量到所述用户的前方的所述环境的所述至少一部分中的对象的距离;
472、一个或多个输入设备,其被配置为接收来自所述用户的输入;
473、处理电子设备,其与所述显示器通信,以控制所述显示器上的图像内容的呈现,
474、其中所述头戴式显示系统被配置为基于由所述一个或多个输入设备接收的输入而选择与所述用户的视野的所述外围区域对应的环境中的对象,所述一个或多个传感器被配置为在所述选择之后测量到所述对象的距离,所述面向外的图像捕获设备被配置为获得所述对象的图像,并且所述显示器被配置为在基于由被配置为测量距离的所述一个或多个传感器测量的所述距离而确定的深度平面处呈现所述对象的加强图像,所述加强图像与所述视野的其它部分中的图像相比被加强,所述加强图像被呈现在所述用户的视野的所述外围区域中的一位置处。
475、2.根据示例1所述的系统,进一步包括被配置为将光引导到人的眼睛中以在所述眼睛中形成图像的一个或多个光源。
476、3.根据示例2所述的系统,其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
477、4.根据示例2或3所述的系统,其中所述一个或多个光源包括光纤扫描投影仪。
478、5.根据示例1所述的系统,其中所述深度平面包括第一远深度平面和第二近深度平面,当所述用户穿戴所述头戴式显示器时,所述第一远深度平面比所述第二近深度平面距所述用户的眼睛更远。
479、6.根据示例5所述的系统,其中所述加强图像被呈现在所述远深度平面上。
480、7.根据示例5或6所述的系统,其中所述显示器包括具有光焦度(optical power)的光学元件,使得投射到所述眼睛中的所述光发散,以便从所述第二近深度平面呈现图像内容。
481、8.根据示例7所述的系统,其中具有光焦度的光学元件包括透镜。
482、9.根据示例7或8所述的系统,其中具有光焦度的光学元件包括衍射光学元件。
483、10.根据示例1所述的系统,其中所述头戴式显示系统被配置为在所述用户的视野的所述外围区域中的一位置处呈现所述加强图像内容,该位置对应于所述对象所处于的所述环境中的所述外围区域中的位置。
484、11.根据示例1所述的系统,其中所述头戴式显示系统被配置为将所述加强图像内容移动到所述用户的视野的所述外围区域中的一位置,该位置不对应于所述对象所处于的所述环境中的所述外围区域。
485、12.根据示例1所述的系统,其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
486、13.根据示例12所述的系统,其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
487、14.根据示例1所述的系统,其中一个或多个传感器包括距离测量设备。
488、15.根据示例14所述的系统,其中所述距离测量系统包括激光测距仪。
489、16.根据示例1所述的系统,其中被配置为接收来自所述用户的输入的所述一个或多个输入设备包括被设置为对所述用户的眼睛进行成像并跟踪其运动的面向内的眼睛跟踪相机。
490、17.根据以上任一示例所述的系统,其中所述呈现所述加强图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比,不同地处理所述对象的所述图像。
491、18.根据示例17所述的系统,其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比,放大所述对象的所述图像。
492、19.根据示例17至18中任一项所述的系统,其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比,增加所述对象的所述图像中的亮度。
493、20.根据示例17至19中任一项所述的系统,其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比,增加所述对象的所述图像的对比度。
494、21.根据示例17至20中任一项所述的系统,其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比,增加所述对象的所述图像的颜色饱和度。
495、22.根据示例17至21中任一项所述的系统,其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比,锐化所述对象的所述图像。
496、23.根据示例22所述的系统,其中所述锐化包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比,边缘加强所述对象的所述图像的特征。
497、24.根据示例17至23中任一项所述的系统,其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比,改变所述对象的所述图像的颜色平衡。
498、25.根据以上任一示例所述的系统,其中所述视野的所述其它部分包括所述视野的所述外围区域的其它部分。
499、26.根据以上任一示例所述的系统,其中所述视野的所述其它部分包括所述视野的所述中心区域的至少一部分。
500、27.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以显示增强现实图像内容,所述用户的眼睛具有视野,所述视野具有中心区域和被设置在所述中心区域周围的外围区域,所述头戴式显示系统包括:
501、框架,其被配置为被支撑在所述用户的头部上;
502、显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便在多个深度平面上向所述用户呈现图像内容,所述显示器的至少一部分包括一个或多个波导,所述一个或多个波导是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户的前方的环境的所述一部分的视图,所述用户的眼睛的视野的所述中心区域对应于所述用户的前方的所述环境中的中心区域,并且所述用户的眼睛的视野的所述外围区域对应于所述用户的前方的所述环境中的外围区域;
503、面向外的图像捕获设备,其被配置为对所述用户的前方的环境的所述至少一部分进行成像;
504、一个或多个传感器,其被配置为测量到所述用户的前方的环境的所述至少一部分中的对象的距离;
505、一个或多个输入设备,其被配置为接收来自所述用户的输入;
506、处理电子设备,其与所述显示器通信,以控制所述显示器上的图像内容的呈现,
507、其中所述头戴式显示系统被配置为基于由所述一个或多个输入设备接收的输入而选择与所述用户的视野的所述外围区域对应的环境中的对象,所述一个或多个传感器被配置为在所述选择之后测量到所述对象的距离,所述面向外的图像捕获设备被配置为获得所述对象的图像,并且所述显示器被配置为在基于由被配置为测量距离的所述一个或多个传感器测量的所述距离而确定的深度平面处呈现所述对象的图像,所述对象的所述图像在所述用户的视野的所述外围区域中的一位置处呈现,所述显示器被配置为与所述对象的所述图像相比,削弱在所述视野的其它部分中形成的图像。
508、28.根据示例27所述的系统,进一步包括被配置为将光引导到人的眼睛中以在所述眼睛中形成图像的一个或多个光源。
509、29.根据示例28所述的系统,其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
510、30.根据示例28或29所述的系统,其中所述一个或多个光源包括光纤扫描投影仪。
511、31.根据示例27所述的系统,其中所述深度平面包括第一远深度平面和第二近深度平面,当所述用户穿戴所述头戴式显示器时,所述第一远深度平面比所述第二近深度平面距所述用户的眼睛更远。
512、32.根据示例31所述的系统,其中所述对象的所述图像被呈现在所述远深度平面上。
513、33.根据示例31或32所述的系统,其中所述显示器包括具有光焦度的光学元件,使得投射到所述眼睛中的所述光发散,以便从所述第二近深度平面呈现图像内容。
514、34.根据示例33所述的系统,其中具有光焦度的光学元件包括透镜。
515、35.根据示例33或34所述的系统,其中具有光焦度的光学元件包括衍射光学元件。
516、36.根据示例27所述的系统,其中所述头戴式显示系统被配置为在所述用户的视野的所述外围区域中的一位置处呈现所述对象的所述图像,该位置对应于所述对象所处于的所述环境中的所述外围区域中的位置。
517、37.根据示例27所述的系统,其中所述头戴式显示系统被配置为将所述对象的所述图像移到所述用户的视野的所述外围区域中的一位置,该位置不对应于所述对象所处于的所述环境中的所述外围区域。
518、38.根据示例27所述的系统,其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
519、39.根据示例38所述的系统,其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
520、40.根据示例27所述的系统,其中所述一个或多个传感器包括距离测量设备。
521、41.根据示例40所述的系统,其中所述距离测量设备包括激光测距仪。
522、42.根据示例27所述的系统,其中被配置为接收来自所述用户的输入的所述一个或多个输入设备包括被设置为对所述用户的眼睛进行成像并跟踪其运动的面向内的眼睛跟踪相机。
523、43.根据示例27至42中任一项所述的系统,其中所述头戴式显示系统被配置为与所述对象的所述图像相比,不同地处理在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像。
524、44.根据示例43所述的系统,其中所述头戴式显示系统被配置为与所述对象的所述图像相比,通过缩减或缩小在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像的大小来不同地处理图像。
525、45.根据示例43至44中任一项所述的系统,其中所述头戴式显示系统被配置为与所述对象的所述图像相比,通过使在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像变暗或衰减来不同地处理图像。
526、46.根据示例43至45中任一项所述的系统,其中所述头戴式显示系统被配置为与所述对象的所述图像相比,通过降低在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像的对比度来不同地处理图像。
527、47.根据示例43至46中任一项所述的系统,其中所述头戴式显示系统被配置为与所述对象的所述图像相比,通过降低在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像的颜色饱和度来不同地处理图像。
528、48.根据示例43至47中任一项所述的系统,其中所述头戴式显示系统被配置为与所述对象的所述图像相比,通过降低在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像的锐度来不同地处理图像。
529、49.根据示例48所述的系统,其中所述降低锐度包括与所述对象的所述图像相比,去掉对在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的所述图像中的特征的边缘的加强。
530、50.根据示例48或49所述的系统,其中所述降低锐度包括与所述对象的所述图像相比,模糊在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像。
531、51.根据示例48至50中任一项所述的系统,其中所述头戴式显示系统被配置为与所述对象的所述图像相比,通过改变在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像的颜色平衡来不同地处理图像。
532、52.根据示例27至51中任一项所述的系统,其中所述视野的所述其它部分包括所述视野的所述外围区域的其它部分。
533、53.根据示例27至52中任一项所述的系统,其中所述视野的所述其它部分包括所述视野的所述中心区域的至少一部分。
534、54.根据示例5所述的系统,其中所述加强图像被呈现在所述近深度平面上。
535、55.根据示例5或54所述的系统,其中所述显示器包括具有光焦度的光学元件,使得投射到所述眼睛中的所述光发散,以便从所述第一远深度平面呈现图像内容。
536、56.根据示例18所述的系统,其中所述放大至少部分地基于所述眼睛的分辨率。
537、57.根据示例31所述的系统,其中所述对象的所述图像被呈现在所述近深度平面上。
538、58.根据示例31或57所述的系统,其中所述显示器包括具有光焦度的光学元件,使得投射到所述眼睛中的所述光发散,以便从所述第一远深度平面呈现图像内容。
539、59.根据示例50所述的系统,其中所述模糊包括使用相同的颜色模糊在所述用户的视野的其它部分中形成的图像。
540、60.根据示例59所述的系统,其中与所述对象的所述图像中的颜色相比,所述相同的颜色包括高对比度颜色。
541、61.根据示例1至26中任一项或54至56中任一项所述的系统,其中所述系统被配置为向所述用户提供警报以指示所呈现的图像已被加强。
542、62.根据示例27至53中任一项或示例57至60中任一项所述的系统,其中所述系统被配置为向所述用户提供警报以指示所呈现的图像已被削弱。
543、63.根据示例61或62中任一项所述的系统,其中所述警报是视觉警报。
544、64.根据示例61或62中任一项所述的系统,其中所述警报是音频警报。
545、65.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为构建所述用户的前方的环境的所述至少一部分的3d表示,并且解释所述环境的所述至少一部分的表示,所述环境的所述部分包括患者,并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
546、66.根据以上任一示例所述的系统,其中是透明的并且被设置在所述用户的眼睛前方的一位置处的所述显示器的所述至少一部分包括一个或多个波导。
547、67.根据示例66所述的系统,包括被配置为将光引导到所述一个或多个波导中的一个或多个光源,所述波导被配置为将光引导到所述用户的眼睛中。
548、68.根据示例66至67中任一项所述的系统,其中所述一个或多个光源包括光纤扫描投影仪。
549、69.根据以上任一示例所述的系统,进一步包括被配置为监视所述环境的一个或多个传感器。
550、70.根据示例69所述的系统,其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
551、71.根据示例70所述的系统,其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
552、72.根据以上任一示例所述的系统,进一步包括距离测量设备。
553、73.根据以上任一示例所述的系统,进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
554、74.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
555、75.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
556、76.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为在被呈现于所述显示器上的第二图像模态和第一图像模态之间切换。
557、77.根据示例76所述的系统,其中所述第一图像模态包括mri扫描。
558、78.根据示例76至77中任一项所述的系统,其中所述第二图像模态包括超声波。
559、79.根据示例76至78中任一项所述的系统,其中所述第一图像模态包括x射线扫描。
560、80.根据以上任一示例所述的系统,进一步包括适于产生超声波的电子发射器。
561、81.根据以上任一示例所述的系统,进一步包括适于将超声波转换为电信号的传感器。
562、82.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为允许用户将所述用户的前方的环境的所述一部分上的虚拟基准标记放置到所述用户的眼睛。
563、83.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将图像投射到所述显示器上,使得所述图像看起来附着到所述环境中的真实世界对象上。
564、84.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示虚拟切割指导线,使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
565、85.根据示例84所述的系统,其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
566、86.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的环境的所述一部分中的对象的方位的数据。
567、87.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的环境的所述一部分中的对象的方位。
568、88.根据示例87所述的系统,其中所述头戴式显示器被配置为基于所述对象位置的数据库设置参考点,并将图像投射到用户的眼睛中,使得所述图像看起来相对于所述参考点固定。
569、89.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而使对象的3d图像的视图绕轴旋转。
570、90.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而平移3d对象的图像的视图。
571、91.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示对象的3d图像的第一切片。
572、92.根据示例91所述的系统,其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3d图像的第二切片的图像。
573、93.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像,使得头戴式显示器的第二用户能够观看所传送的所述环境的所述一部分的所述图像。
574、94.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
575、95.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为监测用户的医疗参数并基于所述医疗参数提供警报。
576、96.根据示例95所述的系统,其中所述用户的医疗参数包括生命体征。
577、97.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射超声波,并测量由所述超声波产生的信号,并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
578、98.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
579、99.根据以上任一示例所述的系统,进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
580、100.根据以上任一示例所述的系统,其中所述一个或多个光源包括光纤扫描投影仪。
581、101.根据示例20所述的系统,其中增加对比度包括调整所述图像内容的至少一种颜色的亮度或暗度。
582、102.根据示例20所述的系统,其中增加对比度包括将黑色、灰色、白色或其它颜色添加到所述图像内容的至少一种颜色中。
583、103.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为至少在所呈现的图像内容的附近提供不透明度。
584、104.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
585、105.根据示例104的系统,其中所述第一图像模态和所述第二图像模态各自包括来自mri、ct、pet、mra或cta扫描的图像。
586、106.根据示例104或105所述的系统,其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
587、示例集iib
588、1.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以显示增强现实图像内容,所述用户的眼睛具有视野,所述视野具有中心区域和被设置在所述中心区域周围的外围区域,所述头戴式显示系统包括:
589、框架,其被配置为被支撑在所述用户的头部上;
590、显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便在多个深度平面上向所述用户呈现图像内容,所述显示器的至少一部分包括一个或多个波导,所述一个或多个波导是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户的前方的环境的所述一部分的视图,所述用户的眼睛的视野的所述中心区域对应于所述用户的前方的所述环境中的中心区域,并且所述用户的眼睛的视野的所述外围区域对应于所述用户的前方的所述环境中的外围区域;
591、面向外的图像捕获设备,其被配置为对所述用户的前方的所述环境的所述至少一部分进行成像;
592、一个或多个传感器,其被配置为测量到所述用户的前方的环境的所述至少一部分中的对象的距离;
593、一个或多个输入设备,其被配置为接收来自所述用户的输入;
594、处理电子设备,其与所述显示器通信,以控制所述显示器上的图像内容的呈现,
595、其中所述头戴式显示系统被配置为基于由所述一个或多个输入设备接收的输入而选择与所述用户的视野的所述中心区域对应的所述环境中的对象,所述一个或多个传感器被配置为在所述选择之后测量到所述对象的距离,所述面向外的图像捕获设备被配置为获得所述对象的图像,并且所述显示器被配置为在基于由被配置为测量距离的所述一个或多个传感器测量的所述距离而确定的深度平面处呈现所述对象的加强图像,所述加强图像与所述视野的其它部分中的图像相比被加强,所述加强图像被呈现在所述用户的视野的所述中心区域中的位置处。
596、2.根据示例1所述的系统,进一步包括被配置为将光引导到人的眼睛中以在所述眼睛中形成图像的一个或多个光源。
597、3.根据示例2所述的系统,其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
598、4.根据示例2或3所述的系统,其中所述一个或多个光源包括光纤扫描投影仪。
599、5.根据示例1所述的系统,其中所述深度平面包括第一远深度平面和第二近深度平面,当所述用户穿戴所述头戴式显示器时,所述第一远深度平面比所述第二近深度平面距所述用户的眼睛更远。
600、6.根据示例5所述的系统,其中所述加强图像被呈现在所述远深度平面上。
601、7.根据示例5或6所述的系统,其中所述显示器包括具有光焦度的光学元件,使得投射到所述眼睛中的所述光发散,以便从所述第二近深度平面呈现图像内容。
602、8.根据示例7所述的系统,其中具有光焦度的光学元件包括透镜。
603、9.根据示例7或8所述的系统,其中具有光焦度的光学元件包括衍射光学元件。
604、10.根据示例1所述的系统,其中所述头戴式显示系统被配置为在所述用户的视野的所述中心区域中的一位置处呈现所述加强图像内容,该位置对应于所述对象所处于的所述环境中的所述中心区域中的位置。
605、11.根据示例1所述的系统,其中所述头戴式显示系统被配置为将所述加强图像内容移到所述用户的视野的所述中心区域中的一位置,该位置不对应于所述对象所处于的所述环境中的所述中心区域。
606、12.根据示例1所述的系统,其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
607、13.根据示例12所述的系统,其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
608、14.根据示例1所述的系统,其中一个或多个传感器包括距离测量设备。
609、15.根据示例14所述的系统,其中所述距离测量系统包括激光测距仪。
610、16.根据示例1所述的系统,其中被配置为接收来自所述用户的输入的所述一个或多个输入设备包括被设置为对所述用户的眼睛进行成像并跟踪其运动的面向内的眼睛跟踪相机。
611、17.根据以上任一示例所述的系统,其中所述呈现所述加强图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比,不同地处理所述对象的所述图像。
612、18.根据示例17所述的系统,其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比,放大所述对象的所述图像。
613、19.根据示例17至18中任一项所述的系统,其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比,增加所述对象的所述图像中的亮度。
614、20.根据示例17至19中任一项所述的系统,其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比,增加所述对象的所述图像的对比度。
615、21.根据示例17至20中任一项所述的系统,其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比,增加所述对象的所述图像的颜色饱和度。
616、22.根据示例17至21中任一项所述的系统,其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比,锐化所述对象的所述图像。
617、23.根据示例22所述的系统,其中所述锐化包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比,边缘加强所述对象的所述图像的特征。
618、24.根据示例17至23中任一项所述的系统,其中所述不同地处理所述图像包括与形成所述对象的所述图像的位置以外的所述用户的视野的其它部分相比,改变所述对象的所述图像的颜色平衡。
619、25.根据以上任一示例所述的系统,其中所述视野的所述其它部分包括所述视野的所述中心区域的其它部分。
620、26.根据以上任一示例所述的系统,其中所述视野的所述其它部分包括所述视野的所述外围区域的至少一部分。
621、27.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以显示增强现实图像内容,所述用户的眼睛具有视野,所述视野具有中心区域和被设置在所述中心区域周围的外围区域,所述头戴式显示系统包括:
622、框架,其被配置为被支撑在所述用户的头部上;
623、显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便在多个深度平面上向所述用户呈现图像内容,所述显示器的至少一部分包括一个或多个波导,所述一个或多个波导是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户的前方的环境的所述一部分的视图,所述用户的眼睛的视野的所述中心区域对应于所述用户的前方的所述环境中的中心区域,并且所述用户的眼睛的视野的所述外围区域对应于所述用户的前方的所述环境中的外围区域;
624、面向外的图像捕获设备,其被配置为对所述用户的前方的环境的所述至少一部分进行成像;
625、一个或多个传感器,其被配置为测量到所述用户的前方的环境的所述至少一部分中的对象的距离;
626、一个或多个输入设备,其被配置为接收来自所述用户的输入;
627、处理电子设备,其与所述显示器通信,以控制所述显示器上的图像内容的呈现,
628、其中所述头戴式显示系统被配置为基于由所述一个或多个输入设备接收的输入而选择与所述用户的视野的所述中心区域对应的环境中的对象,所述一个或多个传感器被配置为在所述选择之后测量到所述对象的距离,所述面向外的图像捕获设备被配置为获得所述对象的图像,并且所述显示器被配置为在基于由被配置为测量距离的所述一个或多个传感器测量的所述距离而确定的深度平面处呈现所述对象的图像,所述对象的所述图像被呈现在所述用户的视野的所述中心区域中的位置处,所述显示器被配置为与所述对象的所述图像相比,削弱在所述视野的其它部分中形成的图像。
629、28.根据示例27所述的系统,进一步包括被配置为将光引导到人的眼睛中以在所述眼睛中形成图像的一个或多个光源。
630、29.根据示例28所述的系统,其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
631、30.根据示例28或29所述的系统,其中所述一个或多个光源包括光纤扫描投影仪。
632、31.根据示例27所述的系统,其中所述深度平面包括第一远深度平面和第二近深度平面,当所述用户穿戴所述头戴式显示器时,所述第一远深度平面比所述第二近深度平面距所述用户的眼睛更远。
633、32.根据示例31所述的系统,其中所述对象的所述图像被呈现在所述远深度平面上。
634、33.根据示例31或32所述的系统,其中所述显示器包括具有光焦度的光学元件,使得投射到所述眼睛中的所述光发散,以便从所述第二近深度平面呈现图像内容。
635、34.根据示例33所述的系统,其中具有光焦度的光学元件包括透镜。
636、35.根据示例33或34所述的系统,其中具有光焦度的光学元件包括衍射光学元件。
637、36.根据示例27所述的系统,其中所述头戴式显示系统被配置为在所述用户的视野的所述中心区域中的一位置处呈现所述对象的所述图像,该位置对应于所述对象所处于的所述环境中的所述中心区域中的位置。
638、37.根据示例27所述的系统,其中所述头戴式显示系统被配置为将所述对象的所述图像移到所述用户的视野的所述中心区域中的一位置,该位置不对应于所述对象所处于的所述环境中的所述中心区域。
639、38.根据示例27所述的系统,其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
640、39.根据示例38所述的系统,其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
641、40.根据示例27所述的系统,其中所述一个或多个传感器包括距离测量设备。
642、41.根据示例40所述的系统,其中所述距离测量设备包括激光测距仪。
643、42.根据示例27所述的系统,其中被配置为接收来自所述用户的输入的所述一个或多个输入设备包括被设置为对所述用户的眼睛进行成像并跟踪其运动的面向内的眼睛跟踪相机。
644、43.根据示例27至42中任一项所述的系统,其中所述头戴式显示系统被配置为与所述对象的所述图像相比,不同地处理在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像。
645、44.根据示例43所述的系统,其中所述头戴式显示系统被配置为与所述对象的所述图像相比,通过缩减或缩小在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像的大小来不同地处理图像。
646、45.根据示例43至44中任一项所述的系统,其中所述头戴式显示系统被配置为与所述对象的所述图像相比,通过使在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像变暗或衰减来不同地处理图像。
647、46.根据示例43至45中任一项所述的系统,其中所述头戴式显示系统被配置为与所述对象的所述图像相比,通过降低在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像的对比度来不同地处理图像。
648、47.根据示例43至46中任一项所述的系统,其中所述头戴式显示系统被配置为与所述对象的所述图像相比,通过降低在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像的颜色饱和度来不同地处理图像。
649、48.根据示例43至47中任一项所述的系统,其中所述头戴式显示系统被配置为与所述对象的所述图像相比,通过降低在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像的锐度来不同地处理图像。
650、49.根据示例48所述的系统,其中所述降低锐度包括与所述对象的所述图像相比,去掉对在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的所述图像中的特征的边缘的加强。
651、50.根据示例48或49所述的系统,其中所述降低锐度包括与所述对象的所述图像相比,模糊在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像。
652、51.根据示例48至50中任一项所述的系统,其中所述头戴式显示系统被配置为与所述对象的所述图像相比,通过改变在形成所述对象的所述图像的位置之外的所述用户的视野的其它部分中形成的图像的颜色平衡来不同地处理图像。
653、52.根据示例27至51中任一项所述的系统,其中所述视野的所述其它部分包括所述视野的所述中心区域的其它部分。
654、53.根据示例27至52中任一项所述的系统,其中所述视野的所述其它部分包括所述视野的所述外围区域的至少一部分。
655、54.根据示例5所述的系统,其中所述加强图像被呈现在所述近深度平面上。
656、55.根据示例5或54所述的系统,其中所述显示器包括具有光焦度的光学元件,使得投射到所述眼睛中的所述光发散,以便从所述第一远深度平面呈现图像内容。
657、56.根据示例18所述的系统,其中所述放大至少部分地基于所述眼睛的分辨率。
658、57.根据示例31所述的系统,其中所述对象的所述图像被呈现在所述近深度平面上。
659、58.根据示例31或57所述的系统,其中所述显示器包括具有光焦度的光学元件,使得投射到所述眼睛中的所述光发散,以便从所述第一远深度平面呈现图像内容。
660、59.根据示例50所述的系统,其中所述模糊包括使用相同的颜色模糊在所述用户的视野的其它部分中形成的所述图像。
661、60.根据示例59所述的系统,其中与所述对象的所述图像中的颜色相比,所述相同的颜色包括高对比度颜色。
662、61.根据示例1至26中任一项或54至56中任一项所述的系统,其中所述系统被配置为向所述用户提供警报以指示所呈现的图像已被加强。
663、62.根据示例27至53中任一项或示例57至60中任一项所述的系统,其中所述系统被配置为向所述用户提供警报以指示所呈现的图像已被削弱。
664、63.根据示例61或62中任一项所述的系统,其中所述警报是视觉警报。
665、64.根据示例61或62中任一项所述的系统,其中所述警报是音频警报。
666、65.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为构建所述用户的前方的环境的所述至少一部分的3d表示,并且解释所述环境的所述至少一部分的表示,所述环境的所述部分包括患者,并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
667、66.根据以上任一示例所述的系统,其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括一个或多个波导。
668、67.根据示例66所述的系统,包括被配置为将光引导到所述一个或多个波导中的一个或多个光源,所述波导被配置为将光引导到所述用户的眼睛中。
669、68.根据示例66至67中任一项所述的系统,其中所述一个或多个光源包括光纤扫描投影仪。
670、69.根据以上任一示例所述的系统,进一步包括被配置为监视所述环境的一个或多个传感器。
671、70.根据示例69所述的系统,其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
672、71.根据示例70所述的系统,其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
673、72.根据以上任一示例所述的系统,进一步包括距离测量设备。
674、73.根据以上任一示例所述的系统,进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
675、74.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
676、75.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
677、76.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为在被呈现于所述显示器上的第二图像模态和第一图像模态之间切换。
678、77.根据示例76所述的系统,其中所述第一图像模态包括mri扫描。
679、78.根据示例76至77中任一项所述的系统,其中所述第二图像模态包括超声波。
680、79.根据示例76至78中任一项所述的系统,其中所述第一图像模态包括x射线扫描。
681、80.根据以上任一示例所述的系统,进一步包括适于产生超声波的电子发射器。
682、81.根据以上任一示例所述的系统,进一步包括适于将超声波转换为电信号的传感器。
683、82.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为允许用户将所述用户的前方的环境的所述一部分上的虚拟基准标记放置到所述用户的眼睛。
684、83.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将图像投射到所述显示器上,使得所述图像看起来附着到所述环境中的真实世界对象上。
685、84.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示虚拟切割指导线,使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
686、85.根据示例84所述的系统,其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
687、86.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的环境的所述一部分中的对象的位置的数据。
688、87.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的环境的所述一部分中的对象的方位。
689、88.根据示例87所述的系统,其中所述头戴式显示器被配置为基于所述对象位置的数据库设置参考点,并将图像投射到用户的眼睛中,使得所述图像看起来相对于所述参考点固定。
690、89.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而使对象的3d图像的视图绕轴旋转。
691、90.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而平移3d对象的图像的视图。
692、91.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示对象的3d图像的第一切片。
693、92.根据示例91所述的系统,其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3d图像的第二切片的图像。
694、93.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像,使得头戴式显示器的第二用户能够观看所传送的所述环境的所述一部分的所述图像。
695、94.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
696、95.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为监测用户的医疗参数并基于所述医疗参数提供警报。
697、96.根据示例95所述的系统,其中所述用户的医疗参数包括生命体征。
698、97.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射超声波,并测量由所述超声波产生的信号,并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
699、98.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
700、99.根据以上任一示例所述的系统,进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
701、100.根据以上任一示例所述的系统,其中所述一个或多个光源包括光纤扫描投影仪。
702、101.根据示例20所述的系统,其中增加对比度包括调整所述图像内容的至少一种颜色的亮度或暗度。
703、102.根据示例20所述的系统,其中增加对比度包括将黑色、灰色、白色或其它颜色添加到所述图像内容的至少一种颜色中。
704、103.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为至少在所呈现的图像内容的附近提供不透明度。
705、104.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
706、105.根据示例104的系统,其中所述第一图像模态和所述第二图像模态各自包括来自mri、ct、pet、mra或cta扫描的图像。
707、106.根据示例104或105所述的系统,其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
708、示例集iii
709、一种头戴式显示系统,其被配置为将光投射到用户的眼睛以显示增强现实图像内容,所述用户的眼睛具有视野,所述视野具有中心区域和被设置在所述中心区域周围的外围区域,所述头戴式显示系统包括:
710、框架,其被配置为被支撑在所述用户的头部上;
711、显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便在多个深度平面上向所述用户呈现图像内容,所述显示器的至少一部分包括一个或多个波导,所述一个或多个波导是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户的前方的环境的所述一部分的视图,所述用户的眼睛的视野的所述中心区域对应于所述用户的前方的所述环境中的中心区域,并且所述用户的眼睛的视野的所述外围区域对应于所述用户的前方的所述环境中的外围区域;
712、面向外的图像捕获设备,其被配置为对所述用户的前方的环境的所述至少一部分进行成像;
713、一个或多个输入设备,其被配置为接收来自所述用户的输入;
714、处理电子设备,其与所述显示器通信,以控制所述显示器上的图像内容的呈现,
715、其中所述深度平面包括第一深度平面和第二深度平面,当所述用户穿戴所述头戴式显示器时,与所述第二深度平面相比,到所述对象的所述距离更多地对应于所述第一深度平面,
716、其中所述头戴式显示系统被配置为基于由所述一个或多个输入设备接收的输入而选择所述用户的视野内的所述环境中的对象,所述面向外的图像捕获设备被配置为获得所述对象的图像,并且所述显示器被配置为在所述第二深度平面处呈现所述对象的图像。
717、2.根据示例1所述的系统,其中被配置为接收来自所述用户的输入的所述一个或多个输入设备包括被设置为对所述用户的眼睛进行成像并跟踪其运动的面向内的眼睛跟踪相机。
718、3.根据以上任一示例所述的系统,其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
719、4.根据示例3所述的系统,其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
720、5.根据以上任一示例所述的系统,进一步包括被配置为测量到所述用户的前方的环境的所述至少一部分中的对象的距离的一个或多个传感器。
721、6.根据示例5所述的系统,其中所述一个或多个传感器被配置为在所述对象的所述选择之后测量到所述对象的距离。
722、7.根据示例5至6中任一项所述的系统,其中一个或多个传感器包括距离测量设备。
723、8.根据示例7所述的系统,其中所述距离测量设备包括激光测距仪。
724、9.根据以上任一示例所述的系统,其中所述第一深度平面包括远深度平面,所述第二深度平面包括近深度平面,当所述用户穿戴所述头戴式显示器时,与所述近深度平面相比,所述远深度平面距所述用户的眼睛更远。
725、10.根据示例1至8中任一项所述的系统,其中所述第一深度平面包括近深度平面,所述第二深度平面包括远深度平面,当所述用户穿戴所述头戴式显示器时,与所述近深度平面相比,所述远深度平面距所述用户的眼睛更远。
726、11.根据以上任一示例所述的系统,其中所述显示器被配置为在所述第二深度平面处呈现附加图像内容。
727、12.根据示例11所述的系统,其中所述附加图像是所选的对象。
728、13.根据以上任一示例所述的系统,其中在所述第二深度平面处呈现的所述对象的所述图像被放大。
729、14.根据以上任一示例所述的系统,其中在所述第二深度平面处呈现的所述对象的所述图像未被放大。
730、15.根据示例15所述的系统,其中在所述第二深度平面处呈现的所述对象的所述图像的大小被减小。
731、16.根据以上任一示例所述的系统,其中被配置为接收来自所述用户的输入的所述一个或多个输入设备包括头部姿势传感器。
732、17.根据示例16所述的系统,其中所述头部姿势传感器包括加速度计或imu。
733、18.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为在所述中心区域中呈现所述对象的所述图像。
734、19.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为在所述外围区域中呈现所述对象的所述图像。
735、20.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为构建所述用户的前方的所述环境的所述至少一部分的3d表示,并且解释所述环境的所述至少一部分的表示,所述环境的所述部分包括患者,并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
736、21.根据以上任一示例所述的系统,其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括一个或多个波导。
737、22.根据示例21所述的系统,包括被配置为将光引导到所述一个或多个波导中的一个或多个光源,所述波导被配置为将光引导到所述用户的眼睛中。
738、23.根据示例21至22中任一项所述的系统,其中所述一个或多个光源包括光纤扫描投影仪。
739、24.根据以上任一示例所述的系统,进一步包括被配置为监视所述环境的一个或多个传感器。
740、25.根据示例24所述的系统,其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
741、26.根据示例25所述的系统,其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
742、27.根据以上任一示例所述的系统,进一步包括距离测量设备。
743、28.根据以上任一示例所述的系统,进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
744、29.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
745、30.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
746、31.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为在被呈现于所述显示器上的第二图像模态和第一图像模态之间切换。
747、32.根据示例31所述的系统,其中所述第一图像模态包括mri扫描。
748、33.根据示例31至32中任一项所述的系统,其中所述第二图像模态包括超声波。
749、34.根据示例31至33中任一项所述的系统,其中所述第一图像模态包括x射线扫描。
750、35.根据以上任一示例所述的系统,进一步包括适于产生超声波的电子发射器。
751、36.根据以上任一示例所述的系统,进一步包括适于将超声波转换为电信号的传感器。
752、37.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为允许用户将所述用户的前方的所述环境的一部分上的虚拟基准标记放置到所述用户的眼睛。
753、38.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将图像投射到所述显示器上,使得所述图像看起来附着到所述环境中的真实世界对象上。
754、39.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示虚拟切割指导线,使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问(give access to)待切割部位。
755、40.根据示例39所述的系统,其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
756、41.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的环境的所述一部分中的对象的方位的数据。
757、42.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的环境的所述一部分中的对象的方位。
758、43.根据示例42所述的系统,其中所述头戴式显示器被配置为基于所述对象位置的数据库设置参考点,并将图像投射到用户的眼睛中,使得所述图像看起来相对于所述参考点固定。
759、44.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而使对象的3d图像的视图绕轴旋转。
760、45.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而平移3d对象的图像的视图。
761、46.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示对象的3d图像的第一切片。
762、47.根据示例46所述的系统,其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3d图像的第二切片的图像。
763、48.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像,使得头戴式显示器的第二用户能够观看所传送的所述环境的所述一部分的所述图像。
764、49.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
765、50.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为监测用户的医疗参数并基于所述医疗参数提供警报。
766、51.根据示例50所述的系统,其中所述用户的医疗参数包括生命体征。
767、52.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射超声波,并测量由所述超声波产生的信号,并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
768、53.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
769、54.根据以上任一示例所述的系统,进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
770、55.根据以上任一示例所述的系统,其中所述一个或多个光源包括光纤扫描投影仪。
771、56.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
772、57.根据示例56的系统,其中所述第一图像模态和所述第二图像模态各自包括来自mri、ct、pet、mra或cta扫描的图像。
773、58.根据示例56或57所述的系统,其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
774、示例集iv
775、1.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以显示增强现实图像内容,所述用户的眼睛具有视野,所述视野具有中心区域和被设置在所述中心区域周围的外围区域,所述头戴式显示系统包括:
776、框架,其被配置为被支撑在所述用户的头部上;
777、显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便在所述用户的视野的所述中心区域处呈现图像内容,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户的前方的所述环境的所述一部分的视图;
778、一个或多个捕获设备,其被配置为捕获所述环境的照明条件;
779、处理电子设备,其与所述显示器通信,以控制所述显示器上的图像内容的呈现,
780、其中所述头戴式显示系统被配置为向所述用户的视野呈现至少部分地基于所述环境的照明条件而被加强的图像内容。
781、2.根据示例1所述的系统,进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
782、3.根据示例1或2所述的系统,其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将光投射到所述用户的一个或多个波导。
783、4.根据示例3所述的系统,其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
784、5.根据示例2至4中任一项所述的系统,其中所述光源包括光纤扫描投影仪。
785、6.根据示例1至5中任一项所述的系统,其中所述一个或多个捕获设备包括一个或多个图像捕获设备。
786、7.根据示例6所述的系统,其中所述一个或多个图像捕获设备包括一个或多个相机。
787、8.根据示例1至5中任一项所述的系统,其中所述一个或多个捕获设备包括一个或多个光传感器。
788、9.根据示例8所述的系统,其中所述一个或多个光传感器包括一个或多个照度计。
789、10.根据以上任一示例所述的系统,其中所述一个或多个捕获设备被配置为测量所述环境的发光度(luminance)。
790、11.根据以上任一示例所述的系统,进一步包括距离测量设备。
791、12.根据示例11所述的系统,其中所述距离测量设备包括激光测距仪。
792、13.根据以上任一示例所述的系统,进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
793、14.根据示例1至13中任一项所述的系统,进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
794、15.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而放大所述图像内容。
795、16.根据示例15所述的系统,其中所述放大至少部分地基于所述眼睛的分辨率。
796、17.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而增加所述图像内容中的亮度。
797、18.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而增加所述图像内容中的对比度。
798、19.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而增加所述图像内容中的颜色饱和度。
799、20.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而锐化所述图像内容。
800、21.根据示例20所述的系统,其中锐化包括至少部分地基于所述环境的照明条件而在所述图像内容中添加边缘加强特征。
801、22.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而改变所述图像内容的颜色平衡。
802、23.根据以上任一示例所述的系统,其中所述系统被配置为向所述用户提供警报以指示所述图像内容已被加强。
803、24.根据示例23所述的系统,其中所述警报是视觉警报。
804、25.根据示例23所述的系统,其中所述警报是音频警报。
805、26.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以显示增强现实图像内容,所述用户的眼睛具有视野,所述视野具有中心区域和被设置在所述中心区域周围的外围区域,所述头戴式显示系统包括:
806、框架,其被配置为被支撑在所述用户的头部上;
807、显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便在所述用户的视野的所述中心区域处呈现图像内容,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户的前方的环境的所述一部分的视图;
808、一个或多个捕获设备,其被配置为捕获所述环境的照明条件;
809、处理电子设备,其与所述显示器通信,以控制所述显示器上的图像内容的呈现,
810、其中所述头戴式显示系统被配置为向所述用户的视野呈现至少部分地基于所述环境的照明条件而被削弱的图像内容。
811、27.根据示例26所述的系统,进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
812、28.根据示例26或27所述的系统,其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将光投射到所述用户的一个或多个波导。
813、29.根据示例28所述的系统,其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
814、30.根据示例27至29中任一项所述的系统,其中所述光源包括光纤扫描投影仪。
815、31.根据示例26至30中任一项所述的系统,其中所述一个或多个捕获设备包括一个或多个图像捕获设备。
816、32.根据示例31所述的系统,其中所述一个或多个图像捕获设备包括一个或多个相机。
817、33.根据示例26至30中任一项所述的系统,其中所述一个或多个捕获设备包括一个或多个光传感器。
818、34.根据示例22所述的系统,其中所述一个或多个光传感器包括一个或多个照度计。
819、35.根据示例26至34中任一项所述的系统,其中所述一个或多个捕获设备被配置为测量所述环境的发光度。
820、36.根据示例26至35中任一项所述的系统,进一步包括距离测量设备。
821、37.根据示例36所述的系统,其中所述距离测量设备包括激光测距仪。
822、38.根据示例26至37中任一项所述的系统,进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
823、39.根据示例26至38中任一项所述的系统,进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
824、40.根据示例26至39中任一项所述的系统,其中所述头戴式显示器被配置为至少部分地基于所述环境的照明条件减小所述图像内容的大小。
825、41.根据示例40所述的系统,其中大小的所述减小至少部分地基于所述眼睛的分辨率。
826、42.根据示例26至41中任一项所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而使所述图像内容变暗或衰减。
827、43.根据示例26至42中任一项所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而降低所述图像内容中的对比度。
828、44.根据示例26至43中任一项所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而降低所述图像内容中的颜色饱和度。
829、45.根据示例26至44中任一项所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而降低所述图像内容的锐度。
830、46.根据示例45所述的系统,其中降低锐度包括至少部分地基于所述环境的照明条件而去掉对所述图像内容中的特征的边缘的加强。
831、47.根据示例26至46中任一项所述的系统,其中所述头戴式显示器被配置为至少部分地基于所述环境的照明条件而改变所述图像内容的颜色平衡。
832、48.根据示例26至47中任一项所述的系统,其中所述头戴式显示器被配置为至少部分地基于所述环境的照明条件而模糊所述图像内容。
833、49.根据示例48所述的系统,其中所述模糊包括使用相同的颜色来模糊所述图像内容。
834、50.根据示例26至49中任一项所述的系统,其中所述系统被配置为向所述用户提供警报以指示所述图像内容已被削弱。
835、51.根据示例50所述的系统,其中所述警报是视觉警报。
836、52.根据示例52所述的系统,其中所述警报是音频警报。
837、53.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为构建所述用户的前方的所述环境的所述至少一部分的3d表示,并且解释所述环境的所述至少一部分的表示,所述环境的所述一部分包括患者,并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
838、54.根据以上任一示例所述的系统,其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括一个或多个波导。
839、55.根据示例54所述的系统,包括被配置为将光引导到所述一个或多个波导中的一个或多个光源,所述波导被配置为将光引导到所述用户的眼睛中。
840、56.根据示例54至55中任一项所述的系统,其中所述一个或多个光源包括光纤扫描投影仪。
841、57.根据以上任一示例所述的系统,进一步包括被配置为监视所述环境的一个或多个传感器。
842、58.根据示例57所述的系统,其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
843、59.根据示例58所述的系统,其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
844、60.根据以上任一示例所述的系统,进一步包括距离测量设备。
845、61.根据以上任一示例所述的系统,进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
846、62.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
847、63.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
848、64.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为在被呈现于所述显示器上的第二图像模态和第一图像模态之间切换。
849、65.根据示例64所述的系统,其中所述第一图像模态包括mri扫描。
850、66.根据示例64至65中任一项所述的系统,其中所述第二图像模态包括超声波。
851、67.根据示例64至66中任一项所述的系统,其中所述第一图像模态包括x射线扫描。
852、68.根据以上任一示例所述的系统,进一步包括适于产生超声波的电子发射器。
853、69.根据以上任一示例所述的系统,进一步包括适于将超声波转换为电信号的传感器。
854、70.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为允许用户将所述用户的前方的所述环境的一部分上的虚拟基准标记放置到所述用户的眼睛。
855、71.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将图像投射到所述显示器上,使得所述图像看起来附着到所述环境中的真实世界对象上。
856、72.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示虚拟切割指导线,使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
857、73.根据示例72所述的系统,其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
858、74.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的所述环境的所述一部分中的对象的位置的数据。
859、75.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的所述环境的所述一部分中的对象的方位。
860、76.根据示例75所述的系统,其中所述头戴式显示器被配置为基于所述对象位置的数据库设置参考点,并将图像投射到所述用户的眼睛中,使得所述图像看起来相对于所述参考点固定。
861、77.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而使对象的3d图像的视图绕轴旋转。
862、78.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而平移3d对象的图像的视图。
863、79.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示对象的3d图像的第一切片。
864、80.根据示例79所述的系统,其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3d图像的第二切片的图像。
865、81.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像,使得头戴式显示器的第二用户能够观看所传送的所述环境的所述一部分的所述图像。
866、82.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
867、83.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为监测用户的医疗参数并基于所述医疗参数提供警报。
868、84.根据示例83所述的系统,其中所述用户的医疗参数包括生命体征。
869、85.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射超声波,并测量由所述超声波产生的信号,并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
870、86.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
871、87.根据以上任一示例所述的系统,进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
872、88.根据以上任一示例所述的系统,其中所述一个或多个光源包括光纤扫描投影仪。
873、89.根据示例18所述的系统,其中增加对比度包括调整所述图像内容的至少一种颜色的亮度或暗度。
874、90.根据示例18所述的系统,其中增加对比度包括将黑色、灰色、白色或其它颜色添加到所述图像内容的至少一种颜色中。
875、91.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为至少在所呈现的图像内容的附近提供不透明度。
876、92.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
877、93.根据示例92的系统,其中所述第一图像模态和所述第二图像模态各自包括来自mri、ct、pet、mra或cta扫描的图像。
878、94.根据示例92或93所述的系统,其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
879、示例集iva
880、1.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以显示增强现实图像内容,所述用户的眼睛具有视野,所述视野具有中心区域和被设置在所述中心区域周围的外围区域,所述头戴式显示系统包括:
881、框架,其被配置为被支撑在所述用户的头部上;
882、显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便在所述用户的视野的所述中心区域处呈现图像内容,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户的前方的环境的所述一部分的视图;
883、一个或多个捕获设备,其被配置为捕获所述环境的照明条件;
884、处理电子设备,其与所述显示器通信,以控制所述显示器上的图像内容的呈现,
885、其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的位置,以便将至少部分地基于所述环境的照明条件而被加强的图像内容呈现到所述用户的视野的所述中心区域的一部分。
886、2.根据示例1所述的系统,其中在明视(photopic)照明条件下,基于所投射的光位置的视锥细胞密度而反向加强所述图像内容。
887、3.根据示例2所述的系统,其中所述环境的明视照明条件具有10cd/m2至108cd/m2的发光度。
888、4.根据示例1所述的系统,其中在暗视(scotopic)照明条件下,基于所投射的光位置的视杆细胞密度而反向加强所述图像内容。
889、5.根据示例4所述的系统,其中所述环境的暗视照明条件具有10-3.5cd/m2至10 -6cd/m2的发光度。
890、6.根据示例1所述的系统,其中在间视(mesopic)照明条件下,至少部分地基于在所述间视照明条件下度过的时间而加强所述图像内容。
891、7.根据示例6所述的系统,其中所述环境的间视照明条件具有10-3cd/m2至100.5cd/m2的发光度。
892、8.根据示例6或7所述的系统,其中所述系统被配置为至少部分地基于在所述间视照明条件下度过的时间而确定是视锥细胞还是视杆细胞在所述用户的眼睛中占主导。
893、9.根据示例6至8中任一项所述的系统,其中当所述视锥细胞在所述用户的眼睛中占主导时,基于所投射的光位置的视锥细胞密度而反向加强所述图像内容。
894、10.根据示例6至8中任一项所述的系统,其中当所述视杆细胞在所述用户的眼睛中占主导时,基于所述用户的眼睛的所投射的光位置的视杆细胞密度而反向加强所述图像内容。
895、11.根据以上任一示例所述的系统,其中所述系统包括计时器或时钟以监视在所述照明条件下度过的时间。
896、12.根据以上任一示例所述的系统,进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
897、13.根据以上任一示例所述的系统,其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将所述光投射到所述用户的一个或多个波导。
898、14.根据示例13所述的系统,其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
899、15.根据示例12至14中任一项所述的系统,其中所述光源包括光纤扫描投影仪。
900、16.根据示例1至15中任一项所述的系统,其中所述一个或多个捕获设备包括一个或多个图像捕获设备。
901、17.根据示例16所述的系统,其中所述一个或多个图像捕获设备包括一个或多个相机。
902、18.根据示例1至15中任一项所述的系统,其中所述一个或多个捕获设备包括一个或多个光传感器。
903、19.根据示例18所述的系统,其中所述一个或多个光传感器包括一个或多个照度计。
904、20.根据以上任一示例所述的系统,其中所述一个或多个捕获设备被配置为测量所述环境的发光度。
905、21.根据以上任一示例所述的系统,其中所述一个或多个捕获设备包括包含像素阵列的检测器阵列,其中所述检测器阵列被配置为对所述像素上的光级(light level)求积分以捕获所述照明条件。
906、22.根据以上任一示例所述的系统,其中所述一个或多个捕获设备包括一个或多个面向内的相机,所述面向内的相机被配置为检测瞳孔大小以捕获所述照明条件。
907、23.根据以上任一示例所述的系统,进一步包括距离测量设备。
908、24.根据示例23所述的系统,其中所述距离测量设备包括激光测距仪。
909、25.根据以上任一示例所述的系统,进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
910、26.根据示例1至25中任一项所述的系统,进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
911、27.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而放大所述图像内容。
912、28.根据示例27所述的系统,其中所述放大至少部分地基于所述眼睛的分辨率。
913、29.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而增加所述图像内容中的亮度。
914、30.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而增加所述图像内容中的对比度。
915、31.根据示例30所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述眼睛的对比敏感度而增加对比度。
916、32.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而增加所述图像内容中的颜色饱和度。
917、33.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而锐化所述图像内容。
918、34.根据示例33所述的系统,其中锐化包括至少部分地基于所述环境的照明条件而在所述图像内容中添加边缘加强特征。
919、35.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而改变所述图像内容的颜色平衡。
920、36.根据以上任一示例所述的系统,其中所述系统被配置为向所述用户提供警报以指示所述图像内容已被加强。
921、37.根据示例36所述的系统,其中所述警报是视觉警报。
922、38.根据示例36所述的系统,其中所述警报是音频警报。
923、39.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为构建所述用户的前方的所述环境的所述至少一部分的3d表示,并且解释所述环境的所述至少一部分的表示,所述环境的所述一部分包括患者,并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
924、40.根据以上任一示例所述的系统,进一步包括被配置为监视所述环境的一个或多个传感器。
925、41.根据示例40所述的系统,其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
926、42.根据示例41所述的系统,其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
927、43.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
928、44.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
929、45.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为在被呈现于所述显示器上的第二图像模态和第一图像模态之间切换。
930、46.根据示例45所述的系统,其中所述第一图像模态包括mri扫描。
931、47.根据示例45至46中任一项所述的系统,其中所述第二图像模态包括超声波。
932、48.根据示例45至47中任一项所述的系统,其中所述第一图像模态包括x射线扫描。
933、49.根据以上任一示例所述的系统,进一步包括适于产生超声波的电子发射器。
934、50.根据以上任一示例所述的系统,进一步包括适于将超声波转换为电信号的传感器。
935、51.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为允许用户将所述用户的前方的所述环境的所述一部分上的虚拟基准标记放置到所述用户的眼睛。
936、52.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将图像投射到所述显示器上,使得所述图像看起来附着到所述环境中的真实世界对象上。
937、53.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示虚拟切割指导线,使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
938、54.根据示例53所述的系统,其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
939、55.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的所述环境的所述一部分中的对象的方位的数据。
940、56.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的所述环境的所述一部分中的对象的方位。
941、57.根据示例56所述的系统,其中所述头戴式显示器被配置为基于所述对象位置的数据库而设置参考点,并将图像投射到所述用户的眼睛中,使得所述图像看起来相对于所述参考点固定。
942、58.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而使对象的3d图像的视图绕轴旋转。
943、59.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而平移3d对象的图像的视图。
944、60.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示对象的3d图像的第一切片。
945、61.根据示例60所述的系统,其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3d图像的第二切片的图像。
946、62.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像,使得头戴式显示器的第二用户可以观看所传送的所述环境的所述一部分的所述图像。
947、63.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
948、64.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为监测医疗参数并基于所述医疗参数提供警报。
949、65.根据示例64所述的系统,其中所述医疗参数包括生命体征。
950、66.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射超声波,并测量由所述超声波产生的信号,并且其中所述头戴式显示器进一步被配置为基于所述信号而形成超声图像。
951、67.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
952、68.根据示例21所述的系统,其中所述检测器阵列包括被配置为对所述环境进行成像的向外看的相机。
953、69.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的位置,以便将相对于向所述外围区域的一部分呈现的图像内容而被加强的图像内容呈现到所述用户的视野的所述中心区域的一部分。
954、70.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的位置,以便将相对于向所述用户的视野的所述中心区域的一部分呈现的图像内容而被加强的图像内容呈现到所述中心区域的另一部分。
955、71.根据以上任一示例所述的系统,其中所述系统被配置为至少部分地基于所述环境的照明条件的时间方面而确定如何在所述用户的眼睛中呈现所述图像内容。
956、72.根据以上任一示例所述的系统,其中所述显示器被配置为以不同的发散量将光投射到所述用户的眼睛中,以便好像所述图像内容来自不同深度那样呈现所述图像内容。
957、73.根据示例30所述的系统,其中增加对比度包括调整所述图像内容的至少一种颜色的亮度或暗度。
958、74.根据示例30所述的系统,其中增加对比度包括将黑色、灰色、白色或其它颜色添加到所述图像内容的至少一种颜色中。
959、75.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为至少在所呈现的图像内容的附近提供不透明度。
960、76.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
961、77.根据示例76的系统,其中所述第一图像模态和所述第二图像模态各自包括来自mri、ct、pet、mra或cta扫描的图像。
962、78.根据示例76或77所述的系统,其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
963、示例集ivb
964、1.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以显示增强现实图像内容,所述用户的眼睛具有视野,所述视野具有中心区域和被设置在所述中心区域周围的外围区域,所述头戴式显示系统包括:
965、框架,其被配置为被支撑在所述用户的头部上;
966、显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便在所述用户的视野的所述外围区域处呈现图像内容,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户的前方的环境的所述一部分的视图;
967、一个或多个捕获设备,其被配置为捕获所述环境的照明条件;
968、处理电子设备,其与所述显示器通信,以控制所述显示器上的图像内容的呈现,
969、其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的位置,以便将至少部分地基于所述环境的照明条件而被加强的图像内容呈现到所述用户的视野的所述外围区域的一部分。
970、2.根据示例1所述的系统,其中在明视照明条件下,基于所投射的光位置的视锥细胞密度而反向加强所述图像内容。
971、3.根据示例2所述的系统,其中所述环境的明视照明条件具有10cd/m2至108cd/m2的发光度。
972、4.根据示例1所述的系统,其中在暗视照明条件下,基于所投射的光位置的视杆细胞密度而反向加强所述图像内容。
973、5.根据示例4所述的系统,其中所述环境的暗视照明条件具有10-3.5cd/m2至10 -6cd/m2的发光度。
974、6.根据示例1所述的系统,其中在间视照明条件下,至少部分地基于在所述间视照明条件下度过的时间而加强所述图像内容。
975、7.根据示例6所述的系统,其中所述环境的间视照明条件具有10-3cd/m2至100.5cd/m2的发光度。
976、8.根据示例6或7所述的系统,其中所述系统被配置为至少部分地基于在所述间视照明条件下度过的时间而确定是视锥细胞还是视杆细胞在所述用户的眼睛中占主导。
977、9.根据示例6至8中任一项所述的系统,其中当所述视锥细胞在所述用户的眼睛中占主导时,基于所投射的光位置的视锥细胞密度而反向加强所述图像内容。
978、10.根据示例6至8中任一项所述的系统,其中当所述视杆细胞在所述用户的眼睛中占主导时,基于所述用户的眼睛的所投射的光位置的视杆细胞密度而反向加强所述图像内容。
979、11.根据以上任一示例所述的系统,其中所述系统包括计时器或时钟以监视在所述照明条件下度过的时间。
980、12.根据以上任一示例所述的系统,进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
981、13.根据以上任一示例所述的系统,其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将光投射到所述用户的一个或多个波导。
982、14.根据示例13所述的系统,其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
983、15.根据示例12至14中任一项所述的系统,其中所述光源包括光纤扫描投影仪。
984、16.根据示例1至15中任一项所述的系统,其中所述一个或多个捕获设备包括一个或多个图像捕获设备。
985、17.根据示例16所述的系统,其中所述一个或多个图像捕获设备包括一个或多个相机。
986、18.根据示例1至15中任一项所述的系统,其中所述一个或多个捕获设备包括一个或多个光传感器。
987、19.根据示例18所述的系统,其中所述一个或多个光传感器包括一个或多个照度计。
988、20.根据以上任一示例所述的系统,其中所述一个或多个捕获设备被配置为测量所述环境的发光度。
989、21.根据以上任一示例所述的系统,其中所述一个或多个捕获设备包括包含像素阵列的检测器阵列,其中所述检测器阵列被配置为对所述像素上的光级求积分以捕获所述照明条件。
990、22.根据以上任一示例所述的系统,其中所述一个或多个捕获设备包括一个或多个面向内的相机,所述面向内的相机被配置为检测瞳孔大小以捕获所述照明条件。
991、23.根据以上任一示例所述的系统,进一步包括距离测量设备。
992、24.根据示例23所述的系统,其中所述距离测量设备包括激光测距仪。
993、25.根据以上任一示例所述的系统,进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
994、26.根据示例1至25中任一项所述的系统,进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
995、27.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而放大所述图像内容。
996、28.根据示例27所述的系统,其中所述放大至少部分地基于所述眼睛的分辨率。
997、29.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而增加所述图像内容中的亮度。
998、30.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而增加所述图像内容中的对比度。
999、31.根据示例30所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述眼睛的对比敏感度而增加对比度。
1000、32.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而增加所述图像内容中的颜色饱和度。
1001、33.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而锐化所述图像内容。
1002、34.根据示例33所述的系统,其中锐化包括至少部分地基于所述环境的照明条件而在所述图像内容中添加边缘加强特征。
1003、35.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而改变所述图像内容的颜色平衡。
1004、36.根据以上任一示例所述的系统,其中所述系统被配置为向所述用户提供警报以指示所述图像内容已被加强。
1005、37.根据示例36所述的系统,其中所述警报是视觉警报。
1006、38.根据示例36所述的系统,其中所述警报是音频警报。
1007、39.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为构建所述用户的前方的所述环境的所述至少一部分的3d表示,并且解释所述环境的所述至少一部分的表示,所述环境的所述一部分包括患者,并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
1008、40.根据以上任一示例所述的系统,进一步包括被配置为监视所述环境的一个或多个传感器。
1009、41.根据示例40所述的系统,其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
1010、42.根据示例41所述的系统,其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
1011、43.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
1012、44.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
1013、45.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为在被呈现于所述显示器上的第二图像模态和第一图像模态之间切换。
1014、46.根据示例45所述的系统,其中所述第一图像模态包括mri扫描。
1015、47.根据示例45至46中任一项所述的系统,其中所述第二图像模态包括超声波。
1016、48.根据示例45至47中任一项所述的系统,其中所述第一图像模态包括x射线扫描。
1017、49.根据以上任一示例所述的系统,进一步包括适于产生超声波的电子发射器。
1018、50.根据以上任一示例所述的系统,进一步包括适于将超声波转换为电信号的传感器。
1019、51.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为允许用户将所述用户的前方的所述环境的一部分上的虚拟基准标记放置到所述用户的眼睛。
1020、52.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将图像投射到所述显示器上,使得所述图像看起来附着到所述环境中的真实世界对象上。
1021、53.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示虚拟切割指导线,使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
1022、54.根据示例53所述的系统,其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
1023、55.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的环境的一部分中的对象的方位的数据。
1024、56.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的环境的一部分中的对象的位置。
1025、57.根据示例56所述的系统,其中所述头戴式显示器被配置为基于所述对象位置的数据库设置参考点,并将图像投射到所述用户的眼睛中,使得所述图像看起来相对于所述参考点固定。
1026、58.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而使对象的3d图像的视图绕轴旋转。
1027、59.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而平移3d对象的图像的视图。
1028、60.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示对象的3d图像的第一切片。
1029、61.根据示例60所述的系统,其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3d图像的第二切片的图像。
1030、62.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像,使得头戴式显示器的第二用户能够观看所传送的所述环境的所述一部分的所述图像。
1031、63.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
1032、64.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为监测医疗参数并基于所述医疗参数而提供警报。
1033、65.根据示例64所述的系统,其中所述医疗参数包括生命体征。
1034、66.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射超声波,并测量由所述超声波产生的信号,并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
1035、67.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
1036、68.根据示例21所述的系统,其中所述检测器阵列包括被配置为对所述环境进行成像的向外看的相机。
1037、69.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的位置,以便将相对于向所述中心区域的一部分呈现的图像内容而被加强的图像内容呈现到所述用户的视野的所述外围区域的一部分。
1038、70.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的位置,以便将相对于向所述外围区域的一部分呈现的图像内容而被加强的图像内容呈现到所述用户的视野的所述外围区域的另一部分。
1039、71.根据以上任一示例所述的系统,其中所述系统被配置为至少部分地基于所述环境的照明条件的时间方面而确定如何在所述用户的眼睛中呈现所述图像内容。
1040、72.根据以上任一示例所述的系统,其中所述显示器被配置为以不同的发散量将光投射到所述用户的眼睛中,以便好像所述图像内容来自不同深度那样呈现所述图像内容。
1041、73.根据示例30所述的系统,其中增加对比度包括调整所述图像内容的至少一种颜色的亮度或暗度。
1042、74.根据示例30所述的系统,其中增加对比度包括将黑色、灰色、白色或其它颜色添加到所述图像内容的至少一种颜色中。
1043、75.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为至少在所呈现的图像内容的附近提供不透明度。
1044、76.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
1045、77.根据示例76的系统,其中所述第一图像模态和所述第二图像模态各自包括来自mri、ct、pet、mra或cta扫描的图像。
1046、78.根据示例76或77所述的系统,其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
1047、示例集ivc
1048、1.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以显示增强现实图像内容,所述用户的眼睛具有视野,所述视野具有中心区域和被设置在所述中心区域周围的外围区域,所述头戴式显示系统包括:
1049、框架,其被配置为被支撑在所述用户的头部上;
1050、显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便将图像内容呈现到所述用户的视野,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户的前方的环境的所述一部分的视图;
1051、一个或多个捕获设备,其被配置为捕获所述环境的照明条件;
1052、处理电子设备,其与所述显示器通信,以控制所述显示器上的图像内容的呈现,
1053、其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而将图像内容从所述用户的视野的第一部分呈现到所述用户的视野的第二部分,并且其中在所述环境的照明条件下,所述第二部分对应于所述用户的眼睛的具有比所述第一部分高的视敏度的位置。
1054、2.根据示例1所述的系统,其中在明视照明条件下,所述第二部分对应于所述用户的眼睛的具有比所述第一部分高的视锥细胞密度的位置。
1055、3.根据示例2所述的系统,其中所述环境的明视照明条件具有10cd/m2至108cd/m2的发光度。
1056、4.根据示例2或3所述的系统,其中所述第一部分包括所述外围区域中的一部分,并且所述第二部分包括所述中心区域中的一部分。
1057、5.根据示例2或3所述的系统,其中所述第一部分包括所述中心区域中的一部分,并且所述第二部分包括所述中心区域中的另一部分。
1058、6.根据示例2或3所述的系统,其中所述第一部分包括所述外围区域中的一部分,并且所述第二部分包括所述外围区域中的另一部分。
1059、7.根据示例1所述的系统,其中在暗视照明条件下,所述第二部分对应于所述用户的眼睛的具有比所述第一部分高的视杆细胞密度的位置。
1060、8.根据示例7所述的系统,其中所述环境的暗视照明条件具有10-3.5cd/m2至10 -6cd/m2的发光度。
1061、9.根据示例7或8所述的系统,其中所述第一部分包括所述中心区域中的一部分,并且所述第二部分包括所述外围区域中的区域。
1062、10.根据示例7或8所述的系统,其中所述第一部分包括所述外围区域中的一部分,并且所述第二部分包括所述外围区域中的另一区域。
1063、11.根据示例1所述的系统,其中在间视照明条件下,所述系统被配置为至少部分地基于在所述间视照明条件下度过的时间而将图像内容从所述第一部分呈现到所述第二部分。
1064、12.根据示例11所述的系统,其中所述环境的间视照明条件具有10-3cd/m2至100.5cd/m2的发光度。
1065、13.根据示例11或12所述的系统,其中所述系统被配置为至少部分地基于在所述间视照明条件下度过的时间而确定是视锥细胞还是视杆细胞在所述用户的眼睛中占主导。
1066、14.根据示例11至13中任一项所述的系统,其中当所述视锥细胞在所述用户的眼睛中占主导时,所述第二部分对应于所述用户的眼睛的具有比所述第一部分高的视锥细胞密度的位置。
1067、15.根据示例14所述的系统,其中所述第一部分包括所述外围区域中的一部分,并且所述第二部分包括所述中心区域中的一部分。
1068、16.根据示例14所述的系统,其中所述第一部分包括所述中心区域中的一部分,并且所述第二部分包括所述中心区域中的另一部分。
1069、17.根据示例14所述的系统,其中所述第一部分包括所述外围区域中的一部分,并且所述第二部分包括所述外围区域中的另一部分。
1070、18.根据示例11至13中任一项所述的系统,其中当所述视杆细胞在所述用户的眼睛中占主导时,所述第二部分对应于所述用户的眼睛的具有比所述第一部分高的视杆细胞密度的位置。
1071、19.根据示例18所述的系统,其中所述第一部分包括所述中心区域中的一部分,并且所述第二部分包括所述外围区域中的一部分。
1072、20.根据示例18所述的系统,其中所述第一部分包括所述外围区域中的一部分,并且所述第二部分包括所述外围区域中的另一部分。
1073、21.根据以上任一示例所述的系统,其中所述系统包括计时器或时钟以监视在所述照明条件下度过的时间。
1074、22.根据以上任一示例所述的系统,进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
1075、23.根据以上任一示例所述的系统,其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将所述光投射到所述用户的一个或多个波导。
1076、24.根据示例23所述的系统,其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
1077、25.根据示例22至24中任一项所述的系统,其中所述光源包括光纤扫描投影仪。
1078、26.根据示例1至25中任一项所述的系统,其中所述一个或多个捕获设备包括一个或多个图像捕获设备。
1079、27.根据示例26所述的系统,其中所述一个或多个图像捕获设备包括一个或多个相机。
1080、28.根据示例1至25中任一项所述的系统,其中所述一个或多个捕获设备包括一个或多个光传感器。
1081、29.根据示例28所述的系统,其中所述一个或多个光传感器包括一个或多个照度计。
1082、30.根据以上任一示例所述的系统,其中所述一个或多个捕获设备被配置为测量所述环境的发光度。
1083、31.根据以上任一示例所述的系统,其中所述一个或多个捕获设备包括包含像素阵列的检测器阵列,其中所述检测器阵列被配置为对所述像素上的光级求积分以捕获所述照明条件。
1084、32.根据以上任一示例所述的系统,其中所述一个或多个捕获设备包括一个或多个面向内的相机,所述面向内的相机被配置为检测瞳孔大小以捕获所述照明条件。
1085、33.根据以上任一示例所述的系统,进一步包括距离测量设备。
1086、34.根据示例33所述的系统,其中所述距离测量设备包括激光测距仪。
1087、35.根据以上任一示例所述的系统,进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
1088、36.根据示例1至35中任一项所述的系统,进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
1089、37.根据以上任一示例所述的系统,其中所述系统被配置为向所述用户提供警报以指示所述图像内容已从所述第一部分移位到所述第二部分。
1090、38.根据示例37所述的系统,其中所述警报是视觉警报。
1091、39.根据示例37所述的系统,其中所述警报是音频警报。
1092、40.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为构建所述用户的前方的环境的所述至少一部分的3d表示,并且解释所述环境的所述至少一部分的表示,所述环境的所述一部分包括患者,并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
1093、41.根据以上任一示例所述的系统,进一步包括被配置为监视所述环境的一个或多个传感器。
1094、42.根据示例41所述的系统,其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
1095、43.根据示例42所述的系统,其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
1096、44.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
1097、45.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
1098、46.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为在呈现于所述显示器上的第二图像模态和第一图像模态之间切换。
1099、47.根据示例46所述的系统,其中所述第一图像模态包括mri扫描。
1100、48.根据示例46至47中任一项所述的系统,其中所述第二图像模态包括超声波。
1101、49.根据示例46至48中任一项所述的系统,其中所述第一图像模态包括x射线扫描。
1102、50.根据以上任一示例所述的系统,进一步包括适于产生超声波的电子发射器。
1103、51.根据以上任一示例所述的系统,进一步包括适于将超声波转换为电信号的传感器。
1104、52.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为允许用户将所述用户的前方的环境的所述一部分上的虚拟基准标记放置到所述用户的眼睛。
1105、53.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将图像投射到所述显示器上,使得所述图像看起来附着到所述环境中的真实世界对象上。
1106、54.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示虚拟切割指导线,使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
1107、55.根据示例54所述的系统,其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
1108、56.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的环境的所述一部分中的对象的方位的数据。
1109、57.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的环境的所述一部分中的对象的方位。
1110、58.根据示例57所述的系统,其中所述头戴式显示器被配置为基于所述对象位置的数据库设置参考点,并将图像投射到所述用户的眼睛中,使得所述图像看起来相对于所述参考点固定。
1111、59.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而使对象的3d图像的视图绕轴旋转。
1112、60.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而平移3d对象的图像的视图。
1113、61.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示对象的3d图像的第一切片。
1114、62.根据示例61所述的系统,其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3d图像的第二切片的图像。
1115、63.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像,使得头戴式显示器的第二用户能够观看所传送的所述环境的所述一部分的所述图像。
1116、64.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
1117、65.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为监测医疗参数并基于所述医疗参数提供警报。
1118、66.根据示例65所述的系统,其中所述医疗参数包括生命体征。
1119、67.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射超声波,并测量由所述超声波产生的信号,并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
1120、68.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
1121、69.根据示例31所述的系统,其中所述检测器阵列包括被配置为对所述环境进行成像的向外看的相机。
1122、70.根据以上任一示例所述的系统,其中所述系统被配置为至少部分地基于所述环境的照明条件的时间方面而确定如何在所述用户的眼睛中呈现所述图像内容。
1123、71.根据以上任一示例所述的系统,其中所述显示器被配置为以不同的发散量将光投射到所述用户的眼睛中,以便好像所述图像内容来自不同深度那样呈现所述图像内容。
1124、72.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
1125、73.根据示例72的系统,其中所述第一图像模态和所述第二图像模态各自包括来自mri、ct、pet、mra或cta扫描的图像。
1126、74.根据示例72或73所述的系统,其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
1127、示例集ivd
1128、1.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以显示增强现实图像内容,所述用户的眼睛具有视野,所述视野具有中心区域和被设置在所述中心区域周围的外围区域,所述头戴式显示系统包括:
1129、框架,其被配置为被支撑在所述用户的头部上;
1130、显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便将图像内容呈现到所述用户的视野,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户的前方的环境的所述一部分的视图;
1131、一个或多个捕获设备,其被配置为捕获所述环境的照明条件;
1132、处理电子设备,其与所述显示器通信,以控制所述显示器上的图像内容的呈现,
1133、其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的位置,以便至少部分地基于所述环境的照明条件而将图像内容呈现到所述用户的视野的一部分。
1134、2.根据示例1所述的系统,其中在明视照明条件下,所投射的光位置基于所投射的光位置的视锥细胞密度。
1135、3.根据示例2所述的系统,其中所述环境的明视照明条件具有10cd/m2至108cd/m2的发光度。
1136、4.根据示例2至3中任一项所述的系统,其中所述用户的视野的所述一部分包括所述中心区域。
1137、5.根据示例2至4中任一项所述的系统,其中所投射的光位置在从中央凹偏离0至5度的范围内。
1138、6.根据示例1所述的系统,其中在暗视照明条件下,所投射的光位置基于所投射的光位置的视杆细胞密度。
1139、7.如实施例6所述的系统,其中所述环境的暗视照明条件具有10-3.5cd/m2至10-6cd/m2的发光度。
1140、8.根据示例6至7中任一项所述的系统,其中所述用户的视野的所述一部分包括所述外围区域。
1141、9.根据示例6至8中任一项所述的系统,其中所投射的光位置在从中央凹偏离15至20度的范围内。
1142、10.根据示例6至8中任一项所述的系统,其中所投射的光位置在从中央凹偏离25至35度的范围内。
1143、11.根据示例1所述的系统,其中在间视照明条件下,所投射的光位置至少部分地基于在所述间视照明条件下度过的时间。
1144、12.根据示例11所述的系统,其中所述环境的间视照明条件具有10-3cd/m2至100.5cd/m2的发光度。
1145、13.根据示例11或12所述的系统,其中所述系统被配置为至少部分地基于在所述间视照明条件下度过的时间而确定是视锥细胞还是视杆细胞在所述用户的眼睛中占主导。
1146、14.根据示例11至13中任一项所述的系统,其中当所述视锥细胞在所述用户的眼睛中占主导时,所投射的光位置基于所投射的光位置的视锥细胞密度。
1147、15.根据示例14所述的系统,其中所述用户的视野的所述一部分包括所述中心区域。
1148、16.根据示例14所述的系统,其中所投射的光位置在从中央凹偏离0至5度的范围内。
1149、17.根据示例11至13中任一项所述的系统,其中当所述视杆细胞在所述用户的眼睛中占主导时,所投射的光位置基于所投射的光位置的视杆细胞密度。
1150、18.根据示例17所述的系统,其中所述用户的视野的所述一部分包括所述外围区域。
1151、19.根据示例17所述的系统,其中所投射的光位置在从中央凹偏离15至20度的范围内。
1152、20.根据示例17所述的系统,其中所投射的光位置在从中央凹偏离的25至35度的范围内。
1153、21.根据以上任一示例所述的系统,其中所述系统包括计时器或时钟以监视在所述照明条件下度过的时间。
1154、22.根据以上任一示例所述的系统,进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
1155、23.根据以上任一示例所述的系统,其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将所述光投射到所述用户的一个或多个波导。
1156、24.根据示例23所述的系统,其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
1157、25.根据示例22至24中任一项所述的系统,其中所述光源包括光纤扫描投影仪。
1158、26.根据示例1至25中任一项所述的系统,其中所述一个或多个捕获设备包括一个或多个图像捕获设备。
1159、27.根据示例26所述的系统,其中所述一个或多个图像捕获设备包括一个或多个相机。
1160、28.根据示例1至25中任一项所述的系统,其中所述一个或多个捕获设备包括一个或多个光传感器。
1161、29.根据示例28所述的系统,其中所述一个或多个光传感器包括一个或多个照度计。
1162、30.根据以上任一示例所述的系统,其中所述一个或多个捕获设备被配置为测量所述环境的发光度。
1163、31.根据以上任一示例所述的系统,其中所述一个或多个捕获设备包括包含像素阵列的检测器阵列,其中所述检测器阵列被配置为对所述像素上的光级求积分以捕获所述照明条件。
1164、32.根据以上任一示例所述的系统,其中所述一个或多个捕获设备包括一个或多个面向内的相机,所述面向内的相机被配置为检测瞳孔大小以捕获所述照明条件。
1165、33.根据以上任一示例所述的系统,进一步包括距离测量设备。
1166、34.根据示例33所述的系统,其中所述距离测量设备包括激光测距仪。
1167、35.根据以上任一示例所述的系统,进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
1168、36.根据示例1至35中任一项所述的系统,进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
1169、37.根据以上任一示例所述的系统,其中所述系统被配置为向所述用户提供警报以指示所述图像内容已被呈现。
1170、38.根据示例37所述的系统,其中所述警报是视觉警报。
1171、39.根据示例37所述的系统,其中所述警报是音频警报。
1172、40.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为构建所述用户的前方的环境的所述至少一部分的3d表示,并且解释所述环境的所述至少一部分的表示,所述环境的所述一部分包括患者,并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
1173、41.根据以上任一示例所述的系统,进一步包括被配置为监视所述环境的一个或多个传感器。
1174、42.根据示例41所述的系统,其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
1175、43.根据示例42所述的系统,其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
1176、44.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
1177、45.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
1178、46.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为在呈现于所述显示器上的第二图像模态和第一图像模态之间切换。
1179、47.根据示例46所述的系统,其中所述第一图像模态包括mri扫描。
1180、48.根据示例46至47中任一项所述的系统,其中所述第二图像模态包括超声波。
1181、49.根据示例46至48中任一项所述的系统,其中所述第一图像模态包括x射线扫描。
1182、50.根据以上任一示例所述的系统,进一步包括适于产生超声波的电子发射器。
1183、51.根据以上任一示例所述的系统,进一步包括适于将超声波转换为电信号的传感器。
1184、52.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为允许用户将所述用户的前方的环境的一部分上的虚拟基准标记放置到所述用户的眼睛。
1185、53.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将图像投射到所述显示器上,使得所述图像看起来附着到所述环境中的真实世界对象上。
1186、54.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示虚拟切割指导线,使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
1187、55.根据示例54所述的系统,其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
1188、56.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的环境的一部分中的对象的方位的数据。
1189、57.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的环境的一部分中的对象的方位。
1190、58.根据示例57所述的系统,其中所述头戴式显示器被配置为基于所述对象位置的数据库设置参考点,并将图像投射到所述用户的眼睛中,使得所述图像看起来相对于所述参考点固定。
1191、59.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而使对象的3d图像的视图绕轴旋转。
1192、60.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而平移3d对象的图像的视图。
1193、61.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示对象的3d图像的第一切片。
1194、62.根据示例61所述的系统,其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3d图像的第二切片的图像。
1195、63.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像,使得头戴式显示器的第二用户能够观看所传送的所述环境的所述一部分的所述图像。
1196、64.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
1197、65.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为监测医疗参数并基于所述医疗参数提供警报。
1198、66.根据示例65所述的系统,其中所述医疗参数包括生命体征。
1199、67.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射超声波,并测量由所述超声波产生的信号,并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
1200、68.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
1201、69.根据示例31所述的系统,其中所述检测器阵列包括被配置为对所述环境进行成像的向外看的相机。
1202、70.根据以上任一示例所述的系统,其中所述系统被配置为至少部分地基于所述环境的照明条件的时间方面而确定如何在所述用户的眼睛中呈现所述图像内容。
1203、71.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的位置,以便至少部分地基于所投射的光位置的感光细胞密度(photoreceptors)而将图像内容呈现到所述用户的视野的一部分。
1204、72.根据以上任一示例所述的系统,其中所述显示器被配置为以不同的发散量将光投射到所述用户的眼睛中,以便好像所述图像内容来自不同深度那样呈现所述图像内容。
1205、73.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
1206、74.根据示例73的系统,其中所述第一图像模态和所述第二图像模态各自包括来自mri、ct、pet、mra或cta扫描的图像。
1207、75.根据示例73或74所述的系统,其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
1208、示例集ive
1209、1.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以显示增强现实图像内容,所述用户的眼睛具有视野,所述视野具有中心区域和被设置在所述中心区域周围的外围区域,所述头戴式显示系统包括:
1210、框架,其被配置为被支撑在所述用户的头部上;
1211、显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便将图像内容呈现在所述用户的视野的所述中心区域处,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户的前方的环境的所述一部分的视图;
1212、一个或多个捕获设备,其被配置为捕获所述环境的照明条件;
1213、处理电子设备,其与所述显示器通信,以控制所述显示器上的图像内容的呈现,
1214、其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的位置,以便将至少部分地基于所述环境的照明条件而被削弱的图像内容呈现到所述用户的视野的所述中心区域的一部分。
1215、2.根据示例1所述的系统,其中在明视照明条件下,基于所投射的光位置的视锥细胞密度而削弱所述图像内容。
1216、3.根据示例2所述的系统,其中所述环境的明视照明条件具有10cd/m2至108cd/m2的发光度。
1217、4.根据示例1所述的系统,其中在暗视照明条件下,基于所投射的光位置的视杆细胞密度而削弱所述图像内容。
1218、5.如实施例4所述的系统,其中所述环境的暗视照明条件具有10-3.5cd/m2至10-6cd/m2的发光度。
1219、6.根据示例1所述的系统,其中在间视照明条件下,至少部分地基于在所述间视照明条件下度过的时间而削弱所述图像内容。
1220、7.根据示例6所述的系统,其中所述环境的间视照明条件具有10-3cd/m2至100.5cd/m2的发光度。
1221、8.根据示例6或7所述的系统,其中所述系统被配置为至少部分地基于在所述间视照明条件下度过的时间而确定是视锥细胞还是视杆细胞在所述用户的眼睛中占主导。
1222、9.根据示例6至8中任一项所述的系统,其中当所述视锥细胞在所述用户的眼睛中占主导时,基于所投射的光位置的视锥细胞密度而削弱所述图像内容。
1223、10.根据示例6至8中任一项所述的系统,其中当所述视杆细胞在所述用户的眼睛中占主导时,基于所述用户的眼睛的所投射的光位置的视杆细胞密度而削弱所述图像内容。
1224、11.根据以上任一示例所述的系统,其中所述系统包括计时器或时钟以监视在所述照明条件下度过的时间。
1225、12.根据以上任一示例所述的系统,进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
1226、13.根据以上任一示例所述的系统,其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将所述光投射到所述用户的一个或多个波导。
1227、14.根据示例13所述的系统,其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
1228、15.根据示例12至14中任一项所述的系统,其中所述光源包括光纤扫描投影仪。
1229、16.根据示例1至15中任一项所述的系统,其中所述一个或多个捕获设备包括一个或多个图像捕获设备。
1230、17.根据示例16所述的系统,其中所述一个或多个图像捕获设备包括一个或多个相机。
1231、18.根据示例1至15中任一项所述的系统,其中所述一个或多个捕获设备包括一个或多个光传感器。
1232、19.根据示例18所述的系统,其中所述一个或多个光传感器包括一个或多个照度计。
1233、20.根据以上任一示例所述的系统,其中所述一个或多个捕获设备被配置为测量所述环境的发光度。
1234、21.根据以上任一示例所述的系统,其中所述一个或多个捕获设备包括包含像素阵列的检测器阵列,其中所述检测器阵列被配置为对所述像素上的光级求积分以捕获所述照明条件。
1235、22.根据以上任一示例所述的系统,其中所述一个或多个捕获设备包括一个或多个面向内的相机,所述面向内的相机被配置为检测瞳孔大小以捕获所述照明条件。
1236、23.根据以上任一示例所述的系统,进一步包括距离测量设备。
1237、24.根据示例23所述的系统,其中所述距离测量设备包括激光测距仪。
1238、25.根据以上任一示例所述的系统,进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
1239、26.根据示例1至25中任一项所述的系统,进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
1240、27.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而减小所述图像内容的大小。
1241、28.根据示例27所述的系统,其中大小的所述减小至少部分地基于所述眼睛的分辨率。
1242、29.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而降低所述图像内容中的亮度。
1243、30.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而降低所述图像内容中的对比度。
1244、31.根据示例30所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述眼睛的对比敏感度而降低对比度。
1245、32.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而降低所述图像内容中的颜色饱和度。
1246、33.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而降低所述图像内容的锐度。
1247、34.根据示例33所述的系统,其中锐化包括至少部分地基于所述环境的照明条件而去掉对所述图像内容中的特征的边缘的加强。
1248、35.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而改变所述图像内容的颜色平衡。
1249、36.根据以上任一示例所述的系统,其中所述系统被配置为向所述用户提供警报以指示所述图像内容已被削弱。
1250、37.根据示例36所述的系统,其中所述警报是视觉警报。
1251、38.根据示例36所述的系统,其中所述警报是音频警报。
1252、39.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为构建所述用户的前方的环境的所述至少一部分的3d表示,并且解释所述环境的所述至少一部分的表示,所述环境的所述一部分包括患者,并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
1253、40.根据以上任一示例所述的系统,进一步包括被配置为监视所述环境的一个或多个传感器。
1254、41.根据示例40所述的系统,其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
1255、42.根据示例41所述的系统,其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
1256、43.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
1257、44.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
1258、45.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为在呈现于所述显示器上的第二图像模态和第一图像模态之间切换。
1259、46.根据示例45所述的系统,其中所述第一图像模态包括mri扫描。
1260、47.根据示例45至46中任一项所述的系统,其中所述第二图像模态包括超声波。
1261、48.根据示例45至47中任一项所述的系统,其中所述第一图像模态包括x射线扫描。
1262、49.根据以上任一示例所述的系统,进一步包括适于产生超声波的电子发射器。
1263、50.根据以上任一示例所述的系统,进一步包括适于将超声波转换为电信号的传感器。
1264、51.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为允许用户将所述用户的前方的所述环境的所述一部分上的虚拟基准标记放置到所述用户的眼睛。
1265、52.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将图像投射到所述显示器上,使得所述图像看起来附着到所述环境中的真实世界对象上。
1266、53.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示虚拟切割指导线,使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
1267、54.根据示例53所述的系统,其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
1268、55.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的环境的所述一部分中的对象的方位的数据。
1269、56.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的环境的所述一部分中的对象的方位。
1270、57.根据示例56所述的系统,其中所述头戴式显示器被配置为基于所述对象位置的数据库设置参考点,并将图像投射到所述用户的眼睛中,使得所述图像看起来相对于所述参考点固定。
1271、58.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而使对象的3d图像的视图绕轴旋转
1272、59.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而平移3d对象的图像的视图。
1273、60.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示对象的3d图像的第一切片。
1274、61.根据示例60所述的系统,其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3d图像的第二切片的图像。
1275、62.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像,使得头戴式显示器的第二用户能够观看所传送的所述环境的所述一部分的所述图像。
1276、63.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
1277、64.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为监测医疗参数并基于所述医疗参数提供警报。
1278、65.根据示例64所述的系统,其中所述医疗参数包括生命体征。
1279、66.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射超声波,并测量由所述超声波产生的信号,并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
1280、67.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
1281、68.根据示例21所述的系统,其中所述检测器阵列包括被配置为对所述环境进行成像的向外看的相机。
1282、69.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的一位置,以便将相对于向所述外围区域的一部分呈现的图像内容而被削弱的图像内容呈现到所述用户的视野的所述中心区域的一部分。
1283、70.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的一位置,以便将相对于向所述用户的视野的所述中心区域的一部分呈现的图像内容而被削弱的图像内容呈现到所述中心区域的另一部分。
1284、71.根据以上任一示例所述的系统,其中所述系统被配置为至少部分地基于所述环境的照明条件的时间方面而确定如何在所述用户的眼睛中呈现所述图像内容。
1285、72.根据以上任一示例所述的系统,其中所述显示器被配置为以不同的发散量将光投射到所述用户的眼睛中,以便好像所述图像内容来自不同深度那样呈现所述图像内容。
1286、73.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为至少在所呈现的图像内容的附近提供不透明度。
1287、74.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
1288、75.根据示例74的系统,其中所述第一图像模态和所述第二图像模态各自包括来自mri、ct、pet、mra或cta扫描的图像。
1289、76.根据示例74或75所述的系统,其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
1290、示例集ivf
1291、1.一种头戴式显示系统,其被配置为将光投射到用户的眼睛以显示增强现实图像内容,所述用户的眼睛具有视野,所述视野具有中心区域和被设置在所述中心区域周围的外围区域,所述头戴式显示系统包括:
1292、框架,其被配置为被支撑在所述用户的头部上;
1293、显示器,其被设置在所述框架上,所述显示器被配置为将光投射到所述用户的眼睛中,以便将图像内容呈现在所述用户的视野的所述外围区域处,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示系统时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户的前方的环境的所述一部分的视图;
1294、一个或多个捕获设备,其被配置为捕获所述环境的照明条件;
1295、处理电子设备,其与所述显示器通信,以控制所述显示器上的图像内容的呈现,
1296、其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的位置,以便将至少部分地基于所述环境的照明条件而被削弱的图像内容呈现到所述用户的视野的所述外围区域的一部分。
1297、2.根据示例1所述的系统,其中在明视照明条件下,基于所投射的光位置的视锥细胞密度而削弱所述图像内容。
1298、3.根据示例2所述的系统,其中所述环境的明视照明条件具有10cd/m2至108cd/m2的发光度。
1299、4.根据示例1所述的系统,其中在暗视照明条件下,基于所投射的光位置的视杆细胞密度而削弱所述图像内容。
1300、5.如实施例4所述的系统,其中所述环境的暗视照明条件具有10-3.5cd/m2至10-6cd/m2的发光度。
1301、6.根据示例1所述的系统,其中在间视照明条件下,至少部分地基于在所述间视照明条件下度过的时间而削弱所述图像内容。
1302、7.根据示例6所述的系统,其中所述环境的间视照明条件具有10-3cd/m2至100.5cd/m2的发光度。
1303、8.根据示例6或7所述的系统,其中所述系统被配置为至少部分地基于在所述间视照明条件下度过的时间而确定是视锥细胞还是视杆细胞在所述用户的眼睛中占主导。
1304、9.根据示例6至8中任一项所述的系统,其中当所述视锥细胞在所述用户的眼睛中占主导时,基于所投射的光位置的视锥细胞密度而削弱所述图像内容。
1305、10.根据示例6至8中任一项所述的系统,其中当所述视杆细胞在所述用户的眼睛中占主导时,基于所述用户的眼睛的所投射的光位置的视杆细胞密度而削弱所述图像内容。
1306、11.根据以上任一示例所述的系统,其中所述系统包括计时器或时钟以监视在所述照明条件下度过的时间。
1307、12.根据以上任一示例所述的系统,进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
1308、13.根据以上任一示例所述的系统,其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括被配置为将所述光投射到所述用户的一个或多个波导。
1309、14.根据示例13所述的系统,其中所述一个或多个光源被配置为将光引导到所述一个或多个波导中。
1310、15.根据示例12至14中任一项所述的系统,其中所述光源包括光纤扫描投影仪。
1311、16.根据示例1至15中任一项所述的系统,其中所述一个或多个捕获设备包括一个或多个图像捕获设备。
1312、17.根据示例16所述的系统,其中所述一个或多个图像捕获设备包括一个或多个相机。
1313、18.根据示例1至15中任一项所述的系统,其中所述一个或多个捕获设备包括一个或多个光传感器。
1314、19.根据示例18所述的系统,其中所述一个或多个光传感器包括一个或多个照度计。
1315、20.根据以上任一示例所述的系统,其中所述一个或多个捕获设备被配置为测量所述环境的发光度。
1316、21.根据以上任一示例所述的系统,其中所述一个或多个捕获设备包括包含像素阵列的检测器阵列,其中所述检测器阵列被配置为对所述像素上的光级求积分以捕获所述照明条件。
1317、22.根据以上任一示例所述的系统,其中所述一个或多个捕获设备包括一个或多个面向内的相机,所述面向内的相机被配置为检测瞳孔大小以捕获所述照明条件。
1318、23.根据以上任一示例所述的系统,进一步包括距离测量设备。
1319、24.根据示例23所述的系统,其中所述距离测量设备包括激光测距仪。
1320、25.根据以上任一示例所述的系统,进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
1321、26.根据示例1至25中任一项所述的系统,进一步包括被配置为对所述用户的眼睛进行成像的一个或多个面向内的图像捕获设备。
1322、27.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而减小所述图像内容的大小。
1323、28.根据示例27所述的系统,其中大小的所述减小至少部分地基于所述眼睛的分辨率。
1324、29.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而降低所述图像内容中的亮度。
1325、30.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而降低所述图像内容中的对比度。
1326、31.根据示例30所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述眼睛的对比敏感度而降低对比度。
1327、32.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而降低所述图像内容中的颜色饱和度。
1328、33.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而降低所述图像内容的锐度。
1329、34.根据示例33所述的系统,其中锐化包括至少部分地基于所述环境的照明条件而去掉对所述图像内容中的特征的边缘的加强。
1330、35.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为至少部分地基于所述环境的照明条件而改变所述图像内容的颜色平衡。
1331、36.根据以上任一示例所述的系统,其中所述系统被配置为向所述用户提供警报以指示所述图像内容已被削弱。
1332、37.根据示例36所述的系统,其中所述警报是视觉警报。
1333、38.根据示例36所述的系统,其中所述警报是音频警报。
1334、39.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为构建所述用户的前方的环境的所述至少一部分的3d表示,并且解释所述环境的所述至少一部分的表示,所述环境的所述一部分包括患者,并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
1335、40.根据以上任一示例所述的系统,进一步包括被配置为监视所述环境的一个或多个传感器。
1336、41.根据示例40所述的系统,其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
1337、42.根据示例41所述的系统,其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
1338、43.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
1339、44.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
1340、45.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为在呈现于所述显示器上的第二图像模态和第一图像模态之间切换。
1341、46.根据示例45所述的系统,其中所述第一图像模态包括mri扫描。
1342、47.根据示例45至46中任一项所述的系统,其中所述第二图像模态包括超声波。
1343、48.根据示例45至47中任一项所述的系统,其中所述第一图像模态包括x射线扫描。
1344、49.根据以上任一示例所述的系统,进一步包括适于产生超声波的电子发射器。
1345、50.根据以上任一示例所述的系统,进一步包括适于将超声波转换为电信号的传感器。
1346、51.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为允许用户将所述用户的前方的所述环境的所述一部分上的虚拟基准标记放置到所述用户的眼睛。
1347、52.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将图像投射到所述显示器上,使得所述图像看起来附着到所述环境中的真实世界对象上。
1348、53.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示虚拟切割指导线,使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
1349、54.根据示例53所述的系统,其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
1350、55.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的环境的所述一部分中的对象的方位的数据。
1351、56.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的环境的所述一部分中的对象的方位。
1352、57.根据示例56所述的系统,其中所述头戴式显示器被配置为基于所述对象位置的数据库设置参考点,并将图像投射到所述用户的眼睛中,使得所述图像看起来相对于所述参考点固定。
1353、58.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而使对象的3d图像的视图绕轴旋转
1354、59.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而平移3d对象的图像的视图。
1355、60.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示对象的3d图像的第一切片。
1356、61.根据示例60所述的系统,其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3d图像的第二切片的图像。
1357、62.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像,使得头戴式显示器的第二用户能够观看所传送的所述环境的所述一部分的所述图像。
1358、63.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
1359、64.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为监测医疗参数并基于所述医疗参数提供警报。
1360、65.根据示例64所述的系统,其中所述医疗参数包括生命体征。
1361、66.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射超声波,并测量由所述超声波产生的信号,并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
1362、67.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
1363、68.根据示例21所述的系统,其中所述检测器阵列包括被配置为对所述环境进行成像的向外看的相机。
1364、69.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的一位置,以便将相对于向所述中心区域的一部分呈现的图像内容而被削弱的图像内容呈现到所述用户的视野的所述外围区域的一部分。
1365、70.根据以上任一示例所述的系统,其中所述头戴式显示系统被配置为将光投射到所述用户的眼睛的一位置,以便将相对于向所述用户的视野的所述外围区域的一部分呈现的图像内容而被削弱的图像内容呈现到所述外围区域的另一部分。
1366、71.根据以上任一示例所述的系统,其中所述系统被配置为至少部分地基于所述环境的照明条件的时间方面而确定如何在所述用户的眼睛中呈现所述图像内容。
1367、72.根据以上任一示例所述的系统,其中所述显示器被配置为以不同的发散量将光投射到所述用户的眼睛中,以便好像所述图像内容来自不同深度那样呈现所述图像内容。
1368、73.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为至少在所呈现的图像内容的附近提供不透明度。
1369、74.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
1370、75.根据示例74的系统,其中所述第一图像模态和所述第二图像模态各自包括来自mri、ct、pet、mra或cta扫描的图像。
1371、76.根据示例74或75所述的系统,其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。
1372、示例集v
1373、1.一种用于医疗和/或诊断的头戴式显示系统,其被配置为将光投射到用户的眼睛以显示增强现实图像内容,所述用户的眼睛具有视野,所述视野具有中心区域和被设置在所述中心区域周围的外围区域,所述头戴式显示器包括:
1374、框架,其被配置为被支撑在所述用户的头部上;
1375、显示器,其被设置在所述框架上,所述显示器被配置为在多个深度平面上将光投射到所述用户的眼睛中,所述显示器的至少一部分是透明的并且在所述用户穿戴着所述头戴式显示器时被设置在所述用户的眼睛前方的位置处,使得所述透明部分将来自所述用户的前方的环境的一部分的光透射到所述用户的眼睛,以提供所述用户的前方的所述环境的所述一部分的视图;以及
1376、处理电子设备,其与所述显示器通信,以控制所述显示器上的图像内容的呈现。
1377、2.根据示例1所述的系统,其中所述头戴式显示系统被配置为构建所述用户的前方的所述环境的所述至少一部分的3d表示,并且解释所述环境的所述至少一部分的表示,所述环境的所述一部分包括患者,并且所述头戴式显示器进一步被配置为区分与所述患者相关联的第一结构和与所述患者相关联的第二结构。
1378、3.根据以上任一示例所述的系统,其中是透明的并且被设置在所述用户的眼睛前方的位置处的所述显示器的所述至少一部分包括一个或多个波导。
1379、4.根据示例3所述的系统,包括被配置为将光引导到所述一个或多个波导中的一个或多个光源,所述波导被配置为将光引导到所述用户的眼睛中。
1380、5.根据示例3至4中任一项所述的系统,其中所述一个或多个光源包括光纤扫描投影仪。
1381、6.根据以上任一示例所述的系统,进一步包括被配置为监视所述环境的一个或多个传感器。
1382、7.根据示例6所述的系统,其中所述一个或多个传感器包括被配置为对所述环境进行成像的一个或多个面向外的图像捕获设备。
1383、8.根据示例7所述的系统,其中被配置为对所述环境进行成像的所述一个或多个面向外的图像捕获设备包括一个或多个面向外的相机。
1384、9.根据以上任一示例所述的系统,进一步包括距离测量设备。
1385、10.根据以上任一示例所述的系统,进一步包括被配置为跟踪所述用户的眼睛的方位和/或运动的眼睛跟踪设备。
1386、11.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为估计所述用户的视野内的人体组织的体积。
1387、12.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为测量所述环境中的两个对象之间的距离。
1388、13.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为在呈现于所述显示器上的第二图像模态和第一图像模态之间切换。
1389、14.根据示例13所述的系统,其中所述第一图像模态包括mri扫描。
1390、15.根据示例13至14中任一项所述的系统,其中所述第二图像模态包括超声波。
1391、16.根据示例13至15中任一项所述的系统,其中所述第一图像模态包括x射线扫描。
1392、17.根据以上任一示例所述的系统,进一步包括适于产生超声波的电子发射器。
1393、18.根据以上任一示例所述的系统,进一步包括适于将超声波转换为电信号的传感器。
1394、19.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为允许用户将所述用户的前方的环境的所述一部分上的虚拟基准标记放置到所述用户的眼睛。
1395、20.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将图像投射到所述显示器上,使得所述图像看起来附着到所述环境中的真实世界对象上。
1396、21.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示虚拟切割指导线,使得所述虚拟切割指导线在用户看来覆盖在待切割的人体区域上或者允许访问待切割部位。
1397、22.根据示例21所述的系统,其中所述虚拟切割指导线的表观位置看起来与患者身体部位的方位有关。
1398、23.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射信号以获得关于所述用户的前方的所述环境的所述一部分中的对象的方位的数据。
1399、24.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为使用对象位置的数据库来获得所述用户的前方的环境的所述一部分中的对象的方位。
1400、25.根据示例24所述的系统,其中所述头戴式显示器被配置为基于所述对象位置的数据库设置参考点,并将图像投射到所述用户的眼睛中,使得所述图像看起来相对于所述参考点固定。
1401、26.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而使对象的3d图像的视图绕轴旋转。
1402、27.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为基于用户输入而平移3d对象的图像的视图。
1403、28.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为显示对象的3d图像的第一切片。
1404、29.根据示例28所述的系统,其中所述头戴式显示器被配置为顺序通过所述第一切片的图像和所述3d图像的第二切片的图像。
1405、30.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为传送所述用户的前方的所述环境的一部分的图像,使得头戴式显示器的第二用户能够观看所传送的所述环境的所述一部分的所述图像。
1406、31.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向用户警告医疗过程中的步骤。
1407、32.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为监测用户的医疗参数并基于所述医疗参数提供警报。
1408、33.根据示例32所述的系统,其中所述用户的医疗参数包括生命体征。
1409、34.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为发射超声波,并测量由所述超声波产生的信号,并且其中所述头戴式显示器进一步被配置为基于所述信号形成超声图像。
1410、35.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为向所述用户警告在所述用户的视野之外的对象和/或事件。
1411、36.根据以上任一示例所述的系统,进一步包括被配置为将光引导到所述用户的眼睛中以在所述眼睛中形成图像的一个或多个光源。
1412、37.根据以上任一示例所述的系统,其中所述一个或多个光源包括光纤扫描投影仪。
1413、38.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为朝向所述患者发射能量并感测返回的能量。
1414、39.根据示例38所述的系统,其中所述能量包括超声波。
1415、40.根据以上任一示例所述的系统,其中所述头戴式显示器被配置为将第一图像模态与不同于所述第一图像模态的第二图像模态进行组合。
1416、41.根据示例40的系统,其中所述第一图像模态和所述第二图像模态各自包括来自mri、ct、pet、mra或cta扫描的图像。
1417、42.根据示例40或41所述的系统,其中所述头戴式显示器被配置为在所述患者的实际解剖结构之上对准所述第一图像模态和所述第二图像模态的组合图像。