使用混合现实与显示系统交互的系统和方法与流程

1.本公开涉及用于与显示系统交互的系统和方法。


背景技术：

2.桌面模型，诸如运输操作系统(tos)的模型，允许用户探索模型的特征和对象。然而，例如在对象在用户的物理触及范围之外的情况下，与桌面模型的交互可能是困难的。此外，使用桌面模型从远程位置进行协作将是有益的。


技术实现要素：

3.参考图1，显示系统100包括：一个或多个本地查看和/或交互系统，其包括桌面模型102和竖直显示器104；用于查看三维数字模型106和/或与三维数字模型106交互的一个或多个装置，包括移动装置108；以及用于跨查看系统和装置协调信息显示的一个或多个计算机系统，包括系统计算机110。桌面模型102、竖直显示器104、移动装置108和系统计算机110可以通过网络112彼此通信。
4.系统计算机110在桌面模型102的水平显示器140(例如，桌面显示器)上和/或在竖直显示器104上显示二维数字地图136。桌面模型102包括水平显示器140和三维物理模型142。三维物理模型142将二维数字地图136覆盖在水平显示器140上。
5.三维物理模型142包括三维物理对象144。三维物理对象144是三维数字对象138的物理模型。三维物理模型144与水平显示器140的二维数字对象134对准。
6.用于与三维数字模型106交互的装置可以在远离桌面模型102的位置的位置处使用。移动装置108被配置为至少查看三维数字模型106。另外，移动装置108和头戴式耳机114可以被配置为经由三维数字模型106选择对象。
7.移动装置108包括触摸屏显示器150和相机152。相机152被配置为捕获远程位置处的表面156的相机图像154(例如，图像数据)并且呈现三维数字模型106的模型图像158。模型图像158位于触摸屏显示器150上以覆盖相机图像154，并且从而使三维数字模型106看起来像在表面156上。
8.显示系统100被配置为从移动装置108、从头戴式耳机114、从桌面模型102和/或从竖直显示器104接收对对象的选择。为了用移动装置108选择对象，可以在模型图像158上的对应于三维数字对象138的触摸点160处触摸移动装置108的触摸屏显示器150。为了用竖直显示器104(例如，触摸屏显示器)选择对象，可以在二维数字对象134的区域内的触摸点162处触摸竖直显示器104。为了用头戴式耳机114选择对象，可以使用注视或手势跟踪特征。
9.在从远程装置(例如，移动装置108)或本地装置(例如，竖直显示器104)接收到对对象的选择时，显示系统100被配置为使对三维数字模型106和桌面模型102的改变同步以反映对对象的选择。例如，显示系统100在桌面模型102上、在竖直显示器104上和在三维数字模型106上突出显示选择的对象。另外，显示系统100可以访问对象数据228并且在竖直显示器104和移动装置108上显示对象数据228。
10.以这种方式，本地装置和远程装置例如在会话期间由系统计算机110同步。远程位置中的用户可以与正在查看桌面模型102和竖直显示器104并且与其交互的用户一起查看三维数字模型106并且与其进行交互。一个位置的交互被另一个位置的用户看到。
附图说明
11.参考附图阐述具体实施方式。使用相同的附图标记可指示类似或相同的项。各种实施例可利用除了附图中示出的那些之外的元件和/或部件，并且一些元件和/或部件可能不存在于各种实施例中。附图中的元件和/或部件不一定按比例绘制。在整个本公开中，根据上下文，单数和复数术语能够可互换地使用。
12.图1描绘了根据本公开的包括桌面模型和移动装置的显示系统。
13.图2描绘了根据本公开的射线与三维数字模型的对象的交点。
14.图3描绘了根据本公开的使用桌面模型进行协作的方法。
具体实施方式
15.参考图1，显示系统100包括：一个或多个本地查看和/或交互系统，其包括桌面模型102和竖直显示器104；用于查看三维数字模型106和/或与所述三维数字模型106交互的一个或多个装置，包括移动装置108和头戴式耳机114；以及用于跨查看系统和装置协调信息显示的一个或多个计算机系统，包括系统计算机110。
16.本文公开的功能可以由桌面模型102、竖直显示器104和移动装置108在内部执行；和/或可以由系统计算机110在外部执行。通常，显示系统100的功能可以在显示系统100的元件之间集中或分散。
17.桌面模型102、竖直显示器104、移动装置108和系统计算机110可以通过网络112彼此通信。网络112可包括诸如有线网络、互联网、无线网络和其他专用和/或公共网络等多种不同类型的网络中的任一者或其组合。在一些情况下，网络112可包括蜂窝网络、wi-fi或wi-fi直连。
18.计算机110包括存储器220和处理器222。存储器220存储由处理器222执行以执行本文公开的方法的各方面的指令。当提及由导航系统110执行的操作时，将理解，这可以包括由处理器222执行指令。
19.桌面模型102、竖直显示器104和移动装置108中的每一个可以类似地包括用于执行本文描述的方法的指令的存储器和处理器。出于说明的目的，所述方法可以被描述为由系统计算机110执行。
20.存储器220包括地理空间数据224。地理空间数据224包括特征数据，诸如事件数据226和对象数据228。例如，事件数据226可以包括交通信息、环境信息(例如，来自气象站)、时间信息(例如，事件发生的时间段)等。
21.对象数据228包括与对象相关联的数据，诸如对象位置230、对象属性信息232、二维数字地图136的二维数字对象134和三维数字模型106的三维数字对象138。对象可以包括道路、建筑物、地区、社区、水体、公园、车辆、行人、公共交通系统等。出于说明的目的，下面将进一步详细讨论建筑物作为示例性对象。
22.对象位置230可以是水平显示器140的坐标系上的x、y、z坐标。属性信息232(例如，
对象的特性)可以包括与对象相关联的描述、统计、图形和其他信息。
23.二维数字对象134可以是覆盖区、图形表示或二维数字多边形横截面区域。二维数字对象134可以限定连接的街道的区域或建筑物的覆盖区。
24.系统计算机110被配置为编译和格式化地理空间数据224以生成地理区域的二维数字地图136的图像(例如，规划器表示)。二维数字地图136可以显示表示交通系统、基础设施和土地使用的特性和性能的城市地图的各个层。对象的二维数字对象134位于二维数字地图136上的相关联的对象位置230处。
25.系统计算机110在桌面模型102的水平显示器140(例如，桌面显示器)上和/或在竖直显示器104上显示二维数字地图136。水平显示器140可以是用于运输操作系统(tos)模型中的发光二极管(led)桌面显示器。例如，水平显示器140可以提供城市街道或地理区域的地图。
26.可以控制水平显示器140以更改二维数字对象134的色相、强度、颜色、亮度和/或其他类似属性。例如，在选择对象之后，系统计算机110可以改变相关联的二维数字对象134的图案、颜色、亮度、强度、色调或色相以突出显示对象。
27.桌面模型102包括水平显示器140和三维物理模型142。三维物理模型142将二维数字地图136覆盖在水平显示器140上。三维物理模型142包括三维物理对象144。三维物理对象144是三维数字对象138的物理模型。
28.三维物理模型144与水平显示器140的二维数字对象134对准。选择二维数字地图136的比例尺和三维物理模型142的比例尺，并且将三维物理模型142定位在二维数字地图136上，使得三维物理模型对象144具有对应的二维数字对象134的对象位置230(例如，彼此竖直对准)。三维物理对象144覆盖对应的二维数字对象134。
29.三维物理模型142可以用半透明材料，诸如聚合物或玻璃进行打印或制造。当二维数字对象134被突出显示时，来自二维数字对象134的光透射通过对准的三维物理对象144以照亮和突出显示三维物理对象144。
30.为了用竖直显示器104(例如，触摸屏显示器)选择对象，可以在二维数字对象134的区域内的触摸点162处触摸竖直显示器104。
31.用于与三维数字模型106交互的装置可以在远离桌面模型102的位置的位置处使用。移动装置108被配置为查看三维数字模型106并与其交互，并且从而虚拟地查看桌面模型102并与其虚拟地交互。
32.移动装置108包括触摸屏显示器150和相机152。相机152被配置为捕获远程位置处的表面156的相机图像154(例如，图像数据)并且呈现三维数字模型106的模型图像158。模型图像158位于触摸屏显示器150上以覆盖表面156的相机图像154，并且从而使三维数字模型106看起来像在表面156上。
33.三维数字模型106可以是三维物理模型142的三维数字表示。例如，三维数字模型106是从三维物理模型142的扫描件生成的，或者是城市或地理区域的计算机辅助设计(cad)模型。
34.三维数字模型106包括三维数字对象138。每一个可以至少包括对象的基本尺寸(例如，矩形棱柱可以对建筑物进行建模)。然而，也可以使用更复杂的三维模型。三维数字对象138可以是三维物理对象144的三维数字表示。
35.三维数字模型106的位置、比例和旋转可以根据理论或虚拟相机的给定位置和取向来确定。移动装置108可以通过对准虚拟相机的姿态与相机152的姿态来按比例、位置和视角渲染三维数字模型106的模型图像158以覆盖相机图像154。
36.可以使用标记来确定三维数字模型106的比例、位置和视角。例如，可以预先在标记(例如，具有已知几何形状的图像)上训练移动装置108，使得当在相机图像154中识别出标记时，可以根据已知的几何形状确定标记的位置、比例和旋转。然后，可以基于标记的位置、比例和旋转来定位、缩放和旋转三维数字模型106以呈现模型图像158。
37.另外或替代地，移动装置108可以处理相机图像154以确定兴趣点(例如，在不同相机姿态下的表面156上)或光流。可以使用图像处理方法，诸如拐角检测或边缘检测来确定兴趣点或特征。特征点可以与来自移动装置108的惯性测量系统的传感器信息组合以定位、缩放和旋转三维数字模型106。
38.惯性测量单元(imu)可以包括测量力、角速率、取向、方向等的一个或多个传感器。传感器可以包括例如，加速度计、陀螺仪和磁力计。
39.同时定位和建图(slam)方法可以用于特征点的相对位置。运动方法可以用于光流。
40.移动装置108将三维数字模型106的模型图像158覆盖在从相机152获得的表面156的相机图像154上，使得其出现在触摸屏172上，就好像三维数字模型106在表面156上一样。
41.可以使模型图像158至少部分透明或半透明，使得表面156的相机图像154通过模型图像158的至少部分而至少部分可见。模型图像158的至少一些部分可以具有亮度、强度、颜色、色调或色相(例如，模型图像158的对应于已经被选择或可以被选择用于提供附加信息的三维数字对象138或其他特征的部分)。
42.一旦三维数字模型106的模型图像158被定位成覆盖从相机152获得的表面156的相机图像154，移动装置108就可以用于选择三维数字模型106的对象。为了选择对象，可以在模型图像158上的对应于三维数字对象138的触摸点160处触摸移动装置的触摸屏显示器150。
43.三维数字模型106包括多边形(例如，多边形网格)。一个或多个多边形限定三维数字对象138的表面并且与对象相关联。例如，参考图2，三维数字对象138由三角形300、302限定。
44.射线310由触摸点160和相机152的取向限定。触摸点160限定射线310的原点312。射线310的方向基于相机152的取向。
45.移动装置108例如使用射线-多边形模型相交方法来识别射线310与三维数字模型106的三角形300、302之间的交点320、322。
46.作为示例，三角形300具有三个顶点330、332、334。为了获得射线310与三角形300的交点320，移动装置108首先确定射线310与三角形200所在的平面的交点320。
47.交点320可以在数学上被定义为p＝o+td，其中p是交点320，o是射线310的原点312，t是从原点312到交点320的距离，并且d是射线310的方向。这里，可以通过求解射线310与三角形300的平面相交处的距离t来确定点p。
48.一旦确定了针对平面的交点320，移动装置108就可以确定交点320是否在三角形300中。例如，可以使用参数平面方程。
49.如果顶点330、332、334被标记为a、b和c，则平面上的任何点p可由a+β(b-a)+γ(c-a)给出，其中β是从点a到点b的向量的乘数，并且γ是从点a到点c的向量的乘数。如果存在p＝a+β(b-a)+γ(c-a)的解，其中0≤β、0≤γ并且β+γ≤1，则点p在三角形300中。
50.交点320和确定交点320是否在三角形300中的乘数也可以使用矩阵形式的一组三个线性方程来同时求解。
51.如果有一个以上的具有交点320、322的三角形300、302，则选择具有最接近射线310的原点312(例如，最小距离t)的交点320的三角形300。包括选定三角形300的三维数字对象138是选定的三维数字对象138。
52.显示系统100被配置为从移动装置108、桌面模型102和/或竖直显示器104接收对对象的选择。参考图3，描述了由显示系统100执行的示例性方法400。
53.根据第一步骤410，用户发起会话。例如，可以经由桌面模型102或竖直显示器104发起会话。
54.根据第二步骤420，系统计算机110生成会话标识符并且将会话标识符发送给可以在竖直显示器104上或在远程装置诸如移动装置108(或另一个混合现实装置，诸如头戴式耳机)上加入的用户。例如，可以使用用户名和密码来认证用户以加入会话。在加入会话时，三维数字模型106被加载到移动装置108或其他混合现实装置上。
55.根据第三步骤430，系统计算机110从远程装置(例如，移动装置108)或本地装置(例如，竖直显示器104)接收对对象的选择。
56.根据第四步骤440，系统计算机110被配置为使对三维数字模型106和桌面模型102的改变同步以反映对对象的选择。例如，显示系统100在桌面模型102上、在竖直显示器104上和在三维数字模型106上突出显示选择的对象。
57.为了在三维数字模型106上突出显示对象，用亮度、强度、颜色、色调、色相和/或其他视觉属性突出显示相关联的三维数字对象138。类似地，为了在桌面模型102和竖直显示器104上突出显示对象，用亮度、强度、颜色、色调、色相和/或其他视觉属性突出显示相关联的二维数字对象134。对于桌面模型102而言，由于可以用半透明材料，诸如聚合物或玻璃来打印或制造三维物理模型142，当二维数字对象134被突出显示时，来自二维数字对象134的光透射通过对准的三维物理对象144以照亮和突出显示三维物理对象144。
58.另外，显示系统100可以访问对象数据228并且在竖直显示器104和移动装置108上显示对象数据228。
59.根据方法400，本地装置和远程装置例如在会话期间由系统计算机110同步。远程位置中的用户可以与正在查看桌面模型102和竖直显示器104并且与其交互的用户一起查看三维数字模型并且与其进行交互。一个位置的交互被另一个位置的用户看到。
60.在以上公开中，已经参考了形成以上公开的一部分的附图，附图示出了可实践本公开的具体实现方式。应理解，在不脱离本公开的范围的情况下，可以利用其他实现方式，并且可以进行结构改变。说明书中对于“一个实施例”、“一种实施例”、“示例性实施例”等的引用指示描述的实施例可以包括特定特征、结构或特性，但是每个实施例可能不一定都包括所述特定特征、结构或特性。另外，此类短语不一定是指同一实施例。另外，当结合实施例描述特定特征、结构或特性时，无论是否明确地描述，本领域技术人员都将认识到结合其他实施例的此类特征、结构或特性。
61.本文公开的系统、设备、装置和方法的实现方式可包括或利用专用或通用计算机，所述专用或通用计算机包括计算机硬件，例如像如本文所讨论的一个或多个处理器和系统存储器。在本公开的范围内的实现方式还可包括用于携载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。此类计算机可读介质可为可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。携载计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实现方式可包括至少两种截然不同的计算机可读介质：计算机存储介质(装置)和传输介质。
62.计算机存储介质(装置)包括ram、rom、eeprom、cd-rom、固态驱动器(ssd)(例如，基于ram)、快闪存储器、相变存储器(pcm)、其他类型的存储器、其他光盘存储装置、磁盘存储装置或其他磁性存储装置或可用于存储呈计算机可执行指令或数据结构形式的期望程序代码装置并且可由通用或专用计算机访问的任何其他介质。
63.本文公开的装置、系统和方法的实施方式可以通过计算机网络进行通信。“网络”被定义为使得能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当通过网络或另一种通信连接(硬连线、无线或者硬连线或无线的任何组合)向计算机传递或提供信息时，所述计算机适当地将连接视为传输介质。传输介质可包括网络和/或数据链路，所述网络和/或数据链路可用于携载呈计算机可执行指令或数据结构的形式的期望的程序代码手段并且可由通用或专用计算机访问。上述的组合也应包括在计算机可读介质的范围内。
64.计算机可执行指令包括例如在处理器处执行时致使通用计算机、专用计算机或专用处理装置执行某个功能或某组功能的指令和数据。计算机可执行指令可以是例如二进制代码、中间格式指令(诸如汇编语言)或甚至源代码。尽管已经用特定于结构特征和/或方法动作的语言描述了本主题，但是应理解，在所附权利要求中限定的主题不必限于上面描述的所述特征或动作。而是，所描述的特征和动作被公开作为实施权利要求的示例形式。
65.本领域技术人员将了解，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实践，所述计算机系统配置包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式装置、多处理器系统、基于微处理器的或可编程的消费电子产品、网络pc、小型计算机、大型计算机、移动电话、pda、平板电脑、寻呼机、路由器、交换机、各种存储装置等。本公开还可以在分布式系统环境中实践，其中通过网络链接(通过硬连线数据链路、无线数据链路或通过硬连线数据链路与无线数据链路的任何组合)的本地和远程计算机系统两者都执行任务。在分布式系统环境中，程序模块可位于本地和远程存储器存储装置两者中。
66.此外，在适当的情况下，本文中描述的功能可在以下一者或多者中执行：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(asic)可被编程为执行本文中描述的系统和程序中的一个或多个。贯穿说明书和权利要求使用某些术语来指代特定系统部件。如本领域技术人员将理解，部件可以通过不同的名称来指代。本文件不意图区分名称不同但功能相同的部件。
67.应注意，上文所讨论的传感器实施例可包括计算机硬件、软件、固件或它们的任何组合以执行它们的功能的至少一部分。例如，传感器可以包括被配置为在一个或多个处理
器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例性装置在本文中出于说明目的而提供，而不意图进行限制。如相关领域的技术人员所知晓，本公开的实施例可以在其他类型的装置中实施。
68.本公开的至少一些实施例已经涉及计算机程序产品，所述计算机程序产品包括(例如，以软件的形式)存储在任何计算机可用介质上的这种逻辑。这种软件当在一个或多个数据处理装置中被执行时致使装置如本文所描述那样进行操作。
69.尽管上文已描述了本公开的各种实施例，但应理解，仅通过示例而非限制的方式呈现这些实施例。相关领域技术人员将明白，在不脱离本公开的精神和范围的情况下可作出形式和细节上的各种变化。因此，本公开的广度和范围不应受以上描述的示例性实施例中的任一者的限制，而应仅根据以下权利要求及其等效物来限定。已经出于说明和描述的目的而呈现了前述描述。前述描述并不意图是详尽的或将本公开限制于所公开的精确形式。鉴于以上教导，许多修改和变化是可能的。此外，应注意，前述可选实现方式中的任一者或全部可按任何所期望的组合使用，以形成本公开的附加混合实现方式。例如，相对于特定装置或部件描述的功能中的任一者可以由另一个装置或部件执行。另外，尽管已经描述了具体装置特性，但本公开的实施例可能涉及许多其他装置特性。另外，尽管已用特定于结构特征和/或方法动作的语言描述了实施例，但是应理解，本公开不一定受限于所描述的特定特征或动作。相反，将具体特征和动作公开为实现实施例的说明性形式。除非另有特别说明或在使用时在上下文内以其他方式理解，否则诸如尤其是“能够”、“可能”、“可以”或“可”的条件语言通常意图表达某些实施例可能包括某些特征、元件和/或步骤，而其他实施例可不包括某些特征、元件和/或步骤。因此，此类条件语言通常并不意图暗示一个或多个实施例无论如何都需要各特征、元件和/或步骤。
70.根据本发明，一种方法包括：从显示系统的装置接收对对象的选择；以及使对桌面模型和三维数字模型的改变同步，其中每个改变反映了对所述对象的所述选择；其中所述桌面模型包括：水平显示器，所述水平显示器被配置为显示二维数字地图，其中所述二维数字地图包括二维数字对象；和三维物理模型，所述三维物理模型被配置为覆盖所述二维数字地图，其中所述三维物理模型包括三维物理对象，其中所述三维物理对象覆盖所述二维数字对象，其中所述三维物理模型是透明的或半透明的；以及其中所述三维数字模型被加载在包括相机的移动装置上，其中所述移动装置被配置为生成相机图像并且用所述三维数字模型的模型图像覆盖所述相机图像，其中所述三维数字模型是所述三维物理模型的数字表示，其中所述三维物理模型包括三维数字对象。
71.在本发明的一个方面，对所述桌面模型的所述改变包括对所述二维数字对象的改变，并且对所述三维数字模型的所述改变包括对所述三维数字对象的改变。
72.在本发明的一个方面，从所述显示系统的装置接收对对象的选择包括从所述移动装置接收对三维数字对象的选择。
73.在本发明的一个方面，改变包括亮度、强度、颜色、色调或色相的变化中的至少一个。
74.在本发明的一个方面，所述方法包括响应于加入会话，将所述三维数字模型加载到所述移动装置上。