一种增强现实的协同方法、系统及应用与流程

1.本发明涉及增强现实领域，特别涉及一种增强现实的协同方法、系统及应用。


背景技术：

2.增强现实是一种：实时地计算摄影机影像的位置及角度并加上相应图像的技术；这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动；通过该技术能够将真实世界信息和虚拟世界信息“无缝”集成，把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验，尤其在教学和医用领域具有较为广阔的应用前景。现有的医生之间讨论患者病情或术前讨论的场景，都是医生通过影像片或者医生使用pacs的阅片功能进行语言交流；这种方法的缺点是：影像资料都是二维的，对于年轻医生不友好，需要长期诊断、阅片经验才能快速识别；同时，现有的增强现实的实现手段中，传输模型方案均通过usb数据线等硬件方式，将模型传输到眼镜中观看，无法满足多个眼镜同时处于同一场景，协同办公。


技术实现要素：

3.为了克服现有技术的不足，本发明提供了一种增强现实的协同方法、系统及应用，用于解决前述技术问题中的至少一个。
4.具体地，其技术方案如下：
5.一种增强现实的协同方法，包括：
6.将至少2个增强现实装置与pc端进行连接，以实现数据互通；
7.在所述增强现实装置中，选择其中至少1个增强现实装置作为主控单元，其他增强现实装置作为协同单元；
8.将所述主控单元在待观测三维模型上的操作数据发送至所述pc端，使所述协同单元能够接收所述主动单元的操作数据。
9.所述“将至少2个增强现实装置与pc端进行连接”，包括：
10.在所述pc端内构建待观测三维模型；
11.利用所述增强现实装置向所述pc端发送连接请求，并将所有在线的所述增强现实装置形成硬件列表；
12.将所述待观测三维模型通过所述pc端发送至所有所述增强现实装置内。
13.所述“利用所述增强现实装置向所述pc端发送连接请求，并将所有在线的所述增强现实装置形成硬件列表”，包括：
14.通过所述增强现实装置周期向所述pc端发送连接请求；
15.所述pc端通过发送所述连接请求的次数判断所述增强现实装置的网络情况；
16.加载发送所述连接求情的次数超过设定阈值的所述增强现实装置至所述pc端，形成所述硬件列表。
17.所述“在所述增强现实装置中，选择其中至少1个增强现实装置作为主控单元”，包括：
18.通过至少1个所述增强现实装置向所述pc端发送主控请求；
19.所述pc端接收所述主控请求后，对发送所述主控请求的所述增强现实装置进行优先级评定；
20.将优先级较高的所述增强现实装置和优先级较低的所述增强现实装置均设置为主控单元；
21.所述pc端以优先级较高的所述增强现实装置发出的操作数据为准，将所有主控单元的数据进行整合，形成所述操作数据；
22.将按照所述操作数据形成的三维模型下载到所述pc端，并共享给所述协同单元。
23.所述“对发送所述主控请求的所述增强现实装置进行优先级评定”，包括：
24.将发送所述主控请求的所述增强现实装置的名称进行统计，形成赋权列表；
25.将所述赋权列表发送至所述pc端内，与预先设定的优先级表格进行对比，对所述增强现实装置进行优先级评定。
26.所述“对发送所述主控请求的所述增强现实装置进行优先级评定”，包括：
27.将发送所述主控请求的所述增强现实装置的名称进行统计，形成赋权列表；
28.所述增强现实装置的操作者在所述pc端或者所述增强现实装置上进行实时选择，形成所述增强现实装置的优先级。
29.所述“pc端以优先级较高的所述增强现实装置发出的操作数据为准，将所有主控单元的数据进行整合”，包括：
30.利用所述主控单元在所述待观测三维模型上进行操作动作；
31.所述pc端存储所述操作动作形成的动作数据，并将所述操作数据按照优先级的不同进行分别存储；
32.依据场景的不同，将所述待观测三维模型上进行优先级较高的所述增强现实装置的操作动作而形成的三维模型发送至所述协同单元；或者，
33.将所述待观测三维模型上进行优先级较低的所述增强现实装置的操作动作而形成的三维模型发送至所述协同单元；或者，
34.将所述主控单元的操作动作数据以时间为准，进行排序后，将进行操作动作的三维模型发送至所述协同单元。
35.一种增强现实的协同系统，包括：
36.pc端；
37.至少2个增强现实装置，与所述pc端进行数据交互，用于通过所述pc端在所述增强现实装置中选择其中至少1个增强现实装置作为主控单元，其他增强现实装置作为协同单元；
38.所述pc端与所述主控单元进行数据交互，用于将所述pc端内设置的待观测三维模型，分享给所述协同单元；或者，
39.所述pc端与所述主控单元进行数据交互，用于利用所述pc端保存所述主控单元对所述pc端内设置的待观测三维模型的操作数据，并将所述操作数据在所述增强现实装置上还原为三位模型分享给所述协同单元。
40.所述pc端，包括：
41.存储介质，用于存储计算机程序；
42.处理单元，与所述存储介质进行数据交换，用于在进行增强现实的协同时，通过所述处理单元执行所述计算机程序，进行如权利要求1～7中任一权利要求所述的协同方法的步骤。
43.一种如上所述的增强现实的协同方法在医学手术讨论场景以及教学场景方向上的应用。
44.本发明至少具有以下有益效果：
45.本发明所述的增强现实的协同方法，通过将至少2个增强现实装置与pc端进行连接，并选择其中至少1个增强现实装置作为主控单元，其他增强现实装置作为协同单元，将多个增强现实装置形成一个协同整体；利用主控单元在待观测三维模型进行操作，形成的操作数据发送至所述pc端，最后使协同单元能够接收所述主动单元的操作数据，能够使协同单元能够观看主控单元的操作过程，使多个参与者能同时开展对模型的阅览、讨论。
46.本发明所述的增强现实的协同方法，不但能够实现多人协同，共同观看待观测三维模型，而且，在主控单元和协同确定后，协同单元能够观看主控单元在三维模型上的操作，实现在线教学或者讨论。
附图说明
47.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
48.图1为本发明的流程图。
49.图2为增强现实装置与pc端连接的流程图。
50.图3为图2中增强现实装置与pc端连接的具体判断流程图。
51.图4为增强现实装置设定为主控单元与协同单元的流程图。
52.图5为通过pc端对增强现实装置进行评定的流程图。
53.图6为通过增强现实装置实时选择优先级的流程图。
54.图7为在不同场景下协同单元接收数据的流程图。
55.图8为本发明所述的增强现实的系统框图。
56.其中，100.pc端；200.增强现实装置。
具体实施方式
57.本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
58.为了解决现有技术的问题，本发明公开以下实施例：
59.如图1，一种增强现实的协同方法，包括：将多个增强现实装置与pc端进行连接，以实现数据互通；在增强现实装置中，根据需要选择其中至少1个增强现实装置作为主控单
元，其他增强现实装置作为协同单元；将待观测三维模型下载至各个增强现实装置中，通过主控单元对待观测三维模型进行操作，形成的操作数据发送至所述pc端，并在pc端将操作数据还原成为三维模型的变化，最终使所述协同单元能够接收所述主动单元的操作数据，既能够观测三维模型的变化；优选的，所述增强现实装置可以是ar眼镜。
60.优选的，上述的增强现实装置与pc端通过无线连接，如gprs或wifi或蓝牙等；pc端可以是普通服务器也可以是云服务器，其内通过软件等形成服务后台，执行必要的功能。
61.如图2，在上述的“将至少2个增强现实装置与pc端进行连接”步骤中，包括：在所述pc端内预先构建待观测三维模型；通过所述增强现实装置向所述pc端发送连接请求，并将所有在线的所述增强现实装置形成硬件列表；将所述待观测三维模型通过所述pc端发送至所有所述增强现实装置内，既下载到各个增强现实装置内。
62.优选的，如图3，通过增强现实装置向所述pc端发送连接请求时，可以在pc端上根据增强现实装置的硬件序列号判断是否同意该连接请求；如果，增强现实装置的硬件序列号在准许连接的白名单内，则同意该连接请求；否则，拒绝该连接请求；上述的硬件序列号白名单可以是：在pc端上设置的可以连接的硬件，如李某的ar眼镜或者某个ar眼镜的硬件序列号等信息构建的名单。
63.由于网络问题，增强现实装置可能存在与pc端连接不畅的问题，为了解决该问题，在所述“利用所述增强现实装置向所述pc端发送连接请求，并将所有在线的所述增强现实装置形成硬件列表”的步骤中，包括：通过增强现实装置周期向所述pc端发送连接请求；pc端通过发送所述连接请求的次数判断所述增强现实装置的网络情况；加载发送所述连接求情的次数超过设定阈值的所述增强现实装置至所述pc端，形成所述硬件列表；当网络不畅时，在一定时间内，无法形成超过阈值的请求次数，该连接请求对应的增强现实装置与pc端的网络不畅，在pc端或增强现实装置中提示操作者网络故障；优选的，在设置阈值的时候，可以根据实际情况进行设定，如2秒内发送10次连接请求。
64.根据使用场景的不同，如果单个人就可以对上述的待观测三维模型进行操作，则仅一个增强现实装置就可完成该工作；但是，有一些场景，需要多人进行操作，也就是需要至少两个增强现实装置成为主控单元，那么如图4，“在所述增强现实装置中，选择其中至少1个增强现实装置作为主控单元”的步骤中，包括：通过至少1个所述增强现实装置向所述pc端发送主控请求；所述pc端接收所述主控请求后，对发送所述主控请求的所述增强现实装置进行优先级评定；将优先级较高的所述增强现实装置和优先级较低的所述增强现实装置均设置为主控单元；所述pc端以优先级较高的所述增强现实装置发出的操作数据为准，将所有主控单元的数据进行整合，形成所述操作数据；将按照所述操作数据形成的三维模型下载到所述pc端，并共享给所述协同单元；该操作场景主要针对手术需要两人或多人配合的场景，此时一个为主刀医生，其为优先级较高的主控单元，而辅助手术的医生为优先级较低的主控单元；同时，在教学场景中也适用，如：老师作为优先级较高的主控单元，其可以再找一个学生进行协助，该协助的学生可作为优先级较低的主控单元。
65.优选的，如图5，可以自动进行优先级评定，如：在所述“对发送所述主控请求的所述增强现实装置进行优先级评定”的步骤，包括：将发送所述主控请求的所述增强现实装置的名称进行统计，形成赋权列表；将所述赋权列表发送至所述pc端内，与预先设定的优先级表格进行对比，对所述增强现实装置进行优先级评定；优选的，优先级表格可以是根据职
称、身份等自行构建的表格；优先级表格具备可查询性和可修改性，能够根据实际情况自行修改。
66.或者，如图6，根据实际情况手动进行优先级评定，如：在所述“对发送所述主控请求的所述增强现实装置进行优先级评定”，包括：将发送所述主控请求的所述增强现实装置的名称进行统计，形成赋权列表；所述增强现实装置的操作者在所述pc端或者所述增强现实装置上进行实时选择，形成所述增强现实装置的优先级；优选的，pc端可以外设键盘、鼠标或者其他交互设备进行数据交互，完成优先级评定；也可以在在增强现实装置中进行选择，将该选择的数据发送至pc端，形成优先级评定申请数据，有pc端分配优先级。
67.根据应用场景的不同，如图7，“所述pc端以优先级较高的所述增强现实装置发出的操作数据为准，将所有主控单元的数据进行整合”，包括；利用所述主控单元在所述待观测三维模型上进行操作动作；所述pc端存储所述操作动作形成的动作数据，并将所述操作数据按照优先级的不同进行分别存储，并根据不同场景进行协同，如：
68.1.需要观看优先级较高的增强现实装置，如老师或主刀医生，的操作时：需要记录待观测三维模型上进行的优先级较高的增强现实装置的操作动作，并将对应操作动作形成的三维模型发送至所述协同单元，方便协同单元能够自行观察和学习。
69.2.需要观看优先级较低的增强现实装置，如协助老师的学生或协助主刀医生的协助医师，的操作时：需要记录待观测三维模型上进行的优先级较低的增强现实装置的操作动作，并将对应操作动作形成的三维模型发送至所述协同单元；或者，
70.3.需要观看所有主控单元的操作时：将所述主控单元的操作动作数据以时间为准，进行排序后，将进行操作动作的对应的三维模型发送至所述协同单元；由于以时间轴为准，那么每一个操作都会形成一个带有时间标签的操作数据；将整个操作数据以时间标签进行排序，发送至pc端，将每一步操作数据还原成为待观测三维模型的动作，方便协同单元分步观看或直接观看操作结果。
71.本发明还提供一种实施例：
72.如图8，一种增强现实的协同系统，包括：pc端100和至少2个增强现实装置200；其中，增强现实装置200均与所述pc端100进行数据交互，用于通过所述pc端100在所述增强现实装置200中选择其中至少1个增强现实装置200作为主控单元，其他增强现实装置作为协同单元；所述pc端100与所述主控单元进行数据交互，用于将所述pc端100内设置的待观测三维模型，分享给所述协同单元；或者所述pc端100与所述主控单元进行数据交互，用于利用所述pc端100保存所述主控单元对所述pc端100内设置的待观测三维模型的操作数据，并将所述操作数据在所述增强现实装置200上还原为三位模型分享给所述协同单元。
73.上述的pc端100，包括：存储介质和处理单元；存储介质用于存储计算机程序；处理单元与所述存储介质进行数据交换，用于在进行增强现实的协同时，通过所述处理单元执行所述计算机程序，进行如上所述的协同方法的步骤。
74.上述的存储介质优选为，移动硬盘或固态硬盘或u盘等存储设备；处理单元，优选为cpu，与所述存储介质进行数据交换，利用cpu内的算法等与存储介质构成服务后台，用于在进行增强现实协同时，通过所述处理单元执行所述计算机程序，进行如上所述的增强现实的协同方法的步骤。
75.上述cpu可以根据存储在存储介质中的程序执行各种适当的动作和处理。所述电
子设备还包括以下外设，包括键盘、鼠标等的输入部分，也可以包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分；特别地，根据本发明公开的实施例，如图1
‑
7中任一描述的过程均可以被实现为计算机软件程序。
76.本发明提供的一种实施例，包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行如图1
‑
7中任一所述流程图所示的方法的程序代码。该计算机程序可以从网络上被下载和安装。在该计算机程序被cpu执行时，执行本发明的系统中限定的上述功能。
77.本发明提供还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序；所述计算机程序在运行时，执行如上所述的增强现实协同方法的步骤。在本发明中，计算机可读的存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
78.而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
79.以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。上述本发明序号仅仅为了描述，不代表实施场景的优劣。