一种查看3D可视化数据的方法、AR眼镜、系统及存储介质与流程

一种查看3d可视化数据的方法、ar眼镜、系统及存储介质
技术领域
1.本发明实施例涉及ar技术领域，具体涉及一种查看3d可视化数据的方法、ar眼镜、系统及存储介质。


背景技术：

2.数字孪生：是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。
3.数字孪生体：就是在一个设备或系统的基础上，创造一个数字版的“克隆体”。
4.这个“克隆体”，也被称为“数字孪生体”。它被创建在信息化平台上，是虚拟的。
5.传统手术过程中，医生时常会碰到手术视野被遮挡，血液致使操作区域模糊不清，体内找寻异物困难的情况。医生需要在手术过程中无改变患者体位，实时查看患者各个角度的信息，难以精准找到目标点，减缓了了手术进程，提高了手术风险。


技术实现要素：

6.鉴于上述问题，本发明实施例提供了一种查看3d可视化数据的方法、ar眼镜、系统及存储介质。
7.本发明实施例的第一方面，提供了一种查看3d可视化数据的方法，所述方法包括步骤：
8.获取患者的创面信息，根据所述创面信息生成创面对应的数字孪生体；
9.采用slam技术和mark技术将所述数字孪生体映射至ar眼镜中，并将所述数字孪生体锚定在所述ar眼镜的显示区域；
10.获取使用者手势指令，根据所述手势指令旋转所述ar眼镜显示区域内的数字孪生体，进行查看所述患者各个面的创面信息。
11.在一种可选的方式中，在所述的获取患者的创面信息，根据所述创面信息生成创面对应的数字孪生体之前包括步骤：
12.采集若干组标准手势指令；
13.建立每个标准手势指令与调整指令的映射关系，形成用于调整数字孪生体显示状态的指令数据库。
14.在一种可选的方式中，所述的获取使用者手势指令，根据所述手势指令旋转所述ar眼镜显示区域内的数字孪生体，进行查看所述患者各个面的创面信息具体包括步骤：
15.将所获取的手势指令与所述指令数据库进行匹配，获取所述手势指令对应的调整指令；
16.根据所述调整指令对显示状态进行调整显示。
17.根据本发明实施例的另一方面，提供了一种查看3d可视化数据的ar眼镜，包括：
18.创面获取单元，所述创面获取单元用于获取患者的创面信息；
19.生成单元，所述生成单元与所述创面获取单元连接，用于根据所述创面信息生成创面对应的数字孪生体；
20.定位单元，所述定位单元与所述生成单元连接，用于将所述数字孪生体映射至ar眼镜中，并将所述数字孪生体锚定在所述ar眼镜的显示区域；
21.手势获取单元，获取使用者手势指令；
22.处理单元，所述处理单元与所述手势获取单元连接，用于根据所述手势指令旋转所述ar眼镜显示区域内的数字孪生体，进行查看所述患者各个面的创面信息。
23.在一种可选的方式中，包括：
24.采集单元，所述采集单元用于采集若干组标准手势指令；
25.建立单元，所述建立单元与所述采集单元连接，用于建立每个标准手势指令与调整指令的映射关系，形成用于调整数字孪生体显示状态的指令数据库。
26.在一种可选的方式中，包括：
27.匹配单元，所述匹配单元与所述指令获取单元连接，用于将所获取的手势指令与所述指令数据库进行匹配，获取所述手势指令对应的调整指令；
28.显示单元，所述显示单元与所述匹配单元连接，用于根据所述调整指令对显示状态进行调整显示。
29.本发明实施例的第二方面，提供一种查看3d可视化数据的ar眼镜，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
30.所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述任意一项查看3d可视化数据的方法的操作。
31.本发明实施例的第三方面，提供一种计算机可读存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令在查看3d可视化数据的ar眼镜上运行时，使得查看3d可视化数据的ar眼镜执行上述任意一项查看3d可视化数据的方法的操作。
32.本发明实施例基于数字孪生技术和ar增强显示技术，将患者本体创造得到的数字孪生体映射到ar眼镜中，通过传感器的数据传输，在手术操作过程中，实际的操作进程，包括手术器械与患者本体的相对位置关系、角度，患者创面各个角度的信息，都可以通过手势指令调整ar眼镜中数字孪生体的显示角度得到；能够让医生在手术过程中无需改变体位，实时查看患者各个角度的信息，整个手术台以三维空间的方式复现眼前，医生只需佩戴ar眼镜，通过手势指令即可得到任意角度任意方向上的患者信息，精准找到目标点，加快了手术进程，降低了手术风险。
33.上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
34.附图仅用于示出实施方式，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
35.图1示出了本发明实施例提供的一种查看3d可视化数据的方法第一实施例的流程
图；
36.图2示出了本发明实施例提供的一种查看3d可视化数据的方法第二实施例的流程图；
37.图3示出了本发明实施例提供的一种查看3d可视化数据的方法第三实施例的流程图；
38.图4-5示出了本发明实施例提供的一种查看3d可视化数据的方法第四实施例的流程图；
39.图6示出了本发明实施例提供的一种查看3d可视化数据的系统的结构示意图。
具体实施方式
40.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。
41.图1示出了本发明一种查看3d可视化数据的方法实施例的流程图，如图1所示，该方法包括以下步骤：
42.s100获取患者的创面信息，根据所述创面信息生成创面对应的数字孪生体；
43.s200采用slam技术和mark技术将所述数字孪生体映射至ar眼镜中，并将所述数字孪生体锚定在所述ar眼镜的显示区域；
44.利用slam技术获取世界坐标系，在世界坐标系下通过ar眼镜上的摄像头寻找到mark的位置，作为精准的参考坐标，数字孪生的数据通过坐标变换对应到世界坐标系，通过ar眼镜里的成像单元显示呈现。
45.s300获取使用者手势指令，根据所述手势指令旋转所述ar眼镜显示区域内的数字孪生体，进行查看所述患者各个面的创面信息。
46.值得说明的是，数字孪生：是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。
47.数字孪生体：就是在一个设备或系统的基础上，创造一个数字版的“克隆体”。
48.这个“克隆体”，也被称为“数字孪生体”。它被创建在信息化平台上，是虚拟的。
49.本实施例中，基于数字孪生技术和ar增强显示技术，将患者本体创造得到的数字孪生体映射到ar眼镜中，通过传感器的数据传输，在手术操作过程中，实际的操作进程，包括手术器械与患者本体的相对位置关系、角度，患者创面各个角度的信息，都可以通过手势指令调整ar眼镜中数字孪生体的显示角度得到。
50.本实施例中，通过影像设备、ct扫描设备、x光设备、磁共振等医疗设备获取患者的创面信息，并通过三维建模形成可展示的图像信息。
51.值得说明的是，本实施例不仅仅运用于手术中，还可用于其他医疗领域中，例如肠胃、妇科、牙科等等。
52.本实施例能够让医生在手术过程中无需改变体位，实时查看患者各个角度的信息，整个手术台以三维空间的方式复现眼前，医生只需佩戴ar眼镜，通过手势指令即可得到任意角度任意方向上的患者信息，精准找到目标点，加快了手术进程，降低了手术风险。
53.图2示出了本发明一种查看3d可视化数据的方法另一个实施例的流程图，如图2所示，在所述的s100获取患者的创面信息，根据所述创面信息生成创面对应的数字孪生体之前包括步骤：
54.s10采集若干组标准手势指令；
55.s11建立每个标准手势指令与调整指令的映射关系，形成用于调整数字孪生体显示状态的指令数据库。
56.图3示出了本发明一种查看3d可视化数据的方法另一个实施例的流程图，如图3所示，所述的s300获取使用者手势指令，根据所述手势指令旋转所述ar眼镜显示区域内的数字孪生体，进行查看所述患者各个面的创面信息具体包括步骤：
57.s301将所获取的手势指令与所述指令数据库进行匹配，获取所述手势指令对应的调整指令；
58.s302根据所述调整指令对显示状态进行调整显示。
59.图4-5示出了本发明一种查看3d可视化数据的方法另一个实施例的流程图，如图4-5所示，包括步骤：
60.在患者身体上安装传感标志物，在电脑中生成患者对应的数字孪生体；
61.将数字孪生体通过无线的方式传输映射到ar眼镜中，医生通过ar眼镜中slam技术将数字孪生体锚定在所需显示区域。
62.医生通过手势指令，旋转数字孪生体查看患者各个面的3d可视化数据信息。
63.本发明还提出一种查看3d可视化数据的ar眼镜，该装置包括：
64.创面获取单元，所述创面获取单元用于获取患者的创面信息；
65.值得说明的是，本实施例中，创面获取单元为影像设备、ct扫描设备、x光设备、磁共振等医疗设备，通过这些医疗设备获取患者的创面信息，并通过三维建模形成可展示的图像信息。
66.生成单元，所述生成单元与所述创面获取单元连接，用于根据所述创面信息生成创面对应的数字孪生体；
67.定位单元，所述定位单元与所述生成单元连接，用于将所述数字孪生体映射至ar眼镜中，并将所述数字孪生体锚定在所述ar眼镜的显示区域；
68.手势获取单元，获取使用者手势指令；
69.处理单元，所述处理单元与所述手势获取单元连接，用于根据所述手势指令旋转所述ar眼镜显示区域内的数字孪生体，进行查看所述患者各个面的创面信息。
70.具体地，包括：
71.采集单元，所述采集单元用于采集若干组标准手势指令；
72.建立单元，所述建立单元与所述采集单元连接，用于建立每个标准手势指令与调整指令的映射关系，形成用于调整数字孪生体显示状态的指令数据库。
73.具体地，包括：
74.匹配单元，所述匹配单元与所述指令获取单元连接，用于将所获取的手势指令与所述指令数据库进行匹配，获取所述手势指令对应的调整指令；
75.显示单元，所述显示单元与所述匹配单元连接，用于根据所述调整指令对显示状态进行调整显示。
76.图6示出了本发明一种查看3d可视化数据的ar眼镜实施例的结构示意图，本发明具体实施例并不对查看3d可视化数据的ar眼镜的具体实现做限定。
77.如图6所示，该查看3d可视化数据的ar眼镜可以包括：处理器(processor)502、通信接口(communications interface)504、存储器(memory)506、以及通信总线508。
78.其中：处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。处理器502，用于执行程序510，具体可以执行上述用于查看3d可视化数据的方法方法实施例中的相关步骤。
79.具体地，程序510可以包括程序代码，该程序代码包括计算机可执行指令。
80.处理器502可能是中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。查看3d可视化数据的ar眼镜包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
81.存储器506，用于存放程序510。存储器506可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
82.本发明实施例提供了一种计算机可读存储介质，所述存储介质存储有至少一可执行指令，该可执行指令在查看3d可视化数据的ar眼镜上运行时，使得所述查看3d可视化数据的ar眼镜执行上述任意方法实施例中的查看3d可视化数据的方法。
83.在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
84.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
85.类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
86.本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权
利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
87.此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
88.应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。