基于混合现实的操控方法、混合现实设备及手术机器人与流程

1.本说明书涉及医疗技术领域，尤其涉及基于混合现实的操控方法、混合现实设备及手术机器人。


背景技术：

2.目前，手术机器人在医疗领域得到了广泛的应用，在手术场景中，由于手术机器人执行手术的相关操作(如，缝合、置钉等)比人手动操作更稳定，且能够减少医生的工作量，因此在手术中应用手术机器人成为一大热点。
3.在传统的手术场景中，需要在手术室中配置手术机器人的控制台，医生通过手动操作控制台，控制手术机器人移动以及对患者执行相关手术操作。由于手术需要在无菌环境下执行，因此，为了减少患者的感染风险，通常控制台上会覆盖无菌膜，医生通过操作覆盖有无菌膜的控制台来控制手术机器人进行手术。
4.然而，覆盖有无菌膜的控制台的灵敏度会变差，尤其是当控制台中包括如摇杆类需要移动的控制器时，无菌膜会限制控制器的移动，使得医生对手术机器人的控制受限。另外医生在手动操作覆盖有无菌膜的控制台时，若不幸损坏无菌膜，则会使控制台暴露，使得无菌膜的作用失效，增加患者的感染风险。


技术实现要素：

5.本说明书提供一种基于混合现实的操控方法、混合现实设备及手术机器人，以部分的解决现有技术存在的上述问题。
6.本说明书采用下述技术方案：
7.本说明书提供了一种基于混合现实的操控方法，包括：
8.渲染虚拟控制台，并投射至执行手术的用户佩戴的混合现实设备上，以展示给所述用户；
9.根据监测到的所述用户对所述虚拟控制台的手势操作，确定所述用户操作的所述虚拟控制台中控制器标识；
10.根据所述控制器标识以及所述手势操作，向所述手术机器人发送控制指令，使所述手术机器人根据所述控制指令运行；
11.接收所述手术机器人根据所述控制指令的运行结果，并展示给所述用户。
12.可选地，所述混合现实设备上设置有传感器；
13.根据监测到的所述用户对所述虚拟控制台的手势操作，确定所述用户操作的所述虚拟控制台中控制器标识之前，所述方法还包括：
14.通过所述传感器监测所述用户的若干帧手部位姿；
15.根据监测到的若干帧手部位姿以及所述虚拟控制台的位姿，确定所述用户对所述虚拟控制台的手势操作。
16.可选地，所述方法还包括：
17.接收所述手术机器人发送的手术计划；
18.基于接收到的所述手术机器人根据所述控制指令的运行结果，验证所述手术计划是否完成；
19.若是，则停止监测所述用户对所述虚拟控制台的手势操作，并通过所述混合现实设备提示所述用户所述手术计划完成；
20.若否，则继续识别所述用户对所述虚拟控制台的操作，直至所述手术计划完成为止。
21.可选地，所述方法还包括：
22.接收所述手术机器人对所述控制指令的验证结果；
23.当所述验证结果为不安全时，通过所述混合现实设备向所述用户展示提示信息，所述提示信息用于提示所述控制指令未执行。
24.本说明书提供了一种混合现实设备，所述混合现实设备用于对手术机器人进行控制，执行手术的用户佩戴混合现实设备，其中：
25.所述混合现实设备，用于渲染虚拟控制台，并展示给所述用户；根据监测到的所述用户对所述虚拟控制台的手势操作，确定所述用户操作的所述虚拟控制台中控制器标识；根据所述控制器标识以及所述手势操作，向所述手术机器人发送控制指令；接收所述手术机器人根据所述控制指令的运行结果，并展示给所述用户。
26.可选地，所述混合现实设备上设置有传感器；
27.所述混合现实设备，还用于通过所述传感器监测所述用户的若干帧手部位姿，并根据监测到的若干帧手部位姿以及所述虚拟控制台的位姿，确定所述用户对所述虚拟控制台的手势操作。
28.可选地，所述混合现实设备，还用于接收所述手术机器人发送的手术计划，并基于接收到的所述手术机器人根据所述控制指令的运行结果，验证所述手术计划是否完成；在所述手术计划完成时，停止监测所述用户对所述虚拟控制台的手势操作，并提示所述用户所述手术计划完成；在所述手术计划未完成时，继续识别所述用户对所述虚拟控制台的操作，直至所述手术计划完成为止。
29.可选地，所述混合现实设备，还用于接收所述手术机器人对所述控制指令的验证结果，当所述验证结果为不安全时，向所述用户展示提示信息，所述提示信息用于提示所述控制指令未执行。
30.本说明书提供了一种手术机器人，所述手术机器人用于接收执行手术的用户佩戴的混合现实设备发送的控制指令，并根据所述控制指令运行，以及将运行结果发送至所述混合现实设备；所述控制指令为所述混合现实设备基于用户对渲染的虚拟控制台的手势操作，以及所述用户操作的所述虚拟控制台中的控制器标识确定的。
31.可选地，所述手术机器人还用于确定预设的手术计划，并向所述混合现实设备发送所述手术计划。
32.可选地，所述手术机器人还用于至少根据所述手术计划，对接收到的所述控制指令进行验证，并将所述控制指令的验证结果发送至所述混合现实设备。
33.本说明书提供了一种基于混合现实的操控装置，包括：
34.接收模块，用于渲染虚拟控制台，并投射至执行手术的用户佩戴的混合现实设备
上，以展示给所述用户；
35.渲染模块，用于根据监测到的所述用户对所述虚拟控制台的手势操作，确定所述用户操作的所述虚拟控制台中控制器标识；
36.识别模块，用于根据所述控制器标识以及所述手势操作，向所述手术机器人发送控制指令，使所述手术机器人根据所述控制指令运行；
37.操控模块，用于接收所述手术机器人根据所述控制指令的运行结果，并展示给所述用户。
38.本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于混合现实的操控方法。
39.本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于混合现实的操控方法。
40.本说明书采用的上述至少一个技术方案能够达到以下有益效果：
41.在本说明书提供的基于混合现实的操控方法中，通过渲染虚拟控制台，并投射在执行手术的用户佩戴的混合现实设备上，以展示给用户，并监测用户对虚拟控制台的手势操作，确定用户操作的虚拟控制台中控制器标识，根据该控制器标识以及手势操作，向手术机器人发送控制指令，使手术机器人根据控制指令运行以执行手术。
42.从上述方法中可以看出，本方法能够通过与作为控制设备的混合现实设备无接触的方法，操控混合现实设备渲染的虚拟控制台，实现对手术机器人的控制，且对虚拟控制台的控制不会受无菌膜限制而不灵活，也不会存在由于手动操作损坏无菌膜的情况，保证了手术过程的安全性。
附图说明
43.此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
44.图1为本说明书中一种基于混合现实的操控方法的示意图；
45.图2为本说明书提供的一种基于混合现实的手术场景示意图；
46.图3为本说明书提供的一种混合现实设备的展示内容示意图；
47.图4为本说明书提供的一种混合现实设备与手术机器人的交互过程示意图；
48.图5为本说明书提供的一种基于混合现实的操控装置的示意图；
49.图6为本说明书提供的一种电子设备的结构示意图。
具体实施方式
50.在传统的手术场景中，由于手术需要在无菌环境下执行，因此，为了减少患者的感染风险，当医生在手术室内操作控制台来控制手术的手术机器人时，需要对控制台与手术机器人进行无菌处理，例如，通过消毒剂对手术机器人以及控制台进行消毒，或覆盖无菌膜等。
51.手术机器人是需要在患者皮肤表面或身体内部执行手术对应的相关操作的设备，
通常为相较于控制台更易清洗以及消毒的设备。而控制台需要集成多种功能，与不同手术场景使用的手术机器人适配的控制台的体积也大小不一，结构也繁简不一。对于一些控制台而言，其表面较容易利用消毒剂清洗，而内部如缝隙、内壁等难以彻底进行无菌处理。另外，手术过程中的病患体液、药品等也容易对控制台造成污染，使得控制台后续的清洗更加困难，需要增加清洗力度，而清洗剂可能会对控制台造成腐蚀，随着清洗次数的累积，腐蚀则会愈加严重，甚至会使控制台中的控制器部分失灵，相应的对控制台的维护成本也会增加。因此，通常采用在控制台上覆盖无菌膜的方法对控制台进行无菌处理。
52.然而，覆盖有无菌膜的控制台的灵敏度会变差，尤其是当控制台中包括如摇杆类需要移动的控制器时，无菌膜会在一定程度上限制控制器的移动，使得医生对手术机器人的控制受限。另外医生在手动操作覆盖有无菌膜的控制台时，若不幸损坏无菌膜，则会使控制台暴露，使得无菌膜的作用失效，增加患者的感染风险，使患者暴露在危险的环境之中。
53.在另一种手术场景中，医生与控制台皆处于远离手术室的空间中，医生远程通过控制台操控手术机器人对患者的手术部位进行操作，并通过与手术室的透明介质或监控，观察患者或手术机器人对手术部位的操作。然而，在这种方法中，由于医生并非处于手术室中，视线与视野皆会由于遮挡、角度等因素受限，使得无法以最佳的视角观察患者以及手术的执行，甚至会因为角度问题产生视错觉，导致对手术机器人的操作存在误差，增加了手术的风险，甚至导致手术失败。
54.为了至少部分地解决这些问题，在本说明书提供的实施例中，医生与控制台皆处于手术室中，医生可以任意视角观察患者以及手术机器人对手术部位的操作。并且，本说明书中的控制台为混合现实设备渲染的虚拟控制台，该混合现实设备具体可以是头戴式混合现实设备，例如，集成有混合现实技术的智能眼镜等。
55.混合现实(mixed reality，mr)设备，是能够在佩戴者看到的现实环境的基础上，渲染虚拟的三维场景并展示给用户，并能够实现现实与虚拟的交互的设备。例如，混合现实设备能将现实环境与虚拟环境的混合场景展示给佩戴者，以及识别佩戴者的手势、声音等信息，并响应，如：随着识别到的佩戴者的旋转手势，使展示给佩戴者的虚拟三维物体随着佩戴者的手势进行旋转。
56.在本说明书提供的实施例中，用户(如医生等医护人员)可在手术期间佩戴与手术机器人连接的混合现实设备。并通过操作混合现实设备渲染的虚拟控制台来实现对手术机器人的控制。混合现实设备可覆盖有无菌膜，用户仅佩戴作为控制设备的混合现实设备，佩戴后在手术期间无需操作和接触混合现实设备，而是操控虚拟控制台来控制手术机器人，控制台中包含若干用于控制手术机器人实现相应操作及功能的控制器。用户通过操控虚拟控制台中的控制器控制手术机器人，由于虚拟控制台是虚拟的，无需进行无菌处理，不会由于无菌膜对控制台的覆盖导致对控制器的操作受限，即不会存在控制器操作不灵活的情况，更不会由于手动操作控制台使得无菌膜损坏，增加患者感染风险。
57.需要说明的是，在本说明书中，手术机器人与混合现实设备可通过有线连接或无线连接的方式通讯，具体可根据需要设置，本说明书在此不做限制。
58.为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人
员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
59.以下结合附图，详细说明本说明书各实施例提供的技术方案。
60.图1为本说明书中一种基于混合现实的操控方法的示意图，具体包括以下步骤：
61.s100：渲染虚拟控制台，并投射至执行手术的用户佩戴的混合现实设备上，以展示给所述用户。
62.在本说明书中，该基于混合现实的操控方法可由执行手术的用户佩戴的混合现实设备执行。该混合现实设备，即用于控制该手术机器人的设备。该手术机器人用于在该用户通过该混合现实设备对该手术机器人的控制下，对患者执行手术。
63.在本说明书一个或多个实施例中，该混合现实设备首先可渲染虚拟控制台，并将该虚拟控制台投射至执行手术的用户佩戴的该混合现实设备上，以展示给该用户。因此，该混合现实设备可至少包括显示设备，如该混合现实设备是智能眼镜，则显示设备则可是镜片。该用户可根据通过该混合现实设备看到的该虚拟控制台，操控其中的控制器，控制手术机器人。
64.该虚拟控制台即该混合现实设备渲染的包含若干虚拟的控制器的控制台，每一控制器皆用于实现手术机器人的至少一个功能或操作。例如，该虚拟控制台的控制器可包括：用于控制该手术机器人上下移动的控制器，用于控制该手术机器人执行手术对应的切割操作的控制器，用于控制该手术机器人执行手术对应的置钉操作、缝合操作、穿刺操作等操作的控制器等等。当然本说明书中提到的该控制台包含的控制器仅是示例而并非限制，可根据手术性质及手术需要灵活设置，本说明书在此不做限制。
65.另外，该虚拟控制台的功能、形态以及包含的控制器数量均可根据需要设置，本说明书在此不做限制。用于渲染该虚拟控制台的相关参数可根据待执行手术的手术性质及手术需要，预先设计并存储在该混合现实设备中，待该混合现实设备启动，该混合现实设备则可渲染用于执行该虚拟控制台。即根据该待执行手术，可将该虚拟控制台预先设置为固定形式，并根据该待执行手术，赋予该虚拟控制台中各控制器相应的功能。例如，假设待执行手术为在患者多个骨骼位置置钉的手术，则被该混合现实设备控制的手术机器人需要具有移动能力以及置钉能力，相应的该虚拟控制台则可包括用于控制该手术机器人移动的控制器以及控制该手术机器人执行置钉操作的控制器。
66.s102：根据监测到的所述用户对所述虚拟控制台的手势操作，确定所述用户操作的所述虚拟控制台中控制器标识。
67.在本说明书中，该虚拟控制台中每一控制器皆有唯一的控制器标识。该混合现实设备可实时监测用户对该虚拟控制台的手势操作，确定该用户操作的该虚拟控制台中控制器标识，以便于后续步骤中确定对手术机器人下达的控制指令，即确定要控制手术机器人执行的操作。
68.s104：根据所述控制器标识以及所述手势操作，向所述手术机器人发送控制指令，使所述手术机器人根据所述控制指令运行。
69.在本说明书一个或多个实施例中，在确定出用户操作的控制器标识以及该用户的手势操作后，该混合现实设备可根据该控制器标识以及该手势操作，向该手术机器人发送控制指令，使该手术机器人根据该控制指令运行，执行该控制指令指示的目标操作。
70.该控制指令中至少携带有操作参数，该操作参数即用于控制该手术机器人执行该
控制指令指示的目标操作。该目标操作即用户的手势操作触发的该控制器标识所属控制器的功能对应的操作。
71.s106：接收所述手术机器人根据所述控制指令的运行结果，并展示给所述用户。
72.在本说明书一个或多个实施例中，该手术机器人可根据接收到该混合现实设备发送的该控制指令运行，即执行该控制指令指示的目标操作。并将运行结果，即该目标操作的执行结果发送至该混合现实设备。
73.因此，在本说明书一个或多个实施例中，该混合现实设备还可接收该手术机器人根据该控制指令的运行结果，并将该运行结果展示给该用户。使得该用户能够根据该混合现实设备展示的该运行结果，执行相应的操作。
74.或者，在接收到该运行结果后，该混合现实设备还可通过语音通知的方式，将该运行结果传达给该用户。
75.其中，该运行结果包括执行成功以及执行失败。当该运行结果为执行成功时，该用户可继续执行后续操作或结束手术。当该运行结果为失败时，该用户可重新通过发起手势操作控制该虚拟控制台中的控制器，或执行其他操作，如中止手术、检查手术机器人，或对患者进行其他操作等等。
76.基于图1所示的基于混合现实的操控方法方法，通过渲染虚拟控制台，并投射在执行手术的用户佩戴的混合现实设备上，以展示给用户，并监测用户对虚拟控制台的手势操作，确定用户操作的虚拟控制台中控制器标识，根据该控制器标识以及手势操作，向手术机器人发送控制指令，使手术机器人根据控制指令运行以执行手术。
77.从上述方法中可以看出，本方法能够通过与作为控制设备的混合现实设备无接触的方法，操控混合现实设备渲染的虚拟控制台，实现对手术机器人的控制，且对虚拟控制台的控制不会受无菌膜限制而不灵活，也不会存在由于手动操作损坏无菌膜的情况，保证了手术过程的安全性。
78.另外，在本说明书一个或多个实施例中，由于该混合现实设备需要监测用户的手势操作，因此，该混合现实设备上可设置有传感器。该传感器具体可根据需要设置，例如，可以是视觉传感器、红外线传感器等，当然也可以是其他传感器，只要能够识别用户对控制器的手势操作即可，本说明书在此不做限制。
79.基于此，在步骤s102中根据监测到的用户对虚拟控制台的手势操作，确定用户操作的虚拟控制台中控制器标识之前，该混合现实设备还可通过传感器监测该用户的若干帧手部位姿。并根据监测到的若干帧手部位姿以及虚拟控制台的位姿，确定该用户对该虚拟控制台的手势操作。
80.另外，在本说明书一个或多个实施例中，该手术机器人中还可存有该待执行手术的手术计划，并将该手术计划发送至该混合现实设备。则该混合现实设备还可接收手术机器人发送的手术计划，并在接收到手术机器人对该控制指令的运行结果以及该手术计划后，基于接收到的手术机器人根据该控制指令的运行结果，验证该手术计划是否完成。若是，则停止监测用户对该虚拟控制台的手势操作，并通过混合现实设备提示该用户手术计划完成。避免由于监测到用户误触发的手势操作，导致对患者执行手术计划外的操作，或其他存在风险的操作，进一步保证手术的安全性。
81.在本说明书一个或多个实施例中，若该手术计划未完成，该混合现实设备则可继
续识别用户对虚拟控制台的操作，直至该手术计划完成为止。
82.其中，该手术计划中可包括预先规划的在执行该待执行手术时对患者执行的具体操作、操作的工具、数量、操作位置等，或者，也可包括手术对应的患者的相关数据，如电子计算机断层扫描(computed tomography，ct)图等等。以缝合手术为例，则该手术的手术计划中可包括缝合，缝合的位置、缝合方式等等。该手术计划中可包含对患者执行操作的白名单和/或黑名单。该手术机器人可仅执行该混合现实设备发送的白名单中操作对应的控制指令，或者，执行出黑名单内禁止的操作外的其他操作对应的控制指令，具体可根据需要设置，本说明书在此不做限制。
83.在本说明书一个或多个实施例中，该混合现实设备在接收到该手术计划后，可将该手术计划展示给用户，使得该用户可按照该手术计划对患者执行该手术计划对应的待执行手术，或者参考该手术计划，结合手术过程中患者的状态，进行手术。
84.在本说明书中，该手术机器人还可在启动时，或手术执行过程中实时将该手术机器人当前的状态参数，发送至该混合现实设备。该手术机器人中可配置封装有用于实现该手术机器人的功能的程序的芯片，该状态参数至少包括：该程序的运行状态以及该手术机器人的设备状态与设备参数。例如，该运行状态可包括：运行故障、不可执行手术、可执行手术等等。该设备状态可包括该手术机器人是否为可执行状态(即是否可响应混合现实设备的控制指令且执行目标操作的状态)、是否故障等。该设备参数至少包括：该手术机器人当前的位姿、该手术机器人的可移动范围、该手术机器人的移动速度区间等等。
85.由于在手术中可能需要切换不同的手术机器人或手术机器人上配置的部件，实现不同的功能以对患者执行不同的手术操作。例如，该手术机器人可由本体以及执行机构构成，且该手术机器人是能够切换不同执行机构的设备，即可在本体上切换对接不同执行机构的设备。不同执行机构对应不同的功能，使得在手术机器人对接不同执行机构时，混合现实设备的虚拟控制台能够触发的用于控制手术机器人的指令的含义不同，因此，该手术机器人的设备参数可还包括设备类型(如手术刀、缝合针、穿刺针、c型臂等等)。相应的，该混合现实设备中可配置有手术中可切换的手术机器人与虚拟控制台的功能的对应关系，使得当手术机器人或执行机构切换时，该混合现实设备能够根据切换后的手术机器人与虚拟控制台中控制器的功能的对应关系，进一步使得对虚拟控制台中控制器能够触发的操作的含义得到更新，以使该混合现实设备能够根据识别到的用户的手势操作以及控制器标识，确定准确的控制指令。
86.在本说明书一个或多个实施例中，该混合现实设备还可在接收到该手术机器人发送的该手术机器人当前的状态参数时，向用户展示，或通过语音提示该用户。
87.在本说明书一个或多个实施例中，该手术机器人可在启动时即向该混合现实设备发送该手术计划。在步骤s100中该混合现实设备渲染的虚拟控制台可以是基于接收到的该手术计划渲染的与该手术计划对应的待执行手术适配的虚拟控制台。或者，该混合现实设备中可存有与多种手术适配的虚拟控制台的配置参数。则该混合现实设备还可以在接收到手术计划时，从预先配置的若干虚拟控制台中，确定与该手术计划适配的虚拟控制台，并渲染该虚拟控制台。
88.另外，由于手术的安全性是手术的执行过程中的关键点，因此，在本说明书一个或多个实施例中，该手术机器人可至少根据该手术计划，对接收到的该混合现实设备发送的
控制指令进行验证，验证该控制指令是否安全。并将验证结果发送至该混合现实设备。当该验证结果为不安全时，该手术机器人则不执行该控制指令指定的目标操作。当该验证结果为安全时，该手术机器人则执行该控制指令指定的目标操作。
89.在本说明书一个或多个实施例中，该手术机器人在根据该手术计划，验证该控制指令指示的目标操作是否安全时，可判断该目标操作是否在该手术计划允许的范围内，若否，则确定该控制指令指示的目标操作不安全，若是，则确定该控制指令指示的目标操作安全。
90.在本说明书一个或多个实施例中，该手术机器人在根据该手术计划，验证该控制指令指示的目标操作是否安全时，可判断该目标操作是否在该手术计划禁止的范围内，若是，则确定该控制指令指示的目标操作不安全，若否，则确定该控制指令指示的目标操作安全。
91.具体的，以该待执行手术是置钉手术为例，则该手术计划可包括患者的手术部位中可进行置钉操作的目标置钉位置以及该待执行手术的置钉总数，假设该目标操作为在a位置置钉，该手术机器人可在接收到该控制指令时，根据该手术计划验证该a位置是否为处于安全部位中的目标置钉位置，并验证截止当前对患者的置钉数量是否不大于该手术计划中的置钉总数，若验证结果皆为是，则确定该控制指令指示的目标操作安全，否则，确定该控制指令指示的目标操作不安全。
92.由于在手术过程中，该手术机器人可能需要对多个位置执行操作，因此，该手术机器人具有移动能力，该移动可以是整体的移动也可以是局部的移动，例如，该手术机器人可以包括固定底座以及可移动的机械臂。
93.相应的，当需要控制该手术机器人移动时，该用户则可操控用于控制该手术机器人移动的虚拟控制台，该混合现实设备则可向该手术机器人发送控制指令。则该控制指令携带的操作参数至少包括执行目标操作的操作位置，即需要控制该手术机器人移动到的目标位置。
94.该手术机器人则可根据该控制指令，移动到该操作位置。
95.另外，该手术机器人还可在执行该控制指令指示的目标操作时，判断自身是否已经移动到该操作位置，若是，则执行该控制指令指示的目标操作，若否，则继续移动到该操作位置。
96.或者，该操作参数可包括该手术机器人的当前位置以及执行目标操作的操作位置。在本说明书一个或多个实施例中，为了保证该混合现实设备与该手术机器人保持良好的同步关系，该手术机器人，还用于在接收到该控制指令时，验证该当前位置与该手术机器人当前的实际位置是否一致，若是，则移动到该操作位置，若否，则向该混合现实设备发送错误信息。避免由于手术执行的过程中存在未察觉的故障或失误，使得该混合现实设备与该手术机器人未能保持良好的同步，对该手术机器人当前所处位置认知错误，导致手术存在风险的情况发生。
97.则在本说明书一个或多个实施例中，该混合现实设备，还可接收该手术机器人发送的错误信息，并根据该错误信息提示该用户。
98.再或者，由于手术过程中可能存在需要对患者执行的操作并非单一操作，而是操作序列，例如，缝合从位置a到位置b的皮肤，则，控制指令指示的目标操作涉及至少两个目
标位置即至少两个操作位置。因此，该操作参数还可至少包括该手术机器人的起始操作位置以及目标操作位置。或该手术机器人的当前位置、起始操作位置以及目标操作位置。
99.在本说明书一个或多个实施例中，该操作参数还可包括操作速度。该手术机器人，还用于在执行该述控制指令指示的目标操作时，以该操作速度移动到该操作位置，或从当前位置移动到该起始操作位置，并从该起始操作位置移动到目标操作位置。
100.在本说明书一个或多个实施例中，该操作参数还可包括操作动作以及操作速度。该手术机器人，还可在执行该控制指令指示的目标操作时，以该操作速度执行该目标操作。
101.综上所述，该操作参数可包括：操作位置、当前位置、起始操作位置、目标操作位置、操作速度以及操作动作中的一种或多种的组合，当然还可以包括其他，如操作力度、操作幅度等等，本说明书在此不做限制。
102.在本说明书一个或多个实施例中，该混合现实设备还可根据识别到的该用户对虚拟控制台的操作方式、操作力度、操作频率、操作幅度、操作速度中的一种或多种的组合，确定对该手术机器人的操作参数。当然也可通过其他方式确定，本说明书在此不做限制。
103.由于手术机器人的一些对患者的操作(如皮下操作)是否完成或执行成功难以由用户肉眼观察，因此，在本说明书一个或多个实施例中，该手术机器人在执行该控制指令指示的目标操作时，还可以向该混合现实设备反馈对该目标操作的执行状态，该混合现实设备则可接收该手术机器人发送的执行状态，并提示用户。其中，该执行状态包括：执行中以及执行结束。或者，该执行状态可与该目标操作对应，例如，该目标操作为从位置a移动到位置b，则在该手术机器人从位置a移动到位置b的过程中，在抵达位置b前，该执行状态则可为“移动中”。该执行结束的执行状态用于提示用户该手术机器人不再继续执行该目标操作，未必表示该目标操作执行成功。
104.在本说明书一个或多个实施例中，该混合现实设备还可接收该手术机器人对控制指令的验证结果。并在当验证结果为不安全时，通过混合现实设备向该用户展示提示信息。其中，该提示信息用于提示控制指令未执行。
105.需要说明的是，在本说明书一个或多个实施例中，该目标操作可以是实时操作，也可以是需要经过一个时间区间来执行的过程操作。当该目标操作是实时操作时，该用户可连续通过若干手势操作控制控制器，并透过该混合现实设备观察该手术机器人连续执行若干手势操作对应的若干目标操作。当该目标操作是需要经过一个时间区间来执行的过程操作时，该用户可间歇通过手势操作控制控制器，并在透过该混合现实设备观察该手术机器人执行了该手势操作对应的目标操作后，再发起新的手势操作。
106.在本说明书一个或多个实施例中，该用户还可通过语音控制该混合现实设备向该手术机器人发送控制指令。该混合现实设备，还可在采集到该用户的语音数据时，并对该语音数据进行语音识别，确定该语音数据中包含的操作参数。
107.其中，在进行语音识别时，可采用现有的语音识别技术，本说明书在此不做赘述。
108.则，该混合现实设备还可以通过语音提示的方式，提示该用户该手术机器人对控制指令的执行结果、该手术机器人的状态参数、该手术机器人对该控制指令的验证结果等内容。当然也可以包括其他手术过程中涉及的内容，本说明书在此不做限制。
109.在本说明书一个或多个实施例中，该混合现实设备还可通过其他方式监测用户触发的用于控制手术机器人的操作，例如，通过传感器追踪用户的眼部动作等等。
110.在本说明书中，对该混合现实设备以及该手术机器人的结构及组成不做限制。例如，该手术机器人可包括执行机构以及驱动模块，该驱动模块可用于根据接收到的控制指令携带的操作参数，控制该执行机构执行该控制指令指示的目标操作。由于该手术机器人与该混合现实设备需要通信，因此该手术机器人还可包括通信模块。相应的，该混合现实设备也可包括通信模块，用于与该手术机器人通信。
111.图2为本说明书提供的一种基于混合现实的手术场景示意图，如图，该系统包括混合现实设备d以及手术机器人k。手术机器人包括执行机构b、驱动模块b01、通信模块c以及封装有实现该手术机器人功能的程序的芯片c01。a表示患者，g表示手术部位，h表示病床，位于无菌区域中。可见混合现实设备d能够渲染至少包含虚拟控制台e的混合控制环境，佩戴有混合现实设备d的用户f能够通过对虚拟控制台e的控制实现对手术机器人k的控制。
①
、
②
、
③
分别表示执行机构b移动过程中的几个位置。
112.在本说明书一个或多个实施例中，该混合现实设备向用户展示的内容至少包括虚拟控制台，当然，除该虚拟控制台外还可显示其他内容，如图3所示，当然，具体显示哪些内容可根据需要设置，本说明书在此不做限制。
113.图3为本说明书提供的一种混合现实设备的展示内容示意图。如图，图中展示了该混合现实设备展示给用户的视野，可见，视野中除了用户看到的现实环境背景外，还包括患者术前拍摄的ct图、基于该ct图构建的患者的骨骼的三维模型。用户可参考显示的内容，通过该混合现实设备控制该手术机器人执行手术。其中，虚线框中为该混合现实设备渲染的虚拟控制台，该虚拟控制台中包含若干控制器。
114.本说明书还提供了混合现实设备与手术机器人的交互过程。如图4。
115.图4为本说明书中提供的一种混合现实设备与手术机器人的交互过程示意图。该交互过程包括：
116.s300：该混合现实设备，渲染虚拟控制台，并将该虚拟控制台展示给佩戴该混合现实设备的用户。
117.s301：该手术机器人，确定术前计划以及自身的设备参数。
118.s302：该手术机器人，将确定出的术前计划以及设备参数发送至该混合现实设备。
119.s303：该混合现实设备，监测用户的手势操作，确定用户操作的控制器标识。
120.s304：该混合现实设备，根据手势操作以及控制器标识，向该手术机器人发送携带有操作参数的控制指令，该控制指令用于指示该手术机器人根据该操作参数执行该控制指令指示的目标操作。
121.s305：该手术机器人，至少根据手术计划验证接收到的该控制指令是否安全，若是，则执行步骤s307～s308以及s310，若否则执行s306。
122.s306：该手术机器人，向该混合现实设备反馈验证结果。
123.s307：该手术机器人，向该混合现实设备反馈验证结果。
124.s308：该手术机器人，根据该控制指令携带的操作参数运行，执行该控制指令指示的目标操作。
125.s309：该混合现实设备，将接收到的验证结果展示给用户。
126.s310：该手术机器人，向该混合现实设备反馈运行结果。
127.s311：该混合现实设备，将该运行结果展示给用户。
128.s312：该混合现实设备，根据该运行结果，验证该手术计划是否执行结束，若是，则执行步骤s313，若否，则重复步骤s303。
129.s313：提示用户该手术计划结束，并停止监测用户的手势操作。
130.需要说明的是，虽然混合现实设备与手术机器人在手术过程中可能会多次交互，但上述步骤s300～s313中，当混合现实设备与手术机器人各自执行的步骤互不影响互不干涉互不矛盾时，二者可同时执行相应的步骤，或者，也可先后执行，本说明书在此不做限制。对于步骤s100～s108也是如此。
131.基于图1所示的基于混合现实的操控方法，本说明书还提供了一种混合现实设备。
132.该混合现实设备用于对手术机器人进行控制，执行手术的用户佩戴该混合现实设备，其中：
133.该混合现实设备，用于渲染虚拟控制台，并展示给用户。以及根据监测到的用户对虚拟控制台的手势操作，确定该用户操作的虚拟控制台中控制器标识。并根据控制器标识以及该手势操作，向手术机器人发送控制指令，以及接收手术机器人根据该控制指令的运行结果，并将该运行结果展示给该用户。
134.在本说明书一个或多个实施例中，该混合现实设备上可设置有传感器。该述混合现实设备，还用于通过该传感器监测该用户的若干帧手部位姿，并根据监测到的若干帧手部位姿以及该虚拟控制台的位姿，确定该用户对该虚拟控制台的手势操作。
135.另外，该混合现实设备，还用于接收手术机器人发送的手术计划，并基于接收到的手术机器人根据控制指令的运行结果，验证手术计划是否完成。并在手术计划完成时，停止监测用户对虚拟控制台的手势操作，并提示用户该手术计划完成。
136.在本说明书一个或多个实施例中，该混合现实设备还用于在手术计划未完成时，继续识别用户对虚拟控制台的操作，直至手术计划完成为止。
137.在本说明书一个或多个实施例中，该混合现实设备，还用于接收手术机器人对控制指令的验证结果，当验证结果为不安全时，向用户展示提示信息，并重新监测该用户对该虚拟控制台的手势操作，并根据重新识别到的用户对该虚拟控制台的手势操作以及该用户操作的该虚拟控制台中控制器标识，向该手术机器人发送控制指令。其中，该提示信息用于提示控制指令未执行。
138.本说明书还提供了一种手术机器人，该手术机器人用于接收执行手术的用户佩戴的混合现实设备发送的控制指令，并根据控制指令运行，以及将运行结果发送至混合现实设备，该控制指令为混合现实设备基于用户对渲染的虚拟控制台的手势操作，以及用户操作的虚拟控制台中的控制器标识确定的。
139.在本说明书中，该手术机器人还用于确定预设的手术计划，并向混合现实设备发送手术计划。
140.在本说明书一个或多个实施例中，该手术机器人还用于至少根据该手术计划，对接收到的控制指令进行验证，并将控制指令的验证结果发送至混合现实设备。
141.需要说明的是，上述本说明书提供的基于混合现实的操控方法、混合现实设备以及手术机器人各自对应的内容可互相参考。
142.基于图1所示的基于混合现实的操控方法，本说明书还提供了相应的基于混合现实的操控装置，如图5所示。
143.图5为本说明书提供的一种基于混合现实的操控装置示意图，该装置包括：
144.渲染模块200，用于渲染虚拟控制台，并投射至执行手术的用户佩戴的混合现实设备上，以展示给所述用户；
145.监测模块201，用于根据监测到的所述用户对所述虚拟控制台的手势操作，确定所述用户操作的所述虚拟控制台中控制器标识；
146.控制模块202，用于根据所述控制器标识以及所述手势操作，向所述手术机器人发送控制指令，使所述手术机器人根据所述控制指令运行；
147.展示模块203，用于接收所述手术机器人根据所述控制指令的运行结果，并展示给所述用户。
148.可选地，所述混合现实设备上设置有传感器，所述监测模块201，还用于通过所述传感器监测所述用户的若干帧手部位姿，根据监测到的若干帧手部位姿以及所述虚拟控制台的位姿，确定所述用户对所述虚拟控制台的手势操作。
149.所述装置还包括：
150.接收模块204，用于接收所述手术机器人发送的手术计划，基于接收到的所述手术机器人根据所述控制指令的运行结果，验证所述手术计划是否完成，若是，则停止监测所述用户对所述虚拟控制台的手势操作，并通过所述混合现实设备提示所述用户所述手术计划完成，若否，则继续识别所述用户对所述虚拟控制台的操作，直至所述手术计划完成为止。
151.所述装置还包括：
152.提示模块205，用于接收所述手术机器人对所述控制指令的验证结果，当所述验证结果为不安全时，通过所述混合现实设备向所述用户展示提示信息，所述提示信息用于提示所述控制指令未执行。
153.本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的基于混合现实的操控方法。
154.本说明书还提供了图6所示的电子设备的结构示意图。如图6所示，在硬件层面，该电子设备包括处理器、内部总线、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1提供的基于混合现实的操控方法。
155.当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
156.在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(programmable logic device,pld)(例如现场可编程门阵列(field programmable gate array，fpga))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片pld上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻
辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(hardware description language，hdl)，而hdl也并非仅有一种，而是有许多种，如abel(advanced boolean expression language)、ahdl(altera hardware description language)、confluence、cupl(cornell university programming language)、hdcal、jhdl(java hardware description language)、lava、lola、myhdl、palasm、rhdl(ruby hardware description language)等，目前最普遍使用的是vhdl(very-high-speed integrated circuit hardware description language)与verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
157.控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(application specific integrated circuit，asic)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：arc 625d、atmel at91sam、microchip pic18f26k20以及silicone labs c8051f320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
158.上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
159.为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
160.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
161.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
162.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
163.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
164.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
165.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
166.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
167.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
168.本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
169.本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
170.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例
的部分说明即可。
171.以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。