用于利用患者模型和可定制的手术室模拟外科工作流的虚拟现实系统的制作方法

用于利用患者模型和可定制的手术室模拟外科工作流的虚拟现实系统
1.相关申请
2.本pct申请要求美国申请16/667,237(v0060-us1)和美国申请16/667,241(v0060-us2)的较早申请日的权益。
技术领域
3.本发明整体涉及外科机器人系统，并且更具体地涉及用于计划外科机器人规程的系统和方法。


背景技术：

4.微创外科手术(mis)诸如腹腔镜手术涉及旨在在外科规程期间减少组织损伤的技术。例如，腹腔镜规程通常涉及在患者体内(例如，在腹部)形成多个小切口，以及通过切口将一个或多个工具和至少一个相机引入患者体内。然后可通过使用所引入的外科工具执行外科规程，其中可视化辅助由相机提供。
5.一般来讲，mis提供多重有益效果，诸如减少患者疤痕、减轻患者疼痛、缩短患者恢复期以及降低与患者恢复相关联的医疗费用。可利用外科机器人系统执行mis，该外科机器人系统包括一个或多个机器人臂，该机器人臂用于基于来自远程操作者的命令操纵外科工具。机器人臂可以例如在其远侧端部处支承各种装置，诸如外科端部执行器、成像装置、用于提供进入患者体腔和器官的通路的插管等。因此，外科机器人臂可以帮助执行外科手术。
6.此类机器人系统的控制可能需要用户(例如，外科医生或其他操作者)经由一个或多个用户接口装置进行控制输入，该一个或多个用户接口装置将用户的操纵或命令转化为对机器人系统的控制。例如，响应于用户命令，当外科工具定位在患者的外科手术部位处时，具有一个或多个马达的工具驱动器可以致动外科工具的一个或多个自由度。


技术实现要素：

7.可能期望在规程之前计划描述外科机器人臂的布置的外科机器人工作流。通过利用本文所讨论的过程在外科手术之前确定布置，可以提高操作成功的可重复性，并且有利地确定哪些物理环境(例如，健康设施中的手术室)将足够用于特定的外科机器人环境。可以基于本文所讨论的过程计划和优化外科机器人系统(例如，外科机器人臂、外科机器人平台、用户控制台、控制塔和其他外科机器人装备)的布置(例如，位置和取向)。
8.在一些实施方案中，描述了用于利用外科机器人系统来计划外科机器人工作流的系统和过程。生成具有一个或多个虚拟外科机器人臂和虚拟患者的虚拟外科环境。在虚拟患者内确定工作空间。基于工作空间确定一个或多个虚拟工具中的每个虚拟工具的方位。基于虚拟工具的方位确定一个或多个虚拟外科机器人臂中的每个虚拟外科机器人臂的方位，以维持虚拟工具在工作空间中的触及范围。
9.在一些实施方案中，可以递增地改进外科机器人工作流和外科机器人规程的布
局。确定工作流和虚拟外科装备的布局。布局用作布置物理布局的参考。然后可以将物理布局用作重新布置虚拟外科机器人装备的参考。因此，双向改进过程可以帮助在物理环境中设置外科机器人系统。例如，可以基于现有的手术室(or)模型和现有的装备模型生成虚拟or和虚拟外科装备。接收限定具有物理装备的物理or的传感器反馈，该物理装备包括物理or内的外科机器人系统。基于传感器反馈更新虚拟or和虚拟外科装备。虚拟外科装备的布局在虚拟or中优化。虚拟外科装备的优化布局可以呈现在显示器上，该显示器可以被用作参考以重新布置物理or中的物理外科装备。可以重复该过程。
附图说明
10.图1示出了根据一个实施方案的外科机器人系统。
11.图2示出了根据一个实施方案的用于外科机器人系统的工作流。
12.图3示出了根据一个实施方案的用于生成和优化工作流设置的系统。
13.图4示出了根据一个实施方案的用于优化虚拟外科环境的过程。
14.图5示出了根据一个实施方案的优化的虚拟外科环境。
15.图6示出了根据一个实施方案的利用来自物理or的反馈生成虚拟外科环境的流程图。
具体实施方式
16.本发明的各个方面和变型的示例在本文描述并在附图中示出。以下描述并非旨在将本发明限制于这些实施方案，而是旨在使本领域的技术人员能够制备和使用本发明。
17.下面的说明书和附图是对本公开的说明，不应理解为是限制本公开。描述了许多具体细节，以提供对本公开的各种实施方案的透彻理解。然而，在某些情况下，未对公知的或常规的细节进行描述，以使本公开的实施方案的讨论简洁。
18.在说明书中引用的“一个实施方案”或“实施方案”意指结合实施方案描述的特定特征、结构或特性可以包括在本公开的至少一个实施方案中。在说明书中各处出现的短语“在一个实施方案中”并不一定全部是指相同的实施方案。
19.参考图1，这是手术场所中的示例性外科机器人系统1的绘画视图。机器人系统1包括用户控制台2、控制塔3以及外科机器人平台5(例如台、床等)处的一个或多个外科机器人臂4。系统1可结合用于对患者6执行外科手术的任何数量的装置、工具或附件。例如，系统1可包括用于执行外科手术的一个或多个外科工具7。外科工具7可以是被附接到外科臂4的远侧端部的端部执行器，用于执行外科规程。
20.每个外科工具7可在外科手术期间手动操纵、机器人操纵或两者。例如，外科工具7可以是用于进入、查看或操纵患者6的内部解剖结构的工具。在一个实施方案中，外科工具7为可抓持患者的组织的抓持器。外科工具7可由床边操作者8手动控制；或者其可经由其所附接的外科机器人臂4的致动移动而由机器人控制。机器人臂4被示出为台上安装系统，但在其他配置中，臂4可安装在手推车、天花板或侧壁上，或者安装在另一个合适的结构支撑件中。
21.一般来讲，远程操作者9(诸如外科医生或其他操作者)可使用用户控制台2以远程操纵臂4和/或所附接的外科工具7，例如远程操作。用户控制台2可位于与系统1的其余部分
相同的手术室中，如图1所示。然而，在其他环境中，用户控制台2可位于相邻或附近的房间中，或者其可位于远程位置，例如，在不同的建筑物、城市或国家中。用户控制台2可包括座椅10、脚动控件13、一个或多个手持式用户输入装置(uid)14以及至少一个用户显示器15，该用户显示器被配置为显示例如患者6体内的外科手术部位的视图。在示例性用户控制台2中，远程操作者9坐在座椅10中并查看用户显示器15，同时操纵脚动控件13和手持式uid 14，以便远程控制臂4和外科工具7(其安装在臂4的远侧端部上)。
22.在一些变型中，床边操作者8还可以“床上”模式操作系统1，其中床边操作者8(用户)现在位于患者6的一侧并且同时操纵机器人驱动的工具(被附接到臂4的端部执行器)，例如，用一只手握持手持式uid 14和手动腹腔镜工具。例如，床边操作者的左手可操纵手持式uid以控制机器人部件，而床边操作者的右手可操纵手动腹腔镜工具。因此，在这些变型中，床边操作者8可对患者6执行机器人辅助微创外科手术和手动腹腔镜外科手术两者。
23.在示例性规程(外科手术)期间，以无菌方式对患者6行准备并覆盖消毒盖布以实现麻醉。在机器人系统1的臂处于收起配置或撤回配置时，可手动地执行对外科手术部位的初始触及(以便于触及外科手术部位)。一旦完成触及，就可执行机器人系统1包括其臂4的初始定位或准备。接着，外科手术继续，其中用户控制台2处的远程操作者9利用脚动控制件13和uid 14来操纵各种端部执行器以及可能的成像系统，以执行外科手术。也可由身着消毒手术衣的床边人员(例如床边操作者8)在手术床或手术台处提供人工辅助，该床边人员可对机器人臂4中的一个或多个臂执行任务，诸如回缩组织、执行手动重新定位以及工具更换。也可存在非消毒人员以在用户控制台2处辅助远程操作者9。当规程或外科手术完成时，系统1和用户控制台2可被配置或设定成一定状态以便于完成术后规程，诸如清洁或消毒以及经由用户控制台2输入或打印保健记录。
24.在一个实施方案中，远程操作者9保持并移动uid 14以提供输入命令，从而移动机器人系统1中的机器人臂致动器17。uid14可例如经由控制台计算机系统16通信地联接到机器人系统1的其余部分。uid 14可生成对应于uid 14的移动的空间状态信号，例如uid的手持式外壳的方位和取向，并且空间状态信号可以是控制机器人臂致动器17的运动的输入信号。机器人系统1可使用源自空间状态信号的控制信号来控制致动器17的成比例运动。在一个实施方案中，控制台计算机系统16的控制台处理器接收空间状态信号并生成对应的控制信号。基于控制致动器17如何通电以移动臂4的区段或连接件的这些控制信号，被附接到臂的对应外科工具的移动可模拟uid 14的移动。类似地，远程操作者9与uid 14之间的交互可生成例如抓持控制信号，该抓持控制信号导致外科工具7的抓持器的钳口闭合并抓持患者6的组织。
25.外科机器人系统1可包括若干uid 14，其中为控制相应臂4的致动器和外科工具(端部执行器)的每个uid生成相应的控制信号。例如，远程操作者9可移动第一uid 14以控制位于左机器人臂中的致动器17的运动，其中致动器通过移动臂4中的连杆、齿轮等来响应。类似地，远程操作者9对第二uid 14的移动控制另一个致动器17的运动，这继而移动机器人系统1的其他连杆、齿轮等。机器人系统1可包括固定到患者的右侧的床或台的右臂4，以及位于患者的左侧的左臂4。致动器17可包括一个或多个马达，控制该一个或多个马达，使得它们驱动臂4的接合部旋转，以例如相对于患者改变被附接到该臂的外科工具7的内窥镜或抓持器的取向。同一臂4中的若干致动器17的运动可由从特定uid 14生成的空间状态
信号控制。uid 14还可控制相应外科工具抓持器的运动。例如，每个uid 14可生成相应的抓持信号以控制致动器(例如，线性致动器)的运动，该致动器在外科工具7的远侧端部处打开或闭合抓持器的钳口以抓持患者6体内的组织。
26.在一些实施方案中，平台5和用户控制台2之间的通信可通过控制塔3，该控制塔可将从用户控制台2(并且更具体地从控制台计算机系统16)接收的用户命令转换成传输到机器人平台5上的臂4的机器人控制命令。控制塔3还可将状态和反馈从平台5传输回用户控制台2。机器人平台5、用户控制台2和控制塔3之间的通信连接可经由有线和/或无线链路，使用各种数据通信协议中的任何合适的数据通信协议。任何有线连接可任选地内置于手术室的地板和/或墙壁或天花板中。机器人系统1可向一个或多个显示器提供视频输出，包括手术室内的显示器以及可经由互联网或其他网络访问的远程显示器。还可加密视频输出或馈送以确保隐私，并且视频输出的全部或部分可保存到服务器或电子保健记录系统。
27.外科机器人臂可以具有可移动的、接合的和/或机动的构件，其具有多个自由度，该自由度可以在远侧端部处保持各种工具或附件。示例系统包括达芬奇(da vinci(r))外科系统，其可以用于微创外科手术(例如，泌尿外科规程、普通腹腔镜外科规程、妇科腹腔镜外科规程、普通非心血管胸腔镜外科规程和胸腔镜辅助的心切开术规程)。“虚拟外科机器人臂”可以是在用户设置的捕获的视频上渲染的机器人臂的计算机生成的表示。虚拟外科机器人臂可以是真实机器人臂的复杂3d模型。另选地或除此之外，虚拟外科机器人臂可以包括视觉辅助，诸如箭头、工具尖端或涉及提供关于机器人臂的位姿信息的其他表示，诸如真实机器人臂的几何简化版本。
28.用于生成和优化工作流设置的系统
29.用于外科机器人系统的工作流描述了外科装备的准备，使得可以在被称为工作空间的患者的区域中执行规程。工作流优化可以包括确定工作空间、工具放置、端口位置和外科机器人臂的设置，以准备外科规程。参考图2，可以在虚拟环境300中优化工作流以降低碰撞风险并且最大化工具在工作空间中的可触及性。应当理解，如本文所用的“虚拟”可以描述对象(例如，外科装备、房间和/或人)在二维或三维空间中的计算机生成的表示。可以生成表示对应的现实生活中的对应物的虚拟装备，限定大小和形状。例如，虚拟外科机器人臂可以表示真实外科机器人臂，虚拟受试者可以表示现实生活中的患者，并且虚拟手术室可以表示真实手术室。对象的计算机模型是描述物理对象的属性的一组数据，诸如但不限于外科装备和患者。可以基于计算机模型生成虚拟对象。
30.可以例如基于规程类型、患者解剖结构、患者体型等来限定虚拟患者内的工作空间310。可以基于工作空间和/或外科工具在工作空间内的触及范围306来确定工具304的方位。工具可包括套管针和/或附加外科工具(例如，缝合器、抓持器、剪刀和相机)。可以基于套管针穿过虚拟患者的腹部308的位置来确定端口312。虚拟外科机器人臂302的方位可以基于端口位置、套管针方位和/或工作空间来确定。
31.可以确定每个机器人臂的初始设置，例如，每个机器人臂是否处于收起方位、覆盖消毒盖布或停靠。在规程之前，每个机器人臂的适当设置将臂和附接的工具放置到位，以便进入工作空间并在其上进行操作。不正确的设置可导致规程期间的延迟，并增加错误和/或对患者造成伤害的风险。在确定臂设置时会考虑每个臂能够进行的机械移动，以实现外科工具在工作空间中的触及范围。
32.规程可能需要外科机器人臂中的一个或多个外科机器人臂能够在规程的各个阶段到达工作空间310。优化工作流可以包括确定套管针放置，使得工具通过套管针的触及范围306在工作空间中足够。在一些情况下，工作流优化可以确定套管针、端口和外科机器人臂的方位，使得两个或更多个机器人和对应的工具的触及范围在工作空间中重叠。如本文所用，优化可以指基于本文所述的一个或多个标准和输入，诸如但不限于工作空间的位置、在工作空间中的触及范围和移动、便利性和碰撞风险来布置虚拟外科装备(例如，工作流和/或布局)的软件和硬件支持的算法。优化不需要达到最佳布置。相反，虚拟装备和/或虚拟or的布置有时基于标准递增地改进。
33.参考图3，示出了用于生成和优化工作流设置的系统20。该系统可以生成手术室和外科装备的虚拟现实(vr)模拟100，其在本文中也被描述为虚拟外科环境。此类模拟可以包括虚拟患者114和表示图1中描述的外科机器人系统的虚拟外科装备(包括一个或多个虚拟机器人臂103)。虚拟外科机器人装备和虚拟患者可以布置在虚拟手术室中，以帮助计划外科机器人规程(例如，腹腔镜外科手术)。
34.外科机器人运动学处理器106可以生成限定物理外科机器人臂的移动限制和移动能力的运动学参数。例如，每个机器人臂可以具有各种互连构件，所述互连构件的每个构件可以在一个或多个限定的方向、平面或轴线中移动转动或行进。移动可以例如通过行进角度或距离来限制。因此，运动学参数可以限定外科机器人臂和外科机器人工具如何可以或无法移动，这继而确定工具在工作空间中的触及范围和移动能力。
35.在一个实施方案中，运动学参数在机器人模型102中定义(例如，计算机辅助绘图(cad)模型或统一机器人描述格式(urdf)模型)。运动学处理器可以从待用于确定vr模拟中虚拟外科机器人臂或虚拟工具的设置的模型中提取这些参数。
36.另选地或除此之外，运动学处理器可以基于由机器人控件112生成的机器人控制数据(例如，马达/致动器命令和反馈、伺服命令、方位数据和速度数据)来生成运动学参数。机器人控制数据可以使用真实外科机器人臂和/或外科工具108在真实外科规程期间生成，也使用真实外科机器人臂和/或工具在模拟外科规程(例如，测试运行)期间生成。
37.在一个实施方案中，基于机器人模型和基于机器人控制数据生成运动学参数。运动学参数可以从机器人模型102提取，并且然后基于从机器人控件112接收的真实世界数据来修改。
38.在一个实施方案中，运动学参数还可以包括动态信息，诸如机器人臂的质量、惯性、重力、力和扭矩。可以基于来自真实机器人控件112和/或机器人模型的输入来生成动态信息。这些输入可以包括真实外科机器人臂108的控制反馈、马达控制数据和传感器数据。
39.因此，运动学建模可以受益于物理反馈以及计算机生成的约束，以生成类似于机器人臂的实时运动学的运动学模型。有利地，通过使用来自物理机器人臂的真实数据，运动学参数可以提供确定虚拟机器人臂相对于工作空间和虚拟患者的布置的准确度。因此，基于物理外科机器人臂和/或工具的移动约束和能力，虚拟机器人臂可以在vr模拟中相对于虚拟患者布置，以实现在虚拟患者的工作空间内的适当移动，如特定外科规程所需。
40.在一个实施方案中，执行优化程序110以基于一个或多个输入和对输入的改变来布置虚拟对象(例如，患者、机器人臂和工具、平台、用户控制台、控制塔和其他外科装备)。例如，输入可以是工作空间、患者几何形状、手术室、规程类型、平台高度等。对输入的改变
可以包括对虚拟患者的修改、对规程的改变、对手术室的改变、对平台高度的改变和/或将修改虚拟患者内的工作空间的位置或大小的任何改变。在一些情况下，用户界面可以允许用户在佩戴具有抬头显示器的头戴式耳机的同时在vr模拟中手动移动虚拟对象。用户可以沉浸在vr模拟中。基于一个或多个输入，优化规程可以重新布置虚拟对象并重新优化。
41.在一个实施方案中，优化规程110包括用于用外科机器人系统来计划外科机器人工作流的操作。该操作包括：生成虚拟外科环境，该虚拟外科环境包括虚拟外科机器人臂和虚拟患者。可以确定虚拟患者内的工作空间(例如，基于规程类型和虚拟患者)。可以基于工作空间确定虚拟工具(例如，套管针和通过套管针引入的其他工具)的方位。基于虚拟工具的方位确定虚拟工具被附接在其上的虚拟外科机器人臂的方位，以维持虚拟工具在工作空间中的触及范围。
42.在一个实施方案中，可以生成运动学参数，这些运动学参数限定外科机器人臂将用于规程类型的移动约束。例如，运动学参数可以限定机器人的构件移动的方向、每个构件可以行进的最大或最小距离或角度、每个构件的质量、每个构件的刚度和/或其中构件移动的速度和力。因此，虚拟外科机器人臂或虚拟工具的布置可以进一步基于虚拟机器人臂的运动学参数，使得虚拟外科机器人臂可以参考运动学参数在外科工作空间内执行外科规程类型。
43.在一个实施方案中，vr模拟可以包括虚拟装备115，诸如外科机器人平台、控制塔、用户控制台、扫描装备(例如，移动x射线机器(c形臂)或超声成像机)、支架、凳子、托盘和将被布置在外科手术室中的其他装备。虚拟装备可以基于定义诸如各种装备的形状和大小等参数的计算机模型生成。
44.在一个实施方案中，可以在vr模拟中生成手术室。其他虚拟对象可以布置在虚拟手术室中以计划特定手术室中的外科布局和工作流。虚拟手术室116可以基于物理手术室以计划物理手术室中的规程。虚拟手术室可以从存储在电子存储器中的许多手术室模型中的一个手术室模型呈现。虚拟手术室可以由以下方式生成：a)由物理房间的三维扫描生成；b)基于选自含有一个或多个手术室模型的数据库的模型生成；或c)基于房间参数(例如，墙壁、天花板、地板、门道、窗户等等的长度和宽度)生成。
45.可以通过扫描现实生活中的患者来生成一个或多个虚拟患者114。可以基于在规程期间捕获的数据来调整或改进虚拟患者114。在一个实施方案中，虚拟患者114可以具有建模的内部器官。可以基于识别内部器官的位置和几何形状的数据来确定工作空间。
46.可以使用患者模型在虚拟环境中确定虚拟患者和工作空间。可以基于外科规程的类型在虚拟患者内限定外科工作空间。例如，特定的外科规程可以将虚拟患者的外科工作空间限定为肚脐、肠、肝、胆囊等下方的区域。因此，理解患者的解剖结构(例如，器官的位置)在确定机器人臂和工具的设置以及端口方位方面可具有很高的重要性。通过扫描现实生活中的患者，并且然后使用真实外科数据，可以改进虚拟患者和虚拟患者内的工作空间位置的准确性，从而改进外科工作流的计划。可以准确确定端口方位，并且可以改进工具在工作空间内的触及范围。
47.虚拟患者的几何形状和解剖结构可以基于从一个或多个外科规程捕获的传感器信息或外科机器人移动数据来确定。外科规程可以是真实外科规程或具有真实患者或假人的模拟规程。生成或修改虚拟患者可以包括基于传感器估计虚拟患者的内部体积和/或解
剖结构，诸如a)在患者内部拍摄的相机图像，和/或b)在一个或多个外科规程期间捕获的外科机器人工具运动。
48.附加地或另选地，生成或修改虚拟患者可以包括基于在一个或多个外科规程期间捕获的内窥镜数据来重建患者模型的内部体积。可以基于真实患者的3d扫描来生成患者模型。附加地或另选地，可以基于传感器数据(例如，相机和其他医学成像技术)生成患者模型。在执行3d扫描的情况下，可以基于传感器信息(例如，由外科工具捕获)或外科机器人移动数据来修改患者模型。有利地，例如，如果3d扫描没有提供足够的信息，则患者模型的重建可以填充患者模型的缺失部分或缺陷定义。
49.在确定患者模型有缺陷的情况下，可以重建患者模型的区域以补充缺失或缺陷的患者模型信息。例如，如果患者模型的肝脏的位置基于3d扫描不清楚，则传感器信息或外科机器人移动数据可用于重建患者模型的该区域。信息和数据可以在规程期间捕获并存储在真实外科日志中。例如，在真实外科规程期间，可以基于远程运动中心(rcm)机制、相机生成的图像、其他图像和/或其他外科机器人工具运动，来生成关于内部解剖结构(例如，器官大小和壁厚等等)和患者的内部体积的数据。
50.在一个实施方案中，vr模拟100可通过例如用户控制台120上的显示器传送或输出。视图发生器可以生成vr模拟的一个或多个视图118，例如，体育场视图或第一人称视图。用户可以使用此类视图来进一步生成到优化器20的输入。例如，用户可以使用用户控制台120修改或更换虚拟患者、工作空间、虚拟外科装备和/或虚拟手术室。可以基于由用户进行的调整在框110处优化vr模拟。然后可以为用户重新生成模拟的视图，从而基于用户生成的输入对工作流提供调整和优化。以此方式，用户可以定制工作流和布局优化以适合特定的患者和规程类型。这可以简化用于不同患者、不同规程的机器人臂的设置，并且帮助选择手术室以促进此类规程。
51.在一些实施方案中，可以生成vr模拟作为2d模型。例如，可以生成vr模拟作为平面图，该平面图可以有利地提供对手术室中每个对象的位置和模型之间的间距的即时理解。
52.在一个实施方案中，如图4所示，优化过程110可以基于一个或多个输入138优化房间布局152和外科机器人臂配置154。输入可以包括对以下因素中的一个或多个因素的改变：规程类型、外科工作空间、虚拟患者、工具方位和运动学参数。
53.例如，如关于图2所提及的，初始输入可以包括工作空间310在虚拟受试者308体内的位置。套管针304的方位可以基于工作空间以及工具(例如，剪刀、缝合器、抓持器或针)在工作空间内的触及范围306来确定。可以基于套管针的方位和/或工作空间来确定端口位置312。可以基于端口的位置、工作空间和/或套管针方位来确定外科机器人臂的方位。
54.患者模型、外科工具方位、机器人运动学或外科工作空间的改变可以引发对机器人臂的设置的调整。例如，如果虚拟患者的体型改变，则这可导致工作空间的位置改变。调节套管针方位以最大化工具在工作空间的改变位置内的触及范围。可以相应地调整端口位置以及外科机器人臂的方位。应当理解，如关于机器人臂和工具所讨论的“设置”、“配置”和“布置”可以描述机器人臂和/或工具的构件绝对或相对于彼此定位的方式。因此，机器人臂的“设置”或“配置”可以描述机器人臂的特定位姿和被附接到机器人臂的工具的方位。
55.在一个实施方案中，虚拟外科装备(例如，用户控制台、扫描装备、控制塔)或辅助人员模型的位置或取向的改变可以引发虚拟外科装备的重新布置。类似地，对规程类型的
改变可以引发虚拟患者内的外科工作空间的改变，该改变继而可导致默认工具方位(例如，默认套管针方位)、端口位置和外科机器人臂方位的改变。类似地，虚拟患者(例如，更高或更重的体型)的改变可以引发虚拟患者的外科工作空间的改变，这可导致工具方位、端口位置和外科机器人臂配置的连锁反应。类似地，假设虚拟患者在虚拟规程期间被放置在平台上，平台方位的改变(例如，台的高度、角度或斜率)可以类似地引发工具方位、端口位置和机器人臂配置的改变。
56.参考图4，优化过程110可以生成优化的房间布局152，并且外科机器人臂配置154支持在限定的工作空间内具有足够触及范围的工具方位。优化过程可以基于重要性排序而具有操作层次结构。框140、142、144和146可以按所示顺序依次执行。
57.例如，在框140处，虚拟患者和/或外科机器人规程类型可以具有最高的重要性等级。患者体内的工作空间可以基于规程类型确定和/或虚拟患者可以确定患者体内的工作空间(例如，在虚拟患者的腹部下方的某个区域)。工作空间区域可以限定虚拟患者内待发生规程的位置、大小和/或形状。
58.接下来，在框142中，可以限定和布置外科机器人工具方位(例如，默认工具方位)。外科工具的方位可以基于外科工作空间。例如，如图2所示，可以基于每个工具的触及范围306以及工作空间位置310来确定一个或多个工具304的方位(例如，位置和取向)。可以基于工具方位(例如，工具穿过虚拟患者的腹部308的方位)确定一个或多个端口位置312。可以确定工具方位以提供工具在工作空间中的足够移动和触及范围。
59.接下来，在框144中，可以基于工具方位、工作空间和/或端口方位将一个或多个虚拟外科机器人臂和/或外科机器人平台的方位(包括位置和/或取向)布置在虚拟外科手术室中。可以确定工具被附接在其上的外科机器人臂方位以将虚拟工具中的每个虚拟工具保持在适当方位，使得在工作空间中的触及范围和移动足够。可以调整平台的高度和俯仰角。
60.在框146处，优化可以包括布置虚拟控制塔、虚拟用户控制台和其他外科机器人装备的位置或取向。这可以基于各种因素来执行，例如，通过聚类相关工具使人员行进最小化、将某些工具和装备放置在相关人员附近、为医务人员和其他医疗装备提供空间以及最小化碰撞风险。通过使用此类操作顺序，优先考虑对操作至关重要的工作空间内的触及范围和移动。可以在不改变在工作空间中提供足够的触及范围和移动的外科机器人臂的方位的情况下确定其余考虑因素，诸如医疗装备的布局是否方便和适合。
61.在一个实施方案中，可以在框144处生成虚拟手术室。虚拟机器人臂和平台布置在虚拟手术室中。在这种情况下，然后可以在框146中将装备布置在虚拟手术室中。在另一实施方案中，在所有虚拟外科装备已经定位之后，可以在框146处生成虚拟手术室。以这种方式，假设虚拟手术室表示在设施内可用的真实手术室，如果手术室的可用性高，则可以首先执行虚拟患者和虚拟外科装备的布置，并且然后可以选择表示物理手术室的虚拟手术室以最佳地适合优化的布置，而不改变布置。另一方面，如果手术室的可用性低，则可以在框144处选择手术室，并且装备的位置和取向可以基于可用手术室的几何形状或大小所固有的限制来布置和优化。因此，确定虚拟手术室的顺序可以取决于物理手术室的可用性而改变。
62.在一个实施方案中，基于上述优化过程，该过程可以输出优化的房间布局152(例如，外科机器人臂、平台、用户控制台、控制塔和其他外科装备的位置和取向)以及优化的外科机器人臂配置/工作流154。如所描述，优化的工作流可以限定一个或多个默认套管针/工
具方位、端口位置以及外科机器人臂的每个构件的方位和取向。
63.参考图5，在平面图中示出了优化的房间布局的一个示例。诸如但不限于：虚拟患者226、外科机器人平台222、外科机器人臂和附接工具224、虚拟控制塔228、用户控制台232和其他虚拟外科装备230的虚拟对象中的任何虚拟对象的位置可以布置在虚拟外科环境220中。可以利用诸如但不限于x轴、y轴和/或z轴的坐标来描述虚拟对象的布置。取向可以描述对象中的任何对象的方向。
64.用物理手术室计划虚拟外科环境
65.仔细计划和可视化可以帮助设置外科机器人系统以支持具有可重复性和高成功机会的工作流。可以借助于虚拟环境识别不与外科机器人系统兼容的手术室。
66.在一个实施方案中，图6的流程图示出了有助于基于来自物理手术室的反馈来确定外科装备的布局的方法和系统。在框272处，生成包括虚拟外科装备的虚拟or。虚拟外科装备可以包括图1所示的装备的虚拟表示。虚拟or和虚拟外科装备可以基于现有的手术室模型和现有的装备模型生成。可以从本地或网络化的一个或多个计算装置支持的一个或多个数据库270中检索这些模型。or模型和/或现有的装备模型可以包括以下中的一者或多者：几何形状、大小、名称、外科机器人系统配置和外科手术类型。例如，外科机器人臂的模型可以描述臂的几何形状和大小。模型可以具有名称并且具有描述臂适合哪种或哪些外科手术类型的元数据。外科机器人系统配置可以限定以下中的一者或多者：多个机器人臂、工具(例如，抓持器、缝合器等)和机器人臂的位姿。在一些实施方案中，基于可以从一个或多个数据库中检索的患者模型在虚拟or中生成虚拟患者。
67.可以在操作284处接收传感器反馈。传感器反馈可以限定物理手术室的几何形状和/或物理外科装备在物理or中的方位。物理手术室的几何形状显示房间的形状和大小。物理装备的方位可以描述装备在房间中的位置和取向。传感器反馈可以由一个或多个传感器生成，包括但不限于：相机、红外传感器、3d扫描相机、机器人传感器和人体跟踪装置。这些传感器可以位于墙壁上，在手持式装置中，或与外科机器人装备集成。
68.在框272处，基于传感器反馈更新虚拟or和/或虚拟or中的虚拟外科装备。例如，可以更新虚拟手术室的几何形状以匹配物理手术室。类似地，可以更新虚拟外科装备的位置和取向以匹配物理手术室中的物理外科装备。对象检测和其他已知的计算机视觉技术可用于识别传感器反馈中的装备和对象。以此方式，该过程可以自动检测物理手术室中的物理外科装备，并且使虚拟外科装备同步以反映物理外科装备的方位。
69.在操作286处，可以优化虚拟外科装备的布局。优化可以包括布线电缆和流体管线，例如，以减少行走区中的布线。优化基于一个或多个标准，诸如但不限于：优化的工作流、虚拟外科装备的间隙、无障碍的行走路径、相关装备的紧密放置、电缆和流体管线的长度减小、杂乱减少和碰撞风险降低。可以加权标准。例如，工作流允许在外科工作空间中正确执行外科规程。因此，可以为工作流分配比基于便利性的标准更大的权重，诸如便利性减少了杂乱。优化可以包括以一种或多种布置将虚拟外科装备布置在虚拟or中，并且基于如何满足标准来选择一种或多种布置中最有利的布置。
70.在一些实施方案中，优化虚拟外科装备的布局包括确定虚拟or的改进的几何形状，诸如改变虚拟or的形状或大小。例如，基于装备或其他因素之间的间隙增加，可以改变几何形状。可以通过关于图3和图4的优化过程110描述的系统和过程来执行优化。
71.在操作280处，可以在显示器上渲染虚拟or和虚拟外科装备的优化配置。在框274处，可以通过人员相应地调整物理手术室。优化的配置可以用作调整的参考。
72.此过程(框274、284、272、286和280)可以重复以形成闭环，该闭环改进了物理手术室中的外科装备的设置。例如，在调整物理or之后，在操作284处再次接收附加的传感器反馈。附加的传感器反馈可以指示物理装备在物理or中的重新布置。虚拟手术室和/或虚拟外科装备的布局可以基于附加的反馈来更新，并且可以再次执行优化操作。可以显示更新的优化配置，并且用作进一步重新布置的参考，等等。在某个点处，优化操作可能不会对虚拟手术室进行任何改变。在这种情况下，系统和过程可能不具有关于外科装备的布局的任何附加建议。
73.此类过程可以有益于使用外科机器人系统(例如，图1中所示)来计划外科机器人规程，因为由于各种部件(例如，外科机器人臂、平台、用户控制台、控制塔、人员、传感器和其他装备)的原因，此类外科机器人系统的设置可能具有挑战性。因此，并非所有or都可以适用于此类外科规程，要么是由于空间不足，要么是or几何形状的缺陷，这可能导致外科规程执行期间的问题。
74.在一些实施方案中，可以在虚拟化手术室中模拟物理手术室中的传感器方位。例如，外科机器人系统可以使用安装在墙壁上的相机。相机的放置难以计划，因为直到安装相机之后才能感测相机的视线中的遮挡。虚拟相机可以在虚拟手术室中生成以帮助确定物理相机的正确位置和视线。
75.例如，在操作284处接收到的传感器反馈可以含有来自物理手术室中的物理相机的相机数据(例如，一个或多个图像)。在框272处，系统可以生成和/或更新具有对应于物理相机的位置和视线的位置和视线的虚拟相机。在框286处，系统可以确定虚拟相机的视线中是否存在遮挡(阻挡视觉的对象)。如果存在遮挡，则系统可以修改虚拟相机的位置或视线以最小化或消除遮挡。虚拟相机可以以优化的配置示出，然后可以用作调整物理相机的参考。
76.在一个实施方案中，感官反馈包括物理or中的物理外科机器人臂的控制数据和传感器数据(例如，编码器数据、运动学数据)。因此，来自物理外科机器人臂的反馈可用于优化虚拟or布局。例如，如果传感器数据(例如，图像)不包括物理患者的准确表示，则处理器可以使用其他传感器数据(例如，来自机器人臂的编码器数据)来参数化广义患者模型，并且随后基于患者模型创建or布局的虚拟模型。然后，可以如述计算or布局和工作流的改进。
77.在一个实施方案中，系统可以在一个或多个数据库270中存储具有优化布局的虚拟or。所存储的布局将来可以被调用和重新使用，以帮助调整物理手术室，从而不会不必要地重复相同的优化过程。
78.在一个实施方案中，基于传感器反馈(例如，物理or的3d扫描)，系统可以基于所接收的数据在虚拟or内添加新虚拟装备。可以生成新的模型并将其存储进数据库中。以此方式，系统可以基于来自3d扫描仪的反馈将新的和未知的虚拟对象添加到虚拟手术室中并将它们缝合到虚拟or中。
79.系统可以生成包括虚拟or中装备模型的布局信息的报告。报告可以包括图片，诸如透视图的平面图。系统可以确定物理or是否具有支持待用于外科规程的装备模型或外科机器人系统的能力。例如，基于房间的大小和几何形状以及装备彼此之间的接近程度，可以
认为物理or不适用于此类装备和规程。
80.在一些实施方案中，可以确定手术室与外科机器人规程和装备的兼容性。可以基于物理or的几何形状生成虚拟or。虚拟or可以在框272处基于预先存在的or模型和装备模型和/或基于可被分析以确定物理手术室和物理手术室中对象的大小和形状的感测到的反馈生成。在操作286处，可以如所述优化虚拟外科装备的布局。
81.在操作278处，可以执行兼容性确定，该兼容性确定描述物理or对于外科机器人系统和/或规程的兼容性如何。该确定可以显示or必须支持虚拟外科机器人系统的能力有多少。在一个实施方案中，该确定可以基于虚拟装备是否能够被可靠地移入和移出虚拟or，该虚拟or继而反映物理装备是否能够被可靠地移入和移出物理or。兼容性分数还基于将虚拟装备的大小(例如，虚拟机器人臂、平台、用户控制台和控制塔)与虚拟or的入口或路径比较。
82.还可以基于虚拟外科装备之间、虚拟外科装备与物理or的壁之间、或虚拟外科装备与虚拟人员之间是否存在足够的间隙来进行兼容性确定。因此，兼容性确定还可以考虑or可能有多狭窄。
83.在框276处，用户可以查看兼容性确定并决定是使用当前物理手术室执行规程，还是使用不同的手术室。例如，低兼容性分数可以向用户指示当前物理手术室太小或不具有足够的入口以使装备移入和移出。在这种情况下，用户可以决定在不同的手术室中执行相同的过程。
84.在一个实施方案中，处理器可以确定假设的手术室的改进的几何形状。这可以包括确定当前虚拟手术室的形状或大小的改变，该改变可以基于物理手术室的扫描。可以通过显示器或报告指示改进的几何形状，从而提供关于更适合规程的or的建议。
85.在一个实施方案中，处理器可以在虚拟手术室中(例如，在装备模型和/或模型与电插座之间)给虚拟电缆定路线。类似地，静脉内管线或其他医疗管或电缆可以在虚拟手术室内布线。处理器可以将布线的敏感布线识别为“禁”区，以帮助设置和计划外科机器人规程，并且帮助培训工作人员。
86.在一个实施方案中，该方法包括显示虚拟外科环境。例如，虚拟外科环境可以显示给用户控制台上的用户显示器(如图1所示)或任何本地或远程显示器。虚拟外科环境可以显示为体育场视图、平面图、第一人称视图或其他视图。显示器可以由网络上的节点(例如，计算装置)之间的数据传输协议驱动(例如，tcp/ip、以太网、udp等等)。在一个实施方案中，将虚拟外科环境显示到头戴式显示器。可以跟踪头戴式显示器的穿戴者，使得穿戴者可以在整个虚拟外科环境中移动以获得对各种装备的位置和取向以及虚拟外科环境内的未占用空间和走道的三维理解。在一个实施方案中，虚拟外科环境是交互式的，使得用户可以调整虚拟外科环境中的对象的取向和/或位置(例如，虚拟外科机器人臂、控制塔、外科机器人平台的角度或高度、显示器的角度等等)。
87.在一个实施方案中，系统的处理器(例如，优化处理器、运动学处理器、机器人控制器、相机、显示器和机器人臂)可以包括微处理器和存储器。每个处理器可包括其中包括单个处理器内核或多个处理器内核的单个处理器或多个处理器。每个处理器可以表示一个或多个通用处理器，诸如微处理器、中央处理单元(cpu)等。更具体地讲，每个处理器可以是复杂指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、超长指令字(vliw)微处
理器、实现其他指令集的处理器或实现指令集组合的处理器。每个处理器还可以是一个或多个专用处理器，诸如专用集成电路(asic)、蜂窝或基带处理器、现场可编程门阵列(fpga)、数字信号处理器(dsp)、网络处理器、图形处理器、通信处理器、加密处理器、协同处理器、嵌入式处理器或能够处理指令的任何其他类型的逻辑。
88.诸如本文所述的算法或方法步骤的模块、部件和其他特征可以由微处理器、离散硬件部件来实施，或者集成在硬件部件(诸如asic、fpga、dsp或类似装置)的功能中。此外，此类特征和部件可以被实施为硬件装置内的固件或功能电路系统，然而，此类细节与本公开的实施方案没有重要关联。还应当理解，具有更少部件或可能更多部件的网络计算机、手持式计算机、移动计算装置、服务器和/或其他数据处理系统也可与本公开的实施方案一起使用。
89.以上详细描述的一些部分已经根据算法和对计算机存储器内的数据位的操作的符号表示来呈现。数据处理领域的技术人员利用这些算法描述和表示来向本领域的其他技术人员最有效地传达他们的工作要旨。算法在此处并且通常被视为导致期望结果的有条理的操作序列。操作为需要物理量的物理操纵的操作。
90.然而，应当记住，这些和类似的术语都将与适当的物理量相关联并且仅仅是应用于这些量的方便的标签。除非从上述讨论中另外明确指明，否则可以理解的是，在整个说明书中，利用诸如以下权利要求中提出的那些术语的讨论是指计算机系统或类似的电子计算装置的动作和过程，其操纵表示为计算机系统的寄存器和存储器内的物理(电子)量的数据并将其转换成相似地表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示装置内的物理量的其他数据。
91.本公开的实施方案还涉及用于执行本文的操作的设备。此类计算机程序存储在非暂态计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式来存储信息的任何机制。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(“rom”)、随机存取存储器(“ram”)、磁盘存储介质、光学存储介质、闪存存储器装置)。
92.在前图中描绘的过程或方法可以由处理逻辑执行，该处理逻辑包括硬件(例如，电路系统、专用逻辑等)、软件(例如，体现在非暂态计算机可读介质上)或两者的组合。虽然上文根据一些顺序操作来描述过程或方法，但是应当理解，所描述的操作中的一些操作可以不同的顺序来执行。此外，一些操作可并行地而非顺序地执行。
93.本公开的实施方案未参考任何特定的编程语言来进行描述。应该理解，可以使用各种编程语言来实现本文描述的本公开的实施方案的教导内容。
94.在前述说明书中，已参考本公开的具体示例性实施方案描述了本公开的实施方案。将显而易见的是，在不脱离如以下权利要求中阐述的本公开的更广泛的实质和范围的情况下，可对本公开进行各种修改。因此，说明书和附图将被视为在示例性意义上而非限制性的。出于解释的目的，前述描述使用特定命名来提供对本发明的透彻理解。然而，对于本领域的技术人员将显而易见的是，实践本发明不需要具体细节。出于举例说明和描述的目的，已经提供了本发明的特定实施方案的前述说明。它们并非旨在为详尽的或将本发明限制为所公开的具体形式；根据上述教导内容可对本公开进行多种修改和改变。选择和描述实施方案是为了最好地解释本发明的原理及其实际应用，从而使得本领域的其他技术人员
能够最好地利用本发明和具有适合于所设想的特定用途的各种修改的各种实施方案。以下权利要求书及其等同项旨在限定本发明的范围。