用于促进外科手术空间中的设备的自动操作的系统和方法与流程

用于促进外科手术空间中的设备的自动操作的系统和方法
1.相关申请
2.本技术要求2020年3月31日提交的美国临时专利申请第63/002,839号的优先权，其内容通过引用其整体在此并入。


背景技术：

3.采用机器人和/或远程操作技术的计算机辅助外科手术系统通常包括立体图像查看器，该立体图像查看器被配置为提供由成像设备(诸如内窥镜)捕获的外科手术空间的影像，以供显示给外科医生。当外科医生的眼睛定位在立体图像查看器的观察镜头前时，外科医生可以查看外科手术空间的影像，同时远程操纵位于外科手术空间内的一个或多个外科手术器械。外科手术器械被附接到外科手术器械操纵系统的一个或多个操纵器臂，该外科手术器械操纵系统被包括为计算机辅助外科手术系统的一部分。
4.除了被附接到一个或多个操纵器臂的外科手术器械，还可以将附加器械插入外科手术空间，以促进外科医生在外科手术空间内执行程序(procedure)。例如，可以在外科手术空间内提供皮下感测设备(例如超声设备)，以改善外科医生对外科手术空间的感知并改善程序的结果。然而，此类附加器械通常不被集成到附接到计算机辅助外科手术系统的操纵器臂的模块中。鉴于此，此类附加器械可能只可用作插入式器械(drop-in)，所述插入式器械依赖于例如附接到计算机辅助外科手术系统的操纵器臂的抓握器外科手术器械，以在外科手术空间内抓握和移动插入式器械。操作远程操作的抓握器外科手术器械与插入式器械交互需要外科医生执行复杂的策略，以便在外科手术空间内拾取和使用插入式器械。此外，在外科医生必须在远程操作位于外科手术空间中的外科手术器械和远程操作插入式器械以捕获外科手术空间的影像之间反复切换的情况下，使用器械(诸如插入式超声探头)可能是麻烦的和/或很耗的。


技术实现要素：

5.一种示例性系统包括存储指令的存储器以及处理器，该处理器通信地耦接到存储器并且被配置为执行指令以：获得位于外科手术空间中的设备的一个或多个操作特性；获得与外科手术空间相关联的一个或多个解剖特性；并且引导计算机辅助外科手术系统基于设备的一个或多个操作特性以及与外科手术空间相关联的一个或多个解剖特性用位于外科手术空间中的设备自动执行操作。
6.附加示例性系统包括存储指令的存储器以及处理器，该处理器通信地耦接到存储器并且被配置为执行指令以：获得由外科手术空间中的第一机器人器械接合的非机器人设备的一个或多个操作特性，其中第一机器人器械、第二机器人器械和第三机器人器械各自被附接到计算机辅助外科手术系统，并且第二机器人器械和第三机器人器械被配置为由计算机辅助外科手术系统的用户双手远程操作；获得与外科手术空间相关联的一个或多个解剖特性；并且当计算机辅助外科手术系统的用户双手远程操作第二机器人器械和第三机器人器械时，引导计算机辅助外科手术系统基于设备的一个或多个操作特性以及与外科手术
空间相关联的一个或多个解剖特性用非机器人设备自动执行操作。
7.一种示例性方法包括：通过与计算机辅助外科手术系统相关联的处理器获得位于外科手术空间中的设备的一个或多个操作特性；通过处理器获得与外科手术空间相关联的一个或多个解剖特性；以及通过处理器引导计算机辅助外科手术系统基于设备的一个或多个操作特性以及与外科手术空间相关联的一个或多个解剖特性用位于外科手术空间中的设备自动执行操作。
8.一种示例性非暂时性有形计算机程序产品，其包括被配置为存储计算机可读指令的有形计算机可读介质，该计算机可读指令可由处理器执行以：获得位于外科手术空间中的设备的一个或多个操作特性；获得与外科手术空间相关联的一个或多个解剖特性；并且引导计算机辅助外科手术系统基于设备的一个或多个操作特性以及与外科手术空间相关联的一个或多个解剖特性用位于外科手术空间中的设备自动执行操作。
附图说明
9.所附附图图示了各种实施例并且是说明书的一部分。所示实施例仅为示例，并且不限制本公开的范围。在整个附图中，相同或相似的附图标记表示相同或相似的元件。
10.图1图示了根据本文所述原理的示例性计算机辅助外科手术系统。
11.图2图示了根据本文所述原理的外科手术空间的示例性视图。
12.图3图示了根据本文所述原理的被配置为促进外科手术空间中的设备的自动操作的示例性系统。
13.图4-图7b图示了根据本文所述原理的外科手术空间的示例性图像。
14.图8图示了根据本文所述原理的描绘可以由图3所示的系统执行的各种操作的示例性流程图。
15.图9图示了根据本文所述原理的外科手术空间的附加示例性图像。
16.图10图示了根据本文所述原理的用于促进外科手术空间中的设备的自动操作的示例性方法。
17.图11图示了根据本文所述原理的示例性计算设备。
具体实施方式
18.本文描述了用于促进外科手术空间中的设备的自动操作的系统和方法。如下文将更详细地描述的，示例性系统包括存储指令的存储器和通信地连接到存储器的处理器。示例性系统的处理器配置为：获得位于外科手术空间中的设备的一个或多个操作特性；获得与外科手术空间相关联的一个或多个解剖特性；并且引导计算机辅助外科手术系统基于设备的一个或多个操作特性以及与外科手术空间相关联的一个或多个解剖特性用位于外科手术空间中的设备自动执行操作。
19.各种优点和益处与本文所述的系统和方法相关联。例如，系统和方法(诸如本文所述的那些)可以减少计算机辅助外科手术系统的用户(例如，外科医生和/或与计算机辅助外科手术系统相关联的另一用户)使用(例如，远程操作)位于外科手术空间中的一个或多个机器人器械所需的脑力和/或物理工作负荷，诸如通过促进设备在外科手术空间中自动移动和/或操作的系统和方法。这样做时，系统和方法(诸如本文所述的那些)可以简化在外
科手术空间内执行的程序和/或改善计算机辅助外科手术系统的可用性。本文所述的系统和方法可以实现的这些和其他益处将从以下公开中显而易见。
20.本文所述的示例性系统可以被配置为作为多个不同类型的计算机辅助外科手术系统的一部分操作或与多个不同类型的计算机辅助外科手术系统结合操作。多个不同类型的计算机辅助外科手术系统可以至少由于以下原因是不同类型的：它们包括不同类型的外科手术器械操纵系统。例如，第一计算机辅助外科手术系统可以包括第一类型的外科手术器械操纵系统，第二计算机辅助外科手术系统可以包括第二类型的外科手术器械操纵系统，并且第三计算机辅助外科手术系统可以包括第三类型的外科手术器械操纵系统。
21.每种类型的外科手术器械操纵系统可以具有不同的架构(例如，操纵器臂架构)、具有不同的运动学廓线(profile)，和/或根据不同的配置参数操作。现在将参考图1描述具有第一类型的外科手术器械操纵系统的示例性计算机辅助外科手术系统。所述示例性计算机辅助外科手术系统是说明性的而非限制性的。系统(诸如本文所述的那些)可以作为所述计算机辅助外科手术系统和/或任何其他合适的计算机辅助外科手术系统的一部分操作或与所述计算机辅助外科手术系统和/或任何其他合适的计算机辅助外科手术系统结合使用。
22.图1图示了示例性计算机辅助外科手术系统100(“外科手术系统100”)。如图所示，外科手术系统100可以包括彼此通信地耦接的外科手术器械操纵系统102(“操纵系统102”)、用户控制系统104和辅助系统106。
23.外科手术团队可以利用外科手术系统100对患者108执行计算机辅助外科手术程序。如图所示，外科手术团队可以包括外科医生110-1、助手110-2、护士110-3和麻醉师110-4，所有这些人可以被统称为“外科手术团队成员110”。在外科手术时间段(session)期间可以存在附加的或替代的外科手术团队成员，这可以服务于特定实施方式。
24.虽然图1图示了正在进行的微创外科手术程序，但外科手术系统100也可以类似地用于执行开放式外科手术程序或可以类似地受益于外科手术系统100的准确性和便利性的其他类型的外科手术程序。此外，应当理解，可以采用外科手术系统100的整个外科手术时间段不仅可以包括如图1所示的外科手术程序的手术阶段，还可以包括外科手术程序的术前、术后和/或其他合适阶段。外科手术程序可以包括对患者使用手动和/或器械技术(例如远程操作器械技术)来调查、诊断或治疗患者的身体状况的任何程序。此外，外科手术程序可以包括不对活体患者执行的任何程序，诸如校准程序、模拟训练程序以及实验或研究程序。
25.如图1所示，外科手术器械操纵系统102可以包括多个操纵器臂112(例如，操纵器臂112-1至112-4)，多个机器人外科手术器械(“机器人器械”)(未示出)可以被耦接到所述多个操纵器臂112。如本文所用，“机器人器械”是指可以被直接附接(例如，插入、固定耦接、匹配等)到操纵器臂(例如，操纵器臂112-1)使得操纵器臂的移动直接导致器械的移动的任何器械。每个机器人器械可以由任何合适的治疗器械(例如，具有组织交互功能的工具)、成像设备(例如，内窥镜)、诊断器械，或可以用于计算机辅助外科手术程序(例如，通过至少部分地插入患者108并被操纵以对患者108执行计算机辅助外科手术程序)的类似物实施。在一些示例中，机器人器械中的一个或多个可以包括力感测和/或其他感测能力。
26.在图1所示的示例中，操纵系统102的操纵器臂112被附接在水平延伸的高架杆
(overhead boom)的远端上。然而，在某些实施方式中，操纵器臂112可以具有其他配置。此外，虽然操纵系统102在本文中被描绘和描述为包括四个操纵器臂112，但将认识到，操纵系统102可以仅包括单个操纵器臂112或任何其他数量的操纵器臂，这可以服务于特定实施方式。
27.操纵器臂112和/或附接到操纵器臂112的机器人器械可以包括用于生成原始(例如，未校正的)运动学信息的一个或多个位移换能器、取向传感器和/或定位传感器(以下简称“外科手术系统传感器”)。外科手术系统100的一个或多个部件可以被配置为使用运动学信息来跟踪(例如，确定其位置)和/或控制机器人器械。
28.此外，操纵器臂112可以各自包括多个马达或以其他方式与多个马达相关联，所述多个马达控制操纵器臂112和/或附接到其上的外科手术器械的移动。例如，操纵器臂112-1可以包括第一内部马达(未明确示出)或以其他方式与第一内部马达相关联，第一内部马达被配置为使操纵器臂112-1围绕偏航(yaw)轴线偏航。以同样的方式，操纵器臂112-1可以与第二内部马达(未明确示出)相关联，第二内部马达被配置为驱动操纵器臂112-1并使操纵器臂112-1围绕俯仰(pitch)轴线俯仰。同样，操纵器臂112-1可以与第三内部马达(未明确示出)相关联，第三内部马达被配置为沿插入轴线滑动操纵器臂112-1。操纵器臂112可以各自包括由这些马达中的一个或多个驱动的传动系系统，以便以任何方式控制操纵器臂122的枢转，这可以服务于特定实施方式。因此，如果要机械地移动附接到例如操纵器臂112-1的机器人器械，则耦接到传动系的马达中的一个或多个可以通电以移动操纵器臂112-1。
29.附接到操纵器臂112的机器人器械可以各自被定位在外科手术空间中。在某些示例中，“外科手术空间”可以被完全设置在患者体内，并且可以包括患者体内计划执行、正在执行或已经执行外科手术程序的区域或其附近。例如，对于在患者内部组织上执行的微创外科手术程序，外科手术空间可以包括组织、组织下层的解剖体以及组织周围的例如用于执行外科手术程序的机器人器械和/或其他器械所在的空间。在其他示例中，外科手术空间可以被至少部分地设置在患者外部，在计划对患者执行外科手术程序、正在对患者执行外科手术程序或已经对患者执行外科手术程序的位置处或附近。例如，外科手术系统100可以用于执行开放式外科手术程序，使得外科手术空间的一部分(例如，正在被操作的组织)在患者内部，而外科手术空间的另一部分(例如，组织周围的可以设置一个或多个器械的空间)在患者外部。当机器人器械的至少一部分(例如，机器人器械的远侧部分)位于外科手术空间内时，机器人器械可以被称为定位在或位于外科手术空间处或内。本文将描述示例性外科手术空间和/或外科手术空间的图像。
30.用户控制系统104可以被配置为促进外科医生110-1对操纵器臂112和附接到操纵器臂112的机器人器械的控制。例如，外科医生110-1可以与用户控制系统104交互，以远程移动、操纵或以其他方式远程操作操纵器臂112和机器人器械。为此，用户控制系统104可以向外科医生110-1提供由成像设备捕获的与患者108相关联的外科手术空间的影像(例如，高清三维(3d)影像)。在某些示例中，用户控制系统104可以包括具有两个显示器的立体图像查看器，其中外科医生110-1可以查看与患者108相关联的并由立体成像系统生成的外科手术空间的立体图像(例如，3d图像)。外科医生110-1可以利用影像，以利用附接到操纵器臂112的一个或多个机器人器械执行一个或多个程序。
31.为了促进机器人器械的控制，用户控制系统104可以包括一组主控件(未示出)。外
科医生110-1可以操纵这些主控件来控制机器人器械的移动(例如，通过利用机器人和/或远程操作技术)。主控件可以被配置为检测外科医生110-1的各种手、腕和手指移动。这样，外科医生110-1可以直观地使用一个或多个机器人器械执行外科手术程序。
32.用户控制系统104可以进一步被配置为促进外科医生110-1对外科手术系统100的其他部件的控制。例如，外科医生110-1可以与用户控制系统104交互以改变外科手术系统100的配置或操作模式、改变外科手术系统100的显示模式、生成用于控制附接到操纵器臂112的外科手术器械的附加控制信号、促进从控制一个机器人器械切换到控制另一个、促进与外科手术空间内的其他器械和/或物体交互，或执行任何其他合适的操作。为此，用户控制系统104还可以包括被配置为接收来自外科医生110-1的输入的一个或多个输入设备(例如，脚踏板、按钮、开关等)。
33.辅助系统106可以包括被配置为执行外科手术系统100的初级处理操作的一个或多个计算设备。辅助系统106中包括的一个或多个计算设备可以控制和/或协调由外科手术系统100的各种其他部件(例如操纵系统102和/或用户控制系统104)执行的操作。例如，用户控制系统104中包括的计算设备可以通过辅助系统106中包括的一个或多个计算设备向操纵系统102传输指令。作为另一个示例，辅助系统106可以从操纵系统102接收并处理表示由附接到操纵器臂112之一的成像设备捕获的影像的图像数据。
34.在一些示例中，辅助系统106可以被配置为向可能无法访问在用户控制系统104处提供给外科医生110-1的图像的外科手术团队成员110呈现视觉内容。为此，辅助系统106可以包括显示监视器114，显示监视器114被配置为显示一个或多个用户界面，诸如外科手术空间的图像(例如2d图像)、与患者108和/或外科手术程序相关联的信息，和/或任何其他视觉内容，这可以服务于特定实施方式。例如，显示监视器114可以显示外科手术空间的图像以及与图像同时显示的附加内容(例如，目标物体的表示、图形内容、情境信息等)。在一些实施例中，显示监视器114通过触摸屏显示器实施，外科手术团队成员110可以与触摸屏显示器交互(例如，通过触摸手势)，以向外科手术系统100提供用户输入。
35.操纵系统102、用户控制系统104和辅助系统106可以以任何合适的方式彼此通信地耦接。例如，如图1所示，操纵系统102、用户控制系统104和辅助系统106可以通过控制线116通信地耦接，控制线116可以表示任何有线或无线通信链路，这可以服务于特定实施方式。为此，操纵系统102、用户控制系统104和辅助系统106可以各自包括一个或多个有线或无线通信接口，诸如一个或多个局域网接口、wi-fi网络接口、蜂窝接口等。
36.图2图示了外科手术空间的视图200，其中各种机器人器械被附接到外科手术系统100的操纵器臂112。如图所示，机器人器械可以包括成像设备202和形式为一个或多个外科手术工具的一个或多个其他机器人器械204(例如，机器人器械204-1至204-3)。虽然图2示出了位于外科手术空间处的一个成像设备202和三个其他机器人器械204，但在外科手术程序期间，任何数量、类型和/或组合的机器人器械可以在外科手术空间处。在图2所示的示例中，机器人器械204-1和204-3被示出为抓握型机器人器械，而机器人器械204-2被示出为切割型机器人器械。应理解，在某些实施方式中，与图2所示的那些不同的其他类型的机器人器械(例如，诊断工具、治疗工具等)可以在外科手术程序期间被附加地或替代地提供在外科手术空间内。组织206表示外科手术空间处的解剖组织。
37.成像设备202可以在外科手术空间处捕获影像。在成像设备202的视场内的任何机
器人器械204和/或组织206可以被描绘在由成像设备202捕获的影像中。
38.成像设备202可以提供表示外科手术空间的可见光数据的数据。例如，成像设备202可以捕获外科手术空间的可见光图像，该可见光图像表示由成像设备202感测到的可见光。可见光图像可以包括使用任何合适的颜色和/或灰度调色板来表示外科手术空间的基于可见光的视图的图像。
39.成像设备202还可以提供表示外科手术空间的深度数据的数据，或可以被处理以导出外科手术空间的深度数据的数据。例如，成像设备202可以捕获表示由成像设备202感测的深度的外科手术空间的图像。替代地，成像设备202可以捕获可以被处理以导出外科手术空间的深度数据的外科手术空间的图像。深度信息可以被表示为深度图像(例如，使用z缓冲获得的深度图图像，z缓冲指示从成像设备202到外科手术空间的图像上每个像素点的距离)，该深度图像可以被配置为以任何合适的方式在视觉上指示外科手术空间中的物体的深度，诸如通过使用不同的灰度值来表示不同的深度值。由成像设备(例如，由成像设备202)捕获的图像和/或从由成像设备捕获的图像(例如，可见光图像和深度图像)导出的图像可以用于促进检测机器人器械(例如，机器人器械204-1至204-3)和/或外科手术空间内的一个或多个物体，如本文所述。
40.在外科手术程序期间，可能需要计算机辅助外科手术系统自动操作位于外科手术空间中的设备。如本文所用，“自动”的表述是指在不需要来自用户的进一步输入的情况下执行操作(例如，移动设备)或一系列操作。例如，当用户(例如，外科医生110-1)双手远程操作外科手术空间中的机器人器械(例如，机器人器械204-2和204-3)(例如，通过操纵用户控制系统104的主控件)时，计算机辅助外科手术系统可以自动控制设备(例如，外科手术器械204-1或成像设备202)在外科手术空间中的移动和/或操作。本文描述了计算机辅助外科手术系统可以用外科手术空间中的设备自动执行的示例性操作。
41.如本文所用，“设备”可以对应于位于外科手术空间中并且可以由计算机辅助外科手术系统自动操作的任何合适的设备(例如，器械)。在某些示例中，设备可以对应于被直接附接(例如，插入)到操纵器臂212之一的机器人器械。例如，在某些实施方式中，图2中所示的机器人器械204中的一个或多个可以对应于由计算机辅助外科手术系统自动操作的设备。替代地，设备可以对应于位于外科手术空间内的非机器人设备。如本文所用，“非机器人设备”是指可以被提供在外科手术空间内但未被直接附接到操纵器臂112之一的任何合适的设备或器械。因此，非机器人设备可能只能通过由用户(例如，外科医生110-1、助手110-2等)手动操作、通过由用户通过直接附接到操纵器臂212之一的机器人器械远程操作(例如，通过由机器人器械204-3抓握或以其他方式接合)，或者当非机器人器械由机器人设备接合时通过由计算机辅助外科手术系统自动移动机器人器械自动操作，而在外科手术空间内移动。因此，非机器人设备可以被称为插入式外科手术器械/设备。非机器人设备的示例可以包括但不限于非机器人成像设备(例如，插入式超声探头、插入式光学相干断层扫描(oct)探头、插入式快速蒸发电离质谱仪(reims)设备)、抽吸设备、冲洗设备、牵开器设备、缝合针和/或任何其他合适的设备。
42.非机器人设备(诸如本文所述的那些)可以被配置为以任何合适的方式由机器人器械(例如，机器人器械204-1或204-3)接合。例如，在某些实施方式中，非机器人设备可以被配置为由抓握器机器人器械抓握。为此，在某些示例中，非机器人设备可以包括一个或多
个可抓握部分(例如突起、环等)，机器人器械可以抓握该一个或多个可抓握部分以促进非机器人设备的用户远程操作。在某些替代实施方式中，非机器人设备可以由机器人器械接合，而无需特别由机器人器械抓握。例如，在某些实施方式中，非机器人设备可以包括一个或多个接合部分，其被专门配置为与机器人器械的对应的接合部分接合。为了说明示例，非机器人设备可以包括凹槽，该凹槽被调节间距(keyed)以接收专用机器人器械上提供的对应的经调节间距的(keyed)突起。在此类示例中，当机器人器械的提供的经调节间距的突起被插入非机器人设备的经调节间距的凹槽内时，机器人器械可以相对于非机器人设备锁定就位。在某些替代实施方式中，在机器人器械上可以提供经调节间距的凹槽，并且在非机器人设备上可以提供对应的经调节间距的突起。本文将进一步描述示例性非机器人设备。
43.图3图示了可以根据本文所述原理实施以促进外科手术空间中的设备的自动操作的示例性系统300。如图所示，系统300可以包括但不限于选择性地和通信地彼此耦接的处理设施302和存储设施304。设施302和304可以各自包括硬件部件和/或软件部件(例如，处理器、存储器、通信接口、存储在存储器中供处理器执行的指令等)或由硬件部件和/或软件部件实施。在一些示例中，设施302和304可以由单个设备(例如，单个计算设备)实施。在某些替代示例中，设施302和304可以被分布在多个设备和/或多个方位(locations)之间，这可以服务于特定实施方式。
44.存储设施304可以维持(例如，存储)由处理设施302使用以执行本文描述的任何操作的可执行数据。例如，存储设施304可以存储可以由处理设施302执行以执行本文描述的任何操作的指令306。指令306可以由任何合适的应用程序、软件、代码和/或其他可执行数据实例实施。
45.存储设施304还可以维持由处理设施302接收、生成、管理、使用和/或传输的任何数据。例如，存储设施304可以维持与促进外科手术空间中的设备的自动操作相关联的任何合适的数据。此类数据可以包括但不限于成像数据(例如，由内窥镜成像设备、非机器人成像设备和/或任何其他合适的成像设备捕获的外科手术空间的影像)、与非机器人设备可以与之交互的外科手术空间中的潜在物体相关联的数据、可以位于外科手术空间中的物体的三维模型、与外科手术空间相关联的深度图信息、与非机器人设备、机器人器械和/或位于外科手术空间中的附加物体相关联的姿势、位置或取向信息、指示外科手术时间段的程序情境的数据、机器人器械和/或操纵器臂的运动学数据、限定与非机器人设备相关联的指导内容的数据、用户界面内容(例如，图形物体、通知等)、操作约束数据、设备的操作特性数据、与外科手术空间相关联的解剖特性数据、用户输入数据和/或任何其他合适的数据。
46.处理设施302可以被配置为执行(例如，执行存储在存储设施304中的指令306)与促进外科手术空间中的设备的自动操作相关联的各种处理操作。例如，处理设施302可以获得位于外科手术空间中的设备的一个或多个操作特性；获得与外科手术空间相关联的一个或多个解剖特性；并且引导计算机辅助外科手术系统基于设备的一个或多个操作特性以及与外科手术空间相关联的一个或多个解剖特性用位于外科手术空间中的设备自动执行操作。本文描述了可由处理设施302执行的这些和其他操作。
47.在与外科手术空间相关联的外科手术程序期间的任何给定时间，可能需要计算机辅助外科手术系统自动控制位于外科手术空间中的设备。为了促进设备的此类自动控制，系统300(例如，处理设施302)可以获得位于外科手术空间中的设备的一个或多个操作特
性。如本文所用，设备的“操作特性”可以包括与外科手术空间中的设备的操作相关联的任何合适特性。例如，操作特性可以包括设备的固有参数，诸如设备的操作设置、接触压力要求、接触角要求、成像捕获参数(例如，当设备对应于皮下成像设备时)、抽吸参数(例如当设备对应于抽吸设备时)、冲洗参数(例如，当设备对应于冲洗设备时)、操作模式等。操作特性可以附加地或替代地包括非固有参数，诸如外科手术空间中的设备的位置、取向、姿势、感测的力等。
48.系统300可以以任何合适的方式获得设备的一个或多个操作特性。例如，在某些实施方式中，可以从与计算机辅助外科手术系统(例如，外科手术系统100)相关联的存储设备(例如，存储设施304)访问至少一些操作特性。例如，如果设备对应于抽吸设备，则系统300可以从存储设备访问抽吸强度信息、指示推荐的距组织的抽吸距离的信息和/或任何其他合适的信息。替代地，如果设备对应于例如皮下成像设备，则系统300可以从存储设备访问成像捕获参数、接触角要求信息、接触压力要求信息、操作设置和/或任何其他合适的信息。
49.为了说明示例，图4示出了示例性非机器人设备的图像400，该示例性非机器人设备可以根据本文所述原理在外科手术程序期间在外科手术空间中自动操作。如图4所示，图像400图示了外科手术空间，其中提供了与患者(例如，患者108)的肾脏404相关的非机器人设备402和机器人器械204-1至204-3。如图4所示，非机器人设备402包括由机器人器械204-1抓握的突起406。因此，机器人器械204-1的移动(例如，通过用户操纵用户控制系统104的主控件或通过由外科手术系统100自动操作)导致非机器人设备402的移动。
50.在图4所示的示例中，非机器人设备402可以被配置为执行或促进执行与肾脏404相关的外科手术程序。因此，由与非机器人设备402相关联的系统300访问的一个或多个操作特性可以包括非机器人设备402的3d模型、指定突起406的配置的信息、非机器人设备402的操作设置、非机器人设备402相对于肾脏404的最佳姿势信息等。
51.附加地或替代地，系统300可以通过确定(例如，检测、导出等)一个或多个操作特性来获得设备的一个或多个操作特性。例如，系统300可以以任何合适的方式(诸如本文所述的)确定外科手术空间中的设备(例如，非机器人设备)的位置、取向或姿势。如本文所用，物体(诸如非机器人设备)的“姿势”是指在空间(例如外科手术空间)中物体的位置和物体的取向的组合。该姿势可以被称为六维(6d)姿势，因为有与物体的位置相关联的三个自由度和与物体的取向相关联的三个自由度。
52.系统300可以以任何合适的方式确定设备的姿势。例如，如将在本文中描述的，设备可以由机器人器械接合(例如，由机器人器械抓握)。因此，可以基于与接合非机器人设备的机器人器械相关联的运动学信息来确定设备的姿势。附加地或替代地，可以基于深度数据、图像数据、机器人器械的所确定的取向和/或其一些组合来确定设备的姿势。
53.除了获得设备的操作特性外，系统300还可以获得与外科手术空间相关联的一个或多个解剖特性。如本文所述，“解剖特性”可以包括与外科手术空间中的解剖体相关联的任何信息，该信息可以促进用外科手术空间中的设备自动执行操作。例如，解剖特性可以包括但不限于外科手术空间的深度图数据、外科手术空间中的物体(例如解剖体、设备、物体等)的表面轮廓数据、识别外科手术空间中的所确定的组织类型的数据、识别组织的3d位置的数据等。
54.系统300可以以任何合适的方式获得与外科手术空间相关联的一个或多个解剖特
性。在某些实施方式中，系统300可以基于与外科手术空间相关联的一个或多个数据流导出解剖特性。例如，系统300可以以任何合适的方式访问被配置为提供成像数据、运动学数据、程序情境数据、系统事件数据、用户输入数据和/或与外科手术空间相关联的任何其他合适的数据的一个或多个数据流。基于一个或多个数据流中包括的信息，系统300可以导出一个或多个解剖特性。例如，系统300可以使用由成像设备(例如，成像设备202)捕获的深度影像，以便以外科手术空间中的解剖体的深度图的形式导出解剖特性。附加地或替代地，系统300可以使用与外科手术空间相关联的影像和/或任何其他合适的信息，以便以与外科手术空间中的解剖体相关联的表面轮廓数据、3d组织位置数据和/或任何其他合适的数据的形式导出解剖特性。
55.在某些示例中，系统300可以获得与外科手术空间中的物体相关联的一个或多个解剖特性，以促进外科手术空间中的设备的自动操作。如本文所用，位于外科手术空间中的“物体”可以包括可以在外科手术空间中的任何解剖体(例如，组织、骨骼等)。在某些示例中，物体可以对应于外科手术空间中的任何物体，该物体可以是要在外科手术空间中执行的外科手术程序的对象。例如，物体可以是测量程序、诊断程序、成像程序(例如，皮下成像程序)、缝合程序、组织张紧程序、切割程序、抽吸程序、冲洗程序、治疗程序和/或可以在外科手术空间中执行的任何其他合适的程序的对象。
56.在某些示例中，可以至少部分地基于与外科手术空间相关联的程序情境导出与外科手术空间相关联的解剖特性。因此，在某些示例中，系统300可以被配置为确定与外科手术空间相关联的程序情境。系统300可以基于与外科手术空间相关联的任何合适的信息或信息的组合来确定与外科手术空间相关联的程序情境。例如，系统300可以基于外科手术空间的一个或多个图像、指示程序情境的用户输入、位于外科手术空间内的一个或多个机器人器械(例如，机器人器械204)的配置、外科手术空间中的设备或非机器人设备的类型、一个或多个机器人器械的运动学和/或任何其他合适的信息来检测程序情境。为了说明示例，基于图4中的与肾脏404相关的非机器人设备402的存在，系统300可以确定与图像400中的外科手术空间相关联的程序情境与使用非机器人设备402针对肾脏404执行的成像程序相关联。
57.在某些示例中，基于设备的一个或多个操作特性以及与外科手术空间相关联的一个或多个解剖特性，系统300可以对位于外科手术空间中的设备施加操作约束。如本文所用，“操作约束”可以包括对外科手术空间中的设备的使用或操作的任何合适的限制或拘束。在某些示例中，操作约束可以与约束外科手术空间中的设备的移动相关联。例如，操作约束可以将外科手术空间内的设备的移动限制为预定义区域或沿预定义运动路径。附加地或替代地，在某些示例中，操作约束可以包括维持设备相对于解剖体和/或外科手术空间中的另一物体的位置和/或取向。为了说明示例，如果外科手术空间中的设备对应于抽吸设备，则操作约束可以包括系统300限制抽吸设备距外科手术空间中的组织的距离、抽吸设备相对于组织被定向的角度、抽吸设备距外科手术空间中的其他物体和/或器械的距离，和/或对抽吸设备的位置和/或取向的任何其他合适的限制。
58.在某些示例中，操作约束可以附加地或替代地限制和/或拘束用户对外科手术空间中的设备的使用和/或操作。操作约束可以以任何适合的方式限制和/或拘束用户使用和/或操作设备，这可以服务于特定实施方式。例如，操作约束可以阻止用户在外科手术空
间中以特定方式移动和/或定向设备。为了说明示例，设备可以具有相对于外科手术空间中的组织的接触角要求。在此类示例中，操作约束可以阻止用户改变设备相对于组织的接触角，或者可以阻止用户将接触角调整到相对于组织的可接受接触角的一些预定义范围之外。为了说明另一个示例，设备可以具有距组织距离要求，该距组织距离要求限定设备为正确操作而可以距组织被定位的最小距离。在此类示例中，操作约束可以阻止用户将设备移动到距组织的距离比距组织距离要求所指示的最小距离更近。为了说明另一个示例，设备可以具有接触压力要求，该接触压力要求限定设备为正确操作而可以相对于外科手术空间中的组织维持的可接受接触压力的范围。在此类示例中，操作约束可以阻止用户以将导致设备和组织之间的接触压力超出可接受接触压力的范围之外的任何方式移动设备。
59.附加地或替代地，操作约束可以包括对外科手术空间中的设备的操作参数的限制。例如，如果设备对应于抽吸设备，则操作约束可以包括限制通过抽吸设备提供的抽吸量。另一方面，如果设备对应于冲洗设备，则操作约束可以包括限制通过冲洗设备提供的流体量。
60.在某些示例中，系统300可以对位于外科手术空间中的设备施加多个操作约束。例如，系统300可以对设备施加将外科手术空间内的设备的移动限制到定义区域的第一操作约束、限制外科手术空间内的设备的位置和/或取向的第二操作约束，以及限制设备在外科手术程序期间的操作参数的第三操作约束。
61.在某些示例中，系统300可以连续监视外科手术空间，并且在外科手术程序的进程期间更新施加到设备的一个或多个操作约束。例如，基于设备的一个或多个操作特性以及与外科手术空间相关联的一个或多个解剖特性，系统300可以对设备施加第一操作约束，该第一操作约束包括当设备在外科手术空间中的第一位置处时设备维持第一取向。在外科手术程序的进程期间，设备可以从外科手术空间中的第一位置移动到第二位置。基于设备从第一位置移动到第二位置，系统300可以获得设备的一个或多个更新的操作特性和/或与外科手术空间相关联的一个或多个更新的解剖特性。基于设备的一个或多个更新的操作特性和/或一个或多个更新的解剖特性，系统300可以对设备施加更新的操作约束，使得当设备在外科手术空间中的第二位置处时设备维持第二取向。
62.基于设备的一个或多个操作特性、与外科手术空间相关联的一个或多个解剖特性，和/或可选地施加到设备的操作约束，系统300可以引导计算机辅助外科手术系统(例如，外科手术系统100)用位于外科手术空间中的设备自动执行操作。如本文所用，可以用设备执行的“操作”可以包括可以促进外科手术程序的执行的外科手术空间中的设备的任何动作和/或使用。
63.系统300可以引导计算机辅助外科手术系统用外科手术空间中的设备自动执行任何合适的操作，这可以服务于特定实施方式。例如，系统300可以引导计算机辅助外科手术系统自动移动外科手术空间中的设备。在此类示例中，设备可以被直接或间接(例如，作为插入式器械)附接到计算机辅助外科手术系统的操纵器臂。在某些实施方式中，系统300可以引导计算机辅助外科手术系统自动将设备在外科手术空间中的姿势从第一姿势改变为第二姿势。在此类示例中，系统300还可以引导计算机辅助外科手术系统在外科手术程序的至少一部分期间在外科手术空间中将设备维持在第二姿势。
64.系统300可以引导计算机辅助外科手术系统在任何合适的时间并基于与外科手术
空间相关联的任何外科手术情境用设备自动执行操作。例如，在某些实施方式中，当用户双手控制外科手术空间中的机器人器械时，系统300可以引导计算机辅助外科手术系统用设备自动执行操作。为了说明，在外科手术空间中执行的成像程序期间，用户(例如，外科医生110-1)通过操纵用户控制系统104的主控件，一次仅可以双手控制两个机器人器械。非机器人成像设备可以由第三机器人器械接合(例如，由第三机器人器械抓握)。在此类示例中，对于用户手动远程操作非机器人成像设备，用户必须从控制其他机器人器械中的至少一个切换到控制与非机器人成像设备接合的第三机器人器械。这不希望地将成像程序分割为成像阶段和双手执行阶段，这导致成像程序的执行低效。为了避免成像程序的这种分割，系统300可以引导计算机辅助外科手术系统用非机器人成像设备自动执行操作。例如，系统300可以引导计算机辅助外科手术系统自动移动外科手术空间内的非机器人成像设备和/或自动使用非机器人成像设备来捕获外科手术空间内的影像，同时用户能够双手操作除了与非机器人成像设备接合并自动操纵非机器人成像设备的第三机器人器械之外的两个机器人器械。这可以允许用户在参考基于非机器人成像设备的自动操作提供的实时术中图像指导的同时，双手远程操作两个非机器人器械。
65.在某些示例中，系统300可以引导计算机辅助外科手术系统自动生成设备在外科手术空间中跟随的运动路径。此类运动路径可以以任何合适的方式生成。例如，系统300可以分析图4所示的图像400，并基于图像400、肾脏404的解剖特性、非机器人设备402的特性和/或与外科手术空间相关联的任何其他合适特性确定程序情境与非机器人成像设备捕获肾脏404的影像相关联。基于此类程序情境，系统300可以自动生成非机器人设备402自动跟随的运动路径，而无需用户提供进一步的输入。
66.为了说明示例，图5示出了外科手术空间的示例性图像500，其中提供了与患者(例如，患者108)的肾脏404相关的非机器人设备402和机器人器械204-1至204-3。如图5所示，图像500还包括多个运动路径502(例如，运动路径502-1和运动路径502-2)，机器人器械204-1可以自动跟随多个运动路径502，以促进外科手术空间中的外科手术程序的执行。在图5所示的示例中，系统300可引导计算机辅助外科手术系统自动移动机器人器械204-1，使得抓握的非机器人设备402沿运动路径502-1移动，以接触肾脏404的表面。在机器人器械204-1沿运动路径502-1移动并且抓握的非机器人设备402接触肾脏404的表面之后，系统300可以引导计算机辅助外科手术系统沿运动路径502-2自动移动机器人器械204-1和抓握的非机器人设备402，使得非机器人设备402跟随肾脏404的表面。
67.在图5所示的示例中，运动路径502被提供以用于在图像500内显示。因此，用户可以能够在设备跟随运动路径之前可视化设备可以在外科手术空间内自动跟随的一个或多个运动路径。然而，应理解，在某些替代示例中，运动路径(诸如运动路径502)可能不被提供用于显示给用户。在此类示例中，用户可以看到例如机器人器械204-1和抓握的非机器人设备402在外科手术空间内自动移动，而没有提供表示运动路径的图形物体以供显示。
68.在某些实施方式中，系统300可以基于附接到计算机辅助外科手术系统的机器人器械的移动，引导计算机辅助外科手术系统自动移动外科手术空间中的设备。在此类示例中，机器人器械可以不同于与设备接合(例如，抓握设备)的机器人器械。例如，当用户远程操作图4所示的机器人器械204-2和204-3中的一个或多个时，系统300可以基于机器人器械204-2和204-3中的一个或多个的移动自动移动机器人器械204-1和非机器人设备402。为了
说明示例，系统300可以引导计算机辅助外科手术系统自动控制机器人器械204-1，使得非机器人设备402跟随机器人器械204-2，无论机器人器械204-2在外科手术空间内的何处移动。
69.在某些示例中，系统300可以促进用户远程操作机器人器械，以追踪设备在外科手术空间内自动跟随的运动路径。例如，系统300可以促进用户远程操作机器人器械204-2，以追踪非机器人设备402相对于肾脏404要跟随的运动路径。基于由机器人器械204-2追踪的运动路径，系统300可以引导计算机辅助外科手术系统以任何合适的方式自动移动机器人器械204-1，使得非机器人设备402跟随运动路径。例如，当用户用机器人器械204-2追踪运动路径时，机器人器械204-1可以沿运动路径实时自动移动。替代地，在用户已经完成追踪外科手术空间中的运动路径之后，机器人器械204-1可以沿运动路径自动移动。
70.为了说明另一个示例，与图4所示的图像400相关联的外科手术情境可以包括切割程序，其中用户远程操作机器人器械204-2来切割位于外科手术空间中的组织。在此类示例中，非机器人设备402可以对应于用于抽吸外科手术空间中的内容物(例如血液、切割组织等)的抽吸设备。在切割程序期间，系统300可以指示计算机辅助外科手术系统自动控制机器人器械204-1，以关于机器人器械204-2的切割轨迹移动抽吸设备，以在切割程序期间最佳地抽吸内容物。此外，系统300可以引导计算机辅助外科手术系统自动调整抽吸设备的操作参数。例如，在切割程序期间，系统300可以实时分析外科手术空间，并以任何合适的方式确定由于切割程序而导致进入外科手术空间的血液已增加。在此类示例中，系统300可以引导计算机辅助外科手术系统自动增加抽吸设备的抽吸强度，以促进血液移除。这样做可能提高计算机辅助外科手术系统的易用性和效率，因为用户在外科手术程序期间不必担心调整设备的操作参数和/或在手动远程操作机器人器械204之间切换。
71.在某些示例中，系统300可以引导计算机辅助外科手术系统自动将设备维持在相对于设备未被附接到的机器人器械的刚性偏移(例如，刚性欧氏偏移)处。此类刚性偏移可以包括设备和机器人器械之间任何合适的距离，这可以服务于特定实施方式。为了说明示例，图6示出了外科手术空间的示例性图像600，其中提供了与肾脏404相关的机器人器械204-1至204-3。在图6所示的示例中，非机器人设备402被提供在远离机器人器械204-2的刚性偏移602处。因此，每当机器人器械204-2在外科手术空间内移动时，系统300引导计算机辅助外科手术系统自动移动机器人器械204-1，使得非机器人设备402停留在相对于机器人器械204-2的刚性偏移602处。
72.在某些示例中，系统300可以附加地或替代地引导计算机辅助外科手术系统自动将设备以预定义取向维持在外科手术空间内，同时自动维持刚性偏移。例如，无论机器人器械204-2在外科手术空间内移动到何处，机器人器械204-1和非机器人设备402都可以维持图6所示的相同取向以及由刚性偏移602所指示的距机器人器械204-2的相同距离。
73.在某些替代示例中，系统300可以引导计算机辅助外科手术系统自动调整设备的取向，同时维持相对于机器人器械的刚性偏移。例如，当用户手动远程操作机器人器械204-2时，系统300可以维持刚性偏移602，但可以调整非机器人设备的取向，以促进用户执行关于肾脏404的外科手术程序。
74.在某些示例中，系统300可以引导计算机辅助外科手术系统自动执行操作，以维持设备相对于外科手术空间中的物体的表面的接触状态。系统300可以促进设备以任何合适
的方式维持相对于物体的表面的接触状态。例如，系统300可以基于与外科手术空间相关联的一个或多个解剖特性，确定当设备沿物体的表面移动时，设备相对于物体的接触压力或接触角中的至少一个将发生改变。响应于确定接触压力或接触角中的至少一个将发生改变，系统300可以引导计算机辅助外科手术系统自动移动设备，使得当设备沿物体的表面移动时，设备维持设备相对于物体的预定义量的接触压力或接触角中的至少一个。
75.为了说明示例，图4中所示的非机器人设备402可以对应于插入式超声探头，该插入式超声探头被配置为接触肾脏404的表面以捕获肾脏404的超声影像。通过超声成像，所捕获的超声图像的质量取决于将插入式超声探头推入组织(诸如肾脏404)中的压力的量。压力过大可能不利地影响所捕获的超声图像的质量。同样，压力不足也可能不利地影响超声图像的质量。因此，在此类示例中，系统300可以引导计算机辅助外科手术系统自动控制机器人器械204-1，以维持非机器人设备402相对于肾脏404的接触状态。
76.非机器人成像设备与外科手术空间中的物体之间的接触状态可以包括完全接触状态、部分接触状态或无接触状态之一。系统300可以被配置为以任何合适的方式确定非机器人成像设备与外科手术空间中的物体之间的接触状态。例如，在某些实施方式中，系统300可以监视由非机器人成像设备捕获的图像的信号强度和/或其他属性，以确定接触状态。在某些示例中，所捕获的图像的信号强度可以由所捕获的图像中的图像内容表示。因此，在某些示例中，系统300可以监视由非机器人成像设备捕获的影像中的图像内容，以确定非机器人成像设备相对于物体的表面的接触状态。
77.系统300可以以任何合适的方式监视由非机器人成像设备捕获的影像中的图像内容。例如，系统300可以确定给定图像中的图像内容的量，以确定非机器人成像设备的接触状态。如果图像内容的量高于预定义阈值，则系统300可以确定非机器人成像设备与组织之间的接触状态是可接受的。为了说明，由非机器人成像设备捕获的图像可以包括第一分区和第二分区，第一分区包括图像内容(例如，肾脏的表面的图像)，第二分区不包括图像内容(例如，表示邻近肾脏的空气空间的黑色分区)。系统300可以被配置为以任何合适的方式处理此类图像，并且如果与第一分区相关联的区域高于某个预定义阈值，则确定非机器人成像设备基本上处于完全接触状态。替代地，如果与第一分区相关联的区域低于某个预定义阈值，则系统300确定非机器人成像设备处于部分接触状态。
78.在某些替代示例中，系统300可以将先前图像中的图像内容的量与由非机器人成像设备捕获的当前图像中的图像内容的量进行比较，以确定非机器人成像设备相对于外科手术空间中的物体的接触状态。为了说明，图7a和图7b示出了外科手术空间的图像700(例如，图像700-1和700-2)，其中使用非机器人成像器械402在外科手术空间内的不同位置处捕获超声图像702(例如，超声图像702-1和702-2)。如图7a所示，非机器人设备402被定位为远离肾脏404(即，不与肾脏404接触)。因此，超声图像702-1是空的，并且不包括肾脏404的任何皮下图像。另一方面，在图7b中，非机器人设备402被定位在肾脏404附近，使得超声图像702-2包括肾脏404的皮下图像。超声图像702-1和702-2之间图像内容的改变可能指示在超声图像702-2被捕获时，非机器人设备与肾脏404接触。这是如何确定和使用图像内容的一个示例。在其他示例中，可以使用确定和使用图像内容的其他合适的方法。
79.为了说明的目的，超声图像702被示出在图7a和图7b中的图像700旁。应当理解，超声图像702可以以任何合适的方式提供以用于显示，这可以服务于特定实施方式。在某些示
例中，可以提供超声图像作为对外科手术空间的图像的增强(例如，作为在外科手术空间的内窥镜图像之上的叠加)。例如，在某些实施方式中，超声图像702-1可以被叠加在图像700-2的一部分之上，使得用户(例如，外科医生110-1)可以在远程操作非机器人设备402时同时就地查看所捕获的超声影像。附加地或替代地，超声图像700可以被提供用于在相对于外科手术空间的图像的任何其他方位处显示和/或通过与计算机辅助外科手术系统相关联的任何其他合适的显示设备(例如，显示监视器114)显示。
80.取决于非机器人设备相对于物体的接触状态，系统300可以引导计算机辅助外科手术系统自动执行与非机器人设备相关的操作。例如，系统300可以引导计算机辅助外科手术系统自动移动非机器人成像设备，使得非机器人成像设备相对于外科手术空间中的物体维持完全接触状态。
81.在某些实施方式中，系统300可以引导计算机辅助外科手术系统自动调整设备的姿势，以改善外科手术程序的执行。例如，系统300可以执行基于图像的视觉伺服操作以改善图像质量。作为此类基于图像的视觉伺服操作的一部分，系统300可以引导计算机辅助外科手术系统自动做出非机器人成像设备的姿势的调整。此类基于图像的视觉伺服操作可以有助于确保非机器人成像设备(诸如插入式超声探头)相对于外科手术空间中的物体维持期望位置和/或取向。在某些示例中，维持期望位置和/或取向可以包括维持相对于外科手术空间中的物体的压力的量和/或期望接触角(例如，以捕获适当的影像)。
82.计算机辅助外科手术系统可以以任何合适的方式执行基于图像的视觉伺服操作。为了说明，图8示出了在某些实施方式中执行基于图像的视觉伺服操作时，可以由系统300执行的示例性操作。在操作802中，系统300可以分析由非机器人成像设备捕获的外科手术空间中的物体的图像。系统300可以以任何合适的方式分析所捕获的图像。例如，系统300可以使用任何合适的图像处理技术来分析所捕获的图像。
83.在操作804中，系统300可以确定所捕获的图像是否包括图像捕获缺陷。图像捕获缺陷可以对应于由非机器人成像设备捕获的图像的任何次优属性。例如，在非机器人成像设备对应于插入式超声探头的实施方式中，非机器人成像设备相对于物体(例如，诸如肾脏的组织)的特定接触状态可以导致图像捕获缺陷。例如，非机器人成像设备相对于物体的无接触状态或部分接触状态可以导致图像捕获缺陷。附加地或替代地，插入式超声探头进入物体(例如，诸如肾脏的组织)的压力过大可以导致图像捕获缺陷。附加地或替代地，插入式超声探头进入物体的压力不足可以导致图像捕获缺陷。在此类示例中，所捕获的图像的图像内容可以指示接触不足、表面接触压力过大、表面接触压力不足或插入式超声探头相对于物体的表面接触压力的量合适。因此，在某些实施方式中，系统300可以基于所捕获的图像中的图像内容的量来确定存在图像捕获缺陷。
84.系统300可以以任何合适的方式确定所捕获的图像是否包括图像捕获缺陷。例如，在图像捕获缺陷与部分接触状态相关联的情况下，系统300可以执行任何合适的成像处理操作以检测所捕获的图像中的图像速度矢量。此类图像速度矢量可以指示物体(例如，组织壁)和邻近物体的空气空间之间的边界。图像速度矢量越大，非机器人成像设备可能与物体的接触越少。因此，可以使用图像速度矢量来确定所捕获的图像是否包括由于部分接触状态而导致的图像捕获缺陷。
85.如果对操作804的答案为“否”，则系统300可以返回到操作802并分析由非机器人
成像设备捕获的物体的附加图像。然而，如果操作804中的答案为“是”，则在操作806中，系统300可以引导计算机辅助外科手术系统自动执行动作，以促进校正图像捕获缺陷。
86.系统300可以引导计算机辅助外科手术系统执行任何合适的动作，以促进校正图像捕获缺陷，这可以服务于特定实施方式。在某些示例中，操作806中动作的自动执行可以包括系统300引导计算机辅助外科手术系统在外科手术程序期间自动调整非机器人设备的姿势。例如，在操作806中，系统300可以自动调整非机器人设备的位置或取向中的至少一个。为了说明，当非机器人成像设备处于相对于外科手术空间中的物体的部分接触状态时，系统300可以执行闭环反馈操作，其中系统300使用所捕获的图像中检测到的图像速度矢量来自动调整非机器人成像设备的位置或取向中的至少一个。例如，系统300可以执行任何合适的图像处理操作来检测所捕获的图像中的图像速度矢量。基于图像速度矢量，系统300可以引导计算机辅助外科手术系统自动在相对于物体的方向上移动非机器人成像设备，该方向上的移动将导致非机器人成像设备更充分地接触物体。在非机器人成像设备的移动后，系统300可以检测附加的所捕获的图像中的附加图像速度矢量，并且引导计算机辅助外科手术系统基于附加图像速度矢量再次自动移动非机器人成像设备，以进一步增加非机器人成像设备相对于物体的接触量。系统300可以自动重复任何合适次数的此类操作，以最小化图像速度矢量，并确保非机器人成像设备维持相对于物体的可接受接触量。
87.在某些实施方式中，设备可能需要与外科手术空间中的物体的特定接触角，以提供可靠的测量。例如，非机器人成像设备可能需要沿相对于物体表面的表面法线(例如，在相对于表面90
°
的阈值公差内)维持组织接触，以提供合适的皮下成像。此外，沿表面法线维持组织接触可以提供有关所捕获的图像相对于皮下解剖结构的角度偏移的信息。然而，非机器人成像设备相对于物体的表面以非表面法线的角度接触可能导致此类信息不可用，并且因此在某些实施方式中可能导致图像捕获缺陷。因此，在某些示例中，系统300可以附加地或替代地引导计算机辅助外科手术系统在外科手术程序期间自动调整设备相对于物体的接触角。
88.为了说明示例，图9示出了外科手术空间的图像900，其中提供了与肾脏404相关的机器人器械204-1至204-3。如图9所示，标记902(例如，标记902-1至902-5)是为了说明目的而提供的，以沿运动路径904描绘关于与每个标记902相关联的肾脏404的表面的特定部分的表面法线。
89.系统300可以以任何合适的方式确定外科手术空间中的物体的表面法线。例如，系统300可以基于与外科手术空间相关联的深度数据(例如深度图)确定表面法线。附加地或替代地，系统300可以基于待成像物体的3d模型确定与每个标记(例如，标记902)相关联的表面法线。例如，在图9中，肾脏404的3d模型可以用于某些实施方式，以确定肾脏404的表面的任何给定部分的表面法线。在图9所示的每个标记902处，系统300可以引导计算机辅助外科手术系统自动更新非机器人设备402的取向，以调整非机器人设备402相对于肾脏404的表面的接触角。
90.基于标记902，当非机器人设备402沿运动路径904移动时，系统300可以引导计算机辅助外科手术系统自动控制非机器人设备402的移动轨迹和接触角。这样做可能改善图像质量，简化外科手术程序，和/或改善计算机辅助外科手术系统的用户的效率。
91.在图9所示的示例中，示出了五个标记902。然而，可以理解的是，系统300可以引导
计算机辅助外科手术系统以任何合适的次数自动调整设备相对于外科手术空间中的物体的接触角，这可以服务于特定实施方式。
92.图10图示了用于促进外科手术空间中的器械的自动操作的示例性方法。虽然图10图示了根据一个实施例的示例性操作，但其他实施例可以省略、添加到、重新排序和/或修改图10中所示的任何操作。图10中示出的操作中的一个或多个可以由系统(诸如系统300)、系统中包括的任何部件和/或系统的任何实施方式来执行。
93.在操作1002中，与计算机辅助外科手术系统(例如，外科手术系统100)相关联的处理器(例如，实施处理设施302的处理器)可以获得位于外科手术空间中的设备的一个或多个操作特性。操作1002可以以本文描述的任何方式执行。
94.在操作1004中，处理器可以获得与外科手术空间相关联的一个或多个解剖特性。操作1004可以以本文描述的任何方式执行。
95.在操作1006中，处理器可以引导计算机辅助外科手术系统以基于设备的一个或多个操作特性以及与外科手术空间相关联的一个或多个解剖特性用位于外科手术空间中的设备自动执行操作。操作1006可以以本文描述的任何方式执行。
96.尽管上述公开描述了促进计算机辅助外科手术系统自动操作例如由机器人器械接合的设备的操作，但应理解，系统300还可以执行与识别外科手术空间中的目标物体、识别用于与目标物体交互的机器人器械、促进机器人器械与目标物体的交互(例如，抓握或以其他方式接合)和/或促进外科手术空间中的非机器人设备的受指导的远程操作相关联的各种操作。如本文所用，“目标物体”可以指位于外科手术空间中的任何物体。例如，目标物体可以对应于位于外科手术空间中的非机器人设备、位于外科手术空间内的机器人器械或可以位于外科手术空间中的任何其他物体或器械。
97.为此，在某些示例中，系统300可以被配置为确定目标物体是否位于外科手术空间中。系统300可以以任何合适的方式确定目标物体是否位于外科手术空间中。例如，在某些实施方式中，系统300可以使用基于视觉的图像处理技术(例如，计算机视觉技术)来确定目标物体是否位于外科手术空间中。在此类示例中，系统300可以被配置为使用任何合适的基于视觉的图像处理技术来跟踪和识别外科手术空间内的一个或多个物体和/或物体类型(例如，机器人器械、非机器人设备、组织等)。这种基于视觉的图像处理技术可以包括系统300使用成像设备202来捕获外科手术空间的影像(例如，一个或多个图像)。系统300可以使用所捕获的影像作为基于视觉的图像处理技术的输入，以确定与外科手术空间中的物体相关联的信息。例如，系统300可以使用所捕获的影像以任何合适的方式确定目标物体是否位于外科手术空间中。此外，系统300可以使用所捕获的影像和任何合适的基于视觉的图像处理技术来确定位于外科手术空间中的物体的尺寸、形状、姿势和/或数量。在某些示例中，外科手术空间中除机器人器械以外的任何物体都可以被视为被识别为位于外科手术空间中的目标物体的候选。
98.附加地或替代地，系统300可以被配置为基于外科手术空间的深度图确定目标物体是否位于外科手术空间中。系统300可以被配置为以任何合适的方式使用深度图。例如，系统300可以检测外科手术空间的当前深度图和外科手术空间的一个或多个先前深度图之间的差异。基于检测到的差异，系统300可以识别已知的物体形状、已知的物体形状模式(例如插入模式)和/或可以指示位于外科手术空间中和/或处于正被插入外科手术空间的过程
中的目标物体的任何其他合适的信息。系统300可以使用任何合适数量的深度图来确定目标物体是否位于外科手术空间中，这可以服务于特定实施方式。在某些示例中，系统300可以将先前帧深度图的序列与当前帧深度图进行比较，以确定目标物体是否位于外科手术空间中。在某些示例中，系统300可以被配置为连续监视外科手术空间的深度图，以实时确定目标物体是否位于外科手术空间中。
99.当使用深度图来确定目标物体是否位于外科手术空间中时可以由系统300执行的示例性操作可以包括获得外科手术空间的深度图。系统300可以以任何合适的方式获得外科手术空间的深度图。例如，系统300可以使用成像设备202来捕获深度数据，然后系统300可以使用该深度数据以任何合适的方式生成外科手术空间的深度图。替代地，系统300可以从任何合适的来源接收深度图。
100.系统300可以从深度图中提取物体的表示。物体的表示可以具有任何适合的格式，这可以服务于特定实施方式。例如，物体的表示可以对应于物体的表面轮廓、物体的体积重建(例如物体的点云)、物体的外轮廓形状等。系统300可以以任何合适的方式从所生成的深度图中提取物体的表示。例如，系统300可以从包括物体的外科手术空间的当前深度图中减除外科手术空间的先前深度图。在此类减除后留下的深度图数据可以表示外科手术空间中的物体。作为另一个示例，系统300可以通过将深度图中的点分类为与特定物体或物体类型相关联来分割深度图。被标记为对应于物体的点可以被提取为物体的表示。
101.系统300可以将所提取的物体的表示与多个已知目标物体的表示进行比较。这可以以任何合适的方式完成。例如，系统300可以从存储设施304访问表示多个已知目标物体的数据。然后，系统300可以将所提取的表示与多个已知目标物体的表示中包括的至少一些表示进行比较。基于该比较，系统300可以使用任何合适的图像处理技术来确定所提取的表示与多个已知目标物体的表示中包括的至少一些表示之间的相似程度。在某些示例中，系统300可以将所提取的表示与多个已知目标物体的表示中包括的表示中的每一个进行比较。
102.系统300可以从多个已知目标物体的表示中识别与所提取的物体的表示匹配的已知目标物体的表示。系统300可以以任何合适的方式确定所提取的物体的表示与已知目标物体的表示之间是否存在匹配。例如，当所提取的表示与已知目标物体的表示之间的相似程度高于预定义阈值量时，系统300可以确定存在匹配。为了说明，如果所提取的表示与已知目标物体的表示之间的相似程度高于95％，则系统300可以确定存在匹配。此类相似程度的百分比可以以任何合适的方式确定。
103.在某些替代实施方式中，系统300可以使用图像减除来确定所提取的表示与已知目标物体的表示之间是否存在匹配。在此类示例中，系统300可以获得对应于所提取的表示中的深度位置的图像数据。系统300还可以获得已知目标物体的表示的图像数据。然后，系统300可以将所提取的表示的图像数据中的像素的像素值从已知目标物体的表示的图像数据中的类似定位的像素的像素值减除。当此类图像减除的结果为零或几乎为零时，所提取的表示与已知目标物体的表示可以被视为完美匹配。然而，系统300可以被配置为只要减除的结果在从零开始的某个预定义阈值内就确定所提取的表示与已知目标物体的表示之间存在匹配。
104.基于所识别的匹配，系统100可以将该物体识别为位于外科手术空间中的目标物
体。
105.在某些示例中，确定目标物体位于外科手术空间中可以包括系统300确定什么类型的目标物体位于外科手术空间中。系统300可以以任何合适的方式确定位于外科手术空间中的目标物体的类型。例如，系统300可以访问外科手术空间的图像(例如，由成像设备202捕获的图像)。
106.系统300可以从所捕获的图像中提取非机器人设备的图像。系统300可以使用任何合适的图像处理技术以任何合适的方式提取图像。例如，系统300可以使用计算机视觉技术和图像分割来定位所捕获的图像中的非机器人设备的边界(直线、曲线等)，以确定非机器人设备的表示。在某些示例中，此类表示可以对应于非机器人设备的外轮廓形状和/或任何其他合适的表示，诸如本文所述的那些。当从外科手术空间内的特定视点查看时，目标物体(诸如非机器人设备)的外轮廓形状可以限定目标物体的周边的廓线。基于非机器人设备的表示，系统300可以从所捕获的图像的其余部分提取非机器人设备的图像。
107.系统300可以将非机器人设备的表示与多个已知非机器人设备的多个表示(例如，多个外轮廓形状)进行比较。多个已知非机器人设备的多个表示中包括的每个表示可以表示不同类型的非机器人设备。例如，已知非机器人设备的多个表示中包括的第一表示可以表示第一类型的非机器人设备，第二表示可以表示第二类型的非机器人设备，并且第三表示可以表示第三类型的非机器人设备。
108.系统300可以以任何合适的方式将非机器人设备的表示与多个已知非机器人设备系统的多个表示进行比较。例如，系统300可以将表示与第一表示、第二表示和第三表示进行比较，该第一表示、第二表示和第三表示各自被包括在多个已知非机器人设备的多个表示中。基于比较，系统300可以以任何合适的方式确定非机器人设备的表示与第一表示、第二表示和第三表示中的每一个之间的相似程度。
109.从多个已知目标物体的多个表示中，系统300可以选择与非机器人设备的表示匹配的表示。系统300可以以任何合适的方式确定所选择的表示匹配非机器人设备的表示。继续上述示例，系统300可以确定非机器人设备的表示与第三表示之间的相似程度相对高于非机器人设备的表示与第一表示和第二表示之间的相似程度。因此，系统300可以将第三表示选择为与非机器人设备的表示匹配。
110.系统300可以基于所选择的匹配的表示确定非机器人设备的类型。这可以以任何合适的方式完成。例如，继续上述示例，系统300可以确定非机器人设备的类型对应于由多个已知非机器人设备的表示中包括的第三表示来表示的非机器人设备的类型。
111.在某些替代示例中，系统300可以被配置为基于由外科手术系统100的用户提供的信息来确定目标物体位于外科手术空间中。例如，助手110-2、护士110-3和/或与外科手术程序相关联的任何其他个人可以将目标物体放置在外科手术空间内并且然后以任何合适的方式输入信息，该信息指示目标物体在外科手术空间中。在某些示例中，此类信息还可以指示目标物体的类型、目标物体的插入方位和/或与目标物体相关联的任何其他合适的信息。
112.在某些示例中，系统300可以被配置为向用户(例如，外科医生110-1)提供通知，该通知指示在外科手术空间中已检测到目标物体和/或向用户提供任何合适的信息，以促进与目标物体的预期交互(例如，抓握交互)。系统300可以以任何合适的方式提供这种通知。
例如，系统300可以在通过用户控制台104的立体图像查看器显示的界面中提供基于文本的通知。此类基于文本的通知可以通知用户在外科手术空间中已检测到目标物体，并且可以提供与目标物体相关联的任何其他合适的信息。附加地或替代地，系统300可以被配置为提供指示在外科手术空间中已检测到目标物体的任何合适的听觉通知。例如，示例性听觉通知可以包括系统300播放带有“超声探头已插入”表述的音频剪辑。
113.在某些示例中，当目标物体位于外科手术空间中时，系统300可以被配置为检测计算机辅助外科手术系统的用户使用附接到计算机辅助外科手术系统的机器人器械与目标物体交互的意图。系统300可以以任何合适的方式检测用户与目标物体交互的意图。在某些示例中，系统300可以向用户提供通知，提示用户以指示用户是否打算与目标物体交互。例如，系统300可以以任何合适的方式向用户提供通知，指示在外科手术空间中已检测到目标物体。此类通知还可以以任何合适的方式询问用户是否打算与目标物体交互。然后，系统300可以检测可以由用户提供以指示用户与目标物体交互的意图的任何合适的用户输入。
114.例如，系统300可以通过检测由外科手术系统100的用户(例如外科医生110-1、助手110-2等)提供的基于声音的命令来检测用户与目标物体交互的意图。系统300可以使用任何合适的语音识别算法以任何合适的方式检测基于声音的命令。在某些示例中，系统300可以存储(例如，通过存储设施304)被配置为使系统300确定用户打算与目标物体交互的一个或多个预定义的基于声音的命令。例如，“我想使用超声”、“拾取超声探头”等表述可以对应于示例性预定义的基于声音的命令，系统300可以被配置为使用该示例性预定义的基于声音的命令来确定用户与对应于插入式超声探头的目标物体交互的意图。
115.附加地或替代地，系统300可以检测由计算机辅助外科手术系统的用户提供的基于手势的命令。此类基于手势的命令可以包括任何合适的输入(可以通过与外科手术系统100相关联的任何合适的用户接口提供)。例如，系统300可以检测通过外科医生110-1操纵用户控制系统104的主控件提供的基于手势的命令(例如，导致机器人器械朝向目标物体移动和/或在目标物体的阈值距离内移动的一个或多个命令)。附加地或替代地，系统300可以检测通过关于显示监视器114或可以通信地耦接到外科手术系统100的任何其他设备的输入(例如，触摸输入、鼠标光标输入等)提供的基于手势的命令。
116.在某些示例中，系统300可以通过检测由用户提供的基于注视的命令来检测用户与目标物体交互的意图。此类基于注视的命令可以由系统300以任何合适的方式检测。例如，系统300可以被配置为以任何合适的方式访问由用户控制系统104的立体图像查看器内提供的成像设备生成的图像。基于生成的图像，系统300可以通过确定用户眼睛的瞳孔和由用户控制系统104内的红外光源提供的红外光引起的角膜反射之间的位置关系来确定用户眼睛的注视点。然后，系统300可以基于所确定的位置关系以任何合适的方式推断用户眼睛的注视点。
117.当用户眼睛的注视点停留在目标物体上达预定的时间量时，系统300可以确定计算机辅助外科手术系统的用户打算与目标物体交互。预定的时间量可以对应于可以用于确定用户意图的任何合适的时间量。例如，在某些实施方式中，预定的时间量可以对应于三秒。在此类示例中，每当用户的注视点停留在目标物体上达三秒或更多秒时，系统300可以确定用户打算与目标物体交互。
118.附加地或替代地，系统300可以被配置为基于与外科手术空间相关联的程序情境
来检测用户的意图。为了说明示例，与外科手术空间相关联的程序情境可以与在外科手术空间内使用插入式超声探头相关联。在此类示例中，系统300可以基于示出超声探头存在于外科手术空间内的外科手术空间的所捕获的图像来确定用户打算与超声探头交互。在另一个示例中，与外科手术空间相关联的程序情境可以与要在外科手术空间中执行的缝合操作相关联。在此类示例中，系统300可以基于在外科手术空间中检测的缝合针和针驱动器机器人器械位于外科手术空间中并抓握缝合针的组合，确定用户打算与非机器人设备(诸如缝合针)交互。
119.系统300可以在任何合适的时间检测用户与目标物体交互的意图。例如，系统300可以在系统300确定目标物体位于外科手术空间中之后检测用户的意图。替代地，系统300可以在系统300确定目标物体位于外科手术空间中之前检测用户与目标物体交互的意图。
120.系统300可以进一步被配置为确定外科手术空间内的目标物体的姿势。系统300可以以任何合适的方式确定目标物体的姿势。例如，目标物体的姿势可以基于深度数据(例如，在外科手术空间的深度图中提供)和外科手术空间内的目标物体的所确定的取向的组合来确定。现在将描述系统300可以确定目标物体的取向的示例性方法。
121.在某些示例中，系统300可以通过使用目标物体的3d模型来确定目标物体的取向。系统300可以以任何合适的方式使用目标物体的3d模型，以促进确定目标物体的取向。例如，系统300可以被配置为访问外科手术空间中的目标物体的图像(例如，由成像设备202捕获的图像)。系统300可以被配置为从成像设备的视点确定目标物体的表示(例如，外轮廓形状)。系统300可以使用任何合适的图像处理算法来确定目标物体的表示。系统300可以将目标物体的表示与目标物体的3d模型的被定向在已知取向上的2d投影进行比较。系统300可以被配置为确定目标物体的表示和3d模型的2d投影之间的投影误差。投影误差可以对应于任何可量化的度量，该可量化的度量指示目标物体的表示的取向与3d模型的2d投影的取向之间的差异。投影误差越大，目标物体被定向在已知取向的可能性越小。因此，当投影误差高于预定义阈值时，系统300可以确定目标物体不在已知取向上。
122.系统300可以被配置为确定投影误差是否小于预定义阈值。如果系统300确定投影误差小于预定义阈值，则系统300可以识别目标物体被定向在已知取向。另一方面，如果系统确定投影误差不小于预定义阈值，则系统300可以改变3d模型的取向，并生成目标物体的3d模型的被定向在附加的已知取向上的附加2d投影。然后，系统300可以确定目标物体的表示和3d模型的附加2d投影之间的附加投影误差。然后，系统300可以重复操作以确定附加投影误差是否小于预定义阈值。系统300可以重复此类操作，直到确定目标物体的取向。
123.除了系统300确定目标物体的取向外，系统300还可以确定目标物体在外科手术空间内的位置。这可以以任何合适的方式完成。例如，系统300可以使用深度数据和/或任何其他合适的数据来确定目标物体在外科手术空间内的位置。然后，系统300可以基于所确定的目标物体的取向和所确定的目标物体在外科手术空间内的位置的组合来确定目标物体在外科手术空间内的姿势。
124.在某些示例中，系统300可以基于目标物体在外科手术空间内的位置以及目标物体的外表面上提供的一个或多个标记的取向来确定目标物体的姿势。在此类示例中，当从特定视点观察时，一个或多个标记的特定取向可以指示外科手术空间内的目标物体的特定取向。例如，可以在非机器人设备的外表面上提供两个标记。两个标记的第一取向可以指示
非机器人设备的第一取向，两个标记的第二取向可以指示非机器人设备第二取向，并且两个标记的第三取向可以指示非机器人设备第三取向。系统300可以以任何合适的方式检测两个标记是否处于第一取向、第二取向或第三取向。例如，系统300可以以任何合适的方式分析外科手术空间的图像，以确定两个标记从特定视点的取向。
125.在某些示例中，一个或多个标记也可以用于识别位于外科手术空间中的非机器人设备的类型。例如，特定类型的标记、标记的位置、标记的组合和/或标记的配置可以指示非机器人设备的类型。在目标物体的外表面上提供的标记可以具有任何适合的配置，这可以服务于特定实施方式。
126.系统300可以在任何合适的时间检测外科手术空间内的目标物体的姿势。在某些示例中，系统300可以在检测到用户与目标物体交互的意图之后检测外科手术空间内的目标物体的姿势。替代地，系统300可以在检测到目标物体位于外科手术空间中之后或同时检测姿势。
127.在某些示例中，目标物体的姿势可以在关于外科手术空间执行的外科手术程序期间改变。当目标物体改变在外科手术空间内的位置和/或取向时，系统300可以以任何合适的方式确定目标物体在外科手术空间中的更新的姿势，如本文所述。在某些示例中，系统300可以被配置为在外科手术程序期间连续监视和更新目标物体的姿势。替代地，系统300可以周期性地确定目标物体的更新的姿势。
128.在某些示例中，系统300可以确定机器人器械为与目标物体交互而打算呈现的姿势。系统300可以以任何合适的方式确定机器人器械打算呈现的姿势。例如，系统300可以访问数据库，该数据库包括机器人器械为促进机器人器械与目标物体交互而要呈现的一组候选取向。此类数据库可以包括任何合适数量的候选取向，这可以服务于特定实施方式。在某些示例中，数据库可以针对目标物体在外科手术空间中可以具有的每个可能取向包括多个候选取向。例如，外科手术空间中的目标物体的第一取向可以与机器人器械的第一候选取向、第二候选取向和第三候选取向相关联。外科手术空间中的目标物体的第二取向可以与机器人器械的第四候选取向、第五候选取向和第六候选取向相关联。在此类示例中，系统300可以以任何合适的方式确定目标物体的取向。然后，系统300可以从数据库中选择与目标物体的所确定的取向相关联的对应的候选取向，作为机器人器械要呈现的可能取向。此类数据库可以由存储设施304维持和/或可以由系统300可访问的任何合适的存储设备维持。
129.系统300可以从数据库中包括的一组候选取向中选择中取向。系统300可以以任何合适的方式选择取向。例如，系统300可以分析外科手术空间内的目标物体的当前姿势(例如，取向和位置)。基于目标物体的当前姿势，系统300可以确定该组候选取向包括机器人器械为促进与目标物体交互而可能呈现的第一候选取向、第二候选取向和第三候选取向。然后，系统300可以选择数据库中包括的机器人器械的第一候选取向、第二候选取向或第三候选取向中的哪一个最有利于机器人器械与目标物体交互。例如，系统300可以以任何合适的方式确定，与第二候选取向和第三候选取向相比，第一候选取向更易于用户实现(例如，基于外科手术空间中的机器人器械的当前取向)与目标物体更好的交互(例如，更强的抓握)的结果，和/或外科手术空间中的更好的可见性的结果。因此，系统300可以选择第一候选取向作为用于机器人器械与目标物体交互的取向。
130.系统300可以选择机器人器械在外科手术空间内相对于目标物体要呈现的位置。系统300可以以任何合适的方式选择机器人器械要呈现的位置。例如，系统300可以分析与外科手术空间相关联的深度数据，以确定目标物体和/或其他物体(例如解剖体、其他机器人器械等)在外科手术空间内的相对姿势。基于深度数据、机器人器械打算呈现的所选择的取向和/或任何其他合适的信息，系统300可以在机器人器械处于所选择的取向时选择机器人器械要呈现的位置。
131.系统300可以基于所选择的取向和所选择的位置确定机器人器械打算呈现的姿势。
132.在某些示例中，系统300可以基于位于外科手术空间中的目标物体的类型来确定机器人器械打算呈现的姿势。为了说明示例，非机器人设备可以对应于以下类型的目标物体：从垂直于非机器人设备的纵向延伸部的方向最好抓握该目标物体。因此，系统300可以选择机器人器械要呈现垂直于非机器人设备的纵向延伸部的取向。此外，非机器人设备的预期用途可能需要维持外科手术空间中的物体(例如，肾脏404)的表面的可视化。因此，系统300可以选择机器人器械的取向，以便在外科手术程序期间(例如，当机器人器械204-1抓握并移动外科手术空间内的非机器人设备402时)最大化物体的表面的可视性。例如，所选择的取向和所选择的位置可以被提供在机器人器械的一侧，以最大化物体的表面的可视性。
133.在某些示例中，系统300可以被配置为生成机器人器械为促进机器人器械与目标物体交互而要呈现的一组候选取向。例如，系统300可以被配置为生成机器人器械为促进机器人器械与目标物体交互而要呈现的一组候选取向。系统300可以以任何合适的方式生成该组候选取向。例如，在某些实施方式中，系统300可以使用机器学习来生成该组候选取向和/或执行本文描述的任何其他操作。
134.在某些示例中，系统300可以使用受监督机器学习算法来生成机器人器械的候选取向的数据库。在此类示例中，对受监督机器学习算法的训练输入可以包括外科手术空间的多个图像，所述多个图像包括机器人器械相对于目标物体的标记取向。系统300可以在训练阶段期间以任何合适的方式使用受监督机器学习算法，以用机器人器械的标记取向分析一个或多个外科手术空间的多个图像。在训练阶段之后，系统300可以获得目标物体所位于的外科手术空间的图像，作为操作输入。系统300可以以任何合适的方式(例如，通过使用深度神经网络)使用受监督机器学习算法来分析包括目标物体的外科手术空间的图像，并生成一组候选取向。系统300可以从该组候选取向确定机器人器械为与目标物体交互而要呈现的最佳取向(例如，取向的最佳类别)。在某些替代实施方式中，系统300可以使用无监督机器学习算法来执行本文所述的任何操作。系统300可以从所生成的候选取向中选择取向，可以选择机器人器械在外科手术空间内相对于目标物体要呈现的位置，可以选择该位置，并且可以基于所选择的取向和所选择的位置以任何合适的方式(如本文所述)确定机器人器械打算呈现的姿势。
135.在系统300确定机器人器械要呈现的姿势后，系统300可以促进机器人器械呈现姿势。系统300可以以任何合适的方式促进机器人器械呈现姿势。例如，在某些实施方式中，系统300可以通过生成机器人器械为呈现所确定的姿势而要跟随的运动路径来促进机器人器械呈现姿势。系统300可以以任何合适的方式生成运动路径。例如，系统300可以以任何合适
的方式确定机器人器械的当前姿势。系统300可以生成运动路径，该运动路径从机器人器械的当前姿势开始，并在外科手术空间内的任何合适路径中延伸至机器人器械要呈现的所确定的姿势。在某些示例中，系统300可以生成机器人器械为呈现所确定的姿势而要跟随的多个运动路径。然后，系统300可以选择多个运动路径中包括的最佳运动路径，以供机器人器械跟随。
136.系统300可以利用与外科手术空间相关联的任何合适的信息，以促进选择机器人器械要跟随的最佳运动路径。例如，系统300可以考虑计算机辅助外科手术系统的配置、计算机辅助外科手术系统的一个或多个操纵器臂的运动学约束、外科手术空间的环境约束和/或任何其他合适的信息。
137.在某些示例中，系统300可以基于与外科手术空间相关联的碰撞因子选择最佳运动路径。碰撞因子可以表示可以影响机器人器械沿候选运动路径畅通无阻地行进的可行性的与外科手术空间相关联的任何方面。例如，碰撞因子可以包括与解剖体相对于运动路径的位置相关联的信息、与另一机器人器械和/或另一物体相对于运动路径的位置相关联的信息等。系统300可以确定特定运动路径将导致机器人器械不希望地接触解剖体和/或另一物体(例如，另一机器人器械)。因此，系统300可以基于此类碰撞因子确定此类运动路径是不希望的。
138.附加地或替代地，系统300可以基于机器人器械的运动经济性因子来选择最佳运动路径。运动经济性因子可以表示限定机器人器械在外科手术空间中要移动多少以呈现给定姿势的任何方面。例如，运动经济性因子可以包括机器人器械为与目标物体交互而要行进的距离和/或机器人器械为呈现特定取向而要改变的取向的量。例如，第一候选运动路径可以导致机器人器械跨外科手术空间穿过第一距离，并且第二候选运动路径可以导致机器人器械跨外科手术空间穿过第二距离。第一距离可以大于第二距离。因此，系统300可以确定第二候选运动路径优于第一候选运动路径。
139.附加地或替代地，系统300可以基于外科手术空间的视场因子选择最佳运动路径。视场因子可以指示在给定时间在外科手术空间的视场内可看到多少给定运动路径。在此类示例中，完全在外科手术空间的当前视场内的第一候选运动路径可以比需要改变视场以查看全部或部分第二候选运动路径的第二候选运动路径更好。
140.在某些示例中，系统300可以确定运动路径中存在障碍物。此类障碍物可以对应于可以阻挡机器人器械跟随运动路径的任何物体。例如，障碍物可以包括解剖体、另一机器人器械和/或外科手术空间中的任何其他物体。系统300可以以任何合适的方式确定存在障碍物。例如，系统300可以通过分析外科手术空间的深度图、与外科手术空间中一个或多个机器人器械相关联的运动学和/或任何其他合适的信息来确定存在障碍物。
141.如果系统300确定运动路径中存在障碍物，则系统300可以执行操作，以促进从运动路径中移除障碍物。例如，系统300可以以任何合适的方式指示用户(例如外科医生110-1)将机器人器械移动到外科手术空间内不会阻碍运动路径的不同位置。替代地，系统300可以指示附加用户(例如助手110-2)从外科手术空间中移除机器人器械。
142.在某些示例中，系统300可以自动执行从运动路径中移除障碍物的操作。例如，系统300可以在外科手术空间内自动重新定位机器人器械，使得机器人器械不再阻碍运动路径。
143.在某些示例中，系统300可以在外科手术空间内建立禁飞(no-fly)区。此类禁飞区可以对应于外科手术空间中不允许机器人器械行进的区域。由于可见性拘束、其他机器人器械造成的障碍物、解剖体造成的障碍物和/或任何其他合适的原因，系统300可以建立此类禁飞区。在此类示例中，系统300在确定机器人器械为呈现姿势而要跟随的最佳运动路径时可以考虑禁飞区。
144.在系统300生成机器人器械要跟随的运动路径的实施方式中，系统300可以促进机器人器械自动跟随生成的运动路径以呈现姿势。在此类示例中，系统300可引导计算机辅助外科手术系统(例如，系统100)沿运动路径自动移动机器人器械，而无需来自用户的输入。
145.在某些实施方式中，系统300可以促进机器人器械以不同水平的自主性自动跟随运动路径。例如，在某些实施方式中，系统300可以引导附接有机器人器械的计算机辅助外科手术系统自动沿运动路径移动机器人器械并呈现所识别的姿势。替代地，系统300可以引导附接有机器人器械的计算机辅助外科手术系统自动沿运动路径将机器人器械移动到所确定的姿势的附近。一旦机器人器械在所确定的姿势的附近，用户(例如外科医生110-1)就可以对机器人器械采取手动控制和精细定位(例如，通过使用用户控制系统104的主控件)，以调整机器人器械的位置和取向，使得机器人器械呈现所确定的姿势。
146.在系统300自动控制机器人器械的示例中，系统300可以在任何合适的时间自动使机器人器械呈现与所确定的姿势相关联的取向。例如，系统300可以使机器人器械首先呈现与所确定的姿势相关联的取向并且然后自动跟随运动路径到达与所确定的姿势相关联的位置。替代地，系统300可以自动使机器人器械跟随运动路径，并且然后在机器人器械到达与所确定的姿势相关联的位置后呈现与所确定的姿势相关联的取向。替代地，系统300可以在机器人器械正跟随运动路径的同时使机器人器械呈现与所确定的姿势相关联的取向。
147.在某些替代实施方式中，系统300可以被配置为促进附接有机器人器械的计算机辅助外科手术系统的用户(例如，外科医生110-1)沿运动路径移动机器人器械。系统300可以以任何合适的方式促进用户沿运动路径移动机器人器械。例如，在某些实施方式中，系统300可以被配置为提供虚拟指导以促进用户沿运动路径移动机器人器械。在某些示例中，此类虚拟指导可以包括系统300以任何合适的方式(如本文所述)提供触觉反馈指导，以促进用户沿运动路径移动机器人器械。
148.附加地或替代地，系统300可以被配置为提供听觉指导以促进用户沿运动路径移动机器人器械。可以以任何合适的方式提供此类听觉指导。例如，当用户移动机器人器械以跟随运动路径时，每当用户偏离运动路径超过某个预定义阈值量时，系统300就可以以“哔哔”声或任何其他合适的噪声的形式提供听觉指导。
149.在某些示例中，系统300可以沿运动路径生成一个或多个路径点，以促进运动路径的可视化。系统300可以沿运动路径生成任意合适数量的路径点，这可以服务于特定实施方式。在某些示例中，此类路径点可以被提供用于显示给用户，而不是作为运动路径的图形描绘的一部分。此类路径点可以具有任何合适的尺寸和/或形状(例如，圆形、正方形、三角形等)，这可以服务于特定实施方式。
150.在某些示例中，路径点(诸如本文所述的那些)可以由系统300提供作为机器人器械沿运动路径的受监督自主移动的一部分。例如，当计算机辅助外科手术系统沿运动路径自主地移动机器人器械时，系统300可以促进用户确认运动路径在沿运动路径提供的每个
路径点处是可接受的。这样，当机器人器械沿运动路径移动经过每个路径点时，系统300可以接收来自用户的对运动路径可接受的实时确认。当机器人器械沿运动路径移动时，如果外科手术空间中存在将影响运动路径的改变(例如，系统300生成运动路径后引入了障碍物)，则系统300可以关于外科手术空间的改变执行任何合适的操作。在某些示例中，系统300可以提供机器人器械沿运动路径移动的表示的增强预览，以促进用户确认运动路径是可接受的。
151.在某些示例中，系统300可以被配置为在机器人器械呈现所确定的姿势时向用户提供通知。此类通知可以以任何合适的方式提供。例如，系统300可以被配置为在机器人器械呈现所确定的姿势时向用户提供视觉通知、听觉通知和/或触觉反馈通知。为了说明示例，用户(例如外科医生110-1)可以控制机器人器械，以便跟随由图形描绘所表示的运动路径。在机器人器械向表示的位置移动期间或之后的任何合适时间，用户可以旋转机器人器械，使得机器人器械呈现与表示相关联的取向。当机器人器械的位置和取向匹配表示的位置和取向或在表示的位置和取向的某个预定义阈值内时，系统300可以通过用户控制系统104的主控件提供例如音频音调、表示的视觉外观的改变(例如，颜色、图案等的改变)和/或振动形式的触觉反馈，以通知用户机器人器械已经呈现姿势并且准备好与非机器人设备交互(例如，抓握非机器人设备)。
152.在某些示例中，目标物体(诸如非机器人设备)可以包括在其外表面上提供的突起，以促进机器人器械抓握目标物体。在非机器人设备的外表面上提供有突起的示例中，系统300在确定机器人器械为与非机器人设备交互而将要呈现的姿势时可以考虑突起的姿势。任何合适数量的突起可被提供在非机器人设备的外表面上，这可以服务于特定实施方式。例如，在某些实施方式中，两个或更多个突起可以被提供在非机器人设备的外表面上。在此类示例中，机器人器械可以被配置为抓握多个突起中的任何一个，以促进移动外科手术空间中的非机器人设备。此外，非机器人设备的突起可以具有任何合适的尺寸和/或配置，以促进附接到计算机辅助外科手术系统的机器人器械抓握非机器人设备。
153.在某些示例中，系统300可以执行一个或多个操作，以促进外科手术空间中的设备(诸如非机器人设备)的受指导的远程操作。如本文所使用的，“设备(诸如非机器人设备)的远程操作”可以指通过附接到计算机辅助外科手术系统的机器人器械对非机器人设备的间接远程操作。为此，在某些示例中，系统300可以生成与非机器人设备相关联的指导内容。如本文所用，“指导内容”可以包括可由计算机辅助外科手术系统使用以促进外科手术空间中的非机器人设备的受指导的远程操作的任何内容。通过系统300生成此类指导内容可以包括生成指令和/或其他指导内容供计算机辅助外科手术系统使用(诸如通过生成计算机可读指令供计算机辅助外科手术系统处理)，和/或可以包括生成和/或访问将由计算机辅助外科手术系统呈现的任何合适的内容(例如，经由与计算机辅助外科手术系统相关联的用户界面)。
154.指导内容的示例可以包括但不限于机器人器械的虚拟表示、非机器人设备的虚拟表示、通知、虚拟指针、动画、指令、听觉指导、视觉指导、触觉反馈指导、非机器人设备要跟随的建议路径的图形描绘、被配置为指示非机器人设备相对于外科手术空间中的物体的接触状态的内容、可由计算机辅助外科手术系统使用以提供指导内容的指令和/或其任意组合。可以由系统300生成并由计算机辅助外科手术系统呈现的指导内容的示例可以包括但
不限于机器人器械在外科手术空间内要跟随的建议路径、被配置为指示非机器人设备相对于外科手术空间中的物体的接触状态的内容，和/或可以促进非机器人设备的受指导的远程操作的任何其他生成的内容。本文描述了指导内容的具体示例。
155.系统300可以在任何合适的时间生成指导内容。例如，系统300可以在外科手术程序前、外科手术程序期间和/或任何其他合适的时间生成指导内容。
156.在某些示例中，系统300可以通过从与计算机辅助外科手术系统(例如，外科手术系统100)相关联的存储设备(例如，存储设施304)访问指导内容来生成至少一些指导内容。可以从存储设备访问的指导内容的示例可以包括但不限于机器人器械、非机器人设备和/或由机器人器械接合(例如，由机器人器械抓握)的非机器人设备的图形描绘、听觉通知、视觉通知等。
157.可以基于与外科手术空间相关联的任何合适参数生成指导内容，如本文所述。例如，可以基于与外科手术空间相关联的程序情境、非机器人设备的参数(例如，所识别的非机器人设备的类型、非机器人设备的姿势等)、机器人器械的参数(例如，所识别的机器人器械的类型、机器人器械的姿势等)、非机器人设备的所指示或预测的使用或操作和/或任何其他合适的参数或参数组合中的一个或多个来生成指导内容。
158.为了说明示例，系统300可以访问与外科手术空间相关联的任何合适的信息，以获得与位于外科手术空间中的非机器人设备相关联的第一参数、第二参数和第三参数。基于第一参数、第二参数和第三参数，系统300可以生成指导内容，以促进外科手术空间中的非机器人设备的远程操作。例如，系统可以根据第一参数、第二参数和第三参数确定图形叠加形式的视觉通知将有助于促进外科手术空间中的非机器人设备的远程操作。因此，系统300可以以任何合适的方式访问图形叠加，以供通过计算机辅助外科手术系统呈现。基于第一参数、第二参数和第三参数，系统300还可以生成计算机可执行指令，该计算机可执行指令指定何时提供图形叠加以供显示、何处提供图形叠加以供显示、提供图形叠加以供显示多长时间等，以促进非机器人设备的远程操作。本文描述了如何使用一个或多个参数来生成指导内容的具体示例。
159.由系统300生成以用于由计算机辅助外科手术系统呈现的指导内容可以被配置为以任何合适的方式呈现。例如，在某些实施方式中，指导内容可以被配置为通过与计算机辅助外科手术系统相关联的用户界面来呈现。为了说明，系统300可以提供指导内容以通过外科手术系统100的用户控制系统104呈现，以促进用户(诸如外科医生110-1)远程操作非机器人设备。附加地或替代地，可以提供指导内容以通过可以与计算机辅助外科手术系统相关联的任何其他合适的用户界面呈现。例如，在某些实施方式中，可以通过与辅助系统106的显示监视器114相关联的用户界面向用户提供指导内容。
160.在某些示例中，系统300可以将指导内容提供为视觉指导以促进计算机辅助外科手术系统的用户(例如，外科医生110-1)远程操作外科手术空间中的非机器人设备。可以以任何合适的方式提供此类视觉指导。例如，系统300可以指示计算机辅助外科手术系统提供指导用户远程操作外科手术空间中的非机器人设备的闪烁灯和/或任何合适的图形物体或增强叠加以向用户(例如，通过用户控制系统104向外科医生110-1)显示。
161.附加地或替代地，系统300可以将指导内容提供为听觉指导以促进计算机辅助外科手术系统的用户远程操作外科手术空间中的非机器人设备。可以以任何合适的方式提供
此类听觉指导。例如，听觉通知可以包括“哔哔”、带有口语语言的音频剪辑的录音和/或任何其他合适的听觉指导。
162.附加地或替代地，系统300可以将指导内容提供为触觉反馈指导以促进计算机辅助外科手术系统的用户远程操作非机器人设备。可以以任何合适的方式提供此类触觉反馈指导。例如，系统300可以指示计算机辅助外科手术系统使用户控制系统104的主控件之一振动，以通知用户将外科手术空间中的非机器人设备移动到何处或如何移动外科手术空间中的非机器人设备。本文描述了系统300可以提供的指导内容或指导内容的组合的各种示例。
163.在某些实施方式中，由系统300生成的指导内容可以促进非机器人设备与物体接触、维持与物体的预定义接触量，和/或维持相对于物体的表面的预定义接触角。因此，在此类示例中，指导内容可以指示非机器人设备相对于物体的表面的接触压力或接触角中的至少一个，和/或可以指示为获得和/或维持非机器人设备和物体之间的某个接触角和/或接触压力(例如，在接触角和/或接触压力的某个范围内)而要执行的一个或多个操作。
164.为了说明示例，在某些实施方式中，非机器人设备可以对应于由外科手术空间中的机器人器械抓握的缝合针。在此类示例中，系统300可以获得并分析与缝合针和/或外科手术空间相关联的(一个或多个)任何合适参数(例如深度数据、可见光影像、力反馈数据等)，以确定缝合针相对于组织的接触状态(例如，缝合针是否与要缝合的组织接触、缝合针的接触压力和/或缝合针相对于组织的接触角)。然后，系统300可以以任何合适的方式生成指导内容以促进用户用缝合针执行缝合程序。例如，系统300可以生成图形叠加形式的视觉指导，以通过用户控制系统104的立体图像查看器提供用于显示。此类视觉指导可以指示用户以特定方式移动机器人器械以调整缝合针相对于要缝合的组织的接触压力、移动机器人器械以调整缝合针相对于要缝合的组织的接触角、改变缝合针的缝合位置，和/或执行任何其他合适的动作。
165.在某些示例中，由系统300生成的指导内容可以包括当非机器人设备在外科手术空间中被机器人器械接合时非机器人设备在外科手术空间中要跟随的建议路径(本文中也可被称为运动路径)。在某些示例中，系统300可以被配置为生成非机器人设备在外科手术空间中要跟随的多个建议路径。例如，第一建议路径可以从外科手术空间中的非机器人设备的当前位置开始，并且可以在外科手术空间中的物体的表面上的第一位置结束。第二建议路径可以从物体的表面上的第一位置开始，并延伸到物体的表面上的第二位置。
166.系统300可以以任何合适的方式以建议路径的形式生成指导内容，如本文所述。
167.在某些替代示例中，系统300可以基于用户提供的输入生成非机器人设备要跟随的建议路径。为此，系统300可以被配置为促进用户在系统300生成建议路径之前限定建议路径的至少一些部分。系统300可以以任何合适的方式促进用户提供输入以限定建议路径的至少一部分。例如，系统300可以促进用户限定指示建议路径的起始位置的第一虚拟指针和指示建议路径的停止点的第二虚拟指针。系统300可以促进用户以任何合适的方式选择外科手术空间中的虚拟指针的位置。例如，用户(例如，外科医生110-1)可以能够通过操纵用户控制系统104的主控件来移动光标，以相对于外科手术空间中的物体定位虚拟指针。替代地，用户(例如，助手110-2)可以通过与计算机辅助外科手术系统相关联的任何合适的显示器(例如，显示监视器114)输入的任何合适输入(例如鼠标光标输入、触摸输入等)来限定
虚拟指针。
168.附加地或替代地，指导内容可以包括通过与计算机辅助外科手术系统相关联的显示设备提供以供显示的建议路径的图形描绘。除了提供此类图形描绘作为指导内容的一部分外，系统300还可以提供与建议路径相关联的附加指导内容，诸如通过同时提供附加指导内容来促进非机器人设备沿建议路径移动。例如，在某些实施方式中，此类附加指导内容可以包括向计算机辅助外科手术系统的用户提供通知，该通知请求用户确认例如由图形描绘指示的建议路径是可接受的。此类通知可以以任何合适的方式提供给用户。例如，系统300可以从与计算机辅助外科手术系统相关联的存储设备访问听觉通知。系统300可以指示计算机辅助外科手术系统显示建议路径的图形描绘，并播放带有“请确认建议路径可接受”表述的音频剪辑。然后，用户可以视觉检查由图形描绘表示的建议路径，以确定建议路径是否没有障碍物和/或以其他方式可接受。如果用户确定建议路径可接受，则用户可以对音频剪辑提供任何合适的响应。例如，用户可以大声说“是”，以指示由图形描绘表示的建议路径是可接受的。在此类示例中，系统300可以使用任何合适的语音识别算法来检测用户的响应。附加地或替代地，系统300可以访问计算机辅助外科手术系统可以提供以供显示给用户以请求用户确认建议路径可接受的任何合适的文本通知。
169.附加地或替代地，由系统300提供的指导内容可以包括促进用户沿建议路径移动非机器人设备的内容。例如，在某些实施方式中，系统300可以被配置为提供虚拟指导以促进用户沿建议路径移动非机器人器械。在某些示例中，此类虚拟指导可以包括系统300提供触觉反馈指导。此类触觉反馈指导可以以任何合适的方式提供。例如，此类触觉反馈指导可以对应于虚拟固定装置(fixture)，诸如外科手术空间中的触觉反馈通道，其被配置为指导非机器人器械和/或接合非机器人器械的机器人器械在外科手术空间中沿建议路径的控制。通过此类触觉反馈通道，当用户沿建议路径移动非机器人器械时，每当非机器人器械和/或接合非机器人器械的机器人器械偏离建议路径超过某个预定义阈值量时，系统300可以以用户控制系统104的主控件的振动的形式提供触觉反馈。
170.在某些示例中，在非机器人设备沿建议路径移动之前，用户可看到非机器人设备沿建议路径移动可能会有所帮助。因此，在某些示例中，由系统300生成的与建议路径相关的指导内容可以附加地或替代地包括非机器人设备沿建议路径移动的模拟。在某些示例中，此类模拟可以包括非机器人设备的虚拟表示。如本文所用，“非机器人设备的虚拟表示”可以对应于任何合适的指示器，该指示器可以用于表示非机器人设备和/或通知用户非机器人设备在沿建议路径的任何点处相对于物体打算呈现的位置、取向或姿势。在某些示例中，非机器人设备的虚拟表示还可以包括与非机器人设备接合(例如，抓握非机器人设备)的机器人设备的虚拟表示。非机器人设备的虚拟表示可以具有任何合适的形状、尺寸和/或视觉外观，这可以服务于特定实施方式。例如，非机器人设备的虚拟表示可以是透明的、半透明的、不透明的、彩色的和/或有图案的。在某些示例中，当由与计算机辅助外科手术系统相关联的显示设备显示时，非机器人设备的虚拟表示可以具有3d外观。可以以任何合适的方式提供非机器人设备的此类虚拟表示以供显示。例如，计算机辅助外科手术系统可以提供虚拟表示，作为通过用户控制系统104显示给外科医生110-1的外科手术空间的内窥镜视图之上的图形叠加。
171.在系统300生成如本文所述的指导内容后，系统300可以向计算机辅助外科手术系
统(例如，外科手术系统100)提供指导内容。这可以以任何合适的方式完成。例如，系统300可以通过与计算机辅助外科手术系统相关联的任何合适的通信接口，以任何合适的方式(例如，通过有线和/或无线连接)传输指导内容。计算机辅助外科手术系统可以以任何合适的方式使用指导内容(如本文所述)，以促进外科手术空间中的非机器人设备(例如，当非机器人设备由机器人器械抓握时)的受指导的远程操作。
172.在一些示例中，可以根据本文所述原理提供存储计算机可读指令的非暂时性计算机可读介质。指令在由计算设备的处理器执行时可以引导处理器和/或计算设备执行一个或多个操作，包括本文描述的操作中的一个或多个。可以使用各种已知的计算机可读介质中的任何一种来存储和/或传输此类指令。
173.本文提及的非暂时性计算机可读介质可以包括参与提供可以由计算设备(例如，由计算设备的处理器)读取和/或执行的数据(例如，指令)的任何非暂时性存储介质。例如，非暂时性计算机可读介质可以包括但不限于非易失性存储介质和/或易失性储存介质的任何组合。示例性非易失性存储介质包括但不限于只读存储器、闪存、固态驱动器、磁存储设备(例如硬盘、软盘、磁带等)、铁电随机存取存储器(“ram”)和光盘(例如压缩盘、数字视频光盘、蓝光光盘等)。示例性易失性存储介质包括但不限于ram(例如，动态ram)。
174.图11图示了示例性计算设备1100，其可以被具体配置为执行本文描述的过程中的一个或多个。如图11所示，计算设备1100可以包括经由通信基础设施1110彼此通信地连接的通信接口1102、处理器1104、存储设备1106和输入/输出(“i/o”)模块1108。虽然图11中示出了示例性计算设备1100，但图11中所示的部件并不旨在限制。其他实施例中可以使用附加或替代部件。现在将进一步详细描述图11所示的计算设备1100的部件。
175.通信接口1102可以被配置为与一个或多个计算设备通信。通信接口1102的示例包括但不限于有线网络接口(诸如网络接口卡)、无线网络接口(诸如无线网络接口卡)、调制解调器、音频/视频连接以及任何其他合适的接口。
176.处理器1104通常表示能够处理数据和/或解释、执行和/或引导执行本文描述的指令、过程和/或操作中的一个或多个的任何类型或形式的处理单元。处理器1104可以通过执行存储在存储设备1106中的计算机可执行指令1112(例如，应用程序、软件、代码和/或其他可执行数据实例)来执行操作。
177.存储设备1106可以包括一个或多个数据存储介质、设备或配置，并且可以采用任何类型、形式和组合的数据存储介质和/或设备。例如，存储设备1106可以包括但不限于本文描述的非易失性介质和/或易失性介质的任何组合。电子数据(包括本文描述的数据)可以临时和/或永久存储在存储设备1106中。例如，表示被配置为引导处理器1104执行本文描述的任何操作的计算机可执行指令1112的数据可以被存储在存储设备1106内。在一些示例中，数据可以被布置在驻留在存储设备1106内的一个或多个数据库中。
178.i/o模块1108可以包括被配置为接收用户输入并提供用户输出的一个或多个i/o模块。一个或多个i/o模块可以用于接收用于单个虚拟体验的输入。i/o模块1108可以包括支持输入和输出能力的任何硬件、固件、软件或其组合。例如，i/o模块1108可以包括用于捕获用户输入的硬件和/或软件，包括但不限于键盘或小键盘、触摸屏部件(例如，触摸屏显示器)、接收器(例如，rf或红外接收器)、运动传感器和/或一个或多个输入按钮。
179.i/o模块1108可以包括用于向用户呈现输出的一个或多个设备，包括但不限于图
形引擎、显示器(例如，显示屏)、一个或多个输出驱动器(例如，显示驱动器)、一个或多个音频扬声器以及一个或多个音频驱动器。在某些实施例中，i/o模块1108被配置为向显示器提供图形数据以供呈现给用户。图形数据可以表示一个或多个图形用户界面和/或任何其他图形内容，这可以服务于特定实施方式。
180.在一些示例中，本文描述的任何系统、计算设备和/或其他部件可以由计算设备1100实施。例如，存储设施304可以由存储设备1106实施，并且处理设施302可以由处理器1104实施。
181.在前面的描述中，已经参考所附附图描述了各种示例性实施例。然而，将显而易见的是，在不偏离所附权利要求中所述的本发明的范围的情况下，可以对各种示例性实施例进行各种修改和改变并且可以实施附加实施例。例如，本文描述的一个实施例的某些特征可以与本文描述的另一个实施例的特征组合或替换。因此，应将说明书和附图视为说明性的，而不是限制性的。