基于深度传感器和辅助传感器执行与计算机辅助外科手术系统相关联的操作的系统和方法与流程

基于深度传感器和辅助传感器执行与计算机辅助外科手术系统相关联的操作的系统和方法
1.相关申请
2.本技术要求美国临时专利申请第62/888，115号的优先权，该申请于2019年8月16日提交，题为“systems and methods for performance of depth sensor and auxiliary sensor-based operations associated with a computer-assisted surgical system”，其内容在此通过引用整体并入。


背景技术：

3.在计算机辅助外科手术系统在患者的内部空间执行程序期间，可能期望外科医生或其他用户引导计算机辅助外科手术系统响应于用户输入执行各种操作。例如，可能期望计算机辅助外科手术系统测量由计算机辅助外科手术系统控制的成像装置捕获的图像内的用户选择的点之间的精确距离。还可能期望计算机辅助外科手术系统在没有用户输入的情况下自动执行各种操作。例如，可能期望计算机辅助外科手术系统自动执行效率相关的操作，例如防止外科手术器械无意中接触并损伤患者体内的组织。当计算机辅助外科手术系统执行这些和其他操作时，期望准确性、精确性和及时响应性。


技术实现要素：

4.以下描述呈现本文描述的系统和方法的一个或多个方面的简化总结。本总结不是对所有考虑的方面的广泛概述，并且既不打算识别所有方面的主要或关键元素，也不打算标明任何或所有方面的范围。其唯一目的是呈现本文描述的系统和方法的一个或多个方面，作为下文呈现的详细描述的引子。
5.一种示例性系统包括存储指令的存储器和与存储器通信耦合的处理器，并且该处理器被配置为执行指令，以从包括在成像装置中的深度传感器获取表示患者的内部空间的深度图的深度数据，从不包括在成像装置中的辅助传感器获取辅助传感器数据，并基于深度数据和辅助传感器数据执行与计算机辅助外科手术系统相关联的操作，该计算机辅助外科手术系统被配置为在患者的内部空间内执行程序。
6.一种示例性方法包括：由操作管理系统从包括在成像装置中的深度传感器获取表示患者的内部空间的深度图的深度数据；由操作管理系统从不包括在成像装置中的辅助传感器获取辅助传感器数据；以及由操作管理系统基于深度数据和辅助传感器数据执行与计算机辅助外科手术系统相关联的操作，该计算机辅助外科手术系统被配置为在患者的内部空间内执行程序。
7.一种示例性非暂时性计算机可读介质存储指令，当指令被执行时，该指令引导计算装置的处理器从包括在成像装置中的深度传感器获取表示患者的内部空间的深度图的深度数据，从不包括在成像装置中的辅助传感器获取辅助传感器数据，并基于深度数据和辅助传感器数据执行与计算机辅助外科手术系统相关联的操作，该计算机辅助外科手术系统被配置为在患者的内部空间内执行程序。
附图说明
8.附图说明了各种实施例，并且是说明书的一部分。所说明的实施例仅为示例且并不限制本公开的范围。在所有附图中，相同或相似的附图标记标示相同或相似的元件。
9.图1说明了根据本文所述原理的示例性操作管理系统。
10.图2说明了根据本文所述原理的示例性配置，其中图1的操作管理系统基于深度数据和辅助传感器数据执行与计算机辅助外科手术系统相关联的操作。
11.图3说明了根据本文所述原理的示例性实施方式，其中深度传感器由包括在成像装置中的飞行时间传感器来实施。
12.图4示出了根据本文所述原理的示例性实施方式，其中照明系统由单个照明源实施。
13.图5说明了根据本文所述原理的示例性实施方式，其中照明系统由分离的照明源实施。
14.图6说明了根据本文所述原理的示例性实施方式，其中照明源集成到飞行时间传感器。
15.图7说明了根据本文所述原理的成像装置的示例性结构实施方式。
16.图9描绘了根据本文所述原理的成像装置的轴的横截面图。
17.图9说明了根据本文所述原理的示例性实施方式，其中深度传感器由包括在成像装置中的可见光摄像机实施。
18.图10说明了根据本文所述原理的示例性二维图像。
19.图11说明了根据本文所述原理的示例性三维端点，在这些端点之间可以确定一个或多个距离。
20.图12示出了根据本文所述原理的患者的内部空间的示例性侧视图。
21.图13示出了根据本文所述原理的示例性配置，其中外科手术器械在由成像装置成像的内部空间内使用。
22.图14示出了根据本文所述原理的在其与目标位置接触之前的外科手术器械1402。
23.图15示出了根据本文所述原理的在外科手术器械与目标位置接触之时的图14的外科手术器械。
24.图16说明了根据本文所述原理的示例性方法。
25.图17说明了根据本文所述原理的示例性计算机辅助外科手术系统。
26.图18说明了根据本文所述原理的示例性计算装置。
具体实施方式
27.本文描述了基于深度传感器和辅助传感器执行与计算机辅助外科手术系统相关联的操作的系统和方法。例如，示例性操作管理系统可以从包括在成像装置中的深度传感器获取表示患者的内部空间的深度图的深度数据，从不包括在成像装置中的辅助传感器获取辅助传感器数据，并基于深度数据和辅助传感器数据执行与计算机辅助外科手术系统相关联的操作，该计算机辅助外科手术系统被配置为在患者的内部空间内执行程序。
28.本文所述的系统和方法有利地一起使用深度数据和辅助传感器数据来执行与计算机辅助外科手术系统相关联的操作。这可以导致操作比由不能同时访问两种数据类型的
传统计算机辅助外科手术系统执行的操作更精确、准确和响应更快。本文所述的系统和方法的这些和其它优点和益处在此将变得明显。
29.图1说明了示例性操作管理系统100(“系统100”)，其被配置为基于深度传感器和辅助传感器执行与计算机辅助外科手术系统相关联的操作。如图所示，系统100可以包括但不限于选择性地且通信地彼此耦合的存储设施102和处理设施104。设施102和设施104可以各自包括或者由硬件和/或软件部件(例如，处理器、存储器、通信接口、存储在存储器中用于由处理器执行的指令等)实施。例如，设施102和/或设施104可以由计算机辅助外科手术系统本身中的任何部件来实施。作为另一个示例，设施102和/或设施104可以由与计算机辅助外科手术系统分离并且通信地耦合到计算机辅助外科手术系统的计算装置来实施。在一些示例中，设施102和设施104可以分布在多个装置和/或多个位置之间以满足特定的实施方式。
30.存储设施102可以维护(例如，存储)由处理设施104使用的可执行数据以执行本文所述的一个或多个操作。例如，存储设施102可以存储可以由处理设施104执行以执行本文所述的一个或多个操作的指令106。指令106可以由任何合适的应用程序、软件、代码和/或其他可执行数据实例来实施。存储设施102还可以维护由处理设施104接收、生成、管理、使用和/或传输的任何数据。
31.处理设施104可以被配置为执行(例如，执行存储在存储设施102中的指令106以执行)本文所述的各种操作。例如，处理设施104可以被配置成从包括在成像装置中的深度传感器获取表示患者的内部空间的深度图的深度数据。处理设施104还可以被配置为从不包括在成像装置中(或者以其他方式为成像装置的一部分)的辅助传感器获取辅助传感器数据。处理设施104还可以被配置为基于深度数据和辅助传感器数据来执行与计算机辅助外科手术系统相关联的操作，该计算机辅助外科手术系统被配置为在患者的内部空间内执行程序。本文描述了可以由系统100(例如，处理设施104)执行的这些和其它操作。
32.图2说明了示例性配置，其中系统100基于深度数据206和辅助传感器数据208执行与计算机辅助外科手术系统204相关联的操作202。如图所示，系统100从包括在成像装置212中的深度传感器210获取深度数据206。系统100从不包括在成像装置212中的辅助传感器214获取辅助传感器数据208。
33.计算机辅助外科手术系统204可以由任何合适的外科手术系统实施，该系统使用机器人和/或远程操作技术在患者的内部空间(例如，外科手术区域)内执行程序(例如，微创外科手术程序)。本文描述了一种示例性计算机辅助外科手术系统。
34.操作202可以包括涉及计算机辅助外科手术系统204执行的任何合适的操作。在系统100由计算机辅助外科手术系统204本身实施的情况下，操作202可以由计算机辅助外科手术系统204执行。本文描述了操作202的示例。
35.成像装置212可以由内窥镜或其他被配置为捕捉场景的图像的摄像机装置来实施。在一些示例中，成像装置212可以被配置为附接到计算机辅助外科手术系统204并由其控制。在替代示例中，成像装置212可以为手持式且由操作者(例如，外科医生)手动操作。
36.在一些示例中，成像装置212捕获的场景可能包括与患者相关联的外科手术区域。在某些示例中，外科手术区域可以完全设置在患者体内，并且可以包括患者体内计划执行、正在执行或已经执行外科手术程序的地方或附近的区域。例如，对于在患者体内的组织上
执行的微创外科手术程序，外科手术区域可以包括组织、组织下面的解剖结构以及组织周围的空间(例如，用来执行外科手术程序的外科手术器械位于其中)。在某些示例实施方式中，完全设置在患者体内的外科手术区域可以被称为“内部空间”。如本文所述，患者的任何内部解剖结构(例如，血管、器官和/或组织)和/或位于内部空间中的外科手术器械可以被称为对象和/或结构。
37.包括在成像装置212中的深度传感器210可以由被配置为生成表示患者的内部空间的深度图的深度数据206的任何合适的传感器来实施。例如，如本文所述，深度传感器210可以由飞行时间传感器、结构化光传感器、干涉仪、立体摄像机和/或可满足特定的实施方式的任何其他合适的部件来实施。
38.辅助传感器214可以由不包括在成像装置212中或以其他方式为成像装置212的一部分的任何合适的传感器来实施。例如，如本文所述，辅助传感器214可以由被配置为生成用户输入数据的用户输入传感器、集成到由计算机辅助外科手术系统204控制的外科手术器械中并被配置为输出表示施加到外科手术器械的外力的量的力传感数据的力传感器，和/或被配置为输出任何其他类型的辅助传感数据208以满足特定的实施方式的任何其他类型的传感器来实施。
39.现在将描述系统100可以从成像装置212中的深度传感器210获取深度数据206的各种示例性方式。
40.图3说明了示例性实施方式300，其中深度传感器210由包括在成像装置212中的飞行时间传感器302来实施。尽管飞行时间传感器302在图3中示出并且在本文提供的示例中提及，与也包括在成像装置212中的可见光摄像机分离(即，物理地不同于)的任何其他类型的深度传感器可以附加地或可替代地用来实施深度传感器210。例如，深度传感器210可以可替代地由结构化光传感器、干涉仪和/或被配置为获取深度数据的任何其他合适的传感器来实施以满足特定的实施方式。
41.在实施方式300中，系统100可以通过引导飞行时间传感器302获取深度数据206并从飞行时间传感器302接收深度数据206来获取深度数据206。
42.为此，在实施方式300中，系统100通过双向通信链路304通信地耦合到成像装置212，并通过通信链路308通信地耦合到照明系统306。通信链路304和308可以各自由任何合适的有线和/或无线通信介质来实施以满足特定的实施方式。系统100可以使用通信链路304和308来引导飞行时间传感器302获取深度数据206并从飞行时间传感器302接收深度数据206，如将在本文中描述的。
43.如图所示，成像装置212包括飞行时间传感器302和可见光摄像机310(“摄像机310”)，其被配置为生成表示场景的二维可见光图像的图像数据312。飞行时间传感器302可以由一个或多个光电探测器(例如，一个或多个单光子雪崩二极管(“spad”)探测器)、ccd传感器、cmos传感器和/或被配置为获取场景的深度数据的任何其他合适的配置来实施。摄像机310可以由任何合适的图像传感器实施，例如电荷耦合器件(“ccd”)图像传感器、互补金属氧化物半导体(“cmos”)图像传感器等。
44.在一些示例中，系统100可以被配置为控制成像装置212的操作(例如，通过控制摄像机310和飞行时间传感器302的操作)。例如，系统100可以包括被配置为控制摄像机310和/或飞行时间传感器302的各种参数(例如，激活时间、自动曝光等)的一个或多个摄像机
控制单元(“ccu”)。
45.系统100可以附加地或替代地被配置为提供用于包括在成像装置212中的部件的操作电力。例如，当成像装置212通信地耦合到系统100时，系统100可以一个或多个电力信号的形式将操作电力传输到摄像机310和飞行时间传感器302。
46.系统100可以被配置为使用成像装置212和照明系统306以获取深度数据206和图像数据312。在一些示例中，深度数据206和图像数据312可以用来生成场景的立体图像。这将在下面更详细地描述。
47.照明系统306可以被配置为发射光314(例如，在系统100的方向)，用来照明将由成像装置212成像的场景。由照明系统306发射的光314可以包括可见光和/或不可见光(例如，红外光)。如图所示，光314可以穿过成像装置212(例如，通过成像装置212内的照明通道，该照明通道可以由一个或多个光纤、光导、透镜等实施)行进到场景。本文描述了照明系统306的各种实施方式和配置。
48.如图所示，由照明系统306发射的光314可以在由成像装置212成像的场景内的表面316上反射。可见光摄像机310和飞行时间传感器302可以各自检测反射光314。可见光摄像机310可以被配置为基于检测到的光来生成表示包括表面316的场景的二维可见光图像的图像数据312。飞行时间传感器302可以被配置为基于检测到的光来生成深度数据206。图像数据312和深度数据206可以各自具有任何合适的格式。
49.为了生成场景的立体图像，系统100可以引导照明系统306发射光314。系统100还可以激活(例如，开启)可见光摄像机310和飞行时间传感器302。光314行进到场景并从表面316(以及，在一些示例中，场景中的一个或多个其他表面)反射。摄像机310和飞行时间传感器302都检测反射光314。
50.基于检测到的光314，摄像机310(和/或包括在成像装置212中的其他电路)可以生成表示场景的二维可见光图像的图像数据312。这可以任何合适的方式执行。可见光摄像机310(和/或包括在成像装置212中的其他电路)可以将图像数据312传输到系统100。这也可以任何合适的方式执行。
51.基于检测到的光314，飞行时间传感器302可以生成表示场景的深度图(例如，表面316的深度图)的深度数据206。这可以任何合适的方式执行。例如，飞行时间传感器302可以测量光314的光子从照明系统306行进到飞行时间传感器302所花费的时间量。基于该时间量，飞行时间传感器302可以确定表面316相对于飞行时间传感器302的位置的深度。表示该深度的数据可以任何合适的方式在深度数据206中表示。例如，由深度数据206表示的深度图可以包括与图像中的每个像素相对应的深度值(例如，z缓冲器值)的阵列。
52.飞行时间传感器302(和/或包括在成像装置212中的其他电路)可以传输深度数据206到系统100。这可以任何合适的方式执行。
53.系统100可以接收图像数据312和深度数据206并且对图像数据312和深度数据206执行一个或多个处理操作。例如，基于图像数据312和深度数据206，系统100可以生成场景的右侧透视图像和表示场景的左侧透视图像。这可以任何合适的方式执行。然后系统100可以引导显示装置以形成场景的立体图像的方式同时显示右侧和左侧透视图像。在一些示例中，显示装置被包括在和/或通信地耦合到计算机辅助外科手术系统204。
54.系统100可以基于深度数据206执行操作202。在一些示例中，操作202可以附加地
基于图像数据312。本文描述了操作202的示例。
55.图4示出了示例性实施方式400，其中照明系统306由单个照明源402实施。照明源402可以被配置为发射可见光314-1。
56.可见光314-1可以包括一种或多种颜色分量。例如，可见光314-1可以包括白光，该白光包括颜色分量(例如，红色、绿色和蓝色分量)的全光谱。红色分量具有在大约935至700纳米(“nm”)之间的波长。绿色分量具有在大约720至760nm之间的波长。蓝色分量具有在大约650至690nm之间的波长。
57.在一些示例中，可见光314-1被偏置为包括比另一种颜色分量更多的一种颜色分量。例如，可见光314-1可以通过包括比红色和绿色分量更多的蓝色分量来偏置蓝色。
58.在实施方式400中，飞行时间传感器302被配置为也检测可见光314-1。因此，相同的照明源402可以用于摄像机310和飞行时间传感器302两者。
59.图5说明了示例性实施方式500，其中照明系统306由分离的照明源402-1和照明源402-2实施。在实施方式500中，照明源402-1被配置为发射由摄像机310检测的可见光314-1。照明源402-2被配置为发射从表面316反射并由飞行时间传感器302检测的光314-2。在一些示例中，光314-2是不可见光，例如红外光。由于摄像机310和飞行时间传感器302具有分离的照明源402，摄像机310和飞行时间传感器302可以被配置为独立地操作。
60.图6说明了示例性实施方式600，其中照明源402-2集成到飞行时间传感器302。在实施方式600中，系统100通过将指令传输到飞行时间传感器302来控制(例如，激活)照明源402-2。
61.图7说明了成像装置212的示例性结构实施方式。如图所示，成像装置212包括摄像机头702和耦合到摄像机头702并从其延伸出来的轴704。摄像机头702和轴704一起实施了成像装置212的外壳。成像装置212可以被手动操作和控制(例如，由外科医生对患者进行外科手术程序)。可替代地，摄像机头702可以耦合到计算机辅助外科手术系统204的操纵器臂。在该配置中，成像装置212可以由计算机辅助外科手术系统204使用机器人技术和/或远程操作技术来控制。
62.如图所示，照明通道706可以穿过摄像机头702和轴704。照明通道706被配置为提供用于由照明系统306发射的光行进到由成像装置212成像的场景的管道。
63.轴704的远端708可以定位于或靠近将由成像装置212成像的场景。例如，轴704的远端708可以插入患者体内。在该配置中，成像装置212可以用于捕获患者体内的解剖结构和/或其他对象的图像。
64.摄像机310和飞行时间传感器302可以位于沿着成像装置212的轴704的任何地方。在图7所示的示例中，摄像机310和飞行时间传感器302位于轴704的远端708处。该配置可以被称为“尖端上芯片”配置。可替代地，摄像机310和/或飞行时间传感器302可以位于更朝向摄像机头702和/或在摄像机头702内。在这些替代配置中，包括在轴704和/或摄像机头206中的光学器件(例如，透镜、光纤等)可以将来自场景的光传送到摄像机310和/或飞行时间传感器302。
65.在一些示例中，摄像机310和飞行时间传感器302可以在距轴704的远端708的不同距离处交错。通过将摄像机310和飞行时间传感器302与轴704的远端708的距离交错开，成像装置212可以采用锥形配置，其朝向轴704的远端708具有减小的尺寸(例如，直径)，这可
能有助于将成像装置212插入患者的内部空间。
66.图9描绘了成像装置212的轴704沿着图7中的9-8线的横截面图。如图所示，轴704包括相对平的底表面802。参考该底表面802，飞行时间传感器302定位于摄像机310的上方。与具有并排的两个摄像机以便获取立体图像的常规成像装置的轴相比，这种定位可以允许更窄的轴704。将认识到，摄像机310和飞行时间传感器302可以在轴704内具有任何合适的相对位置，以满足特定的实施方式。
67.图9说明了示例性实施方式900，其中深度传感器210由包括在成像装置212中的可见光摄像机310-1和310-2实施。在实施方式900中，系统100可以通过引导摄像机310-1获取患者的内部空间的第一图像(例如，第一二维图像)、引导摄像机310-2获取患者的内部空间的第二图像(例如，第二二维图像)并且基于第一和第二图像生成由深度数据206表示的深度图来获取深度数据206。
68.在图9中，由摄像机310-1获取的第一图像由图像数据312-1表示，并且由摄像机310-2获取的第二图像由图像数据312-2表示。如图所示，图像数据312-1和图像数据312-2被传输到由系统100实施的深度数据生成器902。深度数据生成器902可以使用任何基于图像的可视化技术基于图像数据312-1和图像数据312-2确定深度数据206。
69.现在将提供基于深度数据206由系统100执行的涉及计算机辅助外科手术系统204的操作202的各种示例。这些示例仅仅是根据本文描述的系统和方法基于深度数据206可以由系统300执行的许多不同类型的操作的说明。
70.在一些示例中，系统100可以通过确定成像装置212获取的患者的内部空间的图像内的端点之间的距离来执行操作202。在一些示例中，该图像可以是由可见光摄像机310获取并由图像数据312表示的二维图像。附加地或替代地，该图像可以是以本文描述的任何方式基于图像数据312和深度数据206生成的立体图像。
71.在系统100通过确定患者的内部空间的图像内的端点之间的距离来执行操作202的示例中，辅助传感器214可以由用户输入传感器实施。用户输入传感器可以被配置为感测用户输入，诸如通过键盘、触摸屏等提供的用户输入。在这些示例中，系统100可以被配置为通过从用户输入传感器接收指示用户对内部空间的图像内的第一二维端点的选择的用户输入数据来获得辅助传感器数据208。如本文所述，第一二维端点对应于由图像描绘的内部空间内的第一特征。系统100可以通过基于由飞行时间传感器302获取的深度数据206和基于用户输入数据定义对应于第一特征的第一三维端点并且基于由飞行时间传感器302获取的深度数据206确定内部空间内从对应于第一特征的第一三维端点到对应于第二特征的第二三维端点的距离来执行操作202。因为由飞行时间传感器302获取的深度数据206是相对精确的，所以系统100可以根据本文描述的系统和方法来确定相对精确的距离测量。
72.图10说明了由包括在成像装置212中的摄像机310捕获并由图像数据312表示的患者的内部空间的示例性二维图像1002。如图所示，图像1002描绘了待测量的疝1004的表示，以便例如可以将网格补片切割成适当的尺寸以适当地修补疝1004。
73.图像1002可以由系统600以任何合适的方式和/或在任何合适的显示屏上显示或呈现。例如，图像1002可以显示在包括在计算机辅助外科手术系统204中和/或通信地耦合到计算机辅助外科手术系统204的显示装置的显示屏上。
74.为了测量图像1002中显示的特征之间的距离(例如，疝1004边缘之间的距离)，或
者图像1002中显示的特征与图像1002中当前未显示的附加特征之间的距离，用户可以与图像1002交互以提供指定对应于(一个或多个)特征的一个或多个用户选择的二维端点的用户输入。辅助传感器214可以检测用户输入。
75.为了说明，图10说明了由用户在图像1002上指定的示例性用户选择的二维端点1006。用户选择的二维端点1006可以对应于特定特征。如本文所用，端点(例如，二维或三维端点)所对应的“特征”可以指患者的解剖结构或内部空间内的其他对象的特定部件、点或其他特征。例如，用户选择的二维端点1006对应的特征是疝1004边缘的特定部分(在图10的右侧放大以更详细地说明特征)。用户选择的二维端点1006可以包括共同描绘对应特征的多个像素。
76.辅助传感器214(在这种情况下，由用户输入传感器实施)可以检测、接收和/或感测指定用户选择的二维端点1006的任何适当类型的用户输入。例如，用户可以通过触摸触摸屏上对应于图像1002内显示的期望特征(例如，疝1004的边缘)的位置来提供用户输入。辅助传感器214可以检测用户触摸触摸屏并输出表示该位置的辅助传感器数据208。
77.在一些示例中，用户选择的二维端点1006可以由外科医生或使用立体查看器的计算机辅助外科手术系统204的其他用户来指定。例如，以本文描述的任何方式生成并且一起形成立体图像的右透视图像和左透视图像可以分别显示在立体查看器的右图像显示屏和左图像显示屏上。在该示例中，可以使指针对象看起来在场景中所描绘的组织上方浮动，直到选择了用户选择的二维端点1006，在该点，当定义了对应的三维端点时，光标可以看起来在适当的深度处“落”在组织上(如下面将描述的)。另外，作为又一示例，用户可以使用三维光标来选择立体图像中的点。然后，这个选择的点在二维图像(例如，图像1002)上的投影可以用作用户选择的二维端点1006。
78.在一些示例中，用户选择的二维端点(例如，用户选择的二维端点1006)的指定可以作为离散事件执行，例如触摸手势、按钮按压、鼠标点击、按钮释放(例如，以结束从一个用户选择的二维端点到另一个的拖动运动)等。在其他示例中，当指针对象(例如，光标)在显示屏内移动时，可以动态地执行对用户选择的二维端点的用户选择，而无需任何附加的用户选择动作(即，无需诸如按钮按压、鼠标点击等动作)。换言之，在某些实施方式中，当用户在显示器上移动指针对象时，可以自动选择用于许多不同电位测量的许多用户选择的二维端点。
79.一旦用户以任何这些或其他合适的方式在图像1002内指定了对应于特征的用户选择的二维端点1006，系统100可以基于飞行时间传感器302获取的深度数据206和指定二维端点1006的用户输入，定义对应于特征的第一三维端点。这可以任何合适的方式执行。例如，深度数据206可以指示构成二维端点1006的像素的深度值。因此，这些深度值可以用于定义表示特征的三维位置的三维端点。
80.系统100可以任何适当的方式确定对应于第一特征的第一三维端点和对应于第二特征的第二三维端点之间的距离。可以与上述相同的方式选择或定义第二三维端点(例如，用户可以选择表示图像1002内的第二特征的第二二维端点，并且系统100可以基于深度数据206定义第二三维端点)。可替代地，第二三维端点可以与已知位置的定位(例如外科手术器械的定位、成像装置212的定位、坐标系的原点等)相关联。在这些示例中，用户因此可能不需要基于二维图像中呈现的特征来指定第二用户选择的二维端点。相反，用户可以任何
合适的方式指示附加的三维端点对应于特定的外科手术器械、内窥镜、原点或其他已知位置。
81.为了说明，图11说明了可以在它们之间确定一个或多个距离的示例性三维端点1102(例如，三维端点1102-1至1102-6)。如图11所示，可以在疝1004的第一边缘处定位基于图像1002内的用户选择的二维端点1006定义的第一三维端点1102-1。一旦基于用户选择的二维端点1006定义了这个第一三维端点1102-1，就可以确定从三维端点1102-1到由三维端点1102-2到1102-6表示的任何附加三维端点的距离。例如，从疝1004的一个边缘到另一个边缘的距离可以通过确定三维端点1102-1与三维端点1102-2和1102-3中的一个之间的距离来确定。
82.在其他示例中，附加三维端点1102对应的附加特征可能是非解剖学特征(即，包括在不是患者解剖结构的一部分的外科手术区域内的特征)。例如，三维端点1102-4可以与外科手术器械1104-1的尖端相关联，其当前未在图像1002内表示，但仍可以在患者的内部空间内。作为另一个示例，三维端点1102-5可以与外科手术器械1104-2的尖端相关联，其在图像1002内表示。作为又一示例，三维端点1102-6可以与成像装置212的尖端相关联(描绘为图像1002周围的虚线)。在三维端点对应的非解剖学特征未在图像1002内表示的示例中(例如，对于三维端点1102-4和1102-6对应的特征)，运动学数据可以用于确定三维端点1102的坐标。运动学和/或图像数据312可以用于确定在图像1002内表示的非解剖学特征的坐标，例如三维端点1102-5的坐标。
83.在要确定的距离是从解剖学特征到非解剖学特征(例如，盘旋在解剖学特征上方的外科手术器械1104)的示例中，测量两个三维端点之间的直接点对点距离可能是有用的。然而，在各种其他示例中，例如那些涉及与两个解剖学特征相关联的三维端点的示例，可能希望测量从一个三维端点到另一个沿着组织的轮廓的三维端点(即，不是直接穿过组织)的轮廓距离。例如，在上面描述的示例中，要测量跨过疝1004的距离，以便可以将网格补片切割成适当的尺寸，可能期望沿着疝1004的表面确定跨过疝1004的距离，而不是确定直接穿过疝1004的距离。
84.为了说明，图12示出了内部空间的示例性侧视图1200，该内部空间包括使疝1004成像的成像装置212。图12示出了可以如何估计从一个三维端点到附加三维端点的轮廓距离的示例性方面。具体地，如侧视图1200所示，三维端点1202-1和1202-2(统称为“三维端点1202”)可以位于疝1004的相对边缘处。在图12中，在三维端点1202之间画出直接点对点距离1204，其直接穿过疝1004的组织。虽然点对点距离1204在某些情况下可能是有用的，但它可能不是用于确定网格补片尺寸以覆盖疝1004的理想距离，因为网格补片将需要覆盖疝1004的表面。因此，可能期望确定疝1004表面上方的距离，其在本文中可以称为组织上方的“轮廓距离”。
85.为了确定该轮廓距离，系统100可以基于深度数据206和图像数据312，自动识别三维轮廓上的一个或多个三维中点1206(例如，三维中点1206-1至1206-3和/或未明确显示的附加三维中点)，该三维轮廓将三维端点连接到附加三维端点，并沿着三维端点和附加三维端点都设置在其上的物理表面(即，疝1004的外表面)延伸。然后，系统100可以基于三维中点1206，为从三维端点1202-1到三维端点1202-2的线性分段路线的每一段确定中间距离1208(例如，中间距离1208-1到1208-4)，所述每一段经过每个相邻的三维中点1206，以便基
本上附着到三维端点1202之间的三维轮廓。基于中间距离1208，系统100可以将从三维端点1202-1到三维端点1202-2的轮廓距离计算为中间距离1208的总和。中间距离1208的总和可以提供对精确轮廓距离的估计，该估计随着定义更多的三维中点1206和更多的中间距离1208而变得更加准确。
86.在一些示例中，用户可以手动定义三维中点1206(例如，通过逐点选择二维中点)，或者可以定义二维线，将沿着该二维线定义三维中点1206。例如，触摸屏可以用于沿着触摸屏上呈现的解剖结构(例如，从疝1004的一侧到另一侧)画线，以指定用户选择的二维端点以及它们之间的中点。辅助传感器214可以检测该用户输入。基于用户输入，系统100可以通过估计沿着通过中点连接端点的组织的轮廓的距离来估计端点之间的轮廓距离。在其他示例中，可以采用其他类型的用户界面(例如，基于指针的界面)实现类似的结果。
87.附加地或替代地，系统100可以通过执行与计算机辅助外科手术系统204相关联的效率相关操作来执行操作202。例如，系统100可以通过以防止对患者造成伤害的方式控制连接到计算机辅助外科手术系统204的外科手术器械的移动来执行操作202。
88.为了说明，辅助传感器214可以通过集成到由计算机辅助外科手术系统204控制的外科手术器械中的力传感器来实现。力传感器可以被配置为产生表示施加到外科手术器械的外力的量的力传感数据。基于力传感数据和深度数据206，系统100可以确定外科手术器械响应于施加到外科手术器械的外力开始朝向位于患者的内部空间中的结构(例如，器官或其他组织)移动。作为响应，系统100可以指示计算机辅助外科手术系统204在外科手术器械损坏结构(例如，通过陷入结构)之前停止外科手术器械朝向结构的移动。
89.为了说明，图13示出了示例性配置1300，其中外科手术器械1302正在由成像装置212成像的内部空间内使用。如图所示，外科手术器械1302包括力传感器1304。力传感器1304可以任何合适的方式集成到外科手术器械1302中。例如，如图所示，力传感器1304可以设置在外科手术器械1302的外表面上。附加地或替代地，力传感器1304可以容纳在外科手术器械1302内。虽然图13示出朝向外科手术器械1302的远端定位的力传感器1304，但将认识到，力传感器1304可以位于外科手术器械1302上或内的任何位置，以满足特定的实施方式。此外，在一些示例中，外科手术器械1302可以包括位于外科手术器械1302上和/或内不同位置处的多个力传感器。
90.在一些示例中，用户(例如，外科医生)可以通过使用他或她的手与一组主控件进行交互来远程控制外科手术器械1302的移动，该主控件被配置为检测用户的各种手、手腕和/或手指移动。响应于用户操纵主控件，计算机辅助外科手术系统204可以相应的方式移动和/或以其他方式操纵外科手术器械1302。
91.然而，在某些情况下，可能会对外科手术器械1302施加意外的力，其导致用户的手脱离主控件。在这些情况下，外科手术器械1302可能无意中以不受控制的方式和/或以不受控制的速度移动。这可能导致外科手术器械1302不期望地接触和/或陷入患者体内的结构(例如，器官或其他组织)。这种接触可能会导致对结构的损坏。
92.为了说明，当外科医生远程控制外科手术器械1302的移动时，位于操作室中的助理可以使用腹腔镜工具1306在患者体内执行腹腔镜操作。在这样做的同时，助理无意中使腹腔镜工具1306与外科手术器械1302碰撞。这种碰撞可能导致外科医生的手从用于控制外科手术器械1302的主控件上脱离。这又可能导致外科手术器械1302沿箭头1310所示的方向
朝向结构1308移动。
93.因此，根据本文所述的系统和方法，由成像装置212内的深度传感器210产生的深度数据206与由力传感器1304产生的力传感数据相结合，可以用于确定外科手术器械1302响应于腹腔镜工具1306施加的外力开始朝向结构1308移动。力传感数据指示力的强度和方向。基于该数据，系统100可以确定外科手术器械1302移动的大致方向和速度。在一些示例中，与外科手术器械1302相关联并由计算机辅助外科手术系统204维护的运动学数据也可以用于确定外科手术器械1302移动的大致方向和速度。深度数据206可以指示外科手术器械1302和结构1308两者的深度，该信息可以用于确定外科手术器械1302与结构1308有多接近。因此，系统100可以被配置为指示计算机辅助外科手术系统204在外科手术器械1302与结构1308接触之前停止外科手术器械1302朝向结构1308的移动。
94.附加地或替代地，系统100可以通过确定外科手术器械与组织接触时发生的组织形变量来执行操作202。在该示例中，辅助传感器214可以通过集成到由计算机辅助外科手术系统204控制的外科手术器械中的力传感器来实施。如上所述，力传感器可以被配置为生成表示施加到外科手术器械的外力的量的力传感数据。基于力传感数据，系统100可以确定外科手术器械与组织接触。响应于该确定，系统100可以使用深度数据206来确定由与组织接触的外科手术器械引起的组织形变量。
95.为了说明，图14-图15示出了示例性配置1400，其中外科手术器械1402用于在由成像装置212成像的患者的内部空间内执行组织形变分析操作。外科手术器械1402可以类似于外科手术器械1302，因为外科手术器械1402包括力传感器1404。如图所示，力传感器1404朝向外科手术器械1402的远端设置。
96.在图14-图15的示例中，用户可以使用外科手术器械1402与组织1406相互作用。特别地，为了执行涉及目标位置1408的组织形变分析操作，用户可以引导外科手术器械1402朝向组织1406的目标位置1408。图14示出了与目标位置1408接触之前的外科手术器械1402，而图15示出了与目标位置1408接触时的外科手术器械1402。
97.在一些示例中，系统100可以在外科手术器械1402不与组织1406接触(例如，在图14所示的位置中)时，获得第一深度数据集(例如，包括在深度数据206中的第一数据集)。系统100也可以在外科手术器械1402与组织1406的目标位置1408接触(例如，在图15所示的位置中)时，获得第二深度数据集(例如，包括在深度数据206中的第二数据集)。基于第一和第二数据集，系统100可以确定由外科手术器械1402与组织1406的目标位置1408接触引起的目标位置1408处的组织1406的形变量。例如，系统100可以确定第一和第二深度数据集之间的差异，从而确定组织1406的形变量。
98.基于确定的组织形变量，系统100可以执行一项或多项操作。例如，系统100可以基于组织形变量来确定组织1406的特性。
99.例如，基于所确定的组织形变量，系统100可以确定组织1406下方结构的存在。为了说明，通过测量施加到组织1406的目标位置1408的力的量并确定组织形变的结果量，系统100可以确定特定类型的块(例如，肿瘤)在组织1406下方。该确定可以任何合适的方式进行。
100.作为另一个示例，基于确定的组织形变量，系统100可以确定患者的内部空间内的组织1408和其他组织之间的差异。例如，如果目标位置1406响应于相同量的力而比组织
1406内的不同位置变形更多，则系统100可以确定目标位置1406处的组织1406是病变的、受损的或以其他方式不同于不同位置处的组织1406。
101.图16说明了可以由操作管理系统(例如，系统100和/或其任何实施方式)执行的示例性方法1600。尽管图16说明了根据一个实施例的示例性操作，但是其他实施例可以省略、添加、重新排序和/或修改图16所示的任何操作。
102.在操作1602中，操作管理系统从包括在成像装置中的深度传感器获得表示患者的内部空间的深度图的深度数据。操作1602可以本文所述的任何方式来执行。
103.在操作1604中，操作管理系统从不包括在成像装置中的辅助传感器获得辅助传感器数据。操作1604可以本文所述的任何方式来执行。
104.在操作1606中，操作管理系统基于深度数据和辅助传感器数据，执行与计算机辅助外科手术系统相关联的操作，该计算机辅助外科手术系统被配置为在患者的内部空间内执行程序。操作1606可以本文所述的任何方式执行。
105.图17说明了示例性计算机辅助外科手术系统1700(“外科手术系统1700”)。外科手术系统1700可以是计算机辅助外科手术系统204的实施方式。如图所示，外科手术系统1700可以包括彼此通信耦合的操纵系统1702、用户控制系统1704和辅助系统1706。外科手术团队可以利用外科手术系统1700来对患者1708执行计算机辅助外科手术程序。如图所示，外科手术团队可以包括外科医生1710-1、助理1710-2、护士1710-3和麻醉师1710-4，所有这些人可以被统称为“外科手术团队成员1710”。附加的或替代的外科手术团队成员可以在外科手术会话中出现，以满足特定的实施方式。
106.虽然图17说明了正在进行的微创外科手术程序，但是将理解，外科手术系统1700可以类似地用于执行开放式外科手术程序或可以类似地受益于外科手术系统1700的准确性和便利性的其他类型的外科手术程序。此外，将理解，可以采用外科手术系统1700的整个外科手术会话可以不仅包括外科手术程序的手术阶段(如图17所示)，而且也可以包括手术前、手术后和/或其他合适的外科手术程序的阶段。外科手术程序可以包括对患者使用手动和/或器械技术以检查或治疗患者的身体状况的任何程序。
107.如图17所示，操纵系统1702可以包括多个操纵器臂1712(例如，操纵器臂1712-1至1712-4)，多个外科手术器械可以耦合到这些操纵器臂。每个外科手术器械可以由任何合适的外科手术工具(例如，具有组织相互作用功能的工具)、医疗工具、成像装置(例如，内窥镜)、传感器械(例如，力传感外科手术器械)、诊断器械等来实现，这些外科手术器械可以用于对患者1708进行计算机辅助外科手术程序(例如，通过至少部分地插入患者1708体内并被操纵以对患者1708执行计算机辅助外科手术程序)。虽然操纵系统1702在本文中被描绘和描述为包括四个操纵器臂1712，但是将认识到，操纵系统1702可以仅包括单个操纵器臂1712或任何其他数量的操纵器臂以满足特定的实施方式。
108.操纵器臂1712和/或附接到操纵器臂1712的外科手术器械可以包括用于生成原始(即，未校正)运动学信息的一个或多个位移传感器、取向传感器和/或定位传感器。外科手术系统1700的一个或多个部件可以被配置为使用运动学信息来跟踪(例如，确定其定位)和/或控制外科手术器械。
109.用户控制系统1704可以被配置为便于外科医生1710-1控制操纵器臂1712和附接到操纵器臂1712的外科手术器械。例如，外科医生1710-1可以与用户控制系统1704交互以
远程移动或操纵操纵器臂1712和外科手术器械。为此，用户控制系统1704可以向外科医生1710-1提供通过成像系统(例如，本文描述的任何医学成像系统)捕获的与患者1708相关联的外科手术区域的影像(例如，高分辨率的3d影像)。在某些示例中，用户控制系统1704可以包括具有两个显示器的立体查看器，其中与患者1708相关联并且通过立体成像系统生成的外科手术区域的立体图像可以被外科医生1710-1查看。外科医生1710-1可以利用影像使用附接到操纵器臂1712的一个或多个外科手术器械执行一个或多个程序。
110.为了便于控制外科手术器械，用户控制系统1704可以包括一组主控件。这些主控件可以通过外科医生1710-1操纵以控制外科手术器械的移动(例如，通过利用机器人和/或远程操作技术)。主控件可以被配置为检测外科医生1710-1的各种手、手腕和手指移动。以这种方式，外科医生1710-1可以使用一个或多个外科手术器械直观地执行程序。
111.辅助系统1706可以包括一个或多个计算装置，该一个或多个计算装置被配置为执行外科手术系统1700的主要处理操作。在这样的配置中，辅助系统1706中包括的一个或多个计算装置可以控制和/或协调由外科手术系统1700的各种其他部件(例如，操纵系统1702和用户控制系统1704)执行的操作。例如，用户控制系统1704中包括的计算装置可以通过辅助系统1706中包括的一个或多个计算装置传输指令到操纵系统1702。作为另一个示例，辅助系统1706可以从操纵系统1702接收和处理表示由附接到操纵器臂1712之一的成像装置捕获的影像的图像数据。
112.在一些示例中，辅助系统1706可以被配置为向可能无法访问在用户控制系统1704处提供给外科医生1710-1的图像的外科手术团队成员1710呈现视觉内容。为此，辅助系统1706可以包括显示监视器1714，其被配置为显示一个或多个用户界面，例如外科手术区域的图像(例如，2d图像)、与患者1708和/或外科手术程序相关联的信息，和/或任何其他视觉内容，以满足特定的实施方式。例如，显示监视器1714可以一起显示外科手术区域的图像以及与图像同时显示的附加内容(例如，图形内容、上下文信息等)。在一些实施例中，显示监视器1714通过触摸屏显示器实现，外科手术团队成员1710可以与其交互(例如，通过触摸手势)以向外科手术系统1700提供用户输入。
113.操纵系统1702、用户控制系统1704和辅助系统1706可以任何合适的方式彼此通信地耦合。例如，如图17所示，操纵系统1702、用户控制系统1704和辅助系统1706可以通过控制线1716通信地耦合，控制线1716可以表示任何有线或无线通信链路，以满足特定的实施方式。为此，操纵系统1702、用户控制系统1704和辅助系统1706可以各自包括一个或多个有线或无线通信接口，例如一个或多个局域网接口、wi-fi网络接口、蜂窝接口等。
114.在一些示例中，可以根据本文所述的原理提供存储计算机可读指令的非暂时性计算机可读介质。当由计算装置的处理器执行时，指令可以引导处理器和/或计算装置执行一个或多个操作，包括本文描述的操作中的一个或多个。可以使用各种已知的计算机可读介质中的任何一种来存储和/或传输这样的指令。
115.本文所称的非暂时性计算机可读介质可以包括参与提供可以由计算装置(例如，由计算装置的处理器)读取和/或执行的数据(例如，指令)的任何非暂时性存储介质。例如，非暂时性计算机可读介质可以包括但不限于非易失性存储介质和/或易失性存储介质的任何组合。示例性非易失性存储介质包括但不限于只读存储器、闪存、固态驱动器、磁存储设备(例如，硬盘、软盘、磁带等)、铁电随机存取存储器(“ram”)和光盘(例如，压缩盘、数字视
频盘、蓝光盘等)。示例性易失性存储介质包括但不限于ram(例如，动态ram)。
116.图18说明了可以被具体配置为执行本文所描述的一个或多个过程的示例性计算装置1800。本文所述的系统、计算装置和/或其他部件中的任何一个都可以由计算装置1800实施。
117.如图18所示，计算装置1800可以包括通信接口1802、处理器1804、存储装置1806和输入/输出(“i/o”)模块1808，它们经由通信基础设施1810彼此通信地连接。尽管在图18中示出了示例性计算装置1800，但是图18中所说明的部件并非旨在限制。附加的或替代的部件可以在其他实施例中使用。现在将更加详细地描述图18中所示的计算装置1800的部件。
118.通信接口1802可以被配置为与一个或多个计算装置通信。通信接口1802的示例包括但不限于有线网络接口(例如网络接口卡)、无线网络接口(例如无线网络接口卡)、调制解调器、音频/视频连接以及任何其他合适的接口。
119.处理器1804一般表示能够处理数据和/或解释、执行和/或引导本文所述的指令、过程和/或操作中的一个或多个的执行的任何类型或形式的处理单元。处理器1804可以通过执行存储在存储装置1806中的计算机可执行指令1812(例如，应用程序、软件、代码和/或其他可执行数据实例)来执行操作。
120.存储装置1806可以包括一个或多个数据存储介质、装置或配置，并且可以采用数据存储介质和/或装置的任何类型、形式和组合。例如，存储装置1806可以包括但不限于本文所述的非易失性介质和/或易失性介质的任何组合。包括本文描述的数据的电子数据可以临时和/或永久地存储在存储装置1806中。例如，表示被配置为引导处理器1804执行本文所描述的任何操作的计算机可执行指令1812的数据可以被存储在存储装置1806内。在一些示例中，数据可以被安排在驻留于存储装置1806内的一个或多个数据库中。
121.i/o模块1808可以包括被配置为接收用户输入并提供用户输出的一个或多个i/o模块。i/o模块1808可以包括支持输入和输出能力的任何硬件、固件、软件或其组合。例如，i/o模块1808可以包括用于捕获用户输入的硬件和/或软件，包括但不限于键盘或小键盘、触摸屏部件(例如，触摸屏显示器)、接收器(例如，rf或红外接收器)、运动传感器和/或一个或多个输入按钮。
122.i/o模块1808可以包括用于向用户呈现输出的一个或多个装置，包括但不限于图形引擎、显示器(例如，显示屏)、一个或多个输出驱动器(例如，显示驱动器)、一个或多个音频扬声器以及一个或多个音频驱动器。在某些实施例中，i/o模块1808被配置为向显示器提供图形数据以呈现给用户。图形数据可以表示一个或多个图形用户界面和/或可以满足特定实施方式的任何其他图形内容。
123.在前面的描述中，已经参考附图描述了各种示例性实施例。然而，很明显，可以对其进行各种修改和改变，并且可以实施附加的实施例，而不脱离如所附权利要求中所述的本发明的范围。例如，本文描述的一个实施例的某些特征可以与本文描述的另一个实施例的特征结合或用其替换。因此，说明书和附图被认为是说明性的而不是限制性的。