胸腔成像、距离测量以及通知系统和方法与流程

相关申请的交叉引用

本申请要求2018年12月13日提交的美国临时申请序列号62/779,229的权益，并且涉及并要求2018年12月13日提交的美国临时申请序列号62/779,242和2018年12月20日提交的美国临时申请序列号62/782,683的权益，所述美国临时申请中的每一个的全部内容以引用方式并入本文中。

本公开涉及外科手术系统，且更具体地说，涉及执行内窥镜胸腔成像和治疗的系统和方法。

背景技术：

当前用于在微创手术(例如腹腔镜检查)和视觉诊断程序(例如结肠镜检查、支气管镜检查)期间观察手术视野的单眼光学装置(例如内窥镜、支气管镜、结肠镜)在手术工具的绝对位置和解剖特征方面提供了有限的参考信息，因为图像没有景深。为了补偿，外科医生可以使手术工具前进，直到它与特征或另一工具接触为止。这导致运动效率低下，并可能使重要的解剖结构穿孔。双眼(也称为立体)光学装置提供有限的景深，从而为外科医生提供有关光学装置视野内项目之间的距离的视觉信息。距离信息的准确性受光路提供的视差量(由光路之间的距离确定)以及两个光路之间的重叠量限制。

技术实现要素：

本公开针对在当前光学视图内的对象与可能不再在视野中的先前观察的对象之间的距离参考的推导和显示。此信息可以多种方式显示：从工具到特定解剖参考或另一工具的点对点距离；从工具到最近的解剖特征的点对点距离；关键解剖结构周围的保护带围栏隔离区域；距离通过使用经由颜色、数字刻度或音频反馈的梯度显示的光学视图中的所有表面的距离；以及从固定的解剖位置开始和定向的所使用的用户放置的刻度(例如，从脾曲开始到肝曲的直尺、从固定点开始的限定半径的阴影标记弧线(表示淋巴结切除范围))。组合的距离信息和光学内窥镜视图可以通过增强现实(ar)显示器投影到二维监视器上，也可以混合到虚拟现实(vr)显示器中。

在本公开的一方面中，提供了一种用于增强手术导航的方法。所述方法包含：使用包含摄像机源和扫描源的扫描3d内窥镜来生成手术部位的3d空间图；接收手术部位中的解剖结构的选择；从所接收的解剖结构的选择中接收阈值最小距离的选择；检测手术工具在所生成的3d空间图中的位置；并测量在所生成的3d空间图中检测到的手术工具的位置与所接收的解剖结构的选择之间的距离。另外，所述方法包含确定所生成的3d空间图中的手术工具的检测位置与所接收的解剖结构的选择之间的测量距离是否大于距所接收的解剖结构选择的阈值最小距离；并当确定所生成的3d空间图中的手术工具的检测位置与所接收的解剖结构选择之间的测量距离等于或不大于距所接收的解剖结构选择的阈值最小距离时，生成警告。在一方面中，扫描源是ir扫描源。

在一方面中，所述方法还包含当确定在生成的3d空间图中检测到的手术工具的位置与所接收的解剖结构选择之间的测量距离大于距所接收的解剖结构选择的阈值最小距离时，以第一形式显示表示在生成的3d空间图中检测到的手术工具的位置与所接收的解剖结构选择之间的测量距离的值。生成警告可以包含以不同于第一形式的第二形式显示值。生成警告可以包含生成听觉通知、触觉通知(例如，摇动、振动或对用户的手施加的其它触觉通知)或视觉通知中的至少一个。

在一方面中，接收对手术部位中的解剖结构的选择包含在计划阶段期间从术前图像接收选择，所述术前图像包含ct、mri、荧光透视、超声或其任何组合中的至少一个。另外地或可替代地，接收对手术部位中的解剖结构的选择可以包含在手术阶段期间从由3d内窥镜生成的图像中接收来自手术图像的选择。

从所接收的解剖结构选择接收阈值最小距离的选择可以包含在计划阶段期间从术前图像接收选择，所述术前图像包含ct、mri、荧光透视、超声或其任何组合中的至少一个。另外地或可替代地，从所接收的解剖结构的选择接收阈值最小距离的选择包含在手术阶段期间从由3d内窥镜生成的图像中接收来自手术图像的选择。另外地或可替代地，所述选择是基于用户(例如，外科医生)偏好或由手术类型限定的预设值。

在一方面中，3d空间图包含等距数据点的矩阵，所述等距数据点表示手术部位的当前视图中的固定点，并且数据点的值表示数据点处的对象在空间中的存在。另外地或可替代地，测量所生成的3d空间图中的手术工具的检测位置与所接收的解剖结构的选择之间的距离可以包含以下操作中的至少一项：计算矩阵中两个数据点的坐标之间的差，或者遵循矩阵中两个数据点之间的表面轮廓，并计算沿轮廓的距离。

在本公开的另一方面中，提供了一种用于增强手术导航的系统，所述系统包含：扫描3d内窥镜，其包含摄像机源和扫描源；以及计算装置，其可操作地联接到3d内窥镜。3d内窥镜被配置成用于生成手术部位的3d空间图。所述计算装置被配置成在图形用户界面上显示手术部位的3d空间图；接收对手术部位中的解剖结构的选择；从所接收的解剖结构选择中接收阈值最小距离的选择；检测手术工具在生成的3d空间图中的位置；并测量手术工具在生成的3d空间图中的检测位置与所接收的解剖结构选择之间的距离。所述计算装置还确定在所生成的3d空间图中的手术工具的检测位置与所接收的解剖学选择之间的测量距离是否大于距所接收的解剖结构选择的阈值最小距离。另外，当确定在所生成的3d空间图中检测到的手术工具的位置与所接收的解剖结构的选择之间的测量距离等于或不大于距所接收的解剖结构选择的阈值最小距离时，生成警告。在一方面中，扫描源是ir扫描源。

在一方面中，计算装置在确定在生成的3d空间图中检测到的手术工具的位置与所接收的解剖结构选择之间的测量距离大于距所接收的解剖结构选择的阈值最小距离时，在图形用户界面上以第一形式显示表示在生成的3d空间图中检测到的手术工具的位置与所接收的解剖结构选择之间的测量距离的值；并且当确定在生成的3d空间图中检测到的手术工具的位置与所接收的解剖结构选择之间的测量距离等于或不大于距所接收的解剖结构选择的阈值最小距离时，在图形用户界面上以不同于第一形式的第二形式显示所述值。

所生成的警告可以包含听觉通知、触觉通知(例如，摇动，振动或对用户的手施加的其它触觉通知)或视觉通知中的至少一个。

在一方面中，计算装置通过在计划阶段期间接收来自术前图像的选择来接收手术部位中的解剖结构的选择，所述术前图像包含ct、mri、荧光透视、超声或其任何组合中的至少一个。另外地或可替代地，计算装置可以通过在手术阶段期间从由3d内窥镜生成的图像中接收来自手术图像的选择，来接收手术部位中的解剖结构的选择。

在一方面中，计算装置可以通过在计划阶段期间从术前图像接收选择来接收距所接收的解剖结构选择的阈值最小距离的选择，所述术前图像包含ct、mri、荧光透视、超声或其任何组合中的至少一个。另外地或可替代地，计算装置可以通过在手术阶段期间从由3d内窥镜生成的图像中接收来自手术图像的选择，来接收距所接收的解剖结构选择的阈值最小距离的选择。另外地或可替代地，所述选择是基于用户(例如，外科医生)偏好或由手术类型限定的预设值。

在一方面中，3d空间图包含等距数据点的矩阵，所述等距数据点表示手术部位的当前视图中的固定点，并且数据点的值表示数据点处的对象在空间中的存在。所述计算装置可以通过计算矩阵中两个数据点的坐标之间的差或遵循矩阵中两个数据点之间的表面轮廓并计算沿轮廓的距离，来测量所生成的3d空间图中手术工具的检测位置与所接收的解剖结构选择之间的距离。

在本公开的又一方面中，一种用程序编码的非暂时性计算机可读存储介质，所述程序在由处理器执行时会使处理器生成手术部位的3d空间图；检测手术工具在生成的3d空间图中的位置；确定在生成的3d空间图中检测到的手术工具的位置与3d空间图中的解剖结构的位置之间的距离是否大于阈值最小距离。当确定在生成的3d空间图中检测到的手术工具的位置与解剖结构的位置之间的距离等于或不大于阈值最小距离时，生成警告。

3d空间图可以包含等距数据点的矩阵，所述等距数据点表示手术部位的当前视图中的固定点。另外，数据点的值可以表示数据点处的对象在空间中的存在。可以通过计算矩阵中两个数据点的坐标之间的差或遵循矩阵中两个数据点之间的表面轮廓并计算沿轮廓的距离中的至少一项来测量所生成的3d空间图中的手术工具的检测位置与解剖结构的位置之间的距离。

附图说明

下文中参考图式描述本公开的各种方面和特征，其中：

图1是根据本公开的包含3d内窥镜和计算装置以用于生成并连续实时地更新3d空间图的外科手术成像系统的示意图；

图2是患者的胸腔的侧视截面图，其中图1的3d内窥镜在患者的胸腔中前进；

图3是图1的3d内窥镜的远端部分的正面透视图；

图4是示出根据本公开的一方面的用于测量3d空间图中的距离并以不同的形式显示表示所测量的距离的值的方法的流程图；

图5a是根据本公开的一方面的用于选择解剖特征的示例性图形用户界面；

图5b是根据本公开的一方面的用于选择距所选择的解剖特征的最小距离阈值的示例性图形用户界面；

图6a是示例性图形用户界面，所述图形用户界面根据图4的方法在手术工具与解剖特征相距第一距离时以第一形式显示表示手术工具与解剖特征之间的距离的数值；

图6b是示例性图形用户界面，所述图形用户界面根据图4的方法在手术工具与解剖特征相距第二距离时以第二形式显示表示手术工具与解剖特征之间的距离的数值；

图7是示出根据本公开的用于测量3d空间图中的距离并显示手术工具周围的保护带的方法的流程图；

图8a是根据图7的方法在手术工具与解剖特征相距第一距离时显示手术工具周围的保护带的示例性图形用户界面；

图8b是根据图7的方法在手术工具与解剖特征相距第二距离时显示手术工具周围的保护带的示例性图形用户界面；

图9是示出根据本公开的用于测量3d空间图中的距离并显示解剖特征周围的保护带的方法的流程图；

图10a是根据图9的方法在手术工具与解剖特征相距第一距离时显示解剖特征周围的保护带的示例性图形用户界面；

图10b是根据图9的方法在手术工具与解剖特征相距第二距离时显示解剖特征周围的保护带的示例性图形用户界面；

图11是被配置成根据本公开使用的机器人外科手术系统的示意图；且

图12是显示当前视野内的项目和当前视野外的项目的示例性图形用户界面。

具体实施方式

本公开的一个方面针对一种3d内窥镜和系统，其支持器官与术前图像匹配，所述术前图像例如是肺、手术部位内的其它解剖结构或解剖特征的图像。3d内窥镜既可以提供视觉成像又可以提供表面映射，并且可以通过3d内窥镜或系统的另一部件(例如计算装置)生成3d空间图。当外科手术装置被放置在手术部位内的解剖结构的一部分附近或正在接近所述解剖结构的一部分时，计算装置利用3d空间图来提供增强的导航指导，包含距离测量和警告或其它通知。

根据本公开，如下文将更详细地描述，3d内窥镜(在本文中也称为“内窥镜”)包含结构化的光(或激光)扫描仪。可以了解，结构化的光扫描仪可以采用红外光以避免来自可见光源的干扰，但可以预期的是，结构化的光扫描仪可以取决于手术期间扫描的组织发射可见光谱内或任何其它波长的光。结构化光源包含相对于摄像机的已知位置，并允许计算来自结构化光源的光线与摄像机之间的相交的确切位置。可以将此信息扫描为单个点、线或阵列，以创建表面的拓扑图。在实施例中，结构化光源是led或led红外激光器，通过旋转镜子、分束器或衍射光栅将其分散成扫描图案(线、网或点)。在一个非限制性实施例中，结构化光源可以是具有准直光的led激光器。激光扫描仪将使可视化系统能够获得所需的准确的肺表面图，以便将术前计算的图像与递送到内窥摄像机的术中图像进行匹配。在一个内窥镜中获得这两种图像还提供了将术前计算图像与当前摄像机视图相匹配的额外优势，因为相对于表面扫描已知摄像机偏移。

在特定的应用中，还将通过术中器械跟踪系统，例如电磁导航系统来跟踪内窥镜的位置。术中器械跟踪系统获得的位置信息有助于简化根据从内窥镜获取的分段大小扫描产生大规模空间表面图所需的算法。此外，光学图像位置到表面图和术前计算的图像的这种术中即时导引使得内窥镜的位置和定向甚至更加清楚。

在某些实施例中，所述3d内窥镜可由机器人系统定位。机器人系统以与导航系统类似的方式提供内窥镜的精确六轴定向，但是得益于主动定位以及对患者体内的内窥镜的位置了解。可以了解，机器人可以被用来自主地移动内窥镜以完成对较大区域或整个器官的扫描。

在一个实施例中，内窥镜包含可见光光学摄像机、优选地具有至少一个发光二极管(led)的光源、扫描激光器，以及用于映射激光器的第二摄像机。在一些实施例中，随着光学传感器技术的持续发展，在近中红外成像中可以由同一光学摄像机检测扫描激光(和/或可见光)。内窥镜以其最简单的形式(如下详述)在内窥镜的远端上使用这些部件的典型布置。为了减小器械所需的远端直径并改善激光器与第二摄像机之间的三角测量，这四个部件可位于至少一个可延伸表面上。这使得这四个部件能够沿着可延伸表面的侧面布置，从而使得通过具有等于或略大于任何单个部件的横截面以及足够的长度来使部件并排对齐，来提供单个部件所需的空间。

内窥镜观察到的拓扑的计算可能需要校准源，以详细说明激光器与第二摄像机的对齐情况。可以预期，校准可以在制造时进行，并且可以存储在与合适的计算机联接的存储器内，如下文中将详细描述，或者可以通过在使用时对准校准表面来进行。所述校准将与装置一起在内部使用，从而预期可以将可能由内窥镜创建并通过普通视频传输手段传输给临床医师的计算拓扑或原始摄像机数据以及校准一起传输到创建计算拓扑的外部图形处理器。

在一些实施例中，至少激光器和第二摄像机可以沿着器械轴的长度间隔开以实现三角测量，其中与器械的中心线成一定角度地引导激光器和第二摄像机。

本公开的一个优点是使得能够在手术部位中对器官以及其它解剖特征和对象进行3d表面化，这可以与在具有针对例如叶下切除或肺癌中邻近结构和解剖边界的特定特殊知识的情况下对靶病变的术中导引所需的术前计算成像相匹配。所述系统的主要用途是开胸，但在深骨盆手术、直肠手术或其它手术应用中，人们可以看到相等的值。本公开的这些和其它方面在下文中详细描述。

图1到3示出了根据本公开的用于增强的手术导航的系统，其通常被描述为系统100。系统100包含计算装置150和被配置成扫描患者“p”的手术部位“s”的3d内窥镜200。3d内窥镜200联接到计算装置150，并且3d内窥镜200或计算装置被配置成生成手术部位“s”的3d空间图。

3d内窥镜200包含细长主体202，所述细长主体被配置成在合适的胸腔套管针(未示出)或能够穿透胸腔并将内窥镜容纳在其中的其它装置或者胸腔导管等内前进。在实施例中，细长主体202可包含能够相对于彼此操纵的区段。以这种方式，3d内窥镜200可以被定位成紧邻胸壁以在肺或其它解剖结构“a”(图1)与患者“p”的胸壁之间导航手术部位“s”(例如胸腔)的较浅部分。可以了解，细长主体202可以包含任意数量的区段，以有助于3d内窥镜200在手术部位“s”(例如，胸腔)内的可操纵性。

图2示出了3d内窥镜200的远侧部分，其包含光学摄像机206、光源208、结构化光投影源或结构化光扫描仪(激光器)210以及第二摄像机212。可以设想，光学摄像机206、光源208、激光器210和第二摄像机212中的每一个都可以以任何合适的配置设置或联接到3d内窥镜200。光学摄像机206是可见光光学摄像机，例如电荷耦合装置(ccd)、互补金属氧化物半导体(cmos)、n型金属氧化物半导体(nmos)或所属领域中已知的其它合适的摄像机。在一个非限制性实施例中，光学摄像机206是具有1080p分辨率的ccd摄像机。光源208是发出白光的发光二极管(led)，但可以利用所属领域中已知的任何发光装置。激光器210可以是所属领域中已知的任何结构化光扫描仪，例如通过旋转镜子、分束器、衍射光栅或平移激光器210本身而分散成扫描图案(线、网或点)的led或led红外激光器。在一个非限制性实施例中，激光器210是具有准直光的led激光器。第二摄像机212是能够检测ir光的ccd摄像机，但是可以设想第二摄像机212可以根据被扫描的组织来检测可见光，例如可见绿光等。具体地说，可见绿光与具有红色或粉红色色调的组织形成对比，从而使第二摄像机212能够更容易地识别组织的形貌。在手术过程中，数字滤波器(未示出)或具有窄带光栅的滤波器(未示出)抑制了从激光器210发射的多余可见光分散外科医生的注意力。在实施例中，可见光从由光学摄像机206捕获的图像中滤出并传输到外科医生，使得图像清晰并且没有多余的光图案。

可以设想，第二摄像机212可以是所属领域中已知的任何热成像摄像机，例如铁电、硅微测辐射热计或未冷却焦平面阵列(ufpa)；或者可以是任何其它合适的可见光摄像机，例如电荷耦合装置(ccd)、互补金属氧化物半导体(cmos)、n型金属氧化物半导体(nmos)或所属领域已知的其它合适的摄像机，其中从激光器210发出的光在可见光或可检测到的光谱范围内。在实施例中，远侧表面204可以包含合适的透明保护罩(未示出)，其能够抑制流体或其它污染物与光学摄像机206、光源208、激光器210和第二摄像机212中的每一个接触。由于激光器210和第二摄像机212之间相对于光学摄像机206的距离(即，光学摄像机206相对于激光器210和第二摄像机212的偏移)是固定的，因此光学摄像机206获得的图像可以更准确地与术前图像相匹配，如下文将进一步详细描述。

在操作中，首先，使用例如mri、超声、ct扫描、正电子发射断层扫描(pet)等任何合适的成像装置(未示出)对患者“p”(图1)进行成像，且将图像存储在联接到计算装置150的存储器(未示出)内。存储器可以包含用于存储可由处理器(未示出)执行的数据和/或软件的任何非暂时性计算机可读存储介质，例如固态、易失性、非易失性、可移动和不可移动的非暂时性计算机可读存储介质。

在对患者“p”进行成像之后，临床医师使用套管针(未示出)或其它合适的装置穿透患者“p”的胸部。3d内窥镜200的远侧部分在套管针内前进，然后在患者“p”的手术部位“s”(例如胸腔)内前进(图2)。随着3d内窥镜200在胸腔内进一步前进，临床医师在显示器(未示出)上观察由光学摄像机获得的图像。

一旦面向解剖结构“a”，例如肺“l”的表面(例如，入射到肺表面)，激光器210就发射ir光，所述ir光反射离开解剖结构“a”的表面并由第二摄像机212检测到。3d内窥镜200沿尾部、头部，或横向方向或其组合在解剖结构“a”的表面上前进。在使用任何合适的手段，例如缝合等的情况下，由第二摄像机212获得的数据由计算装置150处理，以生成手术部位“s”的表面的3d空间图，包含解剖结构“a”和其中存在的任何对象，例如手术工具。在一方面中，临床医师使3d内窥镜200在解剖结构“a”的整个表面上前进，以获得尽可能完整的图。

光源208和光学摄像机206与激光器210和第二摄像机212同时操作，以允许将从光学摄像机206接收的图像与先前获取的mri(或上文识别的其它方式)图像相关联。由光学摄像机206获得的图像与先前获取的mri图像之间的相关性允许临床医师和计算装置150更准确地映射解剖结构“a”的表面和手术部位“s”。可以了解，可以使用跟踪软件来跟踪3d内窥镜200的远侧尖端，以进一步提高关联准确性。

现在参考图4、5a到5b、6a到6b、7、8a到8b、9和10a到10b，示出并将描述使用系统100和各种图形用户界面的增强手术导航的方法。尽管本文示出和描述的方法以特定顺序示出和描述并且需要特定步骤，但是任何方法都可以包含一些或所有步骤，并且可以以任何顺序实施。另外，本文所述的任何方法的任何步骤或所有步骤可以由系统100的计算装置150或系统100的任何其它部件或部件的组合(包含3d内窥镜200)执行。例如，在一方面中，由3d内窥镜200捕获的数据被传输到计算装置150或另一部件以用于处理和生成3d空间图。另外地或可替代地，由3d内窥镜200捕获的数据可以由3d内窥镜200本身处理以生成3d空间图。为此，本文描述的任何方法的一些或所有步骤可以由某些部件执行，而其它步骤则由其它部件执行。

图4示出了方法400的流程图，所述方法是用于增强的手术导航的方法，其显示手术工具“st”(图6a到6b)与选定的解剖结构“a”之间的测量距离，并在手术工具“st”太接近解剖结构“a”时例如通过以多种形式显示表示距离测量的值而警告用户。方法400开始于步骤401，其中使用上述3d内窥镜200生成手术部位“s”的3d空间图。由3d内窥镜200捕获的手术部位“s”(包含手术部位内的解剖结构“a”和其中存在的任何手术工具)的视图实时显示在计算装置150上显示的图形用户界面上。

在步骤403中，选择解剖结构“a”。可以使用3d内窥镜200捕获的图像或数据实时地执行步骤403中的所述选择，或者可以在计划阶段期间使用例如荧光镜、ct、mri或pet扫描仪等某些其它成像装置捕获的图像或数据来实时地执行所述选择。例如，简要地参考图5a，使用图形用户界面500a示出了步骤403的解剖结构“a”的选择。图形用户界面500a包含由3d内窥镜200捕获的手术部位“s”的实时图像501a。用户可以通过实时图像501a内的光标503a、通过从实时图像501a内检测到的解剖特征505a的列表中选择名称解剖结构“a”，或通过其它手段来在图形用户界面500a中选择解剖结构“a”。

在步骤405中，选择距接收到的解剖结构“a”的选择(在步骤403中选择)的阈值最小距离。可以使用3d内窥镜200捕获的图像或数据实时地执行步骤405中的选择，或者在计划阶段期间使用例如荧光镜、ct、mri或pet扫描仪等某些其它成像装置捕获的图像、数据来执行所述选择，或预设偏好。例如，简要地参考图5b，使用图形用户界面500b示出了距步骤405的接收到的解剖结构“a”的选择的阈值最小距离的选择。图形用户界面500b包含由3d内窥镜200捕获的手术部位“s”的实时图像501b。用户可以通过实时图像501b内的光标503b或通过从预配置距离505b的列表中选择距离来在图形用户界面500b中选择距所接收的解剖结构“a”的选择的阈值最小距离。另外地或可替代地，所述选择是基于用户(例如，外科医生)偏好或由手术类型限定的预设值。

一旦选择了解剖结构“a”(在步骤403中)并且选择了阈值最小距离(步骤405)，方法400就继续进行到步骤407，在所述步骤中，确定在3d空间图中手术部位“s”内的手术工具“st”的实时位置。

在步骤409中，由计算装置150测量在生成的3d空间图中所检测的手术工具“st”的位置与所接收的解剖结构“a”的选择之间的距离。在一方面中，3d空间图包含等距数据点的矩阵，所述等距数据点表示手术部位“s”的当前视图中的固定点，并且数据点的值表示数据点处的对象在空间中的存在。例如，一个对象可以是手术工具“st”的任何部分，而另一个对象可以是所选择的解剖结构“a”。可以通过计算矩阵中两个数据点(例如，表示手术工具“st”的点和表示解剖结构“a”的点)的坐标之间的差来达成在3d空间图中的手术工具“st”的检测位置与在3d空间图中的所接收的解剖结构“a”的选择之间的距离。在一方面中，手术工具“st”和解剖结构“a”可以由点的线表示，其中距离可以是手术工具“st”的任一点与解剖结构“a”的任一点之间的最小距离。

另外地或可替代地，可以通过遵循矩阵中两个数据点(例如，表示手术工具“st”的点和表示解剖结构“a”的点)之间的表面轮廓并计算沿轮廓的距离来达成在3d空间图中的手术工具“st”的检测位置与在3d空间图中的所接收的解剖结构“a”的选择之间的距离。在一方面中，考虑两个轮廓，其中解剖结构“a”上的两个点和手术工具“st”上的两个点是因素，并且其中方法400还包含确定两个轮廓之间的距离和/或确定每个轮廓与手术工具“st”之间的距离。

在步骤409中的测量之后，在步骤411中，确定所测量的距离(来自步骤409)是否大于在步骤405中选择的阈值。如果测得的距离大于所选阈值(步骤411中为是)，那么方法400继续进行到步骤413，在所述步骤中以第一(正常)形式605a显示测得的距离的值(图6a)。在图6a所示的图形用户界面600a中示出了这种显示，包含手术部位“s”的实时图像601a、手术工具“st”的当前实时位置、所选解剖结构“a”以及呈第一形式605a的测量距离的值。当手术工具“st”在手术部位“s”内到处移动和/或解剖结构“a”在手术部位“s”内移动时，此显示值将实时更新(例如，由于呼吸或其它因素)。

另一方面，如果测得的距离等于或不大于所选阈值(步骤411中为否)，那么方法400继续进行到步骤412，在所述步骤中警告用户：手术工具“st”当前太靠近解剖结构“a”。所述警告可以采用以不同于显示值的第一(正常)形式的第二形式605b(图6b)显示测量距离的值的形式，例如通过较大的文本、不同颜色的文本和/或闪烁的文本，通过显示的警告消息，通过听觉警告，通过具有特定签名的触觉反馈警告，或其任何组合。例如，在图6b所示的图形用户界面600b中示出了这种显示，包含手术部位“s”的实时图像601b、手术工具“st”的当前实时位置、所选解剖结构“a”以及呈第二形式605b的测量距离的值。在机器人应用中，警告可以呈防止将会违反距离(例如，阈值)的运动(例如，手术工具或其一部分的运动)的形式。

图7示出了方法700的流程图，所述方法是用于增强的手术导航的方法，其显示手术工具“st”(图8a到8b)周围的至少一个保护带(图8a到8b)，并在手术工具“st”太靠近解剖结构“a”时警告用户。方法700的步骤701、703、705、707、709和711分别与方法400的步骤401、403、405、407、409和411相同，因此为了简洁起见将不再描述。

在步骤711中，如果所测量的距离大于所选阈值(步骤711中为是)，那么方法700继续进行到步骤713，在所述步骤中，以第一形式显示手术工具“st”的远端部分周围的至少一个保护带805a(图8a)。当显示多个保护带时，每个保护带可以基于预配置距离相对于彼此均匀地间隔开。在图8a所示的图形用户界面800a中示出了这种显示，包含手术部位“s”的实时图像801a、手术工具“st”的当前实时位置、所选解剖结构“a”，以及手术工具“st”的远端部分周围呈第一形式的多个保护带805a。当手术工具“st”在手术部位“s”内到处移动和/或解剖结构“a”在手术部位“s”内移动时，显示的防护带805a实时更新(例如，由于呼吸或其它因素)。

另一方面，如果测量的距离等于或不大于所选阈值(步骤711中为否)，那么方法700继续进行到步骤712，在所述步骤中警告用户：手术工具“st”当前太靠近解剖结构“a”。例如，所述警告可以采取以与所显示的保护带805a的第一(正常)形式不同的第二形式805b(图8b)显示至少一个保护带805a(图8a)的形式，例如通过较粗的带、不同颜色的带、虚线的带和/或闪烁的带，通过显示的警告消息，通过听觉警告，通过具有特定签名的触觉反馈警告，或其任何组合。例如，在图8b所示的图形用户界面800b中示出了这种显示，包含手术部位“s”的实时图像801b、手术工具“st”的当前实时位置、所选解剖结构“a”以及呈第二形式的最外保护带805b(例如，作为虚线带)。

图9示出了方法900的流程图，所述方法是用于增强的手术导航的方法，其显示解剖结构“a”(图10a到10b)周围的至少一个保护带(图10a到10b)，并在手术工具“st”太靠近解剖结构“a”时向用户发出警告。方法900的步骤901、903、905、907、909和911分别与方法400的步骤401、403、405、407、409和411相同，因此为了简洁起见将不再描述。

在步骤911中，如果测得的距离大于所选阈值(步骤911中为是)，那么方法900继续进行到步骤913，在所述步骤中，以第一形式显示解剖结构“a”周围的至少一个保护带1005a(图10a)。当显示多个保护带时，每个保护带可以基于预配置距离相对于彼此均匀地间隔开。在图10a所示的图形用户界面1000a中示出了这种显示，包含手术部位“s”的实时图像1001a、手术工具“st”的当前实时位置、所选解剖结构“a”以及所选解剖结构“a”周围呈第一形式的多个保护带1005a。当手术工具“st”在手术部位“s”内到处移动和/或解剖结构“a”在手术部位“s”内移动时，显示的保护带1005a实时更新(例如，由于呼吸或其它因素)。

另一方面，如果测得的距离等于或不大于所选阈值(步骤911中为否)，那么方法900继续进行到步骤912，在所述步骤中，警告用户手术工具“st”当前太靠近解剖结构“a”。例如，所述警告可以采取以不同于所显示的保护带1005a的第一(正常)形式的第二形式1005b(图10b)显示至少一个保护带1005a(图10a)的形式，例如通过较粗的带、不同颜色的带、虚线的带和/或闪烁的带，通过显示的警告消息，通过听觉警告，通过具有特定签名的触觉反馈警告，或其任何组合。例如，在图10b所示的图形用户界面1000b中示出了这种显示，包含手术部位“s”的实时图像1001b、手术工具“st”的当前实时位置、所选解剖结构“a”以及第二形式的最外保护带1005b(例如，作为虚线带)。

除了系统100可执行的上述方法之外，系统100还可以检测坐标不匹配，并基于检测到的不匹配来通知用户或修改图形用户界面的显示。所扫描的解剖结构不是静态的，并且会由于例如外科医生的操纵、自然的生物节律(例如心脏节律、肺部节律)和重力等要素而随时间变化。系统100对这种变化的检测可以包含当前视野中的对象与先前视图中的对象的当前扫描位置之间的3d坐标不匹配(例如，从当前视图延伸出的表面，其中视野中的表面的y坐标不同于视野外的表面的y坐标)。完全在当前视图之外的先前扫描的结构也可能会更改。在一方面中，系统100向用户指示当前视野之外的所有项目可能已经改变。为此，系统100可以通过模糊化处理、去除3d效果(例如，使图像变平)以及去除颜色或褪色来修改当前视野之外的所有元素的显示图像。另外地或可替代地，视野内的项目可以继续由系统100实时地更新。图12是缩小的系统100的示例性用户界面，其包含正常显示并实时(例如，在三维上)更新的当前视野1202内的项目，和异常显示(例如，没有3d外观的平面)的当前视野1204外的项目。每种技术都可以具有一些巧妙之处，例如，自图像上次刷新起使影响程度与图像的年龄相关。

本文中描述的外科手术器械，例如内窥镜、计算装置和系统100的其它部件也可被配置成对机器人外科手术系统起作用，且其通常被称作“遥控外科手术”。此类系统采用各种机器人元件来辅助外科医生并允许外科手术器械的远程操作(或部分远程操作)。可出于此目的采用各种机器人臂、齿轮、凸轮、滑轮、电动机和机械电动机等，且可将其设计成具有机器人外科手术系统以在操作或治疗过程期间辅助外科医生。此类机器人系统可以包含可远程导向系统、自动灵活外科手术系统、远程灵活外科手术系统、远程铰接式外科手术系统、无线外科手术系统、模块化或选择性可配置的远程操作外科手术系统等。

机器人外科手术系统可与紧接于手术室或位于远程位置的一个或多个控制台一起采用。在此例子中，一个外科医生或护士团队可使患者做好外科手术准备，并用本文中所公开的器械中的一个或多个配置机器人外科手术系统，而另一外科医生(或一组外科医生)经由机器人外科手术系统远程地控制所述器械。如可了解，高度熟练的外科医生可在多个位置执行多个操作而不离开他/她的远程控制台，这在经济上有利，且对于患者或一系列患者也是有益的。

外科手术系统的机器人臂通常通过控制器联接到一对主手柄。外科医生可以移动手柄，以产生任何类型的外科手术器械(例如，末端执行器、抓紧器、刀、剪刀、内窥镜等)的工作端的对应移动，这可以补充使用本文描述的实施例中的一个或多个。主手柄的移动可以按比例缩放，使得工作端具有与外科医生的操作手所执行的移动相比不同、更小或更大的对应移动。比例因子或传动比可以是可调整的，使得操作者可以控制一个或多个外科手术器械的工作端的分辨率。

可以预期，本文描述的内窥镜可以由机器人系统定位，并且内窥镜的精确位置可以传输到计算机，以构建扫描器官或手术区域的3d图像。机器人系统具有自主扫描手术区域并构建区域的完整的3d模型的能力，以帮助外科医生引导机器人臂或为机器人系统提供必要的3d信息，以进一步自主进行手术步骤。在实施例中，在内窥镜包含彼此独立的摄像机和结构化光源的情况下，机器人系统可以分别引导摄像机和结构化光源。机器人系统提供了三角测量结构化光和摄像机视图中的点以构建手术区域的3d表面所需的相应内窥镜之间的相对坐标。以这种方式，机器人系统具有能够将结构光源自主地定位在摄像机或摄像机内窥镜的视野上的特定优点。另外地或可替代地，在机器人控制摄像机位置(或其它部件位置)的情况下，机器人可以移动摄像机(或其它部件)以扩大所扫描的解剖结构的尺寸(例如，扫描的量)，从而在没有用户输入或知识的情况下为用户(例如外科医生)创建更大的视图。

主手柄可以包含各种传感器，以向外科医生提供与各种组织参数或条件有关的反馈，例如，由于操纵、切割或其它治疗导致的组织阻力；器械对组织的压力；组织温度；组织阻抗等。如可以了解，这种传感器为外科医生提供了模拟实际操作条件的增强的触觉反馈。主手柄还可以包含各种不同的致动器，以用于精细的组织操纵或治疗，从而进一步提高外科医生模拟实际操作条件的能力。

参考图11，医疗工作站通常被示出为工作站1100，并且通常可以包含多个机器人臂1102、1103，控制装置1104，以及与控制装置1104联接的操作控制台1105。操作控制台1105可以包含可以特别设置为显示3d图像的显示装置1106以及手动输入装置1107、1108，例如外科医生的人(未示出)可以借助于所述手动输入装置在第一操作模式下遥控机器人臂1102、1103。

根据本文公开的几个实施例中的任何一个，每个机器人臂1102、1103可以包含通过关节连接的多个构件，以及附接装置1109、1111，例如支撑末端执行器1120的手术工具“st”可以与所述附接装置附接，如下文将更详细地描述。

机器人臂1102、1103可以由连接到控制装置1104的电动驱动器(未示出)驱动。可以设置控制装置1104(例如计算机)来激活驱动器，尤其是通过计算机程序来激活驱动器，以此方式使得机器人臂1102、1103，其附接装置1109、1111以及因此手术工具(包含末端执行器1120)根据由手动输入装置1107、1108限定的移动执行所需的移动。还可以设置控制装置1104，以此方式使得其调节机器人臂1102、1103和/或驱动器的移动。

医疗工作站1100可以被配置成用于通过末端执行器1120以微创方式治疗躺在患者台1112上的患者“p”。医疗工作站1100还可以包含多于两个机器人臂1102、1103，另外的机器人臂(同样连接到控制装置1104，并且可以通过操作控制台1105进行遥控)。医疗器械或手术工具(包含末端执行器1120)也可以附接到另外的机器人臂。医疗工作站1100可以包含特别地与控制装置1104联接的数据库1114，例如，来自患者/生物“p”的术前数据和/或解剖图谱存储在所述数据库中。

虽然已经在附图中示出本公开的若干实施例，但是本公开并不旨在受其限制，因为本公开的范围旨在如领域将允许的一样广泛并且说明书同样以此方式阅读。因此，以上描述不应被解释为限制性的，而仅作为特定实施例的例证。

如上文所使用，术语“临床医师”是指医生、护士或任何其它医护人员，且可包含辅助人员。贯穿本说明书，术语“近侧”是指装置或其部件的距临床医师较近的部分，并且术语“远侧”是指装置或其部件的距临床医师较远的部分。另外，在图式以及以上描述中，使用例如前部、后部、上部、下部、顶部、底部以及类似的方向术语等术语仅仅是为了方便描述并且不希望限制本公开。在以上描述中，未详细描述众所周知的功能或构造以免用不必要的细节混淆本公开。