用于使用标准荧光镜的局部三维体积重构的系统和方法与流程

本申请要求于2015年8月6日提交的、序号为No.62/201,750的美国临时申请的优先权，其全部内容以引用的方式并入本文。

技术领域

本公开涉及用于外科手术程序的导航和位置确认的系统、装置和方法。更特别地，本公开涉及用于从使用荧光成像设备捕获的二维荧光图像构造基于荧光的三维体积的系统和方法。

背景技术：

存在若干常用的用于治疗影响器官(包括肝脏、大脑、心脏、肺和肾脏)的各种疾病的方法。通常，一种或多种诸如磁共振成像、超声成像、计算机断层扫描(CT)之类的成像模态以及其他被临床医师利用以便识别患者内的关注区域和用于治疗的最终目标。

内窥镜方法已经被证实在到患者内的关注区域的导航中是有用的，并且针对到身体的内腔网络(诸如肺)内的区域的导航尤其是有用的。为了在肺中实现内窥镜方法并且尤其是支气管镜方法，已经开发了支气管内导航系统，该支气管内导航系统使用先前获取的MRI数据或CT图像数据来生成诸如肺之类的特定身体部分的三维渲染(rendering)或体积。特别地，先前获取的图像(从对患者的MRI扫描或CT扫描获取的)被用来生成患者的三维的或体积的渲染。

然后，从MRI扫描或CT扫描生成的所得的体积被用于创建导航计划以有助于导航导管(或其他适合的设备)通过支气管镜和患者的支气管的分支到关注区域的前进。电磁跟踪连同CT数据可以被利用以有助于对导航导管通过支气管的分支到关注区域的引导。在某些情况下，导航导管可以被置于分支的内腔网络的气道中的与关注区域相邻的或在关注区域内的一个气道内以便为一个或多个医疗器械提供入口(access)。

由此，为了生成导航计划或甚至为了生成患者的身体结构(诸如肺)的三维的或体积的渲染，临床医师被要求利用MRI系统或CT系统来获取三维体积的构造所必需的图像数据。MRI系统或基于CT的成像系统的成本是极高的，并且在许多情况下在与生成导航计划所在的位置或实行导航程序所在的位置相同的位置处不可用。

在导航程序期间，荧光成像设备通常位于手术室中。临床医师可以使用标准荧光成像设备以便在工具已经被导航到期望的位置之后显现和确认工具的放置。但是，虽然标准荧光图像显示出诸如金属工具和骨骼之类的高致密对象以及诸如心脏之类的大的软组织对象，但荧光图像在解析诸如损伤之类的小的软组织关注对象上存在困难。另外，荧光图像仅仅是二维投影。为了能够在三维空间中看到小的软组织对象，需要进行X射线体积重构。存在若干提供软组织的三维体积重构的解决方案，诸如在医疗领域广泛使用的CT和锥束CT。这些机器在算法上将从已知的、校准的X射线源位置的多个X射线投影组合成在其中软组织可视的三维体积。

为了将工具导航到远程的软组织目标以供活组织检查或治疗，在某种三维引导系统中工具和目标两者应该是可视的。这些系统中的大部分使用某种X射线设备来透视身体。例如，在手术期间，CT机器可以与迭代扫描一起使用以提供通过身体的引导直到工具到达目标。这是繁琐的程序，因为它要求若干次完全的CT扫描、专用的CT室以及扫描之间的盲目的导航。另外，每次扫描要求工作人员离开房间。另一种选择是锥束CT机器，它在一些手术室中是可用的，并且稍微更容易操作，但它较昂贵并且和CT一样在扫描之间仅仅提供盲目的导航，要求用于导航的多次迭代并且要求工作人员离开房间。

相应地，存在对以下系统的需求：能够实现CT和锥束CT三维图像引导的益处，而没有潜在的成本、准备的要求以及与这些系统相关联的放射副作用。

技术实现要素：

本公开涉及用于构造三维体积数据的系统和方法，在其中，小的软组织对象是从由大多数手术室中可用的标准荧光成像设备捕获的视频流(或多个图像)中可视的。基于荧光的构造的三维体积数据可以用于引导、导航计划、改进的导航准确性、导航确认以及治疗确认。

软组织对象在标准荧光图像和视频中不可视，因为它们被诸如致密组织之类的致密对象遮蔽(obscure)。本公开涉及用于创建三维伪体积的系统和方法，在其中，基于三维位置造成遮蔽的对象被过滤，并且然后被反向投影为二维。在一个方面，多个荧光图像(其中每一个在不同的角度处捕获)被用于构造三维伪体积数据。本公开描述了一种能够利用从相对于患者或患者的目标区域的短的范围的角度捕获的荧光图像来构造三维伪体积数据的系统和方法。附加地，本公开还涉及用于利用由标准荧光成像设备捕获的二维图像或视频来改进先前创建的三维渲染的系统和方法。

如下面更详细描述的，本公开的一个方面在于确定荧光视频中的特征部的三维位置，诸如三维导管位置、三维目标组织(例如，损伤)位置等。为了实现此，针对每一帧的荧光成像设备的姿态必须被确定或已知。如果耦合到荧光成像设备的外部角度测量设备被利用，则针对每一帧的成像设备的角度和姿态被已知。但是，当未利用外部测量设备时，其他技术被利用以便确定针对每一帧的荧光成像设备的姿态，如下面更详细描述的。例如，先前获取的CT扫描数据可以被配准(register)到荧光视频，以便在算法上找到针对所捕获的视频的每一帧的荧光镜的姿态。可替代地，通过在荧光视频中跟踪几个可视的标记物(二维可视特征部)，可以通过使用根据某种从运动恢复结构的技术共同解出姿态和三维位置。在一些方面，在其中姿态被已知的较容易的技术(通过角度测量设备)可以被利用，并且只有三维特征部的位置需要被解出。为了针对移动进行校正，可以利用至少一个标记物(或诸如导管尖端之类的外科设备)。

多个荧光镜二维图像可以在算法上被处理以创建伪三维体积数据，类似于锥束CT，但具有变化的任意的角度范围以及荧光镜姿态，其中荧光镜被手动地旋转。该角度范围可以非常小(～30°)，这可能导致较差的三维重构质量。被使用的算法是迭代加速的投影/反向投影方法，该方法与分析算法(Radon变换、FDK……)不同，该方法不假定任何预定的角度范围或角度旋转率。为了避免较差的三维重构，不将原始的三维重构的数据显示给用户，而是可以在关注区域周围修剪三维重构(在本文中也被称为“FluoroCT Blob”)。被修剪的三维数据然后被重新投影到二维虚拟荧光图像中，在该二维虚拟荧光图像中，局部软组织特征部是可视的。重新投影的二维图像具有较好的质量(与较差的三维重构相比)，尤其是当从与视频中看到的姿态相同的荧光镜姿态进行投影时。

为了重构三维数据，针对视频中的每个二维荧光镜帧，必须确定相对于某种固定的坐标系统荧光成像设备的姿态。针对捕获的每一帧的荧光成像设备的姿态可以通过使用以下描述的方法中的任何一种来确定。例如，可以使用耦合到荧光成像设备的外部测量设备来确定姿态。

附加地或可替代地，可以使用外部测量设备和单个标记物或导管尖端来确定姿态。具体地，在一些情况下，荧光镜(或C臂)可能在旋转期间抖动，在此种情况下，需要进行一定的稳定。令人遗憾地，由于过滤，贯穿视频，角度测量设备可能仍然报告平滑的角度，而忽略存在于实际的摄像机姿态中的高频。在这种情况下，单个二维标记物可以贯穿视频被跟踪，并且用于稳定摄像机姿态，或用于提高在标记物的区域处摄像机姿态的准确性。由于标记物通常会位于关注区域处，因此这提高了在该区域中摄像机姿态的准确性，并且由此改进了三维重构质量。这种方法也可以用于补偿在视频期间诸如呼吸之类的患者身体移动。不是使用如角度测量设备所报告的摄像机姿态，而是通过使用被跟踪的二维标记物来计算被补偿的摄像机姿态，使得所有摄像机姿态相对于该被跟踪的二维标记物都将是正确的。该被使用的单个标记物可以是当前插入到患者的工具或导管的尖端。

附加地或可替代地，可以经由荧光镜视频与先前获取的CT数据的配准来确定姿态。具体地，先前获取的患者的CT可以是可用的。在这种情况下，荧光镜视频的每一帧可以被配准到CT的虚拟荧光帧(在CT空间中搜索摄像机姿态，直到对应于摄像机姿态的虚拟荧光图像与在视频中看到的图像相匹配)。以这样的方式，通过使用基于图像的特征部匹配来实现摄像机姿态。

附加地或可替代地，可以使用从运动恢复结构的技术来确定摄像机姿态。具体地，如果在贯穿二维视频帧即从开始到结束许多二维特征部可以被跟踪，则这些二维特征部可以被使用以便实现针对每一帧的摄像机姿态(以及三维特征件位置)。这些特征部可以是在手术期间引入到患者的人工标记物。

从关注组织中过滤掉造成遮蔽的组织可以通过以下方式完成：在离生成的三维伪体积数据的中心一定距离处修剪、在离工具/导管一定距离处修剪、或配准到先前得到的三维体积数据(CT)并且使用它来了解要过滤掉哪些对象。

一旦在三维重构的数据中(或在二维增强的FluoroCT图像中)软组织(诸如目标损伤)是可视的，就可以得到在荧光镜坐标中的所有三维信息。当使用原始的三维重构的数据时，直接从该数据中得到三维信息。可替代地，当使用二维增强的FluoroCT图像时，需要2-角度标记以便实现三维位置(三角测量)。

所得到的三维数据可以被用于工具与软组织目标的三维关系的确认。例如，数据可以被用于确定工具是否到达目标、工具相对于目标的取向、工具和目标之间的距离或目标是否落入工具的消融区内。

附加地或可替代地，三维数据可以用于导航的校正。例如，三维位置可以从荧光镜坐标变换到导航系统坐标，以便改进在关注区域处导航系统的准确性。在一个方面，当在EMN系统中被利用时，通过假定C臂完全垂直于天线以及将荧光镜视频中看到的导管尖端匹配到拍摄视频时天线中的导管位置，荧光镜坐标可以被变换到天线坐标。荧光镜到天线/天线到荧光镜的配准还可以通过以下方式被实现：使用地球的磁场来计算C臂和天线之间的角度、将EMN传感器附接到荧光成像设备、或将天线的已知的二维特征部对齐。

参考附图详细地描述本公开的方面，其中相同的附图标记标识相似或完全相同的元件。如在本文中使用的，术语“远端的”指的是被描述的远离用户的部分，而术语“近端的”指的是被描述的靠近用户的部分。

根据本公开的一个方面，提供了一种用于从二维荧光图像构造基于荧光的三维体积数据的系统。该系统包括被配置为有助于医疗设备到患者内的目标区域的导航的计算设备以及被配置为绕相对于目标区域的多个角度获取目标区域的荧光视频的荧光成像设备。该计算设备被配置为确定针对荧光视频的每一帧的荧光成像设备的姿态，并且被配置为使用快速迭代三维构造算法来构造目标区域的基于荧光的三维体积数据，在该基于荧光的三维体积数据中，软组织对象是可视的。在一些方面中，该系统被配置为通过了解设备的移动的角度范围以及计算该设备沿该范围的相对旋转速度来确定荧光成像设备的姿态。

该医疗设备可以是导管组件，该导管组件包括被配置为置于患者的内腔网络内的延伸的工作通道，或者该医疗设备可以是被配置为放置于目标区域内的射线不透过的标记物。该射线不透过的标记物是在所获取的荧光视频中至少部分可视的。

该计算设备还可以被配置为从先前获取的CT体积数据创建患者的虚拟荧光图像，以及将所生成的虚拟荧光图像与所获取的荧光视频配准。针对荧光视频的每一帧的荧光成像设备的姿态可以基于荧光视频与虚拟荧光图像之间的配准而被确定。

该计算设备还可以被配置为检测从荧光视频丢失的帧以及用对应的虚拟荧光图像来补充所检测到的丢失的帧。可以基于荧光视频和对应的虚拟荧光图像来构造基于荧光的三维体积数据。在一个方面，基于荧光的三维体积数据可以通过使用诸如“交互信息”之类的基于图像的技术与先前获取的CT数据配准。基于荧光的三维体积数据可以与先前获取的CT数据全局地配准或在接近于关注区域处局部地配准。基于深度学习的方法可以被利用，在该方法中，计算设备“看到”适合的配准和不适合的配准的许多示例并且学习如何将两个非常不同的模态配准。

附加地，该计算设备还可以被配置为贯穿荧光视频跟踪被导航到目标区域的医疗设备的二维位置或取向。计算设备还可以被配置为使用从运动恢复结构的技术贯穿荧光视频重构医疗设备的位置。针对荧光视频的每一帧的荧光成像设备的姿态可以基于被重构的位置而被确定。附加地或可替代地，针对荧光视频的每一帧的荧光成像设备的姿态可以基于外部角度测量设备而被确定。外部角度测量设备可以包括耦合到荧光成像设备的加速度计、陀螺仪、或磁场传感器。附加地，在一些方面中，计算设备可以被配置为同步捕获的目标区域的帧，并且补偿荧光成像设备中的偏移或患者移动以便校正基于荧光的三维体积数据的构造。附加地或可替代地，计算设备可以被配置为从基于荧光的三维体积数据修剪关注区域、将被修剪的关注区域投影到所捕获的帧、以及锐化或强化关注区域或所捕获的帧中的至少一个以便识别软组织对象。

在本公开的再一个方面，提供了一种用于从二维荧光图像构造基于荧光的三维体积数据的方法。该方法包括将医疗设备导航到患者内的目标区域、使用荧光成像设备绕相对于目标区域的多个角度获取目标区域的荧光视频、确定针对荧光视频的每一帧的荧光成像设备的姿态、以及使用快速迭代三维构造算法来构造目标区域的基于荧光的三维体积数据，在该基于荧光的三维体积数据中，软组织对象是可视的。该医疗设备可以是导管组件，该导管组件包括被配置为置于患者的内腔网络内的延伸的工作通道，或者该医疗设备可以是被配置为放置于目标区域内的射线不透过的标记物。该射线不透过的标记物是在所获取的荧光视频中至少部分可视的。

该方法还可以包括：从先前获取的CT体积数据创建患者的虚拟荧光图像，以及将荧光视频与虚拟荧光图像配准，其中确定针对荧光视频的每一帧的荧光成像设备的姿态基于荧光视频与虚拟荧光图像之间的配准。该方法还可以包括：检测从荧光视频丢失的帧以及用对应的虚拟荧光图像来补充所检测到的丢失的帧。附加地，在本公开的方面中，该方法还可以包括：贯穿荧光视频跟踪被导航到目标区域的医疗设备的二维位置或取向。

还可以使用从运动恢复结构的技术贯穿荧光视频的重构医疗设备的位置。针对荧光视频的每一帧的荧光成像设备的姿态可以基于被重构的位置而被确定。附加地或可替代地，针对荧光视频的每一帧的荧光成像设备的姿态可以基于外部角度测量设备而被确定。外部角度测量设备可以包括耦合到荧光成像设备的加速度计、陀螺仪、或磁场传感器。附加地，在一些方面中，该方法可以包括：同步捕获的目标区域的帧，以及补偿荧光成像设备中的偏移或患者移动以便校正基于荧光的三维体积数据的构造。附加地或可替代地，该方法可以包括：从基于荧光的三维体积数据修剪关注区域、将被修剪的关注区域投影到所捕获的帧、以及锐化或强化关注区域或所捕获的帧中的至少一个以便识别软组织对象。

附图说明

以下参考附图描述了本公开的各种方面和实施例，其中：

图1是根据本公开的包含荧光成像设备的电磁导航(EMN)系统的一个说明性实施例的透视图；

图2示出了荧光成像设备模型；

图3A是使用多个射线不透过的标记物来构造三维体积的方法的流程图；

图3B是根据本公开的由荧光成像设备捕获的荧光视频的帧的示例的图示，其中示出了置于患者的目标区域的标记物以及导管组件的延伸的工作通道；

图4是用于使用单个射线不透过的标记物或导管组件的延伸的工作通道的尖端来构造三维体积的方法的流程图；

图5是用于使用单个射线不透过的标记物或导管组件的延伸的工作通道的尖端连同角度测量设备来构造三维体积的方法的流程图；

图6是根据本公开的用于三维模型构造的方法的流程图；

图7是由荧光成像设备捕获的原始视频的帧、在被斜坡过滤之后的帧的图像以及所得的三维体积的图示；以及

图8是根据给定角度范围的荧光图像/视频生成的三维构造的图示。

具体实施方式

本公开涉及用于从由大部分手术室中可用的标准荧光成像设备捕获的视频流构造局部三维体积数据的系统和方法，其中在局部三维体积数据中，小的软组织对象是可视的。所构造的基于荧光的局部三维体积数据可以被用于引导、导航计划、改进的导航准确度、导航确认和治疗确认。

图1描绘了电磁导航(EMN)系统100，该系统100被配置为查看CT图像数据以识别一个或多个目标、计划到识别的目标的路径(计划阶段)、经由用户界面将导管组件的延伸的工作通道(EWC)12导航到目标(导航阶段)、以及确认EWC 12相对于目标的放置。一个这样的EMN系统是当前由Medtronic PLC出售的ELECTROMAGNETIC NAVIGATION系统。目标可以是在计划阶段期间通过查看CT图像数据而识别的关注组织。跟随着导航，诸如活组织检查工具或其他工具之类的医疗器械可以被插入到EWC 12以便从位于目标处的或接近于目标的组织得到组织样本。

如图1所示，EWC 12是导管引导组件40的一部分。在实践中，EWC 12被插入到支气管镜30以用于访问患者“P”的内腔网络。具体地，导管引导组件40的EWC 12可以被插入到支气管镜30的工作通道，以用于导航通过患者的内腔网络。包括传感器44的可定位引导件(LG)32被插入到EWC 12并且被锁定到一定位置，使得传感器44延伸超出EWC 12的远端尖端一定的期望的距离。在电磁场内传感器44相对于参考坐标系统的位置和取向以及由此EWC 12的远端部分的位置和取向可以被导出。导管引导组件40当前由Medtronic PLC以Procedure Kits或EDGE^TM Procedure Kits的品牌名称营销和出售，并且可以预想到它们是在本公开中可使用的。对于导管引导组件40的更详细的描述，参考美国专利No.7,233,820、美国专利No.9,044,254和由Ladtkow等共有的在2013年3月15日提交的美国专利公告No.2014/0046315，这些专利中的每一个的整体内容通过引用的方式被并入本文。

EMN系统100通常包括被配置为支撑患者“P”的手术台20、被配置为通过患者“P”的口腔插入到患者“P”的气道的支气管镜30；耦合到支气管镜30的监视装备120(例如，用于显示从支气管镜30的视频成像系统接收到的视频图像的视频显示器)；包括跟踪模块52、多个参考传感器54和传送器垫56的跟踪系统50；以及包括软件和/或硬件的计算设备125，该软件和/或硬件用于有助于目标的识别、到目标的路径计划、医疗器械到目标的导航以及EWC 12或通过其的适合的设备相对于目标的放置的确认。

能够获取患者“P”的荧光或x射线图像或视频的荧光成像设备110也被包括在系统100的特定方面中。由荧光成像设备110捕获的图像、一系列图像或视频可以被存储在荧光成像设备110内或被传送到计算设备125以供存储、处理和显示。附加地，荧光成像设备110可以相对于患者“P”移动，使得可以从相对于患者“P”的不同的角度或视角来获取图像以便创建荧光视频。在本公开的一个方面，荧光成像设备110包括角度测量设备111，该角度测量设备111被配置为测量荧光成像设备110相对于患者“P”的角度。角度测量设备111可以是加速度计。荧光成像设备110可以包括单个成像设备或多于一个的成像设备。在包括多个成像设备的实施例中，每个成像设备可以是不同类型的成像设备或相同类型的成像设备。关于成像设备110的进一步细节在美国专利No.8,565,858中描述，该专利以引用的方式被整体并入本文中。

计算设备125可以是包括处理器和存储介质的任何适合的计算设备，其中处理器能够执行存储在存储介质上的指令。计算设备125还可以包括被配置为存储患者数据、包括CT图像的CT数据集合、包括荧光图像和视频的荧光数据集合、导航计划以及任何其他这样的数据的数据库。虽然没有明确示出，计算设备125还可以包括输入端，或可以以其他方式被配置为接收CT数据集合、荧光图像/视频以及本文描述的其他数据。附加地，计算设备125包括被配置为显示图形用户界面的显示器。计算设备125可以连接到一个或多个网络，通过该一个或多个网络可以访问一个或多个数据库。

针对计划阶段，计算设备125利用先前获取的CT图像数据来生成和查看患者“P”的气道的三维模型，实现(自动地、半自动地或手动地)对三维模型上的目标的识别，并且允许确定通过患者“P”的气道到位于目标处的或在目标周围的组织的路径。更具体地，从先前的CT扫描获取的CT图像被处理并且集合为三维CT体积，该三维CT体积然后被用来生成患者“P”的气道的三维模型。该三维模型可以被显示在与计算设备125相关联的显示器上或以任何其他合适的方式被显示。通过使用计算设备125，三维模型或从三维模型生成的增强的二维图像的各种视图被呈现。增强的二维图像可以拥有一些三维功能，因为它们是从三维数据中生成的。三维模型可以被操控以有助于在三维模型或二维图像上的目标的识别，并且可以做出对通过患者“P”的气道以访问位于目标处的组织的合适的路径的选择。一旦被选择，路径计划、三维模型以及从其中导出的图像可以被保存和输出到在导航阶段期间使用的导航系统。一个这样的计划软件是当前由Medtronic PLC出售的计划套件。

针对导航阶段，六自由度的电磁跟踪系统50(例如，类似于在美国专利No.8,467,589、No.6,188,355以及公布的PCT申请No.WO00/10456和WO01/67035中公开的那些系统，这些中的每一个的整体内容以引用的方式被并入本文)或其他适合的定位测量系统被用于执行图像和用于导航的路径的配准，但是其他的配置也可以被预想到。跟踪系统50包括跟踪模块52、多个参考传感器54和传送器垫56。跟踪系统50被配置为与可定位引导件32并且尤其是传感器44一起使用。如上所述，可定位引导件32和传感器44被配置为用于通过EWC 12插入到患者“P”的气道(利用支气管镜30或者不利用支气管镜30)，并且是经由锁定机构相对于彼此选择性地可锁定的。

传送器垫56被置于患者“P”下面。传送器垫56在患者“P”的至少一部分周围生成电磁场，在该电磁场内，多个参考传感器54和传感器元件44的位置可以通过使用跟踪模块52而被确定。参考传感器54中的一个或多个被附接到患者“P”的胸部。参考传感器54的六自由度坐标被发送到计算设备125(其包括适当的软件)，在计算设备125中，该六自由度坐标被用于计算患者参考坐标系。如下详细所述，配准通常被执行以便协调来自计划阶段的三维模型和二维图像与通过支气管镜30观察到的患者“P”的气道的位置，并且允许在精确地了解传感器44的位置(甚至在气道的支气管镜30无法到达的部分中传感器44的位置)的情况下进行导航阶段。这样的配准技术以及它们在内腔导航中的实现的进一步细节可以在美国专利申请公告No.2011/0085720中找到，该专利的整体内容以引用的方式并入本文，但是其他适合的技术也可以被预想到。

在传送器垫56上患者“P”的位置的配准通过将LG 32移动通过患者“P”的气道而被执行。更具体地，在可定位引导件32移动通过气道的同时，使用传送器垫56、参考传感器54和跟踪模块52来记录涉及传感器44的位置的数据。从该位置数据得到的形状与在计划阶段中生成的三维模型的通路的内部几何结构进行比较，并且基于该比较，例如通过利用计算设备125上的软件来确定该形状和三维模型之间的位置相关性。另外，该软件识别在三维模型中的非组织空间(例如，充气腔)。该软件将表示传感器44的位置的图像与三维模型和从三维模型生成的二维图像对齐或配准，这是基于被记录的位置数据以及可定位引导件32保持位于患者“P”的气道中的非组织空间中的假定。可替代地，通过将支气管镜30和传感器44导航到患者“P”的肺中的预先指定的位置以及手动地将来自支气管镜30的图像关联到三维模型的模型数据，手动配准技术可以被利用。

在患者“P”配准到图像数据和路径计划之后，在导航软件中显示用户界面，该用户界面设置出临床医师要遵循以到达目标的路径。一个这样的导航软件是当前由Medtronic PLC出售的导航套件。

一旦如用户界面所描绘的EWC 12已经成功地被导航到接近目标的位置，可定位引导件32就可以从EWC 12解除锁定并被移除，将EWC 12留下作为用于将包括但不限于光学系统、超声探头、标记物放置工具、活组织检查工具、消融工具(即，微波消融设备)、激光探头、低温探头、传感器探头和吸液针的医疗器械引导到目标的引导通道。

已经描述了图1中描绘的系统100的部件，图2-图8的以下的描述提供了使用系统100的部件(包括荧光成像设备110)的示例性工作流使用系统100的荧光成像设备110构造期望的关注区域的局部三维体积数据。此处描述的系统和方法可以用于利用成像设备来对患者的特定目标区域可视化，由此避免对随后MRI或CT扫描的需求，成像设备在EMN过程期间通常位于手术设置内。

现在转向图2，图示了荧光成像设备110模型。荧光成像设备110包括X射线源201和检测器203。检测器203限定多个二维像素p。每个二维像素p_i与单个X射线束l_i相关，从X射线源201横穿三维空间到检测器203。检测器203尺寸D和源-检测器距离SDD使用以下公式确定视场角：

不同的荧光镜主要不同为检测器尺寸和源-检测器距离。在荧光数据中，像素没有标准化为特定尺度。它们的亮度取决于由荧光镜使用的增益/曝光，以及取决于X射线横穿源和检测器之间的场景中的其它物体(诸如桌子、手术设备等)。在CT数据中，以亨氏(Hounsfield)单位测量每个体素(voxel)。使用以下公式相对于水和空气观察到的亮度来测量亨氏单位：

μ是衰减系数。它们范围从0到无穷大并且测量对于X射线束l_i横穿三维体积205的物质有多困难。“更厚”的物质具有更大的μ。HU缩放衰减系数以使得空气被置于-1000，水被置于0以及更厚的物质达到无穷大。

使用比尔-朗伯定律(Beer-Lambert law)，荧光镜的检测器203中的每个二维像素p_i由以下给出：

μ(x，y，z)是三维体积205在位置(x，y，z)处的衰减系数。I₀是X射线源201能量(越高的能量产生越亮的图像)。为了简化，假定I₀＝1。取对数，每个二维像素p_i由以下表示：

对提供关于三维衰减系数的线性方程的每个二维检测器像素p_i，这是适用的。如果利用了多个这种方程(来解出检测器203的每个二维像素p_i)，则可以求解衰减系数以及可以构造三维体积205的三维体积数据。

荧光镜到CT-离散化

三维体积205可以划分为离散网格，体素位于(x_k，y_k，z_k)处。因此，用于求解每个二维像素p_i的方程然后可以写为：

以上方程的左边是检测器203的观察到的二维像素p_i，以及以上方程的右边是具有的衰减系数(要被求解的)的加权和，由X射线源201的已知荧光成像设备位置来确定。

为了能够解出体积衰减系数值，需要足够的线性方程，即需要足够的不同的二维像素p的二维观察。标准检测器通常具有1024x1024个像素，其中由单个方程表示每个像素。因此，需要求解多个二维观察(多个二维观察的像素)以重构三维体积(以解出多个体素)。即，需要多个二维像素来解出多个体素。为了使方程中的权重是已知的，则必须已知荧光成像设备X射线源201配置(位置、取向、视场)。

在使用中，三维体积205是患者身体的一部分。从相对于患者的多个不同位置(例如围绕患者180°旋转)获取包括多个荧光镜图像(作为视频的帧)的荧光视频，以获取在相对于患者的不同位置处的二维像素p的多个观察。如将在以下更详细描述的，可以使用多种技术确定给定时间处荧光成像设备相对于患者的位置，多种技术包括放置在患者内的不透过无线电的标记物的从运动恢复结构分析(图3A-图3B)、捕获的荧光图像/视频与生成的虚拟荧光图像之间的配准(图4)或者通过诸如加速度计、陀螺仪或磁场传感器的外部角度测量设备(图5)。在一个方面，当利用随着身体的移动而移动的标记物时，系统可以校准测量角度时患者移动。具体地，基于图像中的每一个中放置的标记物的位置，二维荧光图像中的所有可以同步到相同的三维位置。

现在转向图3A-图3B以及图4-图6，现在将用具体细节来描述使用标准荧光成像设备(诸如图1的荧光成像设备110)连同诸如图1描述的系统之类的系统用于构造目标区域的局部三维体积的方法。尽管本文图示和描述的方法图示和描述为以特定顺序并且需要特定步骤，但是方法中的任何一个可以包括步骤中的一些或者所有，以及可以以不是具体描述的任何顺序来实现。

由以下描述的方法中的任何一个生成的基于荧光的三维体积可以并入到系统100中以用于多种目的。例如，基于荧光的三维体积可以与用于医疗器械的导航的先前生成的三维体积数据配准。系统100可以利用基于荧光的三维体积与先前获取的三维体积数据之间的配准以更新已经放置在患者的身体内的传感器44(图1)的计算的位置。更具体地，从先前获取的CT扫描生成的患者的肺的三维模型可能不能提供电磁导航过程期间足够将医疗器械精确指引到目标的基础。在某些实例中，这种不精确是由于患者的肺在过程期间相对于先前获取的CT数据的获取时间处的肺的变形而引起的。可能由多种不同因素引起这种变形(CT到身体差异)，例如：镇静相对于不镇静、支气管镜改变患者姿态以及还推动组织、由于在CT处于吸气而在导航时在呼吸期间的不同的肺体积、不同的床、日期等等。因此，需要另一个成像模态来使目标和/或终端支气管分支可视化，以及通过校正过程期间的导航、使得目标能够可视化以及确认手术设备在过程期间的放置来增强电磁导航过程。为此，本文中描述的系统处理和转换由荧光成像设备110捕获的图像数据，如将在以下详细描述的。该荧光图像数据可以用来识别这些目标和终端支气管分支，或者可以将荧光图像数据并入到来自CT扫描的数据并且用于更新该数据以努力提供电磁导航过程的更精确/校正。

附加地，用户可以可视地确认导航的医疗器械的放置相对于目标区域内的目标组织定位在期望位置中。此外，基于荧光的三维体积可以用于在执行过程之后在三维中使目标区域可视化。例如，基于荧光的三维体积可以用于在标记物放置在目标区域内之后、获取活检之后或者治疗目标之后使目标区域可视化。

具体地参考图3A-图3B，现在将描述使用接近目标放置的多个不透过无线电的标记物以用于构造三维体积的方法，并将该方法称为方法300。方法300开始于步骤301，在步骤301中，使用电磁导航系统(诸如以上描述的EMN系统100(图1))来将标记物放置设备导航到目标区域。可以使用先前创建的导航计划来实现到目标区域的标记物放置设备的导航，该先前创建的导航计划包括在计划阶段期间创建的路线。在步骤303中，不透过无线电的标记物被放置在目标区域内。在一个实施例中，使用四个不透过无线电的标记物。然而，可以使用少于四个或者多个四个的不透过无线电的标记物。

在步骤305中，随着不透过无线电的标记物被放置在目标区域中，荧光成像设备被定位以使得在步骤303中放置的所有不透过无线电的标记物是可视的。即，步骤305包括对准荧光成像设备以使得它可以围绕标记物旋转30°从而所有的标记物可视。在步骤307中，荧光成像设备用于捕获成像设备110关于患者的大约30°旋转(并且因此围绕标记物(从-15°到+15°旋转)的视频。通过从中心角旋转达到15°(在每一侧上)，可以确保标记物将保持在整个旋转视频的图像/帧中，并且成像设备将不会击中患者或者床。图3B图示了捕获的视频的六个帧f1-f6。帧f1-f6中的每一个是示出在视频的时间中的不同点处每个不透过无线电的标记物m1-m4的不同位置和取向的荧光视频的图像，其中荧光成像设备在每个给定时间处相对于患者定位在不同的角度处。

在步骤309中，贯穿整个视频跟踪每个不透过无线电的标记物的二维位置。在步骤311中，使用从运动恢复结构的技术在三维中构造标记物位置，以及为每个视频帧得到荧光成像设备的姿态。从从运动恢复结构是用于随着通过在二维连续视频中跟踪点而重构这些点的三维位置以及荧光成像设备位置(照相机姿态)的方法。在步骤311中，通过将标记物引入患者，可以随着连续荧光旋转视频来跟踪这些标记物的位置和取向，可以重构它们在空间中的三维位置，以及可以确定对应的荧光成像设备位置。利用通过视频的分析确定的荧光成像设备位置，荧光成像设备位置可以用于解出三维数据。

在步骤313中，构造局部三维体积。具体地，快速迭代重构算法(图6)用于重构在与局部解剖构造相对应的标记物区处的局部三维体积，以及其中软组织是可视的。步骤313可以包括从获取的二维荧光数据重构全局三维体积，以及修剪目标区域处的全局三维体积以创建“FluoroCT Blob”体积。该被修剪的体积可以以原始三维数据的形式向用户显示或者显示作为二维重新投影的图像。在该被修剪的体积中，目标区域中的所有解剖构造(包括目标组织)将是可视的。可以通过将较暗值伸展为黑色以及将较亮值伸展为白色来加强重新投影的图像(其不包括远处密集的造成遮蔽的对象)，以增大差异性以及还在投影前的三维中或者投影的图像中进行锐化，以使得可视地识别软组织。

如上所述，基于荧光的三维体积可以并入系统100中以用于多种目的。例如，可以将基于荧光的三维体积于用于医疗器械的导航的先前生成的三维体积数据配准。系统100可以利用基于荧光的三维体积与先前获取的三维体积数据之间的配准以更新传感器44(图1)的计算的位置。此外，用户可以可视地确认导航的医疗器械的放置相对于目标区域内的目标组织定位于期望位置中。

现在转向图4，现在将描述使用接近目标放置的单个不透过无线电的标记物或者导航的工具的远端部分(诸如接近目标定位的导管组件的延伸的工作通道的尖端)以用于重构三维体积的方法，并将该方法称为方法400。尽管将方法400描述为利用导管组件的延伸的工作通道的尖端，但是方法400可以利用任何工具来实现这样的功能。例如，可以利用导航的导管的尖端、活检工具的尖端或者治疗工具的尖端。在一个方面，工具经支气管导航到目标。在其它方面，工具可以是经皮插入患者的工具，例如诸如消融设备的治疗设备的经胸廓的导航。

方法400开始于步骤401，其中使用电磁导航系统(诸如，如上所述的EMN系统100(图1))将延伸的工作通道导航到目标区域。使用先前创建的导航计划完成EWC到目标区域的导航，该先前创建的导航计划包括在计划阶段期间创建的路线。方法400可以可选地包括附加的步骤(步骤403)，该步骤将标记物放置设备经由EWC导航到目标区域以将单个不透过无线电的标记物放置在目标区域内。在一个方面中，步骤401包括经皮地将工具插入到目标区域中。

在EWC或工具在适当的位置后、或者在放置了不透过无线电的标记物之后，将荧光成像设备定位以使得EWC或者工具的导航的尖端(和/或放置的不透过无线电的标记物)在荧光成像设备的视场内可视。即，步骤405包括对准荧光成像设备以使得它可以围绕标记物旋转30°从而标记物可视，和/或围绕EWC或工具的尖端旋转30°从而EWC或工具的尖端可视。在步骤407中，荧光成像设备用于捕获成像设备110关于患者的大约30°旋转(并且因此围绕标记物和/或EWC或工具的尖端(从-15°到+15°旋转))的视频。通过从中心角旋转达到15°(在每一侧上)，可以确保标记物和/或EWC或工具的尖端将保持在整个旋转视频的图像/帧中，并且成像设备将不会击中患者或者床。步骤407可以包括捕获围绕EWC的远端部分(如果放置了的话，不透过无线电的标记物)大约30°旋转的视频。如果捕获了30°旋转视频，则一个角度(在范围的中间)就足够了。即，两个投影之间具有30°足以确认或校正工具到软组织的三维关系。

在步骤409中，贯穿整个捕获的视频跟踪EWC或工具的远端部分(如果放置了的话，和/或不透过无线电的标记物)的二维位置。

在步骤411中，从先前获取的CT数据创建虚拟荧光图像。先前获取的CT数据典型地是在计划阶段期间用于计划到目标的导航路径的CT数据。在步骤411中，CT数据被操纵以创建患者的荧光图像的计算机模型。虚拟荧光图像中目标的位置与在计划阶段期间由临床医生识别的目标的位置相对应。由系统基于先前获取的CT数据生成的虚拟荧光图像描绘了将由荧光成像设备捕获的视场。此外，虚拟荧光图像中的每一个具有虚拟荧光成像设备姿态。

在步骤413中，通过将荧光视频帧中的每一个与虚拟荧光图像相匹配来将在步骤407中捕获的荧光视频中的每个视频帧配准到先前获取的CT数据。在步骤415中，基于步骤413的配准确定捕获的荧光视频的每个视频帧的荧光成像设备姿态。即，一旦荧光帧与虚拟荧光图像相匹配，则虚拟荧光图像的虚拟荧光成像设备姿态可以与对应的荧光帧相关联。

在步骤417中，通过使用EWC或工具的远端部分(如果放置了的话，和/或不透过无线电的标记物)的跟踪的位置来校正步骤415中确定的荧光成像设备姿态的来源，这用于补偿患者的移动(诸如由呼吸引起的移动)。在步骤419中，构造局部三维体积。具体地，快速迭代重构算法(图6)用于重构在与局部解剖构造相对应的目标病变区处的局部三维体积，以及其中软组织可视。步骤319可以包括从获取的二维荧光数据重构全局三维体积，以及修剪目标区域处的全局三维体积以创建“FluoroCT Blob”体积。该被修剪的体积可以以原始三维数据的形式显示给用户或者显示为二维重新投影的图像。在该被修剪的体积中，目标区域中的所有解剖构造(包括目标组织)将是可视的。可以通过将较暗值伸展为黑色以及将较亮值伸展为白色来加强重新投影的图像(其不包括远处密集的造成遮蔽的对象)，从而增大差异性以及还在投影前的三维中或者投影的图像中进行锐化，以使得可视地识别软组织。

方法400还可以包括通过以下使步骤407中捕获的荧光视频完整的附加步骤(步骤421)：包括由系统生成的表示在荧光视频中捕获荧光成像设备姿态的范围外部的荧光成像设备姿态的虚拟荧光图像。具体地，在各方面，用于创建导航计划的患者的先前生成的CT体积数据还可以由系统100使用来生成患者的虚拟荧光图像。生成的虚拟荧光图像是向用户显示当由荧光成像设备以给定的角度捕获时患者的荧光图像应该看起来为怎样的视图的荧光状图像。在步骤421中，虚拟荧光图像可以用于填充捕获(在步骤407中捕获的)的荧光视频中的任何间隙。这可以包括例如替换视频的扭曲或者损坏的捕获的图像(诸如帧)。附加地或替换地，这可以包括例如用表示荧光视频中包括的角度的范围外部的荧光图像的虚拟荧光图像来补充捕获的荧光视频(在步骤407中捕获的)。例如，如果荧光视频包括关于患者的大约30°的扫描，在30°范围外部的虚拟荧光图像可以并入到视频中以生成具有大于30°范围的荧光视频。

方法300(图3)和方法400(图4)两者都用于在不知道荧光视频的帧中的每一个的荧光成像设备姿态的情况下使用荧光视频来构造三维CT体积数据。为此，方法300和400中的每一个需要使用基于图像的技术来确定荧光视频的帧中的每一个的荧光成像设备姿态的步骤。与此形成对照的，如以下更详细描述的，方法500(图5)是如下一种用于构造三维CT体积数据的方法：其中使用姿态/角度测量设备确定获取的荧光视频的帧中的每一个的荧光成像设备姿态，姿态/角度测量设备可以包括加速度计、陀螺仪或者磁场检测器以检测荧光成像设备相对于患者的位置/姿态。

方法500是用于使用接近目标放置的单个不透过无线电的标记物或者接近目标定位的导管组件的延伸的工作通道的尖端连同荧光镜角度测量设备来构造三维体积的方法。方法500开始于步骤501，其中使用荧光镜校准夹具(jig)执行荧光镜校准以计算规范的荧光镜投影参数和几何结构。在安装阶段由技术人员对每个荧光镜设备做一次这种校准。校准夹具用于在自动化的过程中确定荧光镜的投影参数(视场角)以及C臂的几何结构(相对于旋转轴的位置)。这些参数有时在每个荧光镜设备的技术图中给出，但是还可以使用我们的校准夹具来发现。在步骤503中，先前获取的CT体积数据随着先前生成的导航计划导入到系统中。

在步骤505中，使用诸如以上描述的EMN系统100(图1)的系统利用电磁导航技术来使延伸的工作通道导航到目标区域。使用先前创建的导航计划完成EWC到目标区域的导航，先前创建的导航计划包括在计划阶段期间创建的路线。方法500可以可选地包括附加的步骤(步骤507)，该步骤中将标记物放置设备经由EWC导航到目标区域以将单个不透过无线电的标记物放置在目标区域内。

在EWC或工具在适当的位置后、或者在放置了不透过无线电的标记物之后，方法500前进到步骤509，该步骤包括对准荧光成像设备以使得它可以围绕标记物旋转30°从而标记物可视，和/或围绕EWC或工具的尖端旋转30°以使得EWC或工具的尖端可视。在步骤511中，荧光成像设备用于捕获成像设备110关于患者的大约30°旋转(并且因此围绕标记物或EWC或工具的尖端(从-15°到+15°旋转))的视频。通过从中心角旋转达到15°(在每一侧上)，可以确保标记物或者EWC或工具的尖端将保持在整个旋转视频的图像/帧中，并且成像设备将不会击中患者或者床。如果捕获了30°旋转视频，则一个角度(在范围的中间)就足够了。即，两个投影之间具有30°就足以确认或者校正工具到软组织的三维关系。在步骤513，贯穿整个捕获的视频跟踪EWC的远端端部(如果放置了的话，和/或不透过无线电的标记物)的二维位置和取向。

在步骤515中，结合来自外部角度测量设备的测量利用来自步骤501的校准数据来计算世界坐标中荧光成像设备位置(较少的来源)。具体地，如上所述的，通过使用优化方法，使用校准夹具自动地发现具体荧光镜设备的投影参数和C臂几何结构。一旦已知这些参数，从角度测量设备获取的角度(即，荧光镜的检测器的角度)确定检测器的唯一的三维姿态。除了由给定角度和安装参数解释的地方之外，它不会位于空间中的任何其它地方。

在步骤517中，构造局部三维体积。具体地，使用快速迭代重构算法(图6)来重构与局部解剖构造相对应的目标组织区处的局部三维体积，以及其中软组织是可视的。步骤517可以包括从获取的二维荧光数据重构全局三维体积，以及修剪目标区域处的全局三维体积以创建“FluoroCT Blob”体积。该被修剪的体积可以以原始三维数据的形式显示给用户，或者显示为二维重新投影的图像。在该被修剪的体积中，目标区域中的所有解剖构造(包括目标组织)将是可视的。可以通过将较暗值伸展为黑色以及将较亮值伸展为白色来加强重新投影的图像，以增大差异性以及还在投影前的三维中或者在投影的图像中进行锐化，以使得可视地识别软组织。

现在将描述CT重构方法。CT重构方法可以被划分为分析方法(Radon、FDK……)和代数方法(ART、SART…….)。分析方法假定非常具体的配置(诸如全180°旋转)以及在单次迭代中重构CT体积(使用一些精确的公式)。代数方法更灵活但是更慢，以及将该问题视为迭代地求解的大方程组来处理(使用一些梯度下降方法)。所有的方法使用投影(三维到二维)和反投影(二维到三维)。

对于投影，由于每个检测器像素本质上是沿着射线的三维体素的加权和，检测器图像可以看作来自一些荧光成像设备位置的三维体积的二维投影。如果三维体积数据已经是可用的，那么可以通过将它从已知的荧光成像设备位置投影来重现荧光镜图像。如果三维重构的二维投影与创建三维重构的观察的荧光镜图像相似，则认为三维重构是好的。

对于反投影，在每个体素处，反投影确定哪个射线横穿特定体素以及把它们一起求和。为了做出这种确定，必须已知荧光成像设备位置。如果将反投影运算符应用到捕获的视频的荧光镜图像，那么可以构造三维体积，但是构造的三维体积将是非常不清楚和不精确的，这是因为在真实的中心体素求和多次的同时，围绕真实的中心体素的许多无关体素也被求和多次。在使用一种或另一种方法重构三维体积之后，通过以下方式评估重构的质量：获取重构的三维数据、将它投影到二维帧(其可以是虚拟荧光帧)以及将这些二维帧与创建三维数据的原始荧光二维帧进行比较。体积重构算法的一个目标是发现解释二维观察的三维数据，以使得如果三维数据投影回到二维帧，那些帧将看起来像原始的、真实的荧光帧。当产物不清楚时，意味着投影不清楚以及与真实的图像不匹配。为了解决这个问题，该方法提供了斜坡滤波器和校正迭代。

现在转向图6，现在将描述用于利用快速迭代算法来重构局部三维体积的方法，并将该方法称为方法600。三维体积重构算法(例如，算法600)包括投影-反投影的多个迭代。算法的目的是发现解释荧光成像设备的二维观察的三维数据。如果它成功发现了这种数据，则发现的三维数据假定是患者的三维解剖构造。在每个迭代中，发现的当前三维数据被投影到二维(其应当看起来像原始荧光镜视频)，然后二维错误反投影回三维数据，以及以这样的方式更新三维数据。这个过程重复数次直到三维数据收敛以及过程停止。为了加速该过程，在将二维投影的图像反投影回三维之前对它们进行一些过滤。斜坡滤波器只是证明对加速收敛过程有效的示例滤波器。当用经典Radon转换重构标准CT时，应用该滤波器。利用该经典方式，在单次迭代中进行该过程：滤波(例如，斜坡滤波器)、反投影。在该方法中，这个过程在数个步骤中迭代地重复。

方法600开始于步骤601，其中以初始体积V(可以仅是零)开始方程。在步骤603中，将体积V从已知的荧光成像设备位置投影到图像Q_i。例如，可以不对荧光图像而对由斜坡函数过滤的荧光图像进行投影。具有如下描述的残差的迭代可以在反投影之前经受斜坡滤波器。在步骤605中，计算残差R_i＝P_i-Q_i，其中P_i是从捕获的荧光镜视频中观察的投影。在步骤606中，用如在Radon中的斜坡滤波器卷积R_i。在步骤607中，确定R_i是否低于预定阈值。如果R_i低于预定阈值(步骤607中的是)，则方法600结束。如果R_i不低于预定阈值(步骤607中的否)，则方法600前进到步骤609。在步骤609中，R_i反投影到E(校正体积)。在步骤611中，体积V被设置为V+E(V＝V+E)，以及方法600回到步骤603，其中体积V(现在V+E)从已知的荧光成像设备位置投影到图像Q_i。

现在转向图7和图8，图7图示了由荧光成像设备捕获的原始视频的帧700、在被斜坡滤波后的帧的图像703以及得到的三维体积的图像705。图8是在角度801-811处的三维构造的图示，其中801是30度、803是60度、805是90度、807是120度、809是150度以及811是180度。

从以上描述以及参考各种附图，本领域技术人员将意识到可以对本公开进行一些修改而不脱离本公开的范围。例如，尽管将本系统和方法描述为与EMN系统一起使用用于导航通过管腔网络(诸如肺)，但是本文描述的系统和方法可以与利用其它导航和治疗设备(诸如经皮的设备)一起使用。此外，尽管上述的系统和方法被描述为在患者的管腔网络内使用，但是可以意识到，上述系统和方法可以在其它目标区域(诸如肝)中使用。此外，上述系统和方法还可用于经胸穿刺抽吸过程。

本文公开了本公开的具体实施例。然而，所公开的实施例仅仅是本公开的示例，其可以以各种形式和方面来体现。因此，本文公开的具体结构性和功能性细节不应解释为限制的，而仅仅是权利要求的基础以及教导本领域技术人员在实际上任何适当的详细结构中不同地使用本公开的代表性基础。

如可以理解的，通过患者的一个或多个分支的管腔网络以治疗组织的可定位的能量设备(诸如微波消融导管)或医疗器械(诸如活检工具)可以证明在手术台中是有用的，以及本公开涉及可与这些器械和工具一起使用的系统和方法。可以经由皮肤或者使用导航技术通过自然腔道来进入管腔网络。此外，可以使用图像指引来完成通过管腔网络的导航。这些图像指引系统可以是分开的或者与能量设备或分开的进入工具集成的，以及可以包括MRI、CT、荧光镜、超声、电阻抗断层成像、光、和/或设备跟踪系统。用于定位进入工具的方法包括EM、IR、回声定位、光以及其它。跟踪系统可以集成到成像设备，其中在虚拟空间中进行跟踪或者跟踪与术前或实时图像融合。在一些情况下，可以直接从内腔内进入治疗目标，诸如用于COPD、哮喘、肺癌等的支气管壁的治疗。在其它情况下，可能要求能量设备和/或附加的进入工具刺穿内腔以及延伸进入其它组织以达到目标，诸如用于薄壁组织内的疾病的治疗。可以使用并入以上描述的方法和系统的标准荧光成像设备利用成像和/或导航指引来执行能量设备或工具放置的最终定位和确认。

虽然已经在附图中示出了本公开的数个实施例，但不意在将本公开限制于这些实施例，而其意在本公开在本领域将允许的范围的广度，以及说明书同样地来阅读。因此，以上描述不应当解释为限制的，而仅仅是具体实施例的示例。本领域技术人员将预见所附权利要求的范围和精神内的其它修改。