用于荧光透视成像设备的姿态估计以及用于身体结构的三维成像的系统和方法与流程

用于荧光透视成像设备的姿态估计以及用于身体结构的三维成像的系统和方法
1.相关申请的交叉引用
2.本申请要求2019年9月9日提交的第62/897,760号美国临时专利申请的权益和优先权，其全部内容以引用的方式并入本文中。
技术领域
3.本公开涉及成像领域，并且尤其涉及对成像设备的姿态估计以及对身体结构的三维成像。


背景技术：

4.在手术期间，荧光透视成像设备通常位于手术室中，以将医疗设备导航到患者体内的目标。例如，临床医师可以使用荧光透视成像设备，以在将医疗设备导航到所需位置时或导航到所需位置之后，对医疗设备的放置进行可视化和确认。尽管标准的荧光透视图像显示如金属工具和骨头等高密度物体，以及如心脏等大型软组织物体，但是荧光透视图像难以分辨如待消融的病变等所关注的小型软组织物体。此外，荧光透视图像仅为二维投影，而为了准确且安全地在体内导航，需要3d成像。
5.因此，需要在医疗手术期间进行基于荧光透视成像的快速、准确且稳健的结构的三维重建。


技术实现要素：

6.在一方面，本公开的特征在于一种用于估计荧光透视成像设备的姿态的方法。所述方法包括用荧光透视成像设备进行扫掠来捕获导管的荧光透视图像。所述方法还包括在导管的荧光透视图像中沿着导管的长度识别并跟踪不透射线标记物。所述方法还包括基于所跟踪的不透射线标记物来确定导管的三维(three-dimensional，3d)坐标。所述方法还包括基于导管的3d坐标来估计荧光透视成像设备的姿态。
7.在各方面中，本公开的实施方式可以包括以下特征中的一个或多个。不透射线标记物可以是跟踪传感器。跟踪传感器可以是线圈。扫掠可以是宽扫掠，其包括相对于前后位置大于30度的围绕纵轴的荧光透视成像设备的视角。
8.在另一方面，本公开的特征在于一种方法，所述方法包括用荧光透视成像设备进行扫掠来捕获患者身体的荧光透视图像。所述方法还包括在行进通过患者身体的导管的荧光透视图像中沿着导管的长度识别并跟踪不透射线标记物。所述方法还包括在所跟踪的不透射线标记物上进行3d运动求取结构方法，来估计导管的三维(3d)结构和荧光透视成像设备的姿态。在某些方面中，所述方法还包括基于荧光透视成像设备的估计姿态来构建区域的3d体积数据。
9.在另一方面，本公开的特征在于一种用于估计荧光透视成像设备的姿态的方法。所述方法包括确定导管的三维(3d)形状。所述方法还包括用荧光透视成像设备进行扫掠来
捕获患者体内导管的荧光透视图像。所述方法还包括对于荧光透视图像中的每个荧光透视图像，估计导管的3d形状投影到每个荧光透视图像中的导管上的姿态。
10.在各方面中，本公开的实施方案可以包括以下特征中的一个或多个。扫掠可以是宽扫掠，其包括相对于前后位置大于50度的围绕患者身体的纵轴的荧光透视成像设备的视角。导管可以包括沿着导管的长度安置的至少一个光纤传感器，并且导管的3d形状可以通过基于从至少一个光纤传感器获得的光纤传感器信号进行3d形状感测方法来确定。确定导管的3d形状可以包括对荧光透视图像进行运动求取结构过程来估计导管的第一3d形状，确定安置有导管的身体结构，确定安置有导管的身体结构的3d形状，基于安置有导管的身体结构的3d形状确定导管的第二3d形状，基于第一3d形状和第二3d形状估计导管的3d形状。可以基于安置有导管的身体结构的计算机断层扫描(computed tomography，ct)图像确定安置有导管的身体结构的3d形状。身体结构可以是肺的气道。
11.在各方面中，荧光透视图像可以包括导管的第一荧光透视图像以及导管和标记物结构的第二荧光透视图像，并且确定导管的3d形状可以包括基于第二荧光透视图像的每个图像上的标记物结构的投影，估计第二荧光透视图像的每个图像的荧光透视成像设备的姿态，以及基于荧光透视成像设备的所估计姿态重建导管的3d形状。标记物结构可以是标记物栅格。第二荧光透视图像可以对应于相对于前后位置小于30度的围绕患者身体的纵轴的荧光透视成像设备的视角。
12.在另一方面，本公开的特征在于一种用于构建患者体内的目标区域的基于荧光透视的三维体积数据的方法。所述方法包括用荧光透视成像设备进行扫掠来获取目标区域和医疗设备的不透射线标记物的荧光透视图像序列。所述方法还包括在行进通过患者身体的医疗设备的荧光透视图像序列中，沿着医疗设备的长度识别并跟踪不透射线标记物。所述方法还包括基于所跟踪的不透射线标记物来确定医疗设备的三维(3d)坐标。所述方法还包括基于医疗设备的3d坐标来估计荧光透视成像设备的角度。所述方法还包括基于荧光透视成像设备的所估计角度构建目标区域的基于荧光透视的3d体积数据。
13.在各方面中，本公开的实施方案可以包括以下特征中的一个或多个。所述方法还包括基于荧光透视的三维体积数据，确定医疗设备与目标区域之间的偏移。所述方法还可以包括使用指示医疗设备在显示器中的位置的定位系统来促进医疗设备到目标区域的导航。所述方法还可以包括基于医疗设备与目标区域之间的所确定的偏移来校正医疗设备相对于目标区域的位置的显示。定位系统可以是电磁定位系统。所述方法还可以包括在显示器上显示目标区域的3d渲染。所述方法还可以包括将定位系统配准到3d渲染。校正医疗设备相对于目标区域的位置包括更新定位系统到3d渲染的配准。所述方法还可以包括基于先前获取的目标区域的ct体积数据来生成目标区域的3d渲染。目标区域可以包括肺的至少一部分，并且医疗设备可以通过气道管腔网络导航到目标区域。目标区域可以包括肺的至少一部分。目标区域可以包括软组织目标。目标区域可以包括待消融的目标。
附图说明
14.在附图中示出了各种示例性方面，这些实例不希望是限制性的。应了解，为了说明的简单性和清楚性，下文提及的图式中所示的元件未必按比例绘制。此外，在认为适当的情况下，可以在图示中重复附图标记以指示相似、对应或类似的元件。下文列出图式。
15.图1a是根据本公开的各方面的用于构建基于荧光透视的三维体积数据的示例性系统的示意图。
16.图1b是被配置成用于与本公开的各方面一起使用的系统的示意图；
17.图2a是被配置成用于与本公开的各方面一起使用的导管的示意图；
18.图2b是被配置成用于与本公开的各方面一起使用的另一导管的示意图；
19.图3是根据本公开的各方面的用于估计荧光透视成像设备的姿态的方法的流程图；
20.图4是根据本公开的各方面的用于估计荧光透视成像设备的姿态的另一方法的流程图；
21.图5a和5b是根据本公开的各方面的用于估计荧光透视成像设备的姿态的另外其它方法的流程图；以及
22.图6是根据本公开的各方面的用于生成3d体积数据的方法的流程图。
具体实施方式
23.本公开涉及改进的荧光透视导航系统和方法，其足以用于需要准确且稳健的三维(3d)成像的手术，例如活检手术和消融手术。在某些情况下，病变可能会在荧光透视图像中出现拖尾，并且病变的形状在荧光透视图像中可能并不准确。例如，荧光透视图像可能不足以确定消融杀伤区将完全覆盖病变。如果在围绕前后(ap)位置进行大于50度的荧光透视成像扫掠，则图像质量会提高，使得足以准确安全地进行消融手术。当荧光透视成像扫掠围绕ap位置接近180度时，图像质量可能接近使用锥束计算机断层扫描系统可达到的图像质量。
24.对于某些病床或手术台，例如那些不包括横杆或包括可调节横杆的病床或手术台，可以将荧光透视成像设备绕ap位置机械旋转50度以上。但是，当荧光透视成像设备相对于患者身体过于侧向放置时，安置在患者下方并用于估计荧光透视成像设备的姿态的标记物栅格的投影可能会从荧光透视图像中消失，例如，荧光透视成像设备视图相对于ap位置的角度大于75度。例如，当患者患有前路病变并且荧光透视成像设备朝着侧视位置旋转时，标记物栅格开始从荧光透视图像中消失并且仅患者的身体出现在荧光透视图像中。
25.根据本公开的各方面，对于目标区域内的结构的3d重建，需要测量荧光透视成像设备相对于目标区域的角度。在某些方面中，基于荧光透视的系统和方法使用如导管或安置在其上的标记物等医疗设备来估计荧光透视成像设备的姿态，同时捕获患者身体的荧光透视图像。所估计的姿态接着可用于重建目标区域的3d体积数据。所述系统和方法可以沿着出现在所捕获的荧光透视图像中的医疗设备的长度跟踪点，例如，不透射线标记物。所述点的3d坐标可以例如从电磁传感器获得，或通过对所捕获的荧光透视图像进行运动求取结构方法来获得。在各方面中，确定3d中导管的形状，随后对于每个所捕获的荧光透视图像，找到3d导管投影到2d导管上的角度。导管的3d形状可以基于安置有医疗设备或导管的身体结构的形状来确定。
26.在某些方面中，本公开的系统和方法使用来自荧光透视视频图像的一部分的导管的形状，其中可以在荧光透视视频图像中看到标记物栅格。依据基于那些荧光透视视频图像的3d重建，可以提取导管的3d形状。对于荧光透视视频中过于侧向而看不到标记物栅格的其它所有帧，仍可以在图像中看到导管的形状。因此，根据投影图像上的导管的形状和导
管的3d形状，可以基于过于侧向而看不到标记物栅格的荧光透视视频帧来确定荧光透视成像设备相对于导管的视角。
27.基准点(例如标记物)可以放置在导管上，或者可以使用导管的整体或整个形状。基准点可以是沿着导管的长度彼此间隔预定距离安置的不透射线环，所述距离例如1cm、1.5cm、2cm等。导管的3d形状可利用围绕ap视图的窄扫掠(例如，50度)重建，并且随后可以沿着导管检测不透射线环的3d位置。因此，本公开的系统可以基于不透射线环或其它合适的标记物的3d位置，解决从宽扫掠(例如，围绕ap位置在160度和180度之间的扫掠)中无法看到标记物栅格的其它角度。
28.图1a描绘了可以在本公开的系统和方法的各方面中使用的电磁导航(electromagnetic navigation，emn)系统100的一方面。emn系统100被配置成用于查看ct图像数据来识别一个或多个目标，规划通往所识别目标的路径(规划阶段)，经由用户界面将导管引导组件40的导管12导航至目标(导航阶段)，并确认导管12(或导管引导组件40或插入其中的任何器械的任何部分)相对于目标的放置。一个此类电磁导航系统是美敦力有限公司(medtronic plc)目前销售的electromagnetic navigation 系统。目标可以是所关注的组织，例如待消融的组织，或在规划阶段期间查看ct图像数据期间识别的相关区域。在导航之后，可以将如活检工具、递送设备或治疗设备之类的医疗器械插入导管12中，以便从位于目标处的组织或接近目标定位的组织中获取组织样本，将物品或疗法递送至所述区域，或治疗所述地区。
29.如图1a所示，导管12是导管引导组件40的一部分，所述导管引导组件从导管引导组件40的手柄41向远侧延伸。在实践中，导管12可以插入到支气管镜30中以进入患者“p”的管腔网络。具体地说，导管引导组件40的导管12可以插入到支气管镜30的工作通道中以用于导航通过患者的管腔网络。可定位引导件(lg)32(包括安置在其上的传感器44)插入到导管12中并锁定到位，使得传感器44延伸超出导管12的远侧尖端的所需距离。可以导出传感器44在电磁场内相对于参考坐标系的位置和定向，且因此可以导出导管12的远端的位置和定向。
30.导管引导组件40目前由美敦力有限公司以商品名手术套件或edgetm手术套件进行市场营销和销售，并且被认为可与本公开一起使用。
31.emn系统100通常包括被配置成支撑患者“p”的手术台20；被配置成通过患者“p”的口腔插入到患者“p”的气道的支气管镜30；联接到支气管镜30的监视装备120(例如，视频显示器，用于显示从支气管镜30的视频成像系统接收的视频图像)；包括跟踪模块52、多个参考传感器54和发射器垫56的跟踪系统50；和计算设备125，其包括软件和/或硬件，用于促进目标的识别、到目标的路径规划、医疗设备或器械到目标的导航，以及导管12或穿过其中的合适的设备相对于目标的放置的确认。
32.系统100的各方面中还包括能够获取患者“p”的荧光透视或x射线图像或视频的荧光透视成像设备110。由荧光透视成像设备110捕获的荧光透视图像、图像序列或视频可以被存储在荧光透视成像设备110内，或被发射到计算设备125来进行存储、处理和显示，如本文更详细描述。另外，荧光透视成像设备110可以相对于患者“p”移动，使得可以相对于患者“p”从不同角度或视角获取图像来创建荧光透视视频。在本公开的一个方面，荧光透视成像设备110包括角度测量设备111，所述角度测量设备111被配置成测量荧光透视成像设备110
相对于患者“p”的角度。角度测量设备111可以是加速度计。
33.荧光透视成像设备110可以包括一个或多个成像设备。在包括多个成像设备的方面中，每个成像设备可以是不同类型或相同类型的成像设备。在各方面中，荧光透视成像设备110是基于c型臂60的c型安装荧光镜。在c型臂60的一端是包括x射线管和准直器(未示出)的x射线源62。在c型臂60的另一端是包括防散射栅格、图像增强器和ccd照相机(未示出)的x射线检测器66。准直器阻挡除在孔(未图示)处以外的从x射线管射出的x射线。x射线锥从孔中射出，并照射在x射线检测器66的防散射栅格和图像增强器上。在图像增强器中创建的图像由ccd相机捕获。根据锥穿过的对象(例如患者)中的空间密度分布，ccd相机的ccd阵列的每个元件都会从图像增强器接收或多或少的光，并且由c型安装荧光镜产生的图像的相应像素相应地较暗或较亮。
34.计算设备125可以是包括处理器和存储介质的任何合适的计算设备，其中处理器能够执行存储在存储介质上的指令。计算设备125可操作地联接到系统100的一些或全部部件，包括支气管镜30、导管引导组件40、可定位引导件32和跟踪系统50。计算设备125可进一步包括被配置成存储患者数据、包括ct图像和体积渲染的ct数据集合、包括荧光透视图像和视频的荧光透视数据集合、导航规划以及任何其它此类数据的数据库。尽管未明确示出，但是计算设备125可以包括输入，或者可以以其它方式被配置成接收如本文描述的ct数据集、荧光透视图像或视频和其它数据。另外，计算设备125包括被配置成显示图形用户界面的显示器。计算设备125可以连接到一个或多个网络，通过所述一个或多个网络可以访问一个或多个数据库。
35.关于规划阶段，计算设备125利用先前获取的ct图像数据生成和查看患者“p”的气道的三维模型，实现在三维模型上识别目标(自动、半自动或手动)，并允许确定通过患者“p”的气道到位于目标处及其周围的组织的路径。更具体地说，将从先前的ct扫描中获取的ct图像进行处理并汇编成三维ct体积，随后将其用于生成患者“p”的气道的三维模型。
36.三维模型可以在与计算设备125相关联的显示器上显示，或者以任何其它合适的方式显示。通过使用计算设备125，呈现了三维模型或从三维模型生成的二维图像的各种视图。可以操纵三维模型以促进在三维模型或二维图像上识别目标，并且选择通过患者“p”的气道的合适的路径来接达位于目标处的组织。一旦选择后，就可将路径规划、三维模型以及从中得出的图像保存并将其导出到导航系统中，以供在一个或多个导航阶段期间使用。一个此类规划软件是美敦力有限公司目前销售的规划套件。
37.关于导航阶段，可以利用六自由度电磁跟踪系统50或其它合适的定位测量系统来进行图像和导航路径的配准，但也预期其它配置。跟踪系统50包括跟踪模块52、参考传感器54和发射器垫56。跟踪系统50被配置成与可定位引导件32和传感器44一起使用。如上所述，可定位引导件32和传感器44被配置成用于通过导管12插入到患者“p”的气道中(具有或不具有支气管镜30)，并且可以经由锁定机构相对于彼此选择性地锁定。
38.发射器垫56定位在患者“p”下方。发射器垫56在患者“p”的至少一部分周围生成电磁场，在所述电磁场内可以使用跟踪模块52来确定多个参考传感器54和传感器元件44的位置。发射器垫56可以包括至少部分不透射线标记物的结构或栅格，其在本公开的一些方面中用于确定被引导朝向目标的医疗设备或导管的3d形状。在某些方面中，除发射器垫56之外，参考传感器54中的一个或多个也附接到患者“p”的胸部。在其它方面，仅利用发射器垫。
参考传感器54的六自由度坐标被发送到计算设备125(其包括适当的软件)，在所述计算设备中，这些坐标用于计算患者参考坐标系。
39.通常进行配准，以使规划阶段的三维模型和二维图像的位置与通过支气管镜30观察到的患者“p”的气道相协调，并允许在进行导航阶段时准确了解传感器44的位置，即使在支气管镜30无法到达的气道的部分中也是如此。本公开还预期其它合适的配准技术及其在管腔导航中的实施。
40.通过将可定位引导件32移动通过患者“p”的气道来进行在发射器垫56上的患者“p”位置的配准。更具体地说，当可定位引导件32移动穿过气道时，使用发射器垫56、参考传感器54和跟踪模块52来记录与传感器44的位置有关的数据。将由此位置数据产生的形状与在规划阶段期间生成的三维(3d)模型的通道的内部几何形状进行比较，并例如利用计算设备125上的软件确定基于比较的形状和3d模型之间的位置相关性。本公开预期其它配准方法，包括例如与3d模型的荧光透视配准、形状匹配以及用于将解剖特征的手术图像配准到那些相同解剖特征的术前图像的其它合适的技术。在各方面中，这些其它配准方法可以利用或可以不利用传感器44来进行配准。
41.另外，软件在三维模型中识别非组织空间(例如，充气空腔)。软件将呈现传感器44位置的图像与三维模型和由三维模型生成的二维图像进行对齐或配准，它们基于所记录的位置数据和可定位引导件32仍位于患者“p”的气道中的非组织空间中的假设。或者，可以通过以下方式采用手动配准技术：将带有传感器44的支气管镜30导航到患者“p”的肺部中的预先指定位置，并且将来自支气管镜的图像与三维模型的模型数据手动关联。
42.在将患者“p”配准到图像数据和路径规划后，在系统100的导航软件中显示用户界面，其设置临床医生应遵循以到达目标的路径。一个此类导航软件是美敦力有限公司目前销售的导航套件。
43.一旦导管12成功地导航到接近目标的位置(如用户界面上所示)，可定位引导件32可以从导管12解锁并移除，使导管12保持原位，作为用于引导医疗器械的引导通道。此类医疗器械可以包括但不限于光学系统、超声探针、标记物放置工具、活检工具、消融工具(即，微波消融设备)、激光探针、低温探针、传感器探针和吸液针。
44.由先前获取的ct扫描生成的患者肺部的三维模型可能无法提供足够的基础，以在手术过程中将导管引导组件40的导管12精确地引导至目标。如上文所述，不准确性可能是由于ct相对于身体的偏差(在手术期间患者的肺部相对于在先前获取ct数据时的肺部的变形)引起的。因此，需要另一种成像方式来可视化目标和/或终端支气管分支，并通过在手术期间校正导航、实现目标的可视化以及在手术期间确认医疗或手术设备的放置来增强电磁导航手术。为此目的，本文描述的系统将荧光透视成像设备110捕获的图像数据处理并转换为如本文描述的目标区域的3d重建。此荧光透视图像数据可用于识别此类目标和终端支气管分支，或者被并入并用于更新来自ct扫描的数据，以致力于提供更准确的导航程序。此外，荧光透视图像可以在导航后捕获，且因此包括导管12和相对于目标定位通过其中的任何医疗设备的视觉效果。
45.现在参考图1b，其是被配置成与图3至6和如上文描述的方法一起使用的系统150的示意图。系统150可以包括图1a的工作站125和图1a的荧光透视成像设备或荧光镜110。在某些方面中，工作站125可以例如通过无线通信直接或间接地与荧光镜110联接。工作站125
可以包括存储器102(例如存储设备)、处理器104、显示器106和输入设备10。处理器104可以包括一个或多个硬件处理器。工作站125可以任选地包括输出模块112和网络接口108。
46.存储器102可以存储应用81和包括荧光透视成像数据的图像数据114。应用81可以包括指令，其可由处理器104执行以用于执行包括如本文描述的图3至6的方法在内的本公开的方法(以及其它功能)。应用81可以进一步包括用户界面116。图像数据114可以包括3d成像数据，如术前ct扫描、目标区域的荧光透视三维重建(fluoroscopic three-dimensional reconstruction，f3dr)和/或任何其它荧光透视图像数据和/或一个或多个虚拟荧光透视图像。处理器104可以与存储器102、显示器106、输入设备10、输出模块112、网络接口108和荧光透视成像设备110联接。工作站125可以是固定的计算设备(如个人计算机)，或便携式计算设备(如平板计算机)。工作站125可以嵌入多个计算机设备。
47.存储器102可以包括用于存储数据和/或软件的任何非暂时性计算机可读存储介质，所述数据和/或软件包括可由处理器204执行的指令，这些指令控制工作站80的操作并且在某些方面中还可以控制荧光镜110的操作。荧光镜110用于捕获基于其生成f3dr的荧光透视图像序列。其中选择医疗设备的二维荧光透视图像可以选自所捕获的荧光透视图像序列。在一方面中，存储设备或存储器102可以包括一个或多个存储设备，如固态存储设备(如闪存芯片)。作为一个或多个固态存储设备的替代或补充，存储器102可以包括通过大容量存储控制器(未示出)和通信总线(未示出)连接到处理器104的一个或多个大容量存储设备。
48.尽管在本文中所含有的计算机可读介质的描述指的是固态存储器，但是本领域技术人员应理解的是，计算机可读存储介质可以是可由处理器104访问的任何可用介质。即，计算机可读存储介质可以包括非暂时性、易失性和非易失性、可移动和不可移动的介质，这些介质是以任何方法或技术实施的，用于存储如计算机可读指令、数据结构、程序模块或其它数据等信息。例如，计算机可读存储介质可以包括ram、rom、eprom、eeprom、闪存或其它固态存储器技术、cd-rom、dvd、蓝光光碟或其它光学存储设备、盒式磁带、磁带、磁盘存储或其它磁存储设备、或可以用来存储所需的信息并且可以被工作站125访问的任何其它介质。
49.当处理器104执行应用程序81时，可以使显示器106呈现用户界面116。用户界面116可以被配置成向用户呈现f3dr、二维荧光透视图像、3d成像的图像和虚拟荧光透视视图。根据本公开，用户界面116可以进一步被配置成通过(尤其)在所显示的f3dr或任何其它荧光透视图像数据中识别和标记目标来指导用户选择目标。
50.网络接口108可以被配置成连接到网络，如由有线网络和/或无线网络组成的局域网(local area network，lan)、广域网(wide area network，wan)、无线移动网络、蓝牙网络和/或因特网。网络接口108可以用于在工作站125和荧光镜110之间进行连接。网络接口108还可以用于接收图像数据114。输入设备10可以是用户可借以与工作站125交互的任何设备，例如鼠标、键盘、脚踏板、触摸屏和/或语音接口。输出模块112可以包括任何连接端口或总线，例如并行端口、串行端口、通用串行总线(universal serial busses，usb)或本领域技术人员已知的任何其它类似的连接端口。
51.参照图2a和2b，示出了被配置成与本公开的系统和方法一起使用的柔性导管200、210。柔性导管200包括多个不透射线标记物202，其可以在荧光透视图像中捕获并且可以用于重建导管200的3d形状，进而可以用于估计图1a和1b的荧光透视成像设备110的姿态。在
其它方面，柔性导管210包含多个不透射线线圈212，其可以用于确定不透射线线圈在3d空间中的位置，这可以用于重建导管200的3d形状，进而可以用于估计图1a和1b的荧光透视成像设备110的姿态。在各方面中，尽管图2a和2b所示的柔性导管200、210分别包括五个不透射线标记物202和线圈212，但是柔性导管200、210可以分别包括适用于重建导管200、210的3d形状的任意数量的不透射线标记物202和线圈212(例如，三个，四个或六个不透射线标记物202或线圈212)。
52.参考图3，提供了一种方法300的流程图，所述方法用于在捕获患者身体的荧光透视图像的同时估计荧光透视成像设备的姿态。在各方面中，如本文所述，估计的姿态可以用于重建患者身体的目标区域的3d体积数据。在框302处，用荧光透视成像设备进行扫掠来捕获患者身体的荧光透视图像。在某些方面中，扫掠包括相对于前后位置大于30度的围绕患者身体的纵轴的荧光透视成像设备的视角。在框304处，识别并跟踪在荧光透视图像中沿着导管的长度安置的不透射线标记物。在各方面中，当在框302处进行荧光透视扫掠时，可以识别和跟踪不透射线标记物。在某些方面中，如图2a所示，不透射线标记物包括沿着导管的长度安置。
53.不透射线标记物可以采取适合于在荧光透视图像中识别和跟踪不透射线标记物的任何形式。例如，不透射线标记物可以是围绕导管安置的环形、螺旋形、正方形、点或其它合适的符号或形状。例如，环可以彼此等距间隔预定距离。预定距离可以是用于准确地确定导管的3d位置的合适的距离。替代地，环可以不彼此等距间隔。在某些方面中，可以将不透射线标记物安置在围绕导管的不同轴向位置处，以便于识别导管的形状。在其它方面，如图2b所示，不透射线标记物包括沿着导管的长度安置的线圈。在另外其它方面，导管可以至少部分地由不透射线材料制成或涂覆有不透射线材料，并且可以采用图像处理技术来跟踪不透射线导管上的点。
54.在其它方面，导管可包括不透射线标记物或材料以及沿着导管的长度的一部分安置的跟踪或电磁(electromagnetic，em)传感器这两者。在各方面中，跟踪系统50的跟踪模块52可以电学或无线方式联接到沿着导管的长度安置的线圈和/或em传感器，并与之通信。在此配置中，跟踪模块52可以激活发射器垫56并从线圈或em传感器收集数据，这些数据可以用于确定沿着导管的长度安置的跟踪传感器、em传感器或线圈的3d位置。随后可以使用3d位置信息来确定导管的3d形状。
55.在框306处，基于在二维荧光透视图像中所跟踪的不透射线标记物来确定导管的三维(3d)坐标。并且随后，在框308处，使用估计算法或过程基于导管的3d坐标来估计荧光透视成像设备相对于导管的姿态或角度。估计过程可以包括求解线性方程组，其描述了荧光透视图像中的3d坐标和2d坐标之间的关联。
56.参考图4，提供了用于估计荧光透视成像设备的姿态的另一种方法400的流程图。在框402处，进行扫掠来捕获患者身体的荧光透视图像。在某些方面中，扫掠包括相对于前后位置大于30度的围绕患者身体的纵轴的荧光透视成像设备的视角。
57.在框404处，通过对荧光透视图像应用合适的图像处理方法，来识别和跟踪荧光透视图像中沿着导管的长度的点或特征。在某些方面中，点是沿着导管的长度安置的不透射线标记物。
58.在框406处，通过对捕获的荧光透视视频图像进行运动(即，荧光透视成像设备围
绕结构的运动)求取结构方法来估计导管的3d结构和荧光透视成像设备的姿态。运动求取结构方法从二维荧光透视视频图像序列来估计导管的3d结构。运动求取结构方法可以包括处理以不同角度捕获的多个荧光透视视频图像帧，从而可以在荧光透视视频图像中看到导管上的多个点。例如，运动求取结构方法可以一次对荧光透视视频图像的至少四个帧进行操作。此外，在荧光透视视频图像中捕获了沿着导管的至少四个点。
59.在各方面中，运动求取结构方法可以应用于适于准确地估计导管的3d结构的任何数量的荧光透视图像和沿着导管的长度的任何数量的点。至少四个点可足以使运动求取结构方法确定点的3d位置和荧光透视成像设备在针对至少四个荧光透视视频帧中的每一个观看点时的角度。可以将插值算法应用于点的3d位置来获得点的3d形状，进而可以用于确定包括点的导管的3d形状。在各方面中，在捕获荧光透视视频帧的同时，医疗设备或包括这些点的导管保持静止。
60.运动求取结构方法可以包括检测或识别所有荧光透视图像上的相同点，并将所述点与所有荧光透视图像上的其它点区分开来。检测或识别所有荧光透视图像上的相同点可以包括检测或识别导管尖端处的点，然后通过从导管尖端处的点开始查找点的顺序或对点进行计数来检测或识别其它点。或者，检测或识别所有荧光透视图像中的相同点可以涉及从一个荧光透视图像到下一荧光透视图像跟踪所述点。
61.在某些方面中，运动求取结构方法可以使用由安置在导管上的跟踪传感器或线圈(例如，不透射线线圈)提供的运动信号。运动求取结构方法包括查找导管的荧光透视图像与导管的3d结构重建之间的对应关系。为了查找荧光透视图像之间的对应关系，可以在捕获的荧光透视图像序列中从一个荧光透视图像到下一个荧光透视图像跟踪如拐角点(具有多个方向中的梯度的边缘)等特征。
62.在各方面中，运动求取结构方法可以使用任何合适的特征检测器。例如，尺度不变特征变换(scale-invariant feature transform，sift)可以用作特征检测器。sift使用高斯差分(difference-of-gaussians，dog)金字塔中的最大值作为特征。sift的第一步是查找主要的梯度方向。或者，加速稳健特征(speeded-up robust feature，surf)可以用作特征检测器。在surf中，将dog替换为基于hessian矩阵的blob检测器。此外，surf不评估梯度直方图，而是计算梯度分量的总和及其绝对值的总和。
63.随后匹配从所有荧光透视图像检测到的特征。跟踪从一个荧光透视图像到另一个荧光透视图像的特征的匹配算法是lukas-kanade跟踪器。在某些方面中，可以过滤匹配的特征以过滤掉不正确匹配的特征。随机抽样一致性(random sample consensus，ransac)算法可以用于删除不正确匹配的特征。
64.随后使用随时间变化的特征轨迹重建其3d位置以及荧光透视成像设备的运动或姿态。或者，运动求取结构方法可以使用直接方法，其中从荧光透视图像直接估计几何信息(例如，导管的3d结构和荧光透视成像设备的姿态)，而无需中间提取特征或拐角。
65.运动求取结构方法可以增量地也可以全局地进行。根据运动方法的增量结构，对荧光透视成像设备的姿态进行求解，并将其逐个添加到集合中。在全局运动求取结构方法中，同时对荧光透视成像设备的姿态进行求解。或者，运动求取结构方法可以使用中间方法，其中计算若干部分重建并将其整合到全局解中。
66.参考图5a，提供了用于在捕获患者身体的荧光透视图像的同时估计荧光透视成像
设备的姿态或角度的又一种方法500a的流程图。在框501处，进行宽荧光透视扫掠来捕获患者身体的荧光透视图像。在框502处，对第一荧光透视图像进行运动求取结构过程，来估计导管的第一3d形状。运动求取结构过程可以包括在以下步骤之间交替：(1)在给定导管的一组对应2d和3d坐标的情况下，估计使投影误差最小的荧光透视成像设备的位置，以及(2)在给定所捕获的荧光透视图像中导管的对应2d坐标的情况下估计(a)导管的3d坐标，以及(b)荧光透视成像设备的姿态。
67.在框503至505处，确定导管的第二3d形状。具体地，在框503处，识别出安置有导管的肺气道。可以通过确定导管相对于肺部的术前计算机断层扫描(ct)图像的位置(例如，通过使用电磁定位系统和安置在导管上的跟踪传感器或线圈)来识别安置有导管的肺气道。在其它方面，方法500a可以应用于适于或能够限定安置在其它身体结构中的导管的形状的所述其它身体结构。例如，身体结构可以是患者身体管腔内的通路。
68.在框504处，例如基于肺部的术前ct图像来确定肺气道的3d形状。在框505处，基于身体结构的3d形状来估计导管的第二3d形状。在框506处，基于导管的第一和第二估计的3d形状来估计导管的3d形状。此估计过程可以包括使用第二估计的3d形状来校正导管的第一估计的3d形状。随后，在框507处，对于所捕获的荧光透视图像的每个荧光透视图像，确定导管的估计的3d形状投影到每个荧光透视图像中的2d导管上的角度。在各方面中，确定的角度可以用于重建患者体内的目标区域的3d体积数据。或者，可以通过进行3d形状感测方法来确定导管的3d形状。例如，导管可以包括沿着导管的长度安置的至少一个光纤传感器，例如一个或多个旋转的多芯光纤，并且导管的3d形状可以通过基于从一个或多个光纤传感器获得的光纤传感器信号进行3d形状感测方法来确定。
69.参考图5b，提供了用于在捕获患者身体的荧光透视图像的同时估计荧光透视成像设备的姿态或角度的又一种方法500b的流程图。在框512至514处，确定导管的三维(3d)形状。具体地，在框512处，用荧光透视成像设备进行宽扫掠来捕获导管的第一荧光透视图像和标记物(例如球体或其它合适的标记物)栅格，以及导管的第二荧光透视图像。接下来，在框513处，基于导管的第一荧光透视图像的每个图像上的标记物栅格的投影，来估计导管的第一荧光透视图像的每个图像的荧光透视成像设备的姿态。随后，在框514处，基于荧光透视成像设备的所估计姿态和第一荧光透视图像来重建导管的3d形状。第一荧光透视图像可以对应于相对于前后位置小于30度的围绕患者的纵轴的荧光透视成像设备的视角。
70.在各方面中，可以在框514处基于根据以下方法估计的荧光透视成像设备的姿态或角度来确定导管的3d形状。首先，针对第一荧光透视图像的每个荧光透视图像生成概率图，所述概率图指示第一荧光透视图像的每个荧光透视图像的每个像素属于结构标记物或标记物栅格的投影的概率。接下来，通过将荧光透视成像设备虚拟地定位在可能的不同可能姿态中，来生成用于在第一荧光透视图像的每个荧光透视图像上投影标记物结构的不同候选者。基于图像概率图，识别具有最高概率成为第一荧光透视图像的每个荧光透视图像上的标记物结构的投影的候选者。随后，基于用于生成所识别的候选者的荧光透视成像设备的虚拟姿态来估计荧光透视成像设备的姿态或角度。
71.在框516处，对于第二荧光透视图像的每个荧光透视图像，确定导管的3d形状投影到第二荧光透视图像中所示的导管上的角度。随后可以将所述角度用于重建包括导管的目标区域的3d体积数据。
72.参考图6，示出了用于构建患者体内的目标区域的基于荧光透视的三维体积数据的方法600的流程图。在框602处，进行荧光透视扫掠来通过荧光透视成像设备获取目标区域和安置在医疗设备上的不透射线标记物的荧光透视图像的序列。目标区域可以包括肺部的至少一部分，并且医疗设备可以通过气道管腔网络导航到目标区域。
73.在框604处，使用合适的图像处理算法来识别和跟踪荧光透视图像序列中沿着医疗设备(例如导管)的长度的不透射线标记物。在框606处，基于所跟踪的不透射线标记物来确定医疗设备的三维(3d)坐标。在框608处，基于医疗设备的3d坐标来估计荧光透视成像设备的姿态或角度。在框610处，基于荧光透视成像设备的估计姿态或角度来构建目标区域的基于荧光透视的三维体积数据。
74.在各方面中，方法600进一步包括在框612处基于基于荧光透视的三维体积数据确定医疗设备与目标区域之间的偏移。在其它方面，方法600包括在框614处使用显示器中指示医疗设备的位置的电磁定位系统来促进将医疗设备导航到目标区域，以及在框616处基于所确定的医疗设备与目标区域之间的偏移来校正医疗设备相对于目标的位置的显示。
75.在另外其它方面，方法可以包括在显示器上显示目标区域的3d渲染，并且将电磁定位系统配准到3d渲染。校正医疗设备相对于目标的位置可以包括更新电磁定位系统到3d渲染的配准。
76.在各方面中，方法还可以包括基于先前获取的目标区域的ct体积数据来生成所述目标区域的3d渲染。目标区域可以包括肺部的至少一部分、软组织目标区域或消融目标。
77.从前述内容且参考各个图式，本领域技术人员将了解，在不脱离本公开的范围的情况下也可对本公开作出一些修改。例如，尽管将系统和方法描述为可以与用于导航通过如肺部等管腔网络的emn系统一起使用，但是本文所描述的系统和方法可以与利用其它导航和治疗设备(如经皮设备)的系统一起使用。另外，尽管上述系统和方法被描述为在患者的管腔网络内使用，但应了解，上述系统和方法可以在如肝脏等其它目标区域中利用。此外，上述系统和方法还可用于经胸针刺吸液手术。
78.本文中公开了详细方面。然而，所公开的方面仅仅是本公开的实例，其可以以各种形式和方面来体现。因此，本文中所公开的具体结构和功能细节不应被解释为限制性的，而仅仅作为权利要求书的基础和作为用于教导本领域技术人员以实际上任何适当的详细结构按不同方式使用本公开的代表性基础。
79.如可以理解，可通过患者的一个或多个分支的管腔网络定位以治疗组织的医疗器械(如活检工具)或能量设备(如微波消融导管)，可证明在外科手术领域中是有用的，并且本公开针对可与此类器械和工具一起使用的系统和方法。可以经皮或使用导航技术通过自然的孔进入管腔网络。另外，可以使用图像引导系统来实现导航通过管腔网络。图像引导系统可以与能量设备或单独的访问工具分离或整合，并且可以包括mri、ct、荧光透视、超声、电阻抗断层扫描、光学和/或设备跟踪系统。
80.用于定位访问工具的方法包括em、ir、回声定位、光学等。跟踪系统可以整合到成像设备中，其中在虚拟空间中完成跟踪，或者跟踪与术前或实时图像融合。在某些情况下，可以直接从管腔内进入治疗目标，如用于治疗copd、哮喘、肺癌等的支气管内壁。在其它情况下，可需要能量设备和/或其它访问工具来刺穿管腔并延伸到其它组织中以到达目标，如用于治疗实质内的疾病。可以使用结合了上述方法和系统的标准荧光透视成像设备，通过
成像和/或导航指导进行能量设备或工具放置的最终定位和确认。
81.虽然已经在附图中示出了本公开的若干方面，但并非意图将本公开限于此，而是意图使本公开的范围与本领域所允许的一样广泛，并且同样地理解本说明书。因此，以上描述不应被解释为限制性的，而仅仅是特定方面的例证。本领域技术人员将在所附权利要求书的范围和精神内设想其它修改。