路径规划系统和方法

路径规划系统和方法
【专利摘要】一种用于规划通过病人的解剖内腔网络的路径的系统和方法，包括：储存计算机程序的存储器，所述计算机程序配置为分析和操纵CT图像；配置为运行所述计算机程序的处理器；以及配置为显示所述计算机程序的用户界面的显示设备。所述用户界面包括：CT图像窗口，配置为显示CT图像数据的切片；定位器窗口，配置为显示至少一个肺的图像，所述定位器窗口包括配置为标识所显示的切片相对于所述至少一个肺的位置的定位器；以及目标选择元件，配置为响应于用户输入从所显示的CT图像数据的切片选择目标。
【专利说明】路径规划系统和方法

【技术领域】
[0001]本公开涉及用于规划通过病人的解剖内腔网络的路径的系统和方法。

【背景技术】
[0002]在外科手术过程中，临床医生常使用CT图像来确定经过病人的内腔网络的路径。然而，临床医生通常难以仅基于CT图像来有效地规划路径，特别是在支气管树的较小分支中，在那里CT图像通常不能提供用于准确导航的足够分辨率。
[0003]为了协助临床医生规划通过内腔网络的路径，已经实现了自动化路径规划系统和方法，它们自动地生成从CT图像上指定的目标到病人的入口点(例如，病人的嘴、鼻子、其他天然入口点或人工入口点，例如切口)的路径。自动化路径规划系统和方法的一个示例可见于美国专利N0.8218846中，其通过引用整体合并于此。
[0004]然而，当使用完全自动化的路径规划系统时，医疗设备可能在医疗设备的工作末端不朝向目标取向的方向上到达路径末端。在此示例中，医疗设备的侧面可能取向为朝向目标而不是工作末端，临床医生可能很难或者不可能用工作末端到达目标。特别地，在导航通过支气管树的小气道时，当目标垂直于医疗设备在小气道中行进的路径时，可能难以或者甚至不可能朝向目标弯曲或转向医疗设备的工作末端。


【发明内容】

[0005]提供了用于规划通过病人的解剖内腔网络的路径的系统和方法。
[0006]在本公开的一个方面，公开了一种用于规划通过病人的解剖内腔网络的路径的系统，包括:储存计算机程序的存储器，所述计算机程序配置为分析和操纵CT图像；配置为运行所述计算机程序的处理器；以及配置为显示所述计算机程序的用户界面的显示设备。所述用户界面包括:CT图像窗口，配置为显示CT图像数据的切片；定位器窗口，配置为显示至少一个肺的图像，所述定位器窗口包括配置为标识所显示的切片相对于所述至少一个肺的位置的定位器；以及目标选择元件，配置为响应于用户输入从所显示的CT图像数据的切片选择目标。
[0007]在本公开的一个方面，所述CT图像窗口配置为响应于用户输入，显示所述CT图像数据的至少一个其他切片，所述定位器配置为相对于所述至少一个肺的所述图像移动，以标识所显示的至少一个其他切片相对于所述至少一个肺的位置。
[0008]在本公开的一个方面，所述CT图像窗口配置为响应于用户输入顺序地显示所述CT图像数据的切片。
[0009]在本公开的一个方面，所述CT图像窗口配置为显不来自轴方向、冠方向和矢方向之一的所述CT图像数据的切片。
[0010]在本公开的一个方面，所述定位器窗口配置为显示来自轴方向、冠方向和矢方向之一的所述至少一个肺的图像。
[0011]在本公开的一个方面，所述至少一个肺的图像是类似于荧光镜检查的图像。
[0012]在本公开的一个方面，所述用户界面还配置为显示编辑目标窗口，所述编辑目标窗口包括来自轴方向、冠方向和矢方向之一的CT切片，每个CT切片配置为显不定位于所述目标上方且能响应于用户输入而调整大小的目标大小调整元件。
[0013]在本公开的一个方面，公开了一种用于规划通过病人的解剖内腔网络的路径的方法，所述方法包括下列步骤:在CT图像窗口中显示CT图像数据的第一切片；在定位器窗口中显示至少一个肺的图像；将至少一个肺的图像上的所述定位器窗口的位置元件设置在与所述第一切片相对于所述至少一个肺的位置对应的第一位置处；接收用户输入；响应于用户输入，在所述CT图像窗口中显示CT图像数据的第二切片；以及将所述至少一个肺的图像上的所述定位器窗口的位置元件设置在与所述第二切片相对于所述至少一个肺的位置对应的第二位置处。
[0014]在本公开的一个方面，所述CT图像窗口响应于用户输入顺序地显示所述CT图像数据的切片。
[0015]在本公开的一个方面，所述方法还包括以下步骤:接收标识所述第一切片或所述第二切片中的至少一个上的目标的用户输入；以及响应于用户输入，将所述目标设置为用于路径规划的目标。
[0016]在本公开的一个方面，设置所述目标包括将目标选择元件定位在所述目标上方。
[0017]在本公开的一个方面，所述方法还包括下列步骤:显示来自轴方向、冠方向和矢方向中的每个方向的CT图像数据的切片，每个切片包括在其上的所述目标和设置于所述目标上方的大小可调的目标大小调整元件。
[0018]在本公开的一个方面，所述方法还包括下列步骤:响应于用户输入，在所显示的轴方向、冠方向和矢方向切片中的一个或多个中调整所述目标大小调整元件的尺寸。
[0019]在本公开的一个方面，所述用户输入选自以下各项构成的组:在所显示的轴方向、冠方向和矢方向切片中的至少一个中操纵所述目标大小调整元件的一部分，以及输入尺寸变量。
[0020]在本公开的一个方面，公开了一种非暂时性计算机可读储存介质，其编码有程序，所述程序在由处理器运行时使用户界面执行下列步骤:在CT图像窗口中显示CT图像数据的第一切片；在定位器窗口中显示至少一个肺的图像；将至少一个肺的图像上的所述定位器窗口的位置元件设置在与所述第一切片相对于所述至少一个肺的位置对应的第一位置处；接收用户输入；响应于用户输入，在所述CT图像窗口中显示CT图像数据的第二切片；以及将所述至少一个肺的图像上的所述定位器窗口的位置元件设置在与所述第二切片相对于所述至少一个肺的位置对应的第二位置处。
[0021]在本公开的一个方面，所述CT图像窗口响应于用户输入顺序地显示所述CT图像数据的切片。
[0022]在本公开的一个方面，所述程序还使所述用户界面执行以下步骤:接收标识所述第一切片或所述第二切片中的至少一个上的目标的用户输入；以及响应于用户输入，将所述目标设置为用于路径规划的目标。
[0023]在本公开的一个方面，设置所述目标包括将目标选择元件定位在所述目标上方。
[0024]在本公开的一个方面，所述程序还使所述用户界面执行以下步骤:显示来自轴方向、冠方向和矢方向中的每个方向的CT图像数据的切片，每个切片包括在其上的所述目标和设置于所述目标上方的大小可调的目标大小调整元件。
[0025]在本公开的一个方面，所述程序还使所述用户界面执行以下步骤:响应于用户输入，在所显示的轴方向、冠方向和矢方向切片中的一个或多个中调整所述目标大小调整元件的尺寸。
[0026]在不偏离本公开的范围的情况下，可以组合本公开的任何以上方面和实施例。

【专利附图】

【附图说明】
[0027]当参考附图来阅读对各实施例的描述时，当前公开的系统和方法的目标和特征将对本领域技术人员变得显而易见，附图中:
[0028]图1是根据本公开一实施例的用于路径规划的计算设备的示意图；
[0029]图2A是根据本公开一实施例的从轴方向(Axial direct1n)获取的病人的肺的CT扫描图像的视图；
[0030]图2B是根据本公开一实施例的示出轴方向的病人身体的透视图；
[0031]图2C是根据本公开一实施例的从冠方向(Coronal direct1n)获取的病人的肺的CT扫描图像的视图；
[0032]图2D是根据本公开一实施例的示出冠方向的病人身体的透视图；
[0033]图2E是根据本公开一实施例的从矢方向(Sagittal direct1n)获取的病人的肺的CT扫描图像的视图；
[0034]图2F是根据本公开一实施例的示出矢方向的病人身体的透视图；
[0035]图3是示出根据本公开一实施例的路径规划的四个阶段的流程图；
[0036]图4是根据本公开一实施例的用于选择病人数据的用户界面的图示；
[0037]图5是根据本公开一实施例的用于选择病人数据的方法的流程图；
[0038]图6是根据本公开一实施例的用于将目标添加到路径规划中的用户界面的图示；
[0039]图7是根据本公开一实施例的用于将目标添加到路径规划中的方法的流程图；
[0040]图8是根据本公开一实施例的用于编辑所添加的目标的目标细节的用户界面的图示；
[0041]图9是根据本公开一实施例的用于查看3D图的用户界面的图示；
[0042]图10是根据本公开一实施例的用于检查3D图的方法的流程图；
[0043]图1lA是用于查找从目标到病人的入口点的路径的用户界面的图示；
[0044]图1lB是在用户界面的CT图像绕初始轴旋转之后图1lA的用户界面的图示；
[0045]图1lC是根据本公开一实施例的示出了初始旋转轴的病人的支气管树的3D模型的透视图；
[0046]图1ID是在添加了中途点并且创建了目标和中途点之间的路径之后图1lB的用户界面的图示，CT图像绕作为轴的所述路径旋转了 ；
[0047]图1lE是在添加了第二中途点并且创建了中途点和第二中途点之间的第二路径之后图1lD的用户界面的图示；
[0048]图1lF是在CT图像绕作为轴的第二路径旋转以显示已知气道之后图1lE的用户界面的图示；
[0049]图1lG是在已知气道内添加了第三中途点并且自动完成路径之后图1lF的用户界面的图示；
[0050]图12是根据本公开一实施例的用于查找已知气道并且创建路径的方法的流程图；
[0051]图13是根据本公开一实施例的用于查看路径的用户界面的图示；
[0052]图14是根据本公开一实施例的用于查看路径的方法的流程图；
[0053]图15是根据本公开一实施例的用于查看目标和路径并且用于创建附加目标和路径的用户界面的图示；
[0054]图16是根据本公开一实施例的用于查看和导出路径规划的用户界面的图示；以及
[0055]图17是根据本公开一实施例的用于查看和导出目标、路径以及路径规划的方法的流程图。

【具体实施方式】
[0056]虽然将关于特定实施例来描述本发明，但是，本领域技术人员容易意识到，在不偏离本公开的思想的情况下，可以作出各种修改、重新布置和替换。本公开的范围由所附权利要求来定义。
[0057]现在参考图1，本公开总体上涉及用于规划通过病人的解剖内腔网络的路径以供在手术期间使用的路径规划系统10和方法。路径规划系统10可以包括计算设备100，诸如，例如膝上型计算机、桌面型计算机、平板计算机或其他类似设备，其具有显示器102、存储器104、一个或多个处理器106和/或常见于计算设备中的其他类型组件。显示器102可以是触敏的和/或语音激活的，使显示器102能充当输入和输出设备。替选地，可以使用键盘(未示出)、鼠标(未示出)或其他数据输入设备。
[0058]存储器104包括用于存储数据和/或可由处理器106执行并且控制计算设备100的操作的软件的任何非暂时性计算机可读存储介质。在一实施例中，存储器104可以包括诸如闪存芯片之类的一个或多个固态存储设备。在替选实施例中，存储器104可以是通过大容量存储控制器(未示出)和通信总线(未示出)连接到处理器106的大容量存储器。虽然此处包含的对计算机可读介质的描述引用了固态存储器，但是本领域技术人员应理解，计算机可读存储介质可以是可被处理器106访问的任何可用介质。即，计算机可读存储介质包括以任何信息存储方法和技术实现的非暂时性、易失性和非易失性、可移动和不可移动的介质，所述信息诸如为计算机可读指令、数据结构、程序模块或其他数据。例如，计算机可读存储介质包括RAM、R0M、EPR0M、EEPR0M、闪存或其它固态存储技术，CD-ROM、DVD或其它光学存储，磁盒、磁带、磁盘存储或其它磁存储设备，或能用于存储所需信息并且可由计算设备100访问的任何其它介质。
[0059]计算设备100还可包括通过有线或无线连接连接到分布式网络或因特网的网络模块108，以用于来往于其他源进行数据收发。例如，计算设备100可以从服务器(例如医院服务器、因特网服务器或其他类似服务器)接收计算机层析(CT)图像，以供在路径规划期间使用。也可以通过可移动存储器104向计算设备100提供病人的CT图像。
[0060]路径规划模块200包括存储在存储器104中并且由计算设备100的处理器106执行的软件程序。如下面将更详细地描述的那样，路径规划模块200引导临床医生完成一系列步骤以制定路径规划，用于供稍后在医疗过程中使用。路径规划模块200与用户界面模块202进行通信，以便在显示器102上向临床医生显示可视交互特征，并且接收临床医生的输入。
[0061]这里使用时，术语“临床医生”指的是在规划、执行、监视和/或监督涉及使用此处描述的实施例的医疗过程中涉及的任何医务专业人员(即，医生、外科医生、护士等)或路径规划系统10的其他用户。
[0062]临时参考图2A-2F，实际上，标识目标的最有效的方法涉及使用计算机层析(CT)图像。作为引言，使用CT图像作为诊断工具已经成为惯例，CT结果通常是临床医生关于病变、肿瘤或其他类似关注目标的大小和位置的主要信息来源。临床医生使用该信息用于规划诸如活组织检查之类的手术过程，但是其只可作为“离线”信息获得，一般必须在开始手术过程之前尽医生的最大能力记住。CT图像通常通过沿轴方向、冠方向和矢方向中的每个以切片方式对病人进行数字成像来获得。例如，图2A示出了从轴方向获取的一片CT图像，即，好像看起来平行于病人的脊柱，如图2B所示。图2C示出了从冠方向，即，如图2D所示从病人的鸟瞰视图，获取的一片CT图像。图2E示出了从矢方向，S卩，如图2F所示从病人的侧面，获取的一片CT图像。临床医生在尝试识别或定位目标时，可以从每个方向逐个切片地查看CT图像数据。
[0063]现在参考图3，在一实施例中，使用路径规划模块200的路径规划可以以四个单独阶段来执行。在第一阶段SI，临床医生选择用于路径规划的病人。在第二阶段S2，临床医生添加目标。在第三阶段S3，临床医生创建到目标的路径。最后，在第四阶段S4，临床医生查看和接受规划，并且可以导出规划以供在医疗过程期间使用。临床医生可以根据需要重复第二和第三阶段S2和S3中的任何一个或者两者，以针对特定病人选择附加目标和/或创建附加路径。例如，临床医生可以选择附加目标，并且可以创建到每个目标的路径。临床医生也可以或者替代地创建同一目标的多个路径。现在将参考图4-16来更详细地描述阶段S1-S4中的每一个。
[0064]这里使用时，术语“窗口”指的是由用户界面202在显示器102上投影或提供的任何屏幕、图像、图层、用户界面、或它们的组合，并且涵盖实现这些元素的功能的部件、组件、装置、模块等。
[0065]现在参考图4和5，在阶段SI，用户界面202向临床医生呈现用于选择要对其执行路径规划的病人数据212的窗口 210。图4示出包括窗口 210的用户界面202，图5示出根据本公开一实施例的选择病人数据的方法。用户界面202最初在步骤S500通过打开窗口210供临床医生查看来开始选择病人数据的方法。窗口 210包括可选择的源位置菜单214，菜单214为临床医生提供选择从其接收病人数据212以用于路径规划的源的能力。在步骤S510中，临床医生从若干储存器或存储设备中进行选择，储存器或存储设备包括例如Cd、dvd、蓝光、其他可插入光学介质、通用串行总线(USB)存储设备、外部或内部硬驱动器、固态存储设备、或者连接到计算设备100或与计算设备100进行数据通信的任何其他类型的存储器或储存器104，如上文描述的那样。窗口 210还可以提供对存储在远程位置诸如网络或因特网上的服务器中的病人数据212的访问。源位置菜单214可允许临床医生选择单个病人数据源，或者可允许临床医生同时选择多个病人数据源。源位置菜单214还可以包括列出来自所有源的病人的选项。在步骤S504中，临床医生可以搜索病人的列表，或者可以在搜索框216中输入搜索项，以将病人的列表缩限到符合选择标准(例如，病人的姓或名、ID号、出生日期或其他类似标准)的那些病人。一旦临床医生选择了所需的病人，临床医生前进到步骤S506。
[0066]在步骤S506中，一旦临床医生选择了病人，就显示病人的下拉菜单218，包括病人的可用CT图像220的列表，以及先前为每幅CT图像220创建的所选病人的任何路径规划222。临床医生可以通过选择创建新规划选项224并且前进到步骤S510来选择基于CT图像创建新规划，或者如果对于所选CT图像220存在以前创建的规划的话，则可以通过选择打开规划选项226并且前进到步骤S514来打开以前创建的规划。当选择创建新规划选项224时，CT图像220优选以DICOM格式导入到路径规划模块200中。计算设备100处理CT图像220，并且通过按照CT图像220的拍摄顺序来排列CT图像220，以及根据拍摄它们时CT扫描设备上设置的切片之间的距离将它们分隔开，而将CT图像220组装成三维CT体积(volume)。路径规划模块200可以执行数据填充功能以创建病人的支气管树的无缝三维(3D)模型或CT体积。路径规划模块200使用新构建的CT体积来生成支气管树中的气道的三维图。三维图可以是精简的，使得每个气道表示为线，或者它可以包括具有尺寸的气道,尺寸表示气道相应的直径。优选地,当生成三维图时,用气流方向(吸气、呼气、或针对每一种的单独箭头)来标记气道，以供后面使用。在共同受让的Summers等人的美国专利N0.6246784和6345112以及其中引用的参考文献中描述了用于生成三维CT体积和模型的技术，所有这些都通过引用合并于此。
[0067]窗口 210还包括捕捉屏幕选项228，选项228可允许临床医生捕捉显示器102显示的当前屏幕的图像，例如窗口 210，并且将所捕捉到的图像保存到存储器。捕捉屏幕选项228还可以配置为从所捕捉到的图像去除病人特定数据以保护病人隐私。病人特定数据的去除可以是可由临床医生选择的选项，并且可以默认设置为“选中”。
[0068]现在参考图6-8，如果临床医生从窗口 210选择创建新规划选项224，则方法前进到步骤S512和阶段S2，添加目标。图6和8示出了包括窗口 230和244的用户界面202，图7示出了根据本公开一实施例的添加目标的方法。当阶段S2开始时，方法前进到步骤S700，用户界面202打开窗口 230，用于识别和选择将对其执行路径规划的目标232。在窗口 230中，在主窗口 236中向临床医生提供CT图像数据的切片234。可以从沿轴方向、冠方向和矢方向中的任何一个的CT图像数据获取切片234。临床医生可以在任何时间在来自轴方向、冠方向和矢方向的切片234之间自由地切换主窗口 236所显示的切片234。在所示的示例中，提供了来自轴方向CT图像数据的切片234。应注意，通过一次只示出单个切片和方向，例如，只示出来自轴方向CT图像数据的切片234，向临床医生提供了从其中选择目标的简单而清洁的界面。临床医生可以在主窗口 236中操纵和重新定位所选切片234的图像，并且可以放大或缩小所选切片234，以获得所选切片234的特定部分的放大或缩小的视图。
[0069]窗口 230还包括提供病人的CT图像数据的一般总览以供临床医生使用的定位器238。在所示的示例中，定位器238提供定位器窗口 240，其包括冠方向的病人的肺的一般视图。定位器窗口 240可以例如显示冠方向的CT图像、类似于荧光镜检查的图像、或向临床医生提供病人肺视图的其他类似图像。定位器238包括跨定位器窗口 240延伸的位置元件242，例如线或条，位置元件242向临床医生提供在主窗口 236中显示的所选切片234相对于如定位器238所显示的病人的肺的位置。位置元件242是可由临床医生选择的，并且相对于定位器窗口 240可移动或可滑动，以允许临床医生滚动浏览在主窗口 236上显示的病人的肺的CT图像切片。例如，CT图像切片可以按由CT图像数据定义的序列顺序被滚动浏览或显示。临床医生还可以或者替选地点击或选择定位器窗口 240的一部分，以将定位器238移动到病人的肺中的所选位置。临床医生还可以或者替选地通过输入设备诸如鼠标滚轮或其他设备滚动浏览主窗口 236中显示的病人的肺的CT图像切片，而无需直接与用户界面202进行交互。当选择另一方向(例如冠方向)显示在主窗口 236上时，定位器238可以显不其他方向中的一个方向(例如，轴方向或矢方向)的一般视图。定位器238向临床医生提供特定病变或其他目标232位于病人肺中何处的一般参考。定位器238还可以显示一个或多个先前选定的目标，以供临床医生参考。
[0070]在步骤S702中，临床医生滚动浏览CT图像切片234以识别CT图像上的目标232。在步骤S704中，一旦识别了当前CT切片234中的目标232，临床医生就可以使用目标选择元件243 (例如十字准星、鼠标指针、手或其他类似选择元件)从主窗口 236点击或以其他方式选择目标232。例如，临床医生可以拖动在主窗口 236上显示的CT图像，使得目标选择元件243定位在目标232上方,或者替选地,可以通过使用鼠标(未示出)或其他输入设备来点击目标232而直接选择目标232。如果显示器102是触敏的，则临床医生可以触摸显示器102上的目标232以选择目标232。然后，可以在步骤S706中通过选择添加目标选项245来将目标232添加到规划中。
[0071]现在参考图8，一旦添加了目标232，就通过用户界面202显示目标细节窗口 244。目标细节窗口 244可以覆盖窗口 230或者可以替代窗口 230。目标细节窗口 244向临床医生提供所选目标232，如轴视图246、冠视图248和矢视图250的放大或特写版本所示。在步骤S708中，临床医生可以输入目标232的宽度、高度以及深度尺寸，命名目标232，并且添加与目标232相关的附加评注。另外，目标大小调整元件252 (例如，十字准星或其他类似元件)定位在视图246、248、250每个中的目标232上方，并且可由临床医生操纵或移动以在每个视图246、248、250中使目标232在目标大小调整元件252中居中。目标大小调整元件252还包括可由临床医生操纵以调整目标232的尺寸的可调边界环254。例如，临床医生可以在轴视图246、冠视图248和矢视图250每个中调整边界环254的大小，以准确定义目标232的尺寸。边界环254可以是圆形的、椭圆的或其他类似几何形状，可以调节边界环254的形状以基本匹配目标232的大体尺寸。在一实施例中，可以由临床医生以非几何方式调整边界环254，例如对边界环254进行自由形式的操纵，以符合目标232的非几何尺寸。应注意，由于目标232是三维对象，诸如病变、肿瘤等，并且各视图246、248、250是从不同方向获取的，所以临床医生对视图246、248、250之一上的边界环254的操纵和调整可能会导致其余视图246、248、250中的一个或两者中的边界环254的变化或调整。以此方式，临床医生可以在所有三个视图中准确选择目标232的目标尺寸和位置，有效地将目标映射到3D坐标空间中的特定坐标和维度。在步骤S710中，一旦临床医生选择了目标232的尺寸和位置，临床医生就选择保存目标选项256，并且前进到在步骤S712中查看所生成的病人支气管树的三维图。
[0072]现在参考图9和10，在临床医生选择了窗口 230的保存目标选项256之后，该方法前进到步骤S1000，查看支气管树的3D图。在步骤S1000中，用户界面202打开窗口 260，用于查看由路径规划模块200生成的三维图。窗口 260包括显示病人支气管树的三维模型264的三维图窗口 262以及显示轴方向、冠方向和矢方向之一的CT图像以供临床医生参考的扫描窗口 266。在所示实施例中，显示了冠方向的CT图像。显示冠方向的CT图像是因为冠方向提供了病人支气管树的鸟瞰图像或正面视图，更可能向临床医生显示支气管树的主要可识别特征，例如主气道的干路和支路。通过将CT图像与三维模型264进行比较，临床医生能够确定或验证三维模型264包括病人支气管树的主要可识别特征，以及当与CT图像比较时三维模型264中没有恶劣的异常。在步骤S1002中，临床医生根据需要通过操纵三维图窗口 262的旋转滑块268来旋转三维模型，以判断3D图是否是可接受的。在步骤S1004中，如果临床医生满意三维模型264基本准确，例如充分显示了主气道或中央气道，则临床医生选择批准图选项270，并且前进到阶段S3和气道查找器。如果3D图不可接受，则临床医生前进到步骤S1006，并且返回到步骤S500，以选择新病人数据，例如新病人或同一病人的新CT扫描。
[0073]现在参考图11A-11G和12，在临床医生选择了窗口 260的批准图选项270之后，该方法前进到阶段S3和步骤S1200，以启动气道查找器。图11A-11B和11D-11G示出了包括窗口 272的用户界面202，图1lC示出了供气道查找器使用的初始轴“A”，图12示出了根据本公开一实施例的查找气道并且完成路径的方法。在步骤S1200中，最初参考图11A-11C，用户界面202打开用于创建从目标232到病人的入口点(例如，诸如嘴或鼻子之类的天然孔，或诸如切口之类的人工入口点)的路径的窗口 272。窗口 272包括显示包括目标232的CT图像276的气道查找器274以及描述CT图像276绕指定轴的旋转的旋转界面278。在一实施例中，在初始打开窗口 272时，在气道查找器窗口 274的CT图像276上只显示了目标232，在旋转界面278上，旋转指示器280 (例如箭头280a和旋转条280b)被对准。旋转界面278提供关于CT图像276绕指定轴的相对旋转的旋转信息。现在参考图11B，目标标记器232A显示在CT图像276上，并且定位在目标232上方以向临床医生示出目标232的位置。引线(lead line) 232B从目标标记器232A的中心延伸，并且可由临床医生通过指针、鼠标或其他输入设备的移动来移动。例如，临床医生对输入设备的移动会移动远离目标232延伸的引线232B的末端232C。临床医生使用弓I线232B来选择合适的气道，如下面将参考步骤S1208更详细地描述的那样。
[0074]在一实施例中，简要地参考图11C，在初始打开窗口 272时，在步骤S1202中设置初始轴“A”，轴“A”定义为沿着从目标232到病人气管内腔的中心部分获取的轴。通过将初始轴“A”定义为沿着从目标232到气管的轴，临床医生能发现在目标232附近的、将目标232连接到入口点的气道的可能性增大。这是因为支气管树的树状或分支本质。在其他实施例中，初始轴“A”可以定义为沿着从目标232到病人支气管树的任何其他部分(例如，到支气管树的最近主分枝的中心部分，或者到病人支气管树的3D图的最近已知气道)获取的轴。
[0075]在步骤S1204中，临床医生通过例如滚动鼠标轮、操纵另一输入设备和/或通过操纵用户界面202的一部分(例如，旋转界面278)来绕初始轴旋转CT图像276。当临床医生绕初始轴旋转CT图像276时，旋转界面278上的指示器280沿旋转界面278在对应方向上相对于彼此移动以指示相对于初始视图的旋转量，例如，旋转条280b相对于箭头280a移动。当临床医生沿同一方向持续进行旋转之后旋转条280b到达旋转界面278的末端时,旋转条280b将从旋转界面278的末端处消失，重新出现在旋转界面278的相反端，并且继续在同一方向上沿旋转界面278滑动。当临床医生绕初始轴旋转CT图像276完整一圈时，指示器280 (例如，箭头280a和旋转条280b)将在旋转界面278的中心处再次对准。
[0076]现在参考图1lB和11D，当绕初始轴旋转CT图像276时，临床医生在步骤S1206中评估CT图像276以判断是否存在目标232附近的气道282。例如，CT图像276中远离目标232延伸或在目标232附近延伸的暗区可以是存在气道282的指示。如果临床医生确定存在气道282，则该方法前进到步骤S1208，临床医生将引线232B的末端232C定位到CT图像276上的气道282内的确定位置处，以在CT图像276上创建路径中途点282a。路径规划模块200在CT图像276上在目标232和路径中途点282a之间画路径线284，并且前进到步骤S1210。以此方式，临床医生定义气道282的与目标232最接近的部分。如果没有气道282存在，则临床医生返回到步骤S1204，并且继续绕指定轴旋转CT图像。如果路径中途点282a没有被正确地定位或者临床医生希望查找另一气道，则临床医生可以去除路径中途点282a并且返回到步骤S1204或S1208中的任一个。
[0077]在步骤S1210中，路径规划模块200判断由临床医生选择的路径中途点282a是否位于由路径规划模块200生成的三维图的已知气道内。如果路径中途点282a位于三维图的已知气道内，则该方法前进到步骤S1214，路径规划模块200从路径中途点282a通过三维图的已知气道到病人的气管和入口点自动完成路径，如下面在图1IG中针对中途点282a进一步示出的那样。
[0078]如果路径中途点282不位于三维图的已知气道内，则该方法前进到步骤S1212。现在参考图1lD和11E，气道查找器274显示包括目标232、目标标记器232A、路径中途点282a、路径线284以及旋转界面278的CT图像286，如上面描述的那样。如图1lD所示，具有末端282c的引线282b现在从路径中途点282a延伸。
[0079]在步骤S1212中，指定轴被设置为由路径线284定义的轴。CT图像286绕路径线284而非初始轴“A”旋转，旋转界面278显示CT图像286绕由路径线284定义的轴的相对旋转。通过定义绕路径线284旋转的轴，临床医生在CT图像286上发现连接到包括路径中途点282a的气道282的气道的可能性增大。在指定轴已经被设置为路径线284之后，该方法返回到步骤S1204。当绕由路径线284定义的轴旋转CT图像286时，临床医生评估CT图像286以判断是否存在连接到包括路径中途点282a的路径的气道288，如上面描述的那样。如果在步骤S1206中临床医生确定存在气道288，则该方法前进到步骤S1208，临床医生将引线282B的末端282C定位到CT图像286上的气道288内的确定位置处，以在CT图像286上创建路径中途点288a。路径规划模块200在CT图像286上画从路径中途点282a到路径中途点288a的路径线290，如图1lE所示。如果路径中途点288a没有被正确地定位或者临床医生希望查找另一气道，则临床医生可以去除路径中途点288a，并且返回到步骤S1204或S1208中的任一个。
[0080]在步骤S1210中，现在参考图11F，路径规划模块200判断临床医生选择的路径中途点288a是否位于由路径规划模块200生成的三维图的已知气道(例如，气道291)内。如果路径中途点288a不位于三维图的已知气道内，则该方法前进到步骤S1212，临床医生继续设置额外的路径中途点，如上面描述的那样，直到路径中途点位于三维图的已知气道内。
[0081]现在参考图11G，已经在气道291中以上述方式添加了路径中途点291a。在此图示中，气道291是三维图的已知气道。该方法前进到步骤S1214，路径291b从路径中途点291a经气道291和支气管树的三维图的已知分支到病人的入口点由路径规划模块200自动完成。一旦自动完成了路径，该方法就前进到步骤S1216，由用户界面202显示路径完成窗口 293，向临床医生提供前进到查看路径选项293a和撤消自动完成选项293b。临床医生可以选择前进到查看路径选项293a以前进到步骤S1218，并且开始查看路径。替选地，如果临床医生想要使用气道查找器274来继续绘制中途点，则临床医生可以选择撤消自动完成选项293b，并且返回到步骤S1212，以便进一步创建路径中途点，如上文所描述的那样。
[0082]以此方式创建路径规划，以供稍后临床医生在手术过程期间使用。由于临床医生可以在自动完成之前手动选择和创建与目标232最接近的路径中途点和路径，因此临床医生能够创建这样的路径规划，该路径规划直接控制路径规划的末尾处医疗设备相对于目标232的最终取向。这允许临床医生为医疗设备创建路径规划，该路径规划将允许医疗设备在将允许医疗设备的工作末端基本取向为朝向目标232的方向上沿病人的小气道行进，其中基本朝向目标232包括临床医生可以在所使用的医疗设备的限制下有效地到达目标232的任何取向。
[0083]现在参考图13和14，在临床医生已经完成了路径之后，该方法前进到步骤S1400，用户界面202打开用于查看从目标232到病人的入口点的路径的窗口 294。图13示出了包括窗口 294的用户界面202，图14示出了根据本公开一实施例的查看路径的方法。窗口294包括虚拟窗口 295和三维图窗口 296。三维图窗口 296显示与三维图窗口 262类似的病人支气管树的三维模型298。虚拟窗口 295显不基于CT的“虚拟支气管镜检查”,其描绘了与实际支气管镜视图类似的模拟视图，并且包括用于在虚拟支气管镜检查视图、局部视图以及径向视图之间进行选择的视图选择标签295a。在虚拟支气管镜检查过程中，临床医生可以根据需要在虚拟、局部以及径向视图之间切换，以查看路径。虚拟支气管镜检查视图显示从CT数据得到的气道的虚拟可视化，其近似于来自支气管镜的视频图像，局部视图显示当前导航位置处CT体积的截面的提升的透视图，径向视图显示与导航位置和局部路径片段垂直的CT体积的截面。在公共受让的Summers等人的美国专利N0.6246784和N0.6345112以及其中引用的参考文献中描述了虚拟支气管镜检查技术，其全部通过引用合并于此。
[0084]在步骤S1402中，一旦临床医生已经创建了路径，用户就通过随后在虚拟窗口 295上的贯穿飞行虚拟支气管镜检查来查看规划、目标和路径。用户界面202在虚拟窗口 295中生成代表所创建的路径的线300。临床医生沿着线300，从入口点通过气管和病人支气管树的气道，直到线300到达目标232。可以理解，当临床医生沿着线300通过病人的支气管树的越来越小的气道时，由于所导入的CT图像的分辨率不足，路径规划模块200解析较小气道的能力越来越难。由于这种分辨率不足，虚拟窗口 295中显示的虚拟支气管镜检查的模拟视图可能最终不能显示清晰的气道内腔。无论如何，目标232和线300将显示在虚拟窗口 295中以允许临床医生使用该系统用于路径规划目的。
[0085]在临床医生沿着线300通过病人支气管树到达目标232时，对应的标记298a沿三维模型298移动到目标232，指示虚拟窗口 295的模拟视图相对于三维模型298的位置。在步骤S1404中，在查看虚拟支气管镜检查之后，临床医生判断路径是否是可接受的。如果路径是可接受的，则临床医生可以选择批准选项299a，该方法前进到步骤S1408。如果路径不是可接受的，则该方法前进到步骤S1406，临床医生可以选择放弃路径并且重新开始选项299b，从而返回到气道查找器窗口 272以编辑路径或创建新路径。
[0086]现在参考图15-17，一旦临床医生已经查看并且接受了路径，该方法前进到阶段S4和步骤S1700。图15和16分别示出了包括窗口 302和316的用户界面202，图17示出了根据本公开一实施例的查看规划的方法。在步骤S1700中，用户界面202打开窗口 302，窗口 302包括显示所选路径的三维图窗口 304以及轴方向306、冠方向308和矢方向310中的每个的视图。窗口 302包括目标标签312和路径列表314。目标标签312允许临床医生添加附加目标并且选择已经识别的目标，以供进一步检查。路径列表312允许临床医生检查与所选目标标签312相关联的路径，并且为所选目标标签312添加路径。在步骤S1704中，临床医生判断目标是否是可接受的。如果目标不是可接受的，则该方法前进到步骤S1706，路径规划模块200将临床医生返回到添加目标窗口 230以添加新目标，如上文所描述的那样。如果目标是可接受的，则该方法前进到步骤S1708，临床医生判断路径是否是可以接受的。如果路径不是可接受的，则该方法前进到步骤S1710，路径规划模块200将临床医生返回到气道查找器窗口 272，以便创建附加路径，如上文所描述的那样。如果目标和路径都是可接受的，则临床医生在步骤S1716中选择完成和导出选项315并且前进到查看规划。
[0087]现在参考图16，在步骤S1716中，用户界面202打开窗口 316，其包括三维图窗口318和为所选规划识别的目标320的列表。每个目标320都可由临床医生选择，以显示相关联的路径322，每一路径322都可由临床医生通过对查看选项324的选择来查看。窗口 316还提供是否已经查看和批准了三维图以及是否已经导出了当前规划的指示。在步骤S1712中，如果尚未批准3D图，则临床医生可以通过选择查看3D图选项326来重新查看三维图。如果已经选择了查看3D图选项326，则该方法前进到步骤S1714，路径规划模块200将临床医生返回到上文所描述的查看3D图窗口 260。如果已经批准了 3D图，则该方法前进到步骤S1716，临床医生判断总体规划是否是可以接受的。如果规划不可接受，则该方法前进到步骤S1718，路径规划模块200将临床医生返回到上文所描述的病人选择窗口 210。如果临床医生对规划满意，则该方法前进到步骤S1720，临床医生可以通过选择导出选项328来导出规划，以供在手术过程中使用。规划可以被导出到任何形式的非暂时性计算机可读介质、存储器或存储设备，如上文对于存储器104所描述的那样，包括例如设备100上的存储器、可移动存储器设备、通过跨有线或无线连接的传输导出到远程或服务器存储器等。
[0088]参考图4、6、15和16，用户界面202可以包括可由临床医生操纵以返回到或重复任何上述阶段和/或步骤的一个或多个导航条。例如，如图4所示，临床医生可以操纵导航条330以在各阶段之间切换。还可以向临床医生提供返回到任何用户界面202窗口中的先前步骤或窗口的选项。
[0089]如上文所指出的那样，本公开使用CT图像用于路径规划。CT图像通常还由临床医生在医疗过程中使用，以用于导航目的。CT图像优于其他成像形式，因为它们具有自己的坐标系。匹配两个坐标系，例如CT图像的坐标系和病人的坐标系，通常称为配准。配准一般通过识别CT图像和身体上或内的位置并且测量它们的在两种系统中的坐标来执行。
[0090]在例如转让给Covidien LP的美国专利N0.7233820中详细描述了 CT数据和病人数据的手动和半自动化配准的方法，该专利通过引用合并于此。由于手动配准在某种程度上费时，并且需要多个步骤，因此许多实践者依赖于下面所描述的自动配准技术。然而，在某些情况下，特别是在CT图像数据质量不够高的情况下，仍可能需要或者期望进行手动配准。
[0091]对于大多数过程，自动配准已经成为常态，因为尽管上文引用的配准技术的手动基准点指定是高度有效的，但是采样点数的选择必然代表精确度和效率之间的折衷。类似地，尽管半自动技术是可行的选项，但是它需要在导管组合件远端的图像传感器，这会增大系统的复杂性。
[0092]在公共受让的美国专利申请N0.12/780678中详细描述了自动配准技术，该专利申请通过引用合并于此。分支结构的数字图像和代表传感器在分支结构内的位置的实时指示器之间的自动配准是通过使用传感器来“画”该结构内部的数字图像来实现的。一旦收集了足够的位置数据，就实现了配准。在导航通过分支结构一定会导致收集额外的位置数据并且作为结果，配准被不断细化的意义上，配准是“自动”的。
[0093]虽然为了示范和说明而参考各个附图详细描述了各实施例，但是可以理解，本发明的过程和设备不应解释为被其限制。对本领域技术人员而言显而易见的是，在不偏离本公开的范围的情况下，可以对前述的各实施例作出各种修改。
【权利要求】
1.一种用于规划通过病人的解剖内腔网络的路径的系统，所述系统包括: 储存计算机程序的存储器，所述计算机程序配置为分析和操纵CT图像； 配置为运行所述计算机程序的处理器；以及 配置为显示所述计算机程序的用户界面的显示设备，所述用户界面包括: CT图像窗口，配置为显示CT图像数据的切片； 定位器窗口，配置为显示至少一个肺的图像，所述定位器窗口包括配置为标识所显示的切片相对于所述至少一个肺的位置的定位器；以及 目标选择元件，配置为响应于用户输入从所显示的CT图像数据的切片选择目标。
2.根据权利要求1所述的系统，其中，所述CT图像窗口配置为响应于用户输入，显示所述CT图像数据的至少一个其他切片，所述定位器配置为相对于所述至少一个肺的所述图像移动，以标识所显示的至少一个其他切片相对于所述至少一个肺的位置。
3.根据权利要求2所述的系统，其中，所述CT图像窗口配置为响应于用户输入顺序地显示所述CT图像数据的切片。
4.根据权利要求1所述的系统，其中，所述CT图像窗口配置为显示来自轴方向、冠方向和矢方向之一的所述CT图像数据的切片。
5.根据权利要求1所述的系统，其中，所述定位器窗口配置为显示来自轴方向、冠方向和矢方向之一的所述至少一个肺的图像。
6.根据权利要求1所述的系统，其中，所述至少一个肺的图像是类似于荧光镜检查的图像。
7.根据权利要求1所述的系统，其中，所述用户界面还配置为显示编辑目标窗口，所述编辑目标窗口包括来自轴方向、冠方向和矢方向之一的CT切片,每个CT切片配置为显不定位于所述目标上方且能响应于用户输入而调整大小的目标大小调整元件。
8.一种用于规划通过病人的解剖内腔网络的路径的方法，所述方法包括下列步骤: 在CT图像窗口中显示CT图像数据的第一切片； 在定位器窗口中显示至少一个肺的图像； 将至少一个肺的图像上的所述定位器窗口的位置元件设置在与所述第一切片相对于所述至少一个肺的位置对应的第一位置处； 接收用户输入； 响应于用户输入，在所述CT图像窗口中显示CT图像数据的第二切片；以及将所述至少一个肺的图像上的所述定位器窗口的位置元件设置在与所述第二切片相对于所述至少一个肺的位置对应的第二位置处。
9.根据权利要求8所述的方法，其中，所述CT图像窗口响应于用户输入顺序地显示所述CT图像数据的切片。
10.根据权利要求8所述的方法，还包括以下步骤: 接收标识所述第一切片或所述第二切片中的至少一个上的目标的用户输入；以及 响应于用户输入，将所述目标设置为用于路径规划的目标。
11.根据权利要求10所述的方法，其中，设置所述目标包括将目标选择元件定位在所述目标上方。
12.根据权利要求10所述的方法，其中，所述方法还包括下列步骤:显示来自轴方向、冠方向和矢方向中的每个方向的CT图像数据的切片，每个切片包括在其上的所述目标和设置于所述目标上方的大小可调的目标大小调整元件。
13.根据权利要求12所述的方法，其中，所述方法还包括下列步骤: 响应于用户输入，在所显不的轴方向、冠方向和矢方向切片中的一个或多个中调整所述目标大小调整元件的尺寸。
14.根据权利要求13所述的方法，其中，所述用户输入选自以下各项构成的组:在所显示的轴方向、冠方向和矢方向切片中的至少一个中操纵所述目标大小调整元件的一部分，以及输入尺寸变量。
15.一种非暂时性计算机可读储存介质，其编码有程序，所述程序在由处理器运行时使用户界面执行下列步骤: 在CT图像窗口中显示CT图像数据的第一切片； 在定位器窗口中显示至少一个肺的图像； 将至少一个肺的图像上的所述定位器窗口的位置元件设置在与所述第一切片相对于所述至少一个肺的位置对应的第一位置处； 接收用户输入； 响应于用户输入，在所述CT图像窗口中显示CT图像数据的第二切片；以及 将所述至少一个肺的图像上的所述定位器窗口的位置元件设置在与所述第二切片相对于所述至少一个肺的位置对应的第二位置处。
16.根据权利要求15所述的非暂时性计算机可读储存介质，其中，所述CT图像窗口响应于用户输入顺序地显示所述CT图像数据的切片。
17.根据权利要求15所述的非暂时性计算机可读储存介质，还执行以下步骤: 接收标识所述第一切片或所述第二切片中的至少一个上的目标的用户输入；以及 响应于用户输入，将所述目标设置为用于路径规划的目标。
18.根据权利要求17所述的非暂时性计算机可读储存介质，其中，设置所述目标包括将目标选择元件定位在所述目标上方。
19.根据权利要求17所述的非暂时性计算机可读储存介质，还执行下列步骤: 显示来自轴方向、冠方向和矢方向中的每个方向的CT图像数据的切片，每个切片包括在其上的所述目标和设置于所述目标上方的大小可调的目标大小调整元件。
20.根据权利要求19所述的非暂时性计算机可读储存介质，还执行下列步骤: 响应于用户输入，在所显不的轴方向、冠方向和矢方向切片中的一个或多个中调整所述目标大小调整元件的尺寸。
【文档编号】G06F19/00GK104050347SQ201410093834
【公开日】2014年9月17日 申请日期:2014年3月14日 优先权日:2013年3月15日
【发明者】M·W·贝克 申请人:柯惠有限合伙公司