用于基于模型的支架设计和放置的系统和方法与流程

用于基于模型的支架设计和放置的系统和方法
1.相关申请的交叉引用
2.本技术要求于2019年7月11日提交的、题为“用于基于模型的支架设计和放置的系统和方法”的美国临时专利申请62/872,754号的权益。本技术的主题通过引用整体结合于此。
3.有关联邦自助的研究或发展
4.本发明是在美国国家卫生研究院授予的hl119810的政府支持下完成的。政府对这项发明有一定的权利。
技术领域
5.本发明总体上涉及手术规划，并且更具体地，涉及用于基于模型的支架设计和放置设备、系统和方法。


背景技术：

6.气道支架或气管支气管假体是被插入到气道中以治疗气道的病症(诸如气管塌陷)的中空管。他们通常以支气管镜检查的方式放置。可商购的气道支架形状和大小有限，且通常较差地装配在具有复杂气道的患者体内。较差地装配的气道支架可能导致多种并发症，包括但不限于支架堵塞、肉芽组织形成、感染、生物膜和迁移。


技术实现要素：

7.根据本发明的一方面，一种系统包括处理器和存储用于设计用于放置在患者气道内的支架的计算机可执行指令的非暂时性存储器。计算机可执行指令可由处理器执行，以提供图像分割器、图形用户界面和模型生成器。图像分割器分割感兴趣区域的至少一个图像，以提供表示气道的至少一部分的三维气道模型。图形用户界面提示用户选择气道模型内的多个位置以及多个位置相对应的多个直径。模型生成器根据所选择的位置和直径构建支架模型。
8.根据本发明的另一方面，提供了一种方法。接收并分割包括患者气道的至少一部分的感兴趣区域的图像，以提供气道的三维模型。通过图形用户界面提示用户选择气道的三维模型内的多个位置，以及多个位置中的每一个的相关联的直径。根据所选择的位置和直径生成初始支架模型，并提示用户通过图形用户界面编辑初始支架模型以提供最终支架模型。
9.根据本发明的又一方面，提供了一种方法。从计算机断层(computed tomography，ct)扫描仪接收包括患者的气道的至少一部分的感兴趣区域的ct图像。ct图像被分割以提供气道的三维模型。通过图形用户界面提示用户选择气道三维模型内的多个位置。提示用户通过图形用户界面为多个位置中的每一个选择相关联的直径。根据所选择的位置和直径生成支架模型，并将支架模型提供给本地制造系统和远程制造系统中的一个，以产生支架模型的物理实例。
附图说明
10.通过阅读参考附图进行的以下描述，本公开的前述和其他特征对于本公开所涉及的领域的技术人员将变得显而易见，在附图中：
11.图1示出了根据本发明的一方面的用于生成患者特定的支架模型的系统；
12.图2示出了便于设计用于放置在患者气道内的患者特定的支架的系统的示例；
13.图3示出了用于生成用于患者特定的气道支架的模型的方法；
14.图4示出了用于生成用于气道支架的患者特定的模型的方法；以及
15.图5是示出能够实施图1至图4中公开的系统和方法的示例的硬件部件的示例性系统的示意性框图。
具体实施方式
16.在本公开的上下文中，如本文所用的术语“包括(comprises和/或comprising)”可以指定所陈述的特征、步骤、操作、元件和/或部件的存在，但是不排除一个或多个其他特征、步骤、操作、元件、部件和/或群组的存在或添加。
17.如本文所用，术语“和/或”可以包括相关联的列出项目中的一个或多个中的任何一个和其所有组合。
18.附加地，尽管术语“第一”、“第二”等可以在本文中用于描述各种元件，但是这些元件不应该被这些术语所限制。这些术语仅用于区分一个元件和另一元件。因此，在不脱离本公开的教导的情况下，下面讨论的“第一”元件也可以被称为“第二”元件。操作(或动作/步骤)的顺序不限于权利要求或附图中给出的顺序，除非特别指出。
19.如本文所用，术语“模型”可以指在计算机上创建的对象的表示。在某些情况下，模型可以是对象的三维表示。
20.术语“坐标系”可以指由坐标表示给定维度的空间中的点的系统。
21.如本文所用，术语“受试者”和“患者”可以互换地指任何温血生物，包括但不限于人、猪、大鼠、小鼠、狗、猫、山羊、绵羊、马、猴子、猿、兔、牛等。
22.本公开使用基于模型的设计和患者特异性气道支架的放置来解决现有气道支架的问题。患者特定的支架可以最大程度减少并发症，提高生活质量，并且减少重复程序。本文教导的系统和方法可以用于对支架进行建模，并基于患者解剖结构和医生或技术人员的判断来确定支架在患者气道内的适当放置。
23.图1示出了根据本发明的一方面的用于生成患者特定的支架模型的系统100。系统100包括处理器102和存储用于设计用于放置在患者气道内的支架的计算机可执行指令的非暂时性存储器110。为此，可执行指令包括图像分割器112，该图像分割器分割感兴趣区域的至少一个图像，以提供表示气道的至少一部分的三维气道模型。实际上，提供给图像分割器112的一个或多个图像可以通过三维医学成像模态(诸如计算机断层(ct)或磁共振成像(mri))生成，或者作为根据其可以构建患者气道的三维模型的一系列二维图像生成。
24.图像分割器112可以利用任何合适的方法来自动分割一个或多个图像。在一个示例中，可以利用在人类专家分割的示例图像上训练的机器学习模型来提供三维气道模型。合适的机器学习系统的示例包括卷积神经网络、递归神经网络和广义对抗网络。在其他实施方式中，可以使用其他方法来生成气道的三维模型，诸如能量最小化方法、聚类方法和边
缘检测算法。
25.图形用户界面(graphic user interface，gui)114允许用户选择气道模型内的多个位置以及多个位置相对应的多个直径。可以提供控件作为图形用户界面114的一部分，以允许用户旋转或放大或缩小模型。该模型可以在三维模型中包括气道的计算中心线，以供用户参考。在支架设计的第一阶段，多个位置中的每一个可以表示支架上的重要点，诸如支架的端部或支架的多个分支相遇的点。在一个实施方式中，提示用户选择四个初始位置和相对应的直径(表示支架的近端、支架的主远端、支架的次远端以及由支架的主远端和次远端表示的第一和第二分支的联接位置)。然而，应当理解的是，初始选择可以包括更多或更少的初始位置。
26.一旦选择了初始位置，模型生成器116根据所选择的位置和直径构建支架模型。在一个示例中，模型生成器116将每个所选择的位置和直径表示为圆柱体的基部，并使用圆柱形网格连接这些位置以提供初始支架模型。在一个实施方式中，选择支架的中心线来跟踪患者的气道的模型的中心线，尽管可以理解的是，可以应用一定程度的平滑化来避免支架的中心线的快速偏离。例如，可以通过两个位置之间的多项式或样条插值来确定所选择的位置之间的点处的圆柱网格的直径。
27.在一个示例中，用户可以在初始支架设计内选择附加位置。可以选择每个位置来改变给定点处的支架的直径，向支架添加附加分支，以及改变初始支架设计内的所选择的位置处分支的角度。可以对分支进行颜色编码，以确保用户知道在任何给定时间选择哪个分支进行编辑。或者通过直接输入值编辑(在这种情况下，内支架直径保持固定并且外径被调节)、或者通过改变在给定点处的内支架直径和外支架直径中的任一个或两个，支架厚度、内径和外径也可以在所选择的点处查看并通过这个界面编辑。支架模型的厚度也可以全局地进行调节。一旦用户对支架模型满意，就可以将其保存以便显示给用户，或者传输到本地或远程制造系统以制造支架。
28.图2示出了便于设计用于放置在患者气道内的患者特定的支架的系统200的示例。系统200包括计算设备210，该计算设备包括处理器212、输入设备214、输出设备216、网络接口218和非暂时性介质220。在所示出的示例系统200中，计算设备210利用非暂时性存储器220来存储计算机可执行指令，并且利用处理器212执行计算机可执行指令来促进操作的执行和/或实施系统的部件中的一个或多个的功能，并且具体地设计用于放置在患者气道内的支架。输入设备214可以包括例如触摸屏、鼠标、轨迹球、键盘、麦克风和手势识别接口中的一个或多个。输出设备216可以包括例如显示器、扬声器和打印机中的一个或多个。
29.计算设备210可以是通用计算机、专用计算机和/或其他可编程数据处理设备。因此，非暂时性存储器220可以为不是暂时性信号任何非暂时性介质，并且可以包含或存储由系统、装置或设备使用或结合系统、装置或设备的指令或执行使用的程序。例如，非暂时性存储器220可以是电子、磁、光、电磁、红外、半导体系统、装置或设备、便携式计算机磁盘、随机存取存储器、只读存储器；可擦除可编程只读存储器(或闪存)或便携式光盘只读存储器。
30.非暂时性存储器220可以存储可由处理器212执行的支架设计工具的部件，包括成像器接口222、图像分割器224、图形用户界面(gui)226和模型生成器228。成像器接口222从相关联的成像系统230接收感兴趣区域的图像。在一个实施方式中，成像系统230是计算机断层(ct)成像系统，该计算机断层成像系统向成像器接口提供一个或多个ct图像，尽管应
当理解的是，成像系统230可以包括能够提供患者的气道的三维模型的任何成像系统。在一个示例中，成像器接口222还接收获取每个图像的日期，将该日期与阈值日期进行比较，并且通知用户获取给定图像的日期是否在阈值日期之前。
31.图像分割器224分割感兴趣区域的至少一个图像，以提供表示气道的至少一部分的三维气道模型。图像分割器224可以使用任何适当的手段来确定所接收的图像内的气道的边界。在一个实施方式中，图像分割器224包括卷积神经网络，该卷积神经网络在人类专家分割的ct图像上训练、根据所接收的ct图像产生分割的气道模型。
32.图形用户界面(gui)226允许用户(诸如医生或技术人员)，确定支架在气道内的位置和大小。特别地，图形用户界面226允许用户选择三维气道模型内的一组位置和相关联的直径，以提供初始支架模型的一组锚点。在所示的实施方式中，图形用户界面226提示用户选择气道模型内的两个位置，包括标识支架的近端的第一位置和表示支架的远端的第二位置。在另一实施方式中，图形用户界面226提示用户选择气道模型内的四个位置，包括表示支架的近端的第一位置、表示支架的主远端的第二位置、表示支架的次远端的第三位置以及支架的分支预计相遇的第四位置。用户还可以为每个所选择的位置选择相关联的直径。
33.模型生成器228根据所选择的位置和直径构建初始支架模型。在一个示例中，可以从支架的第一端到第二端生成圆柱形网格，其中支架的直径是所选择的第一和第二直径的加权线性组合，其中每个点的权重根据从这个点到支架的第一和第二端的距离确定。例如，模型生成器228可以将第一位置和第二位置之间的给定点处的直径d
p
确定为其中d1是第一直径，d2是第二直径，l
1,2
是第一位置和第二位置之间的距离，以及l
1,2
是给定点和第一位置之间的距离。在另一示例中，对于分支支架，在每个端部位置，可以生成具有所选择的直径的圆柱形网格，其中圆柱形网格在第四位置相遇。在一个实施方式中，圆柱形网格沿着气道的中心线，尽管其他算法(诸如样条方法)可以应用于在三维气道模型上选择的一组点，以基于所选择的位置和直径在每个点处生成圆柱形网格的中心线和直径。
34.然后通过图形用户界面226向用户显示初始支架模型，以便进行进一步编辑。用户可以向支架模型添加附加位置和直径，以改变支架的给定端内的直径或角度，改变支架的壁厚，或者以其他方式改变支架的配置。在一个实施方式中，用户可以在气道中放置表示气道内的可能导致气道内狭窄的状况的标记。根据这些标记，可以基于每个区域处的具体诊断来改变支架的厚度。例如，生长在气道中的肿瘤将需要更大的径向力来保持其张开，这是导致气道组织中的炎症的病症。每个诊断可以具有表示应该响应于给定的诊断标记而改变的支架的长度的默认的支架壁厚和宽度，由模型生成器228使用该诊断标记来生成初始模型，并且用户可以通过图形用户界面226改变初始模型中的厚度。一旦用户完成编辑支架模型，用户就可以通过图形用户界面226批准该模型。经批准的模型可以通过网络接口218提供给制造商，或者提供给快速原型系统236(诸如3d打印机)，以获得用于在患者的气道中使用的支架。
35.本公开的另一方面可以包括用于为患者的气道生成支架的方法，如图3和图4所示。图3和图4的方法被示为具有流程图示的过程流程图。为了简单起见，这些方法被示出和描述为串行执行；然而，应当理解和意识到，本公开中的方法不受所示的顺序限制，因为一
些步骤可以以不同的顺序发生和/或与本文所示和所述的其他步骤同时发生。而且，并非所有示出的方面是实现这些方法需要的。
36.流程图图示的一个或多个框以及框流程图图示中的框的组合可以通过计算机程序指令来实施。这些计算机程序指令可以存储在存储器中，并提供给通用计算机、专用计算机和/或其他可编程数据处理设备的处理器，以产生机器，使得通过计算机和/或其他可编程数据处理设备的处理器执行的指令创建用于实施流程图块和/或相关联的描述中指定的步骤/动作的机制。换句话说，这些步骤/动作可以由包括能够访问存储在非暂时性存储器中的计算机可执行指令的处理器的系统来实施。
37.这些方法可以在硬件和/或以软件(包括固件、常驻软件、微代码等)中实施。另外，本公开的各方面可以采取计算机可用或计算机可读存储介质上的计算机程序产品的形式，该计算机可用或计算机可读存储介质具有实现在介质中以供指令执行系统使用或与指令执行系统结合使用的计算机可用或计算机可读程序代码。计算机可用或计算机可读介质可以是能够包含或存储由系统、装置或设备使用或结合系统、装置或设备的指令或执行使用的程序的任何非暂时性介质。作为示例，用于执行这些方法的可执行代码可以存储在计算设备的非暂时性存储器中，并且由计算设备和/或另一计算设备的处理器执行。
38.图3示出了用于生成用于患者特定的气道支架的模型的方法300。在302，接收包括患者的气道的至少一部分的感兴趣区域的图像。在一个示例中，图像是患者的颈部和上胸部的计算机断层图像，但是可以使用用于生成气道的三维模型的任何合适的医学成像技术。在304，图像被分割以提供气道的三维模型。在306，通过图形用户界面提示用户选择气道三维模型内的多个位置。在一个示例中，多个位置各自表示支架模型的端部和支架模型的分支相遇的连接点中的一个。
39.在308，提示用户通过图形用户界面为多个位置中的每一个选择相关联的直径。在310，模型生成器根据所选择的位置和直径构建初始支架模型。例如，可以生成圆柱形网格，以使用所选择的位置处的直径来连接所选择的位置，从而为连接每对连接位置的圆柱体确定合适的直径。在312，提示用户通过图形用户界面编辑初始支架模型，以提供最终支架模型。例如，可以提示用户向初始支架模型添加附加位置和直径、模型的至少一部分的角度或者调节模型的全部或一部分的厚度。然后，在314，模型可以被改变并呈现给用户。在一个示例中，重复这个过程，直到用户批准最终支架模型作为系统的输出。最终支架模型可以被提供给本地制造系统和远程制造系统中的一个，以产生最终支架模型的物理实例。
40.现在参考图4，示出了用于生成用于气道支架的患者特异性模型的方法400。在402，接收包括患者的气道的至少一部分的感兴趣区域的计算机断层(ct)图像。在404，图像被分割以提供患者的气道的三维模型。在406，图形用户界面(gui)允许用户选择气道模型内的表示例如支架的两个或多个端部以及支架分支相遇的连接点(在存在的情况下)的多个位置。在408，允许用户通过gui选择每个位置的相关联的直径。在410，根据所选择的位置和直径生成初始支架模型，其中支架的每个分支具有从为其端部位置选择的直径导出的直径。
41.在412，允许用户向支架添加附加位置和直径。支架材料的厚度也可以在这个阶段改变。在414，根据来自用户的输入调节支架模型。例如，可以调节支架的角度以及所添加的位置周围区域中支架的直径。在416，确定用户是否批准支架。如果支架不被批准(n)，该方
法返回到412，以允许用户对支架设计进行附加改变。如果支架被批准(y)，则在418，支架设计被发送到本地或远程制造系统用于制造以便制造为支架设计的物理实例。然后可以将这种物理支架放置在患者的气道中，以治疗气道的病症。
42.图5是示出能够实施本文中公开的系统和方法的示例的硬件部件的示例性系统500的示意性框图。系统500可以包括各种系统和子系统。系统500可以是个人计算机、膝上型计算机、工作站、计算机系统、器具、专用集成电路(application-specific integrated circuit，asic)、服务器、服务器bladecenter、服务器群等。
43.系统500可以包括系统总线502、处理单元504、系统存储器506、存储器设备508和510、通信接口512(例如网络接口)、通信链路514、显示器516(例如视频屏幕)和输入设备518(例如键盘、触摸屏和/或鼠标)。系统总线502可以与处理单元504和系统存储器506通信。诸如硬盘驱动器、服务器、独立数据库或其他非易失性存储器的附加存储设备508和510也可以与系统总线502通信。系统总线502互连处理单元504、存储器设备506-510、通信接口512、显示器516和输入设备518。在一些示例中，系统总线502还互连附加端口(未示出)，诸如通用串行总线(universal serial bus，usb)端口。
44.处理单元504可以是计算设备，并且可以包括专用集成电路(asic)。处理单元504执行一组指令来实施本文公开的示例的操作。处理单元可以包括处理核心。
45.附加存储器设备506、508和510可以存储数据、程序、指令、文本或编译形式的数据库查询以及操作计算机可能需要的任何其他信息。存储器506、508和510可以被实施为计算机可读介质(集成的或可移动的)，诸如存储卡、磁盘驱动器(cd)、光盘或可通过网络访问的服务器。在某些示例中，存储器506、508和510可以包括其部分可以以人类可理解的格式可用的文本、图像、视频和/或音频。附加地或替代性地，系统500可以通过通信接口512访问外部数据源或查询源，该通信接口可以与系统总线502和通信链路514通信。
46.在操作中，系统500可以用于实施根据本发明的用于生成用于气道支架的患者特定的模型的系统的一个或多个部分。根据某些示例，用于实施该系统的计算机可执行逻辑驻留在系统存储器506以及存储器设备508和510中的一个或多个上。处理单元504执行源自系统存储器506以及存储设备508和510的一个或多个计算机可执行指令。如本文所用的术语“计算机可读介质”是指参与向处理单元504提供指令以供执行的介质。这个介质可以分布在多个分立的组件上，所有这些组件可操作地连接到公共处理器或一组相关处理器。在以上描述中给出了具体细节，以提供对实施例的透彻理解。然而，应当理解的是，实施例可以在没有这些具体细节的情况下实践。例如，为了不在不必要的细节上模糊实施例，可以在框图中示出物理部件。在其他情况下，公知的电路、过程、算法、结构和技术可以在没有不必要的细节的情况下示出，以避免模糊实施例。
47.上述技术、块、步骤和手段的实施方式可以以各种方式完成。例如，这些技术、块、步骤和装置可以以硬件、软件或其组合的方式来实施。对于硬件实现方式，处理单元可以在一个或多个专用集成电路(asic)、数字信号处理器(digital signal processor，dsp)、数字信号处理设备(digital signal processing device，dspd)、可编程逻辑器件(programmable logic device，pld)、现场可编程门阵列(field programmable gate array，fpga)、处理器、控制器、微控制器、微处理器、被设计成执行上述功能的其他电子单元和/或其组合内实施。
48.而且，注意，实施例可以被描述为被描绘为程序框图、流程图、数据流图、结构图或框图的过程。尽管程序框图可以将操作描述为顺序过程，但是许多操作可以并行或并发地执行。此外，操作的顺序可以重新布置。当过程的操作完成时，该过程被终止，但是可能具有图中没有包括的附加步骤。过程可以对应方法、函数、程序、子例程、子程序等。当过程对应于函数时，它的终止对应于该函数返回到调用函数或主函数。
49.另外，实施例可以通过硬件、软件、脚本语言、固件、中间件、微码、硬件描述语言和/或其任意组合来实施。当以软件、固件、中间件、脚本语言和/或微代码实施，执行必要任务的程序代码或代码段可以存储在诸如存储介质的机器可读介质中。代码段或机器可执行指令可以表示程序(procedure)、函数、子程序、程序(program)、例程、子例程、模块、软件包、脚本、类或指令、数据结构和/或程序语句的任意组合。通过传递和/或接收信息、数据、自变量、参数和/或存储器内容，代码段可以耦合到另一代码段或硬件电路。信息、自变量、参数、数据等可以通过任何合适的方式传递、转发或传输，包括存储器共享、消息传递、票证传递、网络传输等。
50.对于固件和/或软件实现方式，方法可以利用执行本文描述的功能的模块(例如，程序、功能等)来实施。实现指令的任何有形机器可读介质都可以用于实施本文描述的方法。例如，软件代码可以存储在存储器中。存储器可以在处理器内部或处理器外部实施。如本文所用，术语“存储器”指的是任何类型的长期、短期、易失性、非易失性或其他存储介质，并且不限于任何特定类型的存储器或数量的存储器、或者存储存储器的介质的类型。
51.而且，如本文所公开的那样，术语“存储介质”可以表示用于存储数据的一个或多个存储器，包括只读存储器(read only memory，rom)、随机存取存储器(random access memory，ram)、磁ram、核心存储器、磁盘存储介质、光存储介质、闪存设备和/或用于存储信息的其他机器可读介质。术语“机器可读介质”包括但不限于便携式或固定存储设备、光存储设备、无线信道和/或能够存储包含或携带(多个)指令和/或数据的各种其他存储介质。
52.上面描述的内容是示例。当然，不可能描述部件或方法的每一个可想到的组合，但是本领域的普通技术人员可以认识到许多进一步的组合和置换是可能的。因此，本公开旨在包括落入包括所附权利要求在内的本技术范围内的所有这样的变更、修改和变化。如本文所用，术语“包括(includes)”意味着包括但不限于，术语“包括(including)”意味着包括但不限于。术语“基于”是指至少部分地基于。附加地，在本公开或权利要求叙述“一”、“一个”、“第一”或“另一”元件或其等同物的情况下，它应该被解释为包括一个或多于一个这样的元件，既不要求也不排除两个或更多这样的元件。