用于超声成像的解剖学对准的多平面重建视图的系统和方法与流程

用于超声成像的解剖学对准的多平面重建视图的系统和方法


背景技术：

1.本文所公开的主题的实施方案涉及医学成像，并且更具体地涉及超声成像设备向执业医师的显示。
2.超声成像系统通常包括施用到患者身体的超声探头和可操作地联接到该探头的工作站或设备。探头可由系统的操作者控制，并且被配置为传输和接收由工作站或设备处理成超声图像的超声信号/图像数据。工作站或设备可通过显示设备示出或显示超声图像。对于超声图像的显示，超声成像系统利用由探头获得的图像数据/数据集来生成由探头成像的结构的多个图像。
3.在这些类型图像的一个示例中，图像数据/数据集是可被渲染成3d体积的三维(3d)图像数据集，该3d体积用于生成被呈现给超声成像系统的用户的成像结构的多个平面的图像。用于产生这些平面图像的过程涉及多平面重建(mpr)，并且通过提供与3d体积相关联的多个平面来允许3d图像数据集的有效显示，该多个平面通常是三(3)个正交2d平面。如图1所示，3d体积1000在不同的位置以不同的取向被切片，以在mpr显示器1004中形成与3d体积1000一起呈现的2d平面视图或图像1002。
4.然而，当使用mpr时，无论是在3d静态图像中还是在4d超声心动图图像上，为了导航并观察感兴趣的成像结构的期望区域，使得3d体积和平面图像以运动的方式呈现在显示器上，通常难以理解2d平面切片相对于3d体积和/或患者的实际解剖结构的位置和取向。
5.因此，期望开发一种用于改进mpr显示器中提供的3d和2d图像的可视化和在其中导航的成像系统和方法。


技术实现要素：

6.在本公开中，由利用mpr的超声成像系统提供的3d和2d图像与图像中表示的解剖结构的对准的3d模型一起呈现。该系统和方法提供与3d超声心动图数据集的一个或多个2d mpr视图相邻的3d解剖模型的自动且可选的实时(即，以运动的方式或以电影视图的方式)对准和同向显示。3d模型与所显示的3d和2d图像中的每一个对准地呈现，以向用户提供3d体积和2d平面视图中的每一个相对于3d模型和相对于彼此的取向的指示。在3d模型中表示每个2d平面视图以清楚地识别2d平面视图相对于被成像的解剖结构的取向。在查看每个2d平面视图和相关联的3d模型时，用户然后可以立即并且直观地理解/确定当前显示的数据的取向，该当前显示的数据可以是实时的或者是从相关联的电子存储位置调用的。此外，3d模型通过提供与所显示的视图相关的已知解剖参考，来在使用3d体积和/或2d平面视图的3d数据集的导航方面辅助用户。
7.该系统和方法采用经由3d图像数据集提供的解剖信息，来创建在3d超声心动图数据中辅助导航用户的详细解剖3d模型。显示包括与mpr视图对准地呈现的3d模型，其中2d mpr视图的平面在3d模型内表示。3d模型可在其中另外包括关于感兴趣的解剖特征的其他标签或信息，以便使用户能够容易地可视化2d平面视图相对于在3d模型中识别出的解剖特征的布置。3d模型也可包括与图像的其他方面相关的信息，诸如探头的表示，以便辅助用户
定向探头以获得感兴趣的结构的改进或最佳图像。
8.在与mpr视图交互时，当用户操纵mpr视图时，mpr视图和3d解剖模型将同时改变取向，或者通过3d与2d图像的旋转，或者通过3d模型中的2d平面的表示对应于2d图像移动。另外，当用户与3d模型交互时，对应的3d或2d图像将根据3d模型的取向或2d平面视图的位置和取向的改变而移位，例如平移和/或旋转。这样，该系统和方法使用相关联的3d模型向用户提供关于2d图像的取向的准确信息。
9.根据本公开的一个方面，一种超声成像系统包括：探头，该探头用于获得关于待成像结构的3d图像数据集；处理器，该处理器可操作地连接到探头并被配置为从3d图像数据集生成3d体积和至少一个2d图像；和显示器，该显示器可操作地连接到处理器以在显示器上呈现3d体积和至少一个2d图像，其中处理器被配置为使3d解剖模型与3d体积配准，并且显示与至少一个2d图像对准的3d解剖模型。
10.根据本公开的另一方面，一种用于显示与使用超声成像系统提供的超声图像对准的三维(3d)解剖模型的方法，该方法包括以下步骤：用超声成像系统获得3d图像数据集；从3d图像数据集生成3d体积和至少一个二维(2d)图像；使3d解剖模型与3d体积配准；以及显示与至少一个2d图像对准的3d解剖模型。
11.应当理解，提供上面的简要描述来以简化的形式介绍在具体实施方式中进一步描述的精选概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
12.通过参考附图阅读以下对非限制性实施方案的描述将更好地理解本发明，其中以下：
13.图1是用于超声成像系统的多平面重建视图的现有技术显示器的图示。
14.图2是根据一个实施方案的超声成像系统的示意图。
15.图3是根据一个实施方案的具有对准的3d模型的多平面重建视图的示例性显示器的图示。
16.图4是根据一个实施方案的3d模型与多平面重建视图的配准和对准的方法的图示。
17.图5是根据一个实施方案的具有对准的和标记的3d模型的多平面重建视图的示例性显示器的图示。
18.图6是根据另一个实施方案的具有静态3d模型的多平面重建视图的示例性显示器的图示。
具体实施方式
19.当结合附图阅读时，将更好地理解前述发明内容以及以下对本发明的某些实施方案的详细描述。如本文所用，以单数形式叙述且以词语“一”或“一个”开头的元件或步骤应被理解为不排除多个所述元件或步骤，除非明确地说明此类排除。此外，对本发明的“一个实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。此外，除
非明确地相反说明，否则“包括”或“具有”具有特定性质的元件或多个元件的实施方案可包括不具有该性质的其他此类元件。
20.以下描述涉及超声成像的各种实施方案。具体地，提供了用于借助三维(3d)模型来可视化超声图像上的交叉信息的系统和方法。可使用诸如图2中描绘的超声成像系统的超声成像系统来获取三维(3d)超声数据集，该超声成像系统类似于在名称为“systems and methods for displaying intersections on ultrasound images”的美国专利申请公布us2018/0344290中公开的超声成像系统，该专利申请公布全文明确地以引用方式并入本文以用于所有目的，并且可用于经由多平面重建(mpr)来创建3d体积和/或一个或多个2d平面切片，以在与被成像解剖结构的3d模型相关联的超声成像系统的显示器上呈现。例如，诸如图3、图4和图6中描绘的图形用户界面的图形用户界面可包括每个mpr 3d/2d图像的3d模型的可视化，其上显示关于图像相对于3d模型的取向的信息，从而使用户能够容易地导航3d体积。用于从3d超声数据集创建3d模型的方法(诸如图5中描绘的方法)可包括：生成3d模型，该3d模型已被更改以适应正被成像患者的特定解剖结构，以提供3d模型的更准确表示。
21.应当理解，虽然本文结合超声成像描述了各种实施方案，但本文所述的方法也可用其他3d成像模态来实现，包括但不限于计算机断层扫描(ct)、磁共振成像(mri)、正电子发射断层扫描(pet)、单光子发射计算机断层扫描(spect)等。
22.图2是根据本发明的一个实施方案的超声成像系统100的示意图。超声成像系统100包括发射波束形成器101和发射器102，该发射波束形成器和发射器驱动探头106内的换能器元件104将脉冲超声信号发射到体内(未示出)。可使用各种几何形状的探头和换能器元件。脉冲超声信号从体内结构诸如血细胞或肌肉组织反向散射，以产生返回到元件104的回波。回波被元件104转换成电信号或超声数据，并且电信号被接收器108接收。表示所接收的回波的电信号穿过输出超声数据的接收波束形成器110。根据一些实施方案，探头106可包含电子电路来执行发射波束形成和/或接收波束形成的全部或一部分。例如，发射波束形成器101、发射器102、接收器108和接收波束形成器110的全部或部分可位于探头106内。在本公开中，术语“扫描”或“扫描中”可也用于指通过传输和接收超声信号的过程来获取数据。本公开中，术语“数据”可用于指用超声系统获取的一个或多个数据集。
23.用户界面115可用于控制超声成像系统100的操作，包括控制患者数据的输入、改变扫描或显示参数等。用户界面115可包括被配置用于在显示设备118上显示的图形用户界面。图形用户界面可包括要输出给用户的信息(诸如超声图像、患者数据等)，并且也可包括菜单或其他元素，用户可通过该菜单或其他元素将输入内容输入到计算系统。在以下结合图2至图4更详细描述的示例中，用户界面可从用户接收指示例如对要成像的平面的位置的调整的输入。用户界面115可包括以下项中的一者或多者：旋转件、鼠标、键盘、轨迹球、也可连接到显示设备118的触敏显示器、链接到特定动作的硬键、可被配置为控制不同功能的软键以及图形用户界面。
24.超声成像系统100也包括处理器116，该处理器用以控制发射波束形成器101、发射器102、接收器108和接收波束形成器110。处理器116与探头106进行电子通信。出于本公开的目的，术语“电子通信”可被定义为包括有线通信和无线通信两者。处理器116可控制探头106以获取数据。处理器116控制元件104中的哪些是活动的以及从探头106发射的波束的形状。处理器116还与显示设备118进行电子通信，并且处理器116可将数据处理成图像以显示
在显示设备118上。根据一个实施方案，处理器116可包括中央处理器(cpu)。根据其他实施方案，处理器116可包括能够执行处理功能的其他电子部件，诸如数字信号处理器、现场可编程门阵列(fpga)或图形板。根据其他实施方案，处理器116可包括能够执行处理功能的多个电子部件。例如，处理器116可包括从电子部件的列表中选择的两个或更多个电子部件，这些电子部件包括：中央处理器、数字信号处理器、现场可编程门阵列和图形板。根据另一个实施方案，处理器116还可包括解调rf数据并且生成原始数据的复合解调器(未示出)。在另一个实施方案中，解调可以在处理链中较早地执行。
25.处理器116适于根据数据上的多个可选超声模态来执行一个或多个处理操作。随着接收到回波信号，可以在扫描会话期间实时处理数据。出于本公开的目的，术语“实时”被定义为包括在没有任何有意延迟的情况下执行的程序。例如，一个实施方案能够以7至20体积/秒的实时速率获取图像。超声成像系统100能够以显著更快的速率获取一个或多个平面的2d数据。然而，应当理解，实时体积速率可取决于获取用于显示的每体积数据所花费的时间长度。因此，当获取相对较大体积的数据时，实时体积速率可能较慢。因此，一些实施方案可具有显著快于20体积/秒的实时体积速率，而其他实施方案可具有慢于7体积/秒的实时体积速率。数据可在扫描会话期间临时存储在缓冲器(未示出)中，并且在实时或离线操作中以不太实时的方式处理。本发明的一些实施方案可包括多个处理器(未示出)，以处理根据上文所述的示例性实施方案的由处理器116处理的处理任务。例如，第一处理器可用于解调和抽取rf信号，而第二处理器可用于在显示图像之前进一步处理数据。应当理解，其他实施方案可使用不同的处理器布置方式。
26.超声成像系统100能够以例如10hz至30hz的体积速率连续获取数据。能够以类似的帧速率刷新从显示器生成的图像。其他实施方案能够以不同速率获取并且显示数据。例如，根据体积的大小和预期的应用，一些实施方案能够以小于10hz或大于30hz的体积速率获取数据。包括存储器120以用于存储已处理的获取数据的体积。在一个示例性实施方案中，存储器120具有足够的容量来存储至少数秒钟的超声数据体积。数据体积的存储方式便于根据其获取顺序或时间进行检索。存储器120可包括任何已知的数据存储介质。
27.任选地，可利用造影剂来实现本发明的实施方案。当使用包括微泡在内的超声造影剂时，造影成像生成体内解剖结构和血流的增强图像。在使用造影剂获取数据之后，图像分析包括分离谐波分量和线性分量、增强谐波分量以及通过利用增强的谐波分量生成超声图像。使用合适的滤波器来执行从所接收信号中分离谐波分量。使用造影剂进行超声成像是本领域技术人员所熟知的，因此将不再详细描述。
28.在本发明的各种实施方案中，处理器116可通过其他或不同的模式相关模块(例如，b模式、彩色多普勒、m模式、彩色m模式、频谱多普勒、弹性成像、tvi、应变、应变速率等)来处理数据，以形成2d或3d数据。例如，一个或多个模块可生成b模式、彩色多普勒、m模式、彩色m模式、频谱多普勒、弹性成像、tvi、应变、应变速率以及它们的组合等。存储图像光束和/或体积，并且可记录指示在存储器中采集数据的时间的定时信息。这些模块可包括例如扫描转换模块以用于执行扫描转换操作，以将图像体积从光束空间坐标转换为显示空间坐标。可提供视频处理器模块，该视频处理器模块从存储器读取图像体积，并且在对患者进行手术时实时显示图像。视频处理器模块可将图像存储在存储器120中，从该存储器读取和显示图像。
29.现在参见图3，当超声成像系统100被操作以对患者的解剖结构200成像时，诸如在超声心动图过程中获得的心脏202，探头106获得3d图像数据集，该3d图像数据集被传输到处理器116以用于图像生成。这样做时，处理器116创建结构200的重建的3d体积/图像或渲染204。此外，使用多平面重建(mpr)的过程，处理器116通过3d体积/图像204生成预定和/或选定切片的一个或多个2d平面视图206。2d平面图像206与3d体积/图像204一起呈现在显示器118上，该显示器在图3的示例性实施方案中示出了与3d体积/图像204相关联的三(3)个2d平面视图206，每个2d平面视图设置在显示器118的分离的窗口或帧218中，并且被识别以指示由所显示的2d平面视图206表示的特定视图，其可以是标准化视图和/或用户选择的视图或它们的组合。
30.随着3d体积/图像204和2d平面图像206的创建，处理器116生成被成像结构的3d解剖模型208，用于与一个或多个2d平面视图206和可选的3d体积/图像204一起显示。在用于生成3d解剖模型208的方法中，在图4的示例性实施方案中最清楚地示出，在框300中，处理器116最初使用已知的图像分割方法使通常表示成像结构200的形式的几何模型210与3d体积/图像204配准，使得几何模型210的结构和取向对应于3d体积/图像204中所示的结构和取向，该已知的图像分割方法为诸如在j.hansegard，f.orderud和s.i.rabben的“real-time active shape models for segmentation of 3d cardiac ultrasound”in computer analysis of images and patterns.berlin，germany：springer，2007年，第4673卷，lncs，第157-164页，和orderud等人的名称为“method and apparatus for automatically identifying image views in a 3d dataset”的美国专利8265363中所公开的那些，该专利全文明确地并入本文以用于所有目的。随后，在框302中，处理器116执行成像结构200的3d解剖模型208与3d体积/图像204之间的配准。在该步骤中，通过将解剖模型208和几何模型210之间的已知几何变换矩阵应用于由分割产生的变换矩阵来计算配准，以便将解剖模型208的结构与3d体积/图像204的结构相关联，使得3d解剖模型208的取向、结构和点是已知的，并且在3d坐标系中对应于3d体积/图像204中存在的那些。一旦3d解剖模型208与3d体积/图像204配准，在框304中，3d模型208就可与3d体积/图像204和每个2d平面视图/图像206相关联地被定向和显示，其中每个3d模型208的取向对应于与单个3d模型208相关联的特定图像204、206的取向。
31.关于3d解剖模型208与3d体积/图像204的配准，在另选的实施方案中，3d解剖模型208也可以是可变形3d解剖模型208。在该实施方案中，可将用于形成3d体积/图像204的3d图像数据集应用于3d解剖模型208和/或几何模型210，以便使3d解剖模型208和/或几何模型210的结构变形或扭曲，以更具体地适形于被成像患者的解剖结构200的实际形式。
32.在3d解剖模型208与3d体积/图像204的配准和可选变形之后，模型208可与3d体积/图像204和2d平面mpr图像206中的一者或多者一起呈现在显示器118上，如图3至图6所示。
33.关于模型208在显示器118上的呈现方式，在图3所示的示例性实施方案中，模型208与3d体积/图像204和2d平面图像206中的每一个相关联地呈现在显示器118上，可选地以适于示出模型208的结构而不减损由图像204、206中的每一个图像提供的信息的比例呈现。然而，在另选的实施方案中，模型208可与图像204、206的任何组合一起显示，诸如仅与在显示器118上呈现的多个2d平面图像206中的每一个2d平面图像一起显示。2d平面图像
206中的每一个2d平面图像通过成像结构200与特定的默认、标准化和/或选择的视图或它们的组合相关联，以便提供关于成像结构200的状况的信息。当3d模型208在3d坐标空间中与图像204、206配准时，每个图像的3d模型208的呈现被定向到由3d体积/图像204观察/显示或包含2d平面视图206的平面212。因此，呈现在显示器118上的每个相应图像204、206的平面212在相关联的3d模型208内由任何合适形状和/或颜色的图标213识别，诸如与每个图像204、206的平面212对准的带阴影方形214。为了将方形214与相关联的图像平面212对准，使3d模型208旋转/定向以将方形214放置在其上呈现图像204、206的显示器118的平面内。这样，在显示器118上向用户呈现各种图像204、206和模型208，示出了特定图像204、206的平面212(由模型208内的方形214表示)以及图像204、206相对于模型208的取向，这显著地有助于理解2d平面图像206在结构200上的位置，以及到成像结构200内的期望感兴趣区域的任何所需导航。
34.在实时获得和显示用于创建图像204、206和模型208的3d图像数据集以提供包括运动的四维(4d)体积204的实施方案中，用户可使用由模型208提供的信息相对于结构200重新定位/导航探头106，以便使所呈现的2d平面图像206中的一个或多个2d平面图像移位，从而获得要在2d平面图像206中的一个或多个2d平面图像内成像的结构200的特征的改进的或最佳的获取或呈现。
35.所示示例性实施方案中的模型208被设置成与相关图像204、206相邻并且部分重叠，但可位于包含相关图像204、206的帧218内的任何期望位置，或者位于显示器118上与图像204、206分离的位置。模型208可以是与相关联的图像204、206相邻显示的模型208的完整3d表示，其中图标213/方形214示出了模型208中相关联的204、206的位置，如前所述，或者其可被显示为沿模型208中的图像204、206的平面212切片或分割的模型208，其中设置在观察者和图标213/方形214之间的模型208的部分被移除，从而允许观察者看到对应于相关联的图像204、206的模型208的内部结构，以更清楚地看到图像204、206中示出的结构。切片模型208可以另外用或不用图标213/方形214来示出。
36.此外，模型208是交互式的，使得用户可通过使模型208或模型208上表示的平面214移位(例如移动、平移和/或旋转)成相关联的2d平面图像206的不同取向，来在模型208内为相关联的2d平面图像206定义期望位置。当使模型208或平面214移位(例如移动、平移和/或旋转)时，在示例性实施方案中，2d平面图像206将相应地被更改以适形于与模型208相关联地示出的平面214的图像，即，模型208或平面214中的一者将移动，但模型208或平面/方形214中的另一者将保持静止，其中2d平面图像206改变以保持与模型208内的方形/平面214的位置对准。相反地，用户可使2d平面图像206移位(例如移动、平移和/或旋转)以使呈现在显示器118上的2d平面图像206移位，并且模型208的取向将根据模型208内的方形/平面214的更改位置变化。另选地，当图像206被用户移位时，模型208可保持静止，并且表示图像206的平面212的方形214的位置可移动以对应于图像206相对于模型208的新取向。
37.在其他示例性实施方案中，用户可通过在模型208上绘制线(未示出)来与模型208交互，该线表示期望在相关联的2d平面图像206中示出或作为该相关联的2d平面图像示出的结构200/模型208的切片。当这些线由用户创建时，模型208将重新定向，即，使其平移和/或旋转以将由该线限定的期望的2d平面图像206的平面212与方形214对准地放置，其中表
示期望的平面212的2d平面图像206与重新定向的模型208相关联地显示。
38.此外，虽然在一些示例性实施方案中，3d体积/图像204或2d平面图像206的平面212的更改(例如，通过使模型208旋转以及/或者在其上进行绘制或移动图像206)可以仅更改相关联的模型208的取向，但在其他实施方案中，3d体积/图像204或一个2d平面图像206或其相关联的模型208的移动或更改将相应被动地使每个剩余图像204、206和相关联的模型208的取向发生变化，以保持与主动移位的图像204、206的对应。
39.在其他示例性实施方案中，该方面还可应用于呈现在显示器118上并与用户界面115相关联地使用的光标220的移动。当用户与位于显示器118的特定窗口/象限/帧218中的图像204、206和/或模式208交互时，该帧218中的光标220以第一颜色(例如白色)呈现，以示出用户通过界面115主动与显示器118交互的位置。其他被动光标222同时显示在显示器118的其他帧218内。当用户相对于相关帧218中的图像204/206或模型208移动主动光标220时，作为图像204、206与模型208之间的配准的结果，被动光标222也以相应的方式在它们各自的图像204、206和/或模型208上移动，以向用户示出由一个帧218中的主动光标220选择的任何特征被设置在其他帧218中的一个或多个被动光标222的位置定位在哪里。
40.另外，如果期望在图像204、206中突出显示结构200的特定解剖特征224(例如，左心耳、二尖瓣中心、右心室等)，则可在模型208中选择该特征224。因为3d解剖模型208与3d体积/图像204和2d平面图像206配准，所以可以诸如通过在图像204、206中提供表示所选特征224的位置和特征224的对准的轮廓228来突出显示对应于模型208的所选特征224的图像204、206的区域226。另选地或与轮廓228结合，可使用颜色编码(未示出)来执行标记，例如，在3d模型208内以红色示出左心室，以蓝色示出右心室等，和/或作为位于相关联的2d平面图像206内的可读文本(未示出)。
41.现在查看图5所示的示例性实施方案，使用由于所执行的配准而得出的2d平面图像206与3d解剖模型208之间的已知特定关系，也可以与解剖模型208一起示出探头106和成像场107的位置，从而向用户示出采集的方向，进一步便于用户导航探头106以获得期望的图像204、206以供查看。此外，当移动探头106以更改所显示的图像204、206时，3d模型208与探头106的移动相关联地旋转，以保持模型208与所显示的图像204、206的对准。
42.现在参见图6的示例性示出的实施方案，代替显示3d模型208以将方形214定向成与当前显示的2d平面mpr图像/视图206对准，如关于先前实施方案所述，用于每个图像/视图204、206的模型208可在默认视图(例如从前面，从侧面等)处定位在每个帧218中的显示器118上，其中表示3d模型208上的相关联的2d平面视图/图像206的平面212的方形214的位置和取向相对于平面212相对于3d模型208的取向而变化。此外，根据2d平面视图/图像206的平面212的特定取向，3d模型208上的平面212的表示可被示出为方形214或空间中的线(未示出)。
43.在另选的实施方案中，当实时获取3d数据集时，使得3d体积204和一个或多个2d平面图像206可以运动的方式呈现，例如在电影视图中，3d模型208到3d体积204的配准可使得3d模型208能够作为4d模型208与3d体积204(4d体积204)和2d平面视图/图像206(3d平面图像)一起以运动的方式呈现。3d模型208的运动可被确定为3d体积204中的不同结构的位置的一个或多个平均值和/或这些结构的运动的平均值。
44.本书面描述使用示例来公开本发明，包括最佳模式，并且还使本领域技术人员能
够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明的专利范围由权利要求书限定，并且可包括本领域技术人员想到的其他示例。如果此类其他示例具有与权利要求书的字面语言没有区别的结构元素，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其他示例旨在落入权利要求书的范围内。