利用深度学习技术增强彩色多普勒信号的系统和方法与流程

利用深度学习技术增强彩色多普勒信号的系统和方法


背景技术：

1.本文公开的主题涉及超声图像处理，更具体地，涉及利用深度学习技 术来增强超声彩色多普勒信号。
2.超声彩色血流成像是在医学诊断中用于评估血流的动态和空间分布的 多普勒技术。彩色多普勒信号包含血流信息，但也包含杂波或运动伪影 (例如，由于血管壁的脉动、心脏运动、肠道蠕动等)。在信号处理期 间，可以将用于减少杂波的滤波器(例如，诸如壁滤波器、奇异值分解滤 波器等的杂波滤波器)应用于彩色多普勒信号以能够获得高质量超声彩色 血流图像。这些滤波器包括阈值(例如，组织/血液阈值)或基于经验值的 切断以去除杂波信号。然而，对于细小血管，如果阈值太低或较小，则组 织信号可能与彩色多普勒信号中的血液信号混合，并且由于彩色多普勒信 号超出所显示的血管(例如，在血管的壁上以及超出血管的壁而不在壁内 显示的彩色多普勒信号)，所生成的图像可能质量差；因此，难以可视化 细小血管。如果阈值太高，则彩色多普勒信号可能会被切断，并且在细小 血管内显示的彩色多普勒信号可能难以可视化。


技术实现要素：

3.下文示出了本文所公开的某些实施方案的概述。应当理解，提供这些 方面仅仅是为了向读者提供这些特定实施方案的简要概述，并且这些方面 并非旨在限制本公开的范围。实际上，本公开可涵盖下文可能未示出的各 个方面。
4.在一个实施方案中，提供了一种计算机实现的方法。该方法包括经由 处理器接收具有不准确的彩色多普勒信号的第一超声彩色多普勒图像。该 方法还包括基于该第一超声彩色多普勒图像，经由处理器利用已经经过训 练的生成对抗网络(gan)系统输出第二超声彩色多普勒图像，其中第二 超声彩色多普勒图像准确地表示彩色多普勒信号。
5.在另一个实施方案中，提供了一种计算机实现的方法。该方法包括经 由处理器训练生成对抗网络，该生成对抗网络包括生成器和鉴别器。训练 包括经由处理器向生成器提供具有不准确的彩色多普勒信号的第一超声彩 色多普勒图像。训练还包括基于该第一超声彩色多普勒图像，经由处理器 在生成器生成第一基于分布的图像。训练进一步包括通过将该第一基于分 布的图像与具有准确的彩色多普勒信号的第二超声彩色多普勒图像进行比 较，经由该处理器在该鉴别器确定该第一基于分布的图像的彩色多普勒信 号是否在该第一基于分布的图像内准确地表示。训练甚至进一步包括通过 将该第一基于分布的图像与具有准确的彩色多普勒信号的第二超声彩色多 普勒图像进行比较，经由该处理器在该鉴别器确定该第一基于分布的图像 的彩色多普勒信号是否在该第一基于分布的图像内准确地表示。
6.在进一步的实施方案中，提供一种生成对抗网络(gan)系统。该生 成对抗网络系统包括生成器子网络，该生成器子网络被配置为接收具有不 准确的彩色多普勒信号的第一超声彩色多普勒图像，其中该生成器子网络 被配置为基于该第一超声彩色多普勒图像生成基于分布的图像。该生成对 抗网络系统还包括鉴别器子网络，该鉴别器子网络被配置
为基于该第一超 声彩色多普勒图像与具有准确的彩色多普勒信号的第二超声彩色多普勒图 像的比较来确定指示该基于分布的图像中的错误的一个或多个损失函数。 该生成器子网络被配置为基于一个或多个损失函数来更新，使得该生成器 子网络生成具有比该基于分布的图像的先前迭代更准确的相应彩色多普勒 信号的后续基于分布的图像。
附图说明
7.当参考附图阅读以下详细描述时，将更好地理解本发明的这些和其它 特征、方面和优点，附图中相同的符号在整个附图中表示相同的部分，其 中：
8.图1是根据本公开的各方面的超声系统的框图的实施方案；
9.图2是来自彩色多普勒信号的杂波滤波的彩色多普勒图像的生成的示 意图的实施方案；
10.图3是根据本公开的各方面的用于图像处理(例如，增强彩色多普勒 信号)的神经网络架构的示意图的实施方案；
11.图4是根据本公开的各方面的用于训练生成对抗网络(gan)的方法 的流程图的实施方案；以及
12.图5是根据本公开的各方面的用于利用训练的生成对抗网络来增强超 声彩色多普勒图像中的彩色多普勒信号的方法的流程图的实施方案。
具体实施方式
13.在下面将描述一个或多个具体的实施方案。为了提供这些实施方案的 简明描述，并非实际具体实施的所有特征都要在说明书中进行描述。应当 理解，在任何此类实际具体实施的开发中，如在任何工程或设计项目中， 必须做出许多特定于具体实施的决策以实现开发者的具体目标，诸如遵守 可能因具体实施而不同的系统相关和业务相关约束。此外，应当理解，此 类开发努力可能是复杂且耗时的，但对于受益于本公开的普通技术人员来 说仍然是设计、制作和制造的常规任务。
14.当介绍本发明的各种实施方案的元件时，冠词“一个”、“一种”、
ꢀ“
该”和“所述”旨在表示存在元件中的一个或多个。术语“包括”、
ꢀ“
包含”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可 存在附加元件。此外，以下讨论中的任何数值示例旨在非限制性的，并且 因此附加的数值、范围和百分比在所公开的实施方案的范围内。
15.提供了一些广义信息，以提供本公开的各方面的一般背景，并且有利 于理解和解释本文所述的某些技术概念。
16.这里讨论的深度学习(dl)方法可以基于人工神经网络，并且因此可 以包括深度神经网络，全连接网络，卷积神经网络(cnn)，感知器，编码 器-解码器，递归网络，小波滤波器组，u-nets，生成对抗网络(gan)或 其他神经网络架构中的一个或多个。神经网络可包括捷径、激活、批归一 化层和/或其它特征。这些技术在本文中被称为深度学习技术，但是可也特 别地参考深度神经网络的使用来使用该术语，深度神经网络是具有多个层 的神经网络。
17.如本文所讨论的，深度学习技术(可也称为深度机器学习、分级学习 或深度结构化学习)是机器学习技术的分支，其采用数据的数学表示以及 用于学习和处理此类表示的
人工神经网络。例如，深度学习方法可表征为 它们使用一个或多个算法来提取一类关注数据的高度抽象概念或对其进行 建模。这可以使用一个或多个处理层来完成，其中每个层通常对应于不同 的级别的抽象概念，并且因此可能采用或利用初始数据的不同的方面或前 一层的输出(即，层的分级结构或级联结构)作为给定层的过程或算法的 目标。在图像处理或重建背景中，这可以被表征作为对应于数据中的不同 的特征级别或分辨率的不同的层。一般来讲，可将一个表示空间到下一级 表示空间的处理视为过程的一个“阶段”。过程的每个阶段可由单独的神 经网络或由一个较大神经网络的不同的部分来执行。
18.本公开提供了利用深度学习技术来增强来自细小血管的彩色多普勒信 号。具体地，训练生成对抗网络(gan)系统或模型以接收具有不准确的 彩色多普勒信号的细小血管区域的超声彩色多普勒图像(即，具有叠加彩 色多普勒信号的灰度图像)，并且输出具有准确的彩色多普勒信号的超声 彩色多普勒图像。经由杂波滤波器(例如，奇异值分解滤波器或壁滤波 器)对接收到的超声彩色多普勒图像的彩色多普勒信号进行滤波。由于杂 波滤波器利用的经验阈值，滤波后的彩色多普勒信号可能不准确。例如， 该彩色多普勒信号可能已经被截止(例如，由于利用太大的阈值)，因 此，使得在细小血管内显示的彩色多普勒信号难以可视化。在另一种情况 下，该彩色多普勒信号可以具有与组织信号混合的血液信号(例如，由于 利用太小的阈值)，导致该彩色多普勒信号超出显示的血管(即，起霜或 渗色)，使得难以可视化细小血管。该经过训练的生成对抗网络系统可以 通过采取不准确的彩色多普勒信号(例如，具有由于混合组织/血液引起的 光晕伪影的弱彩色多普勒信号或彩色多普勒信号)，并且增强该彩色多普 勒信号以生成具有准确的彩色多普勒信号的高质量的彩色多普勒图像 (即，相当于在杂波滤波期间利用适当阈值的彩色多普勒图像)来改进彩 色多普勒图像的图像质量。
19.考虑到前述内容，并且通过提供有用的上下文，图1描绘了可根据本 发明的方法采用的超声系统10的部件的高级视图。所示超声系统10包括换 能器阵列14，该换能器阵列具有适于在成像过程期间与受检者或患者18接 触的换能器元件。换能器阵列14可被配置为能够将超声波发射到受检者或 患者18体内并且从受检者或患者18接收此类能量的双向换能器。在此类具 体实施中，在传输模式下，换能器阵列元件将电能转换成超声波并将其传 输到患者18体内。在接收模式下，换能器阵列元件将从患者18接收到的超 声能量(反向散射波)转换成电信号。
20.每个换能器元件与相应的换能器电路相关联，该换能器电路可被设置 为可存在于探头或探头柄部中的一个或多个专用集成电路(asic)20。也 就是说，阵列14中的每个换能器元件电连接到相应的脉冲发生器22、发射 /接收开关24、前置放大器26、扫描增益34和/或作为asic 20的一部分或 设置在其上的模数(a/d)转换器28。在其他具体实施中，该布置可被简 化或以其他方式更改。例如，电路20中所示的部件可被设置在所描绘的布 置的上游或下游，然而，所描绘的基本功能通常仍将为每个换能器元件提 供。在所描绘的示例中，所提及的电路功能被概念化为在单个asic 20(由 虚线表示)上实现，然而可理解的是，这些功能中的一些或全部可设置在 相同或不同的集成电路上。
21.同样如图1所描绘的，提供了多种其他成像部件以能够利用超声系统 10形成图像。具体地，所描绘的超声系统10的示例还包括波束形成器32、 控制面板36、接收器38和扫描转换器40，他们与该换能器电路配合以产生 可存储和/或显示给操作者的图像或一系列
图像42或如本文所讨论的以其他 方式处理。处理部件44(例如，微处理器)和系统10的存储器46(诸如可 存在的控制面板36)可用于执行所存储的用于处理所采集的超声信号的例 程，以生成有意义的图像和/或运动帧(包括具有叠加在灰度图像上的彩色 多普勒信号的彩色多普勒图像)，该有意义的图像和/或运动帧可显示在超 声系统10的监视器上。处理部件44还可以利用奇异值分解滤波器或壁滤波 器对彩色多普勒信号滤波(例如，杂波滤波器)。处理部件44可以进一步 利用存储在存储器46上的生成对抗网络(gan)系统或模型来从具有不准 确的彩色多普勒信号(例如，图像质量差)的超声彩色多普勒图像生成具 有增强的彩色多普勒信号(例如，图像质量改进)的超声彩色多普勒图 像。
22.在本实施方案中，超声系统10能够采集一个或多个血管(例如，细小 血管)内的一种或多种类型的体积流量信息。也就是说，处理由换能器阵 列14接收的多个反射超声信号以导出描述成像脉管系统内的血液的一个或 多个流动特性的空间表示。例如，在一个实施方案中，超声系统10适于导 出与经历成像的区域内的血流或速度的一个或多个方面有关的频谱或彩色 血流类型多普勒信息(例如，用于平面或体积流量估计的彩色多普勒或彩 色血流多普勒速度信息)。类似地，各种体积流量算法可用于处理或集成 获取的超声数据以生成对应于血管内部的样品空间的体积流量信息。
23.图2是来自彩色多普勒信号的杂波滤波的彩色多普勒图像的生成的示 意图的实施方案。如所描绘的，细小血管区域48(如灰度图像50中所描 绘)可以利用图1中描述的超声系统10进行超声彩色血流成像。滤波器 (例如，杂波滤波器)可以应用于彩色多普勒信号以减少杂波或运动伪影 (例如，由于血管壁的脉动、心脏运动、肠道蠕动等)。滤波器可以是奇 异值分解(svd)滤波器，其基于在投影到奇异值域上时信号的不同分量 的不同特性将血液信号与组织杂波和噪声分开。例如，对彩色多普勒信号 的协方差矩阵52进行阈值化(例如，一个或多个经验阈值)以从彩色多普 勒信号中去除一定数量的奇异向量。如果阈值太小，则利用的彩色多普勒 信号数据54(在协方差矩阵52上标记为1)可以包括与组织信号混合的血 液信号，导致彩色多普勒信号超出所显示的血管(即，起霜或渗色)，使 得难以如在超声彩色多普勒图像56中所示地可视化细小血管。如果阈值太 大，则利用的彩色多普勒信号数据56(在协方差矩阵52上标记为3)可能 切断血液信号，并且在细小血管48内显示的彩色多普勒信号可能难以如在 超声彩色多普勒图像58中所示地可视化。如果利用的彩色多普勒信号数据 60(在协方差矩阵52上标记为2)在低阈值与高阈值之间，则获得的彩色 多普勒信号更准确地反映如超声多普勒图像62中所示的血流信息。
24.替代地，滤波器可以是将血液信号与组织杂波和噪声分开的壁滤波器 (例如，高通滤波器)。在利用壁滤波器时，对彩色多普勒信号进行阈值 化(例如，一个或多个经验阈值)。壁滤波器可以去除彩色多普勒信号的 低频和/或高频部分。区域66中示出了对彩色多普勒信号64应用壁滤波。 类似于svd滤波器，如果阈值太小，则利用的彩色多普勒信号数据68(区 域66上标记为1)可以包括与组织信号混合的血液信号，导致彩色多普勒 信号超出所显示的血管(即，起霜或渗色)，使得难以如超声彩色多普勒 图像56中所示的可视化细小血管。如果阈值太大，则利用的彩色多普勒信 号数据70(区域66上标记为3)可能切断血液信号，并且可能难以如在超 声彩色多普勒图像58中所示的可视化在细小血管48内显示的彩色多普勒 信号。如果利用的彩色多普勒信号数据72(区域66上标记为2)在低阈值 与高阈值之间，获得的彩色多普勒信号更准确地反映如超声多普勒图像62 中所示的血流信息。
不准确的超声彩色多普勒图像56和58虽然具有不准 确的彩色多普勒信号，但是仍然包括有价值的血流信息，其可以利用本文 描述的深度学习技术来解析。
25.图3是用于增强来自细小血管的彩色多普勒信号的生成对抗网络系统 或模型74的神经网络架构的示意图。生成对抗网络74包括生成器或生成器 子网络或模型76(例如，去卷积神经网络)和鉴别器或鉴别器子网络或模 型78(例如，卷积神经网络)。生成器76被训练成产生改进的(由于增强 的彩色多普勒信号的图像质量改进)超声彩色多普勒图像，具有来自具有 不准确的彩色多普勒信号(例如，由于起霜或截止信号)的超声彩色多普 勒信号的准确的彩色多普勒信号。鉴别器78区分实际数据(例如，来自具 有准确的彩色多普勒信号的超声彩色多普勒图像)和生成的数据(由生成 器76生成)。另外，鉴别器78使生成器76能够从学习的数据分布生成更 真实的信息。
26.生成对抗网络74可以接收质量差的彩色多普勒图像80(例如，具有类 似于图2中的图像56、58的不准确的彩色多普勒信号)。对这些质量差的 超声彩色多普勒图像80中的彩色多普勒信号进行杂波滤波(例如，壁滤波 或svd滤波)。这些质量差的超声彩色多普勒图像80作为输入提供给生成 器76。生成器76从这些质量差的超声彩色多普勒图像80生成样品或基于 分布的图像84。生成对抗网络74还接收参考图像82(例如，具有准确的彩 色多普勒信号的超声彩色多普勒图像)，该参考图像被提供给鉴别器78以 便由鉴别器78与参考图像82进行比较。特别地，鉴别器78将生成的图像 (即，基于分布的图像84)映射到从参考图像82导出的实际数据分布d： d(xi)
→
[0，1]。生成器76学习将潜在空间的表示映射到数据分布g
→r|x|
的空间，其中z∈r
|x|
表示来自图像分布的潜在空间x∈r
|x|
的样品。生成器 76被配置为学习与从参考图像82导出的实际分布p
r(x)
近似的分布p
θ(x)
，并 生成样品p
g(x)
(即，基于分布的图像84)，其中所生成的样品p
g(x)
的概率 分布函数等于实际样品p
r(x)
的概率密度函数。这可以通过直接学习和通过 最大似然优化微分函数p
θ(x)
来实现使得p
θ(x)
＞0并且∫
x
p
θ
(x)dx＝1.可替 代地，p
θ(x)
的微分变换函数q
θ(z)
可以通过最大似然学习和优化，其中z是现 有公共分布(例如，均匀或高斯分布)。
[0027]
鉴别器78必须识别来自实际数据分布p
r(x)
的数据，其中d指示数据点 xi∈rn的估计概率。在二进制分类的情况下，如果估计概率d(x_i)：-＞r
n[0，1]
是正类pi并且1-d(x_i)
→
r[0，1]是负类qi，pi和qi之间的交叉熵分布 是对于给定点xi和对应标签yi，数据分布xi可以来 自实际数据xi～p
r(x)
(例如，来自参考图像82)或生成器数据xi～p
g(z) (例如，来自基于分布的图像84)。考虑到来自两个源(诸如真实的，假 的)的数据的正好一半，生成器76和鉴别器78倾向于在最小最大游戏中相 互对抗以最小化损失函数。损失函数如下：
[0028][0029]
或者
[0030][0031]
其中是能够克服梯度消失效应的项。
确或增强的彩色多普勒信号)的方法以帮助从业者对患者诊断。
[0037]
本书面描述使用示例来公开本主题，包括最佳模式，并且还使本领域 技术人员能够实践主题，包括制造和使用任何设备或系统以及执行任何包 含的方法。本主题的专利范围由权利要求书限定，并且可包括本领域技术 人员想到的其他示例。如果此类其他示例具有与权利要求书的字面语言没 有区别的结构元件，或者如果它们包括与权利要求书的字面语言具有微小 差别的等效结构元件，则此类其他示例旨在落入权利要求书的范围内。