用于医学图像的基于种子的分割的种子重新标记的制作方法

1.本技术通常涉及一种改进的数据处理装置和方法，并且更具体地涉及用于医学图 像的基于种子的分割的种子重新标记的机制。


背景技术：

2.肝脏病变(liver lesion)是生物实体肝脏中异常细胞的组，并且也可以称为团块 或肿瘤。非癌性或良性肝脏病变是常见的并且不扩散到身体的其他区域。此类良性肝 脏病变通常不引起任何健康问题。然而，一些肝脏病变由于癌症而形成。患有特定医 学病症(medical condition)的患者可能比其他患者更有可能具有癌性肝脏病变。这些医 学病症包括例如乙型肝炎或丙型肝炎、肝硬化、铁贮积病(血色素沉着症)、肥胖症 或暴露于毒性化学品(诸如砷或黄曲霉毒素)。
3.肝脏病变典型地仅可通过具有医学成像测试(例如像超声、磁共振图像(mri)、 计算机化断层摄影术(ct)、或正电子发射断层摄影术(pet)扫描)来识别。此类 医学成像测试必须由人类医学成像主题专家(sme)查看，该专家必须使用他们自己 的知识和专业知识以及人类能力来查看图像中的模式(pattern)，以确定医学成像测试 是否显示任何病变。如果人类sme识别到潜在的癌性病变，患者的医师可以进行活组 织检查以确定该病变是否是癌性的。
4.腹部对比增强(ce)ct是评估肝脏中的各种异常(例如，病变)的当前标准。 这些病变可以由人类sme评估为恶性(肝细胞癌、胆管癌、血管肉瘤、转移和其他恶 性病变)或良性(血管瘤、局灶性结节性增生、腺瘤、囊肿或脂肪瘤、肉芽肿等)。 通过人类sme手动评估此类图像对于指导随后的干预是重要的。很多时候，为了适当 地评估ce ct中的病变，进行多阶段研究，其中多阶段研究提供健康肝实质增强的不 同级的医学成像以及与病变增强的比较，以确定差异检测。然后，人类sme可以基于 这些差异确定病变的诊断。


技术实现要素：

5.提供本发明内容以便以简化形式介绍将在本文中在具体实施方式中进一步描述 的概念的选择。本发明内容不旨在识别所要求保护的主题的关键因素或必要特征，也 不旨在用于限制所要求保护的主题的范围。
6.在一个说明性实施例中，提供了一种在包括至少一个处理器和至少一个存储器的 数据处理系统中的方法，所述至少一个存储器包括由所述至少一个处理器执行以实施 用于针对基于种子的切片式病变分割进行种子重新标记的经训练的机器学习计算机模 型的指令。所述经训练的机器学习计算机模型执行包括以下的方法：接收三维医学图 像体积的病变掩模。所述病变掩模对应于所述医学图像体积中检测到的病变，并且其 中每个检测到的病变具有病变轮廓。所述方法还包括基于所述病变掩模生成所述医学 图像体积中的给定二维切片的距离图。所述距离图包括到所述给定二维切片的每个体 素的病变轮廓的距离。所述方法还包括执行局部最大值识别以从距离图中选择局部最 大值的集合，使得每个
局部最大值具有大于其直接邻居点的值。所述方法还包括基于 所述距离图和所述局部最大值的集合执行种子重新标记以生成种子的集合，其中所述 种子的集合中的每个种子表示病变轮廓的不同成分的中心。所述方法还包括基于所述 种子的集合对所述病变掩模执行图像分割以形成分裂病变掩模。这具有提供不过度分 裂的分裂病变掩模的益处。说明性实施例的方法组合分裂病变掩模中可能是同一病变 的部位的区域。
7.在一个示例实施例中，生成距离图包括对所述距离图执行高斯平滑。这具有平滑 将导致无关极大值(extraneous maxima)的距离值的益处，该无关极大值将导致分裂 病变掩模内的进一步过度分裂。执行高斯平滑减少了可被视为局部最大值的候选点的 数目，潜在地减少了在种子重新标记期间必须组合的不同区域的数目。
8.在另一个示例实施例中，执行种子重新标记包括响应于确定第一局部最大值和第 二局部最大值是直接邻居而对所述第一局部最大值和所述第二局部最大值进行分组。 这具有消除作为分割病变的候选者的直接邻居的局部最大值的益处，因为非常接近的 局部最大值不可能是不同病变的中心。
9.在又一另一个示例实施例中，执行种子重新标记包括：确定以每个局部最大值为 中心的圆，所述圆的半径等于所述圆在所述距离图中的对应距离；计算以第一局部最 大值为中心的第一圆和以第二局部最大值为中心的第二圆的重叠度量；并且如果所述 重叠度量大于预定阈值，则对所述第一局部最大值和所述第二局部最大值进行分组。 这个实施例假设病变基本上是圆形的，像气泡，并且确定局部最大值是否是重叠气泡 的中心。如果局部最大值可能表示同一病变，则这具有将局部最大值分组在一起的益 处。
10.在进一步的示例实施例中，所述重叠度量被如下计算：
[0011][0012]
其中，|s1|表示所述第一圆的面积，|s2|表示所述第二圆的面积，并且|s1∩s2|表示 所述第一圆和所述第二圆的相交的面积。在可替换的示例实施例中，所述重叠度量被 如下计算：
[0013][0014]
其中，|s1|表示所述第一圆的面积，|s2|表示所述第二圆的面积，|s1∩s2|表示所述 第一圆和所述第二圆的相交的面积，并且|s1∪s2|表示所述第一圆和所述第二圆的联合 的面积。这些实施例提供了将值分配给度量以确定局部最大值是否定义不同的病变或 可能对应于同一病变的益处。这些实施例提供用于计算可与阈值比较的重叠度量值的 替代公式。
[0015]
在另一示例实施例中，执行图像分割包括基于局部最大值的集合对所述病变掩模 执行分水岭算法以形成限定病变的第一集合的初始分裂病变掩模。在再一示例实施例 中，执行图像分割进一步包括基于所述种子重新标记的结果合并所述病变的第一集合 中的病变以形成修订的分裂病变掩模。这些实施例提供了以下益处：使用已知的分水 岭算法将图像分割成分裂病变掩模，同时还合并可能是同一病变的一部分的区域，从 而避免过度分裂。
[0016]
在其他说明性实施例中，提供了一种计算机程序产品，其包括具有计算机可读程序的计算机可用或可读介质。当在计算设备上执行时，计算机可读程序使计算设备执行以上关于方法说明性实施例概述的操作中的各种操作和操作的组合。
[0017]
在又一说明性实施例中，提供一种系统/装置。该系统/装置可以包括一个或多个处理器和耦合到该一个或多个处理器的存储器。所述存储器可以包括指令，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行以上关于方法说明性实施例概述的操作中的各种操作和操作的组合。
[0018]
本发明的这些和其他特征和优点将在本发明的示例性实施例的以下详细描述中进行描述，或者鉴于本发明的示例性实施例的以下详细描述，本发明的这些和其他特征和优点对于本领域的普通技术人员将变得显而易见。
附图说明
[0019]
在结合附图阅读时，通过参考说明性实施例的以下详细说明，将最好地理解本发明及其优选使用方式和其他目的和优点，在附图中：
[0020]
图1是根据一个说明性实施例实现多个专门配置和训练的ml/dl计算机模型以在输入医学图像数据中执行解剖结构识别和病变检测的ai流水线的示例框图；
[0021]
图2是根据一个说明性实施例的ai流水线的示例操作的示例流程图概述；
[0022]
图3a是说明根据一个说明性实施例的人类患者的腹部的切片(医学图像)的示例输入体积的示例图；
[0023]
图3b示出了图3a的输入体积的另一描绘，其中一段切片连同其对应的轴向得分s’inf
和s’sup
一起表示；
[0024]
图3c是图3a的输入体积的示例图，其中体积被轴向地分成n个完全重叠的区段；
[0025]
图4a-图4c是根据一个说明性实施例的ml/dl计算机模型的一个说明性实施例的示例图，该ml/dl计算机模型被配置和训练成估计医学图像的输入体积的区段的s’sup
和s’inf
值；
[0026]
图5是概述根据一个说明性实施例的ai流水线的肝脏检测和预定量的解剖结构确定逻辑的示例操作的流程图；
[0027]
图6是根据一个说明性实施例的用于在感兴趣的解剖结构(例如，肝脏)中执行病变检测的ml/dl计算机模型的集成(ensemble)的示例图；
[0028]
图7是概述根据一个说明性实施例的ai流水线中的肝脏/病变检测逻辑的示例操作的流程图；
[0029]
图8描绘了根据一个说明性实施例的病变分割(lesionsegmentation)的方面的框图；
[0030]
图9描绘了根据一个说明性实施例的病变检测和切片式分区(slice-wisepartitioning)的结果；
[0031]
图10a-图10d说明了根据一个说明性实施例的种子定位；
[0032]
图11a是说明了根据一个说明性实施例的用于病变分裂(lesionsplitting)的机制的框图；
[0033]
图11b是说明了根据一个说明性实施例的用于种子重新标记的机制的框图；
[0034]
图12是概述根据一个说明性实施例的病变分裂的示例操作的流程图；
[0035]
图13a-图13c说明了根据一个说明性实施例的病变的z向连接；
[0036]
图14a和图14b说明了根据一个说明性实施例的用于z向病变连接的训练模型的 结果；
[0037]
图15是概述根据一个说明性实施例的用于沿着z轴连接二维病变的机制的示例操 作的流程图；
[0038]
图16说明了根据一个说明性实施例的在同一图像中的两个病变的轮廓的示例；
[0039]
图17是概述根据一个说明性实施例的切片式轮廓细化的机制的示例操作的流程 图；
[0040]
图18a是根据一个说明性实施例的患者水平和病变水平操作点确定的roc曲线 的示例；
[0041]
图18b是根据一个说明性实施例的用于基于患者水平和病变水平操作点执行假阳 性移除(false positive removal)的操作的示例流程图；
[0042]
图18c是根据一个说明性实施例的用于基于输入体积水平和体素水平操作点执 行体素方式假阳性移除的操作的示例流程图；
[0043]
图19是概述根据一个说明性实施例的ai流水线的假阳性移除逻辑的示例操作的 流程图；
[0044]
图20是可以实现说明性实施例的各个方面的分布式数据处理系统的示例图；并 且
[0045]
图21是可以实现说明性实施例的各个方面的计算设备的示例框图。
具体实施方式
[0046]
病变或异常细胞组的检测在现代医学中主要是手动过程。由于这是手动过程，所 以由于关于个体检测显示这种病变的数字医学图像的部分的能力的人为限制，尤其考 虑到对于这种个体以更短的时间量评估越来越多的图像数量的更大需求，这充满了错 误的来源。虽然已经开发了一些自动化图像分析机制，但是仍然需要改进这样的自动 化图像分析机制，以提供对医学图像数据的更有效和正确的分析来检测成像的解剖结 构(例如，肝脏或其他器官)中的病变。
[0047]
说明性实施例专门针对提供专门训练的自动化计算机驱动的人工智能医学图像 分析的改进的计算工具，通过机器学习/深度学习计算机过程，检测解剖结构，检测病 变或在这样的解剖结构中或与这样的解剖结构相关联的感兴趣的其他生物结构，执行 检测到的病变或其他生物结构的专门分割，基于该专门分割执行假阳性移除，以及对 检测到的病变或其他生物结构执行分类，并向下游计算系统提供病变/生物结构检测的 结果，以执行附加计算机操作。说明性实施例的以下描述将假设专门地涉及关于肝脏 病变作为感兴趣的生物结构而被专门训练的说明性实施例的机制的实施例，然而说明 性实施例不限于此。相反，本领域的普通技术人员将认识到，在不脱离本发明的精神 和范围的情况下，可以关于在医学成像数据中表示的其他解剖结构中或与其相关联的 大量其他类型的生物结构/病变，来实现说明性实施例的基于机器学习/深度学习的人工 智能机制。此外，可以就医学成像数据是计算机断层扫描(ct)医学成像数据来描述 说明性实施例，然而，说明性实施例
可用来自各种类型的医学成像技术(包括但不限 于正电子发射断层摄影术(pet)和其他核医学成像、超声、磁共振成像(mri)、 弹性成像、光声成像、超声心动图、磁性颗粒成像、功能近红外光谱学、弹性成像、 包括荧光透视的各种射线照相成像，等等)的任何数字医学成像数据来实现。
[0048]
总的来说，说明性实施例提供了改进的人工智能(ai)计算机流水线，其包括多 个专门配置和训练的ai计算机工具，(例如，神经网络、认知计算系统或基于有限数 据集训练以执行指定任务的其他ai机制)。配置和训练的ai计算机工具各自被专门 配置/训练，以执行对输入医学图像体积的特定类型的人工智能处理，所述输入医学图 像体积被表示为定义由医学成像技术捕获的医学图像的数据和/或元数据的一个或多 个集合。通常，这些ai工具采用机器学习(ml)/深度学习(dl)计算机模型(或 简称为ml模型)来执行任务，这些任务在模拟关于生成的结果的人类思维过程的同 时，使用特定于计算机工具且特别是ml/dl计算机模型的不同的计算机过程，这些 ml/dl计算机模型学习表示特定结果的数据之间的模式和关系(例如，图像分类或标 签、数据值、医学治疗建议等)。ml/dl计算机模型本质上是包括机器学习算法、机 器学习算法的配置设置、由ml/dl计算机模型识别的输入数据的特征和由ml/dl计 算机模型生成的标签(或输出)的元素的函数。通过机器学习过程专门调整这些元素 的函数，生成指定的ml/dl计算机模型实例。可以专门配置和训练不同的ml模型， 以关于相同或不同的输入数据执行不同的ai功能。
[0049]
由于人工智能(ai)流水线实现多个ml/dl计算机模型，所以应当理解，这些 ml/dl计算机模型通过用于特定目的的ml/dl过程来训练。从而，作为ml/dl计 算机模型训练过程的概述，应当理解，机器学习涉及将经验数据(诸如医学图像数据) 作为输入并且识别输入数据中的复杂模式的技术的设计和开发。机器学习技术中的一 种常见模式是使用底层计算机模型m，给定输入数据，底层计算机模型m的参数被优 化用于最小化与m相关联的成本函数。例如，在分类的背景中，模型m可以是将数 据分成两个类(例如，标签)的直线，使得m＝a*x+b*y+c，并且成本函数将是错误分 类点的数量。学习过程然后通过调整参数a、b、c来操作，使得错误分类点的数量最 小。在该优化阶段(或学习阶段)之后，模型m可用于对新数据点进行分类。通常， 给定输入数据，m是统计模型，并且成本函数与m的可能性成反比。这仅是提供机器 学习训练的一般解释和使用不同模式、成本(或损失)函数的其他类型的机器学习的 简单示例，并且优化可以与说明性实施例的机制一起使用，而不脱离本发明的精神和 范围。
[0050]
出于解剖结构检测和/或病变检测(其中病变在医学成像数据中是“异常”)的目的， 学习机器可以构建正常结构表示的ml/dl计算机模型，以检测医学图像中偏离这个 正常结构表示ml/dl计算机模型的数据点。例如，给定的ml/dl计算机模型(例如， 监督的、非监督的或半监督的模型)可以用于生成异常分数并且将其报告给另一设备， 生成指示输入被分类到的一个或多个类别、与不同类别相关联的概率或分数等的分类 输出。可以用于构造和分析这种ml/dl计算机模型的示例机器学习技术可以包括但 不限于最近邻(nn)技术(例如，k-nn模型、复制器nn模型等)，统计技术(例 如，贝叶斯网络等)、聚类技术(例如，k均值等)、神经网络(例如，储液器网络、 人工神经网络等)，支持向量机(svm)等。
[0051]
说明性实施例的处理器实现的人工智能(ai)流水线通常包括机器学习(ml) 和深度学习(dl)计算机模型中的一个或两个。在一些情况下，ml和dl中的一个 或另一个可以用
于或实施以实现特定结果。传统的机器学习可包括或使用算法，诸如 贝叶斯决策、回归、决策树/森林、支持向量机或神经网络等。深度学习可基于深度神 经网络并且可使用多个层，诸如卷积层。这种dl(诸如使用分层网络)在它们的实施 方式中可以是有效的，并且可以相对于传统ml技术提供增强的准确性。传统ml通 常可与dl区分开来，因为dl模型可胜过经典ml模型，然而，dl模型可消耗相对 较大量的处理和/或功率资源。在说明性实施例的背景中，本文中对ml和dl中的一 个或另一个的引用可理解为涵盖ai处理的一种或两种形式。
[0052]
关于说明性实施例，在通过ml/dl训练过程配置和训练之后，执行ai流水线的 ml/dl计算机模型，并且ml/dl计算机模型执行复杂的计算机医学成像分析，以检 测输入医学图像中的解剖结构并且生成专门识别感兴趣的目标生物结构(为了示例实 施例的描述的目的，在下文中假设为肝脏病变)，感兴趣的目标生物结构的分类、指 定这些感兴趣的目标生物结构(例如，肝脏病变)存在于输入医学图像中何处的轮廓 (此后被假设为ct医学图像数据)，以及帮助人类主题专家(sme)(诸如放射科 医生、医生等)从所捕获的输入医学图像的视点理解患者的医学状况的其他信息的输 出。此外，输出可被提供给其他下游计算机系统以执行附加人工智能操作(诸如基于 分类、轮廓等的治疗建议和其他决策支持操作)。
[0053]
最初，说明性实施例的人工智能(ai)流水线接收计算机断层摄影(ct)医学 成像数据的输入体积并且检测在ct医学成像数据中描绘了生物实体的身体的哪个部 分。医学图像的“体积(volume)”是由二维切片(slice)的堆叠构成的生物实体的内部解 剖结构的三维表示，其中这些切片可以是通过医学成像技术捕获的单独的医学图像。 切片的堆叠还可以被称为“厚片(slab)”，并且与切片本身的不同之处在于堆叠表示 具有厚度的解剖结构的一部分，其中切片或厚片的堆叠生成解剖结构的三维表示。
[0054]
出于本说明书的目的，将假设生物实体是人，然而，本发明可以对用于各种类型 的生物实体的医学图像进行操作。例如，在兽医学中，生物实体可以是不同类型的小 型动物(例如，宠物，诸如狗、猫等)或大型动物(例如，马、牛或其他农场动物)。 对于其中ai流水线被专门训练用于检测肝脏病变的实施方式，所述ai流水线确定输 入的ct医学成像数据是否表示在所述ct医学成像数据中存在的腹部扫描，并且如 果否，ai流水线的操作关于输入的ct医学成像数据终止，因为不指向人体的正确部 位或部分。应当理解，根据说明性实施例可以有不同的ai流水线，训练成处理针对身 体的不同部分和不同目标生物结构的输入医学图像，并且输入的ct医学图像可被输 入到ai流水线中的每一个，或者基于在所述输入的ct医学图像中描绘的所述身体部 位或所述身体部位的分类被路由到ai流水线，例如，可首先执行输入的ct医学图像 关于输入的ct医学图像中表示的身体部位或身体部分的分类，然后可从本文描述的 类型的多个经训练的ai流水线中选择相应的经训练的ai流水线，以处理输入的ct 医学图像。出于以下描述的目的，将描述被训练为检测肝脏病变的单个ai流水线，但 是鉴于本说明书，将其扩展到ai流水线的套件或集合对本领域普通技术人员将是显而 易见的。
[0055]
假设输入的ct医学图像的体积包括人体的腹部的医学图像(出于肝脏病变检测 的目的)，以两个主要级(primary stage)执行输入的ct医学图像的进一步处理， 这两个主要级可基本上彼此并行和/或顺序地执行，这取决于所期望的实施方式。两个 主要级包括相位分类级(phase classification stage)和解剖结构检测级(anatomicalstructure detection stage)(例如，在ai流水线被配置为执行肝脏病变检测的情况下的 肝脏检测
级)。
[0056]
相位分类级确定输入的ct医学图像的体积是包括单个成像相位还是多个成像相 位。医学成像中的“相位”(phase)是对造影剂摄取的指示。例如，在一些医学成像技 术中，相位可以根据造影剂被引入生物实体中时来定义，这允许捕获医学图像，包括 捕获造影剂的路径。例如，相位可以包括造影前相位、动脉造影相位、门静脉造影相 位和延迟相位，其中在这些相位的任何或全部中捕获医学图像。相位通常与注射之后 的定时以及图像内的结构增强的特征相关。可以考虑定时信息以“分类”潜在相位(例 如，延迟相位将总是在门静脉相位之后被获取)并且估计给定图像的潜在相位。关于 图像内的结构的增强特性的使用，在共同转让和共同待决的于2020年7月13日提交， 并且名称为“method of determining contrast phase of a computerized tomographyimage”的美国专利申请序号16/926，880中，描述了使用这种类型的信息来确定相位 的一个示例。另外，定时信息可以与其他信息(采样、重构内核等)结合使用以拾取 每个相位的最佳表示(给定采集可以以若干方式重构)。
[0057]
一旦输入体积中的图像基于增强的定时和/或特征被指派或分类到其对应的相位， 可以基于相位分类来确定体积是否包括单个相位(例如，存在门静脉相位但没有动脉 相位)或多相检查(例如，门静脉和动脉)的图像。如果相位分类指示在输入的ct 医学图像的体积中存在单个相位，则ai流水线的进一步处理如下文所述来执行。如果 检测到多个相位，则该体积不被ai流水线进一步处理。然而，在一些说明性实施例中， 虽然这种基于单个/多个相位的体积过滤仅接受来自单个相位的具有图像的体积并且 拒绝多个相位体积，但在其他说明性实施例中，本文描述的ai流水线处理可以滤除未 被分类到感兴趣的目标相位中的体积的图像，例如，可以保留体积中的门静脉相位图 像，同时滤除未被分类为门静脉相位的一部分的体积的图像，从而将输入体积修改为 仅具有被分类为目标相位的图像子集的修改体积。此外，如先前所讨论的，可以针对 不同类型的体积来训练不同的ai流水线，在一些说明性实施例中，输入体积内的图像 的相位分类可以用于将输入体积的图像路由或分发到对应的ai流水线，所述ai流水 线被训练并且被配置成处理不同相位的图像，使得输入体积可以被细分成组成子体积 并且被路由到它们对应的ai流水线用于处理，例如，对应于门静脉相位图像的第一子 体积被发送到第一ai流水线，而对应于动脉相位的第二子体积被发送到第二ai流水 线用于处理。如果输入的ct医学图像的体积包括单个相位，或者在将子体积过滤和 可选地路由到对应的ai流水线，使得ai流水线处理输入体积或单个相位的子体积的 图像之后，然后将所述体积(或子体积)传递到ai流水线的下一级上用于进一步处理。
[0058]
第二主要级是感兴趣的解剖结构(在示例性实施例中是肝脏)检测级，其中描绘 感兴趣的解剖结构的体积部分被识别并且传递到ai流水线的下一下游级。感兴趣的解 剖结构检测级(根据示例实施例，下文称为肝脏检测级)，包括机器学习(ml)/深 度学习(dl)计算机模型，所述机器学习(ml)/深度学习(dl)计算机模型被专门 训练并被配置成执行计算机化医学图像分析以识别输入医学图像中对应于感兴趣的解 剖结构的部分(例如肝脏)。这样的医学图像分析可以包括对作为输入的经标记的训 练医学图像数据训练ml/dl模型以确定输入医学图像(训练期间的训练图像)是否 包括感兴趣的解剖结构(例如肝脏)。基于图像标签的基础真值(ground truth)，可 以调整ml/dl模型的操作参数以减少由
的列表。这些输出可包含不是实际病变的发现。为了最小化那些假阳性的影响，使用 经训练的假阳性移除模型将输出提供给涉及假阳性移除的ai流水线的下一级。ai流 水线的这个假阳性移除模型充当分类器以从所检测到的发现中识别什么输出是实际病 变以及什么是假阳性。该输入由与从病变分割细化产生的掩模相关联的所检测到的发 现周围的图像体积(voi)组成。使用作为检测/分割级的结果的数据来训练假阳性移 除模型：使用由检测算法检测到的作为来自基础事实的病变的对象来表示训练期间的 病变类别，而不匹配来自基础事实的任何病变的检测被用于表示非病变(假阳性)类 别。
[0068]
为了进一步改进总体性能，在病变检测和假阳性模型上采用双操作点策略。该想 法是注意到ai流水线的输出可以在不同的水平被解释。首先，ai流水线的输出可以 用于辨别检查体积，即输入体积或图像体积(voi)具有或没有病变。第二，ai流水 线的输出旨在最大化病变的检测，无论它们是否包含在同一患者/检查/体积中。为了清 楚起见，为检查进行的测量将在此被称为“患者水平”，并且为病变进行的测量将在此 被称为“病变水平”。使“病变水平”处的灵敏度最大化将降低“患者水平”处的特异性(对 于患者来说，一种检测足以说包含病变)。这可能最终对于临床使用是次优的，因为 人们必须在患者水平上具有差的特异性或在病变水平上具有低灵敏度之间进行选择。
[0069]
鉴于此，说明性实施例使用用于病变检测和假阳性移除两者的双操作点方法。原 理是首先使用在患者水平上给出合理性能的第一操作点运行处理。然后，对于来自第 一轮至少具有检测到的病变的患者，使用第二操作点重新解释/处理检测到的病变。该 第二操作点被选择为更灵敏。虽然该第二操作点的特异性低于第一操作点，但是在患 者水平上包含该特异性损失，因为没有用第一操作点检测到的病变的所有患者保持原 样，而不管第二操作点是否会检测到额外的病变。因此，患者水平特异性仅由第一操 作点确定。患者水平灵敏度在单独采取的第一和第二操作点中的一个之间(来自第一 操作点的一个假阴性情况可以被第二操作点变成真阳性)。在病变侧，与仅第一操作 点相比，实际病变水平灵敏度得以改进。病变特异性好于单独取自较少特异性的第二 操作点，因为不存在来自仅用第一操作点处理的病例的假阳性。
[0070]
虽然说明性实施例将假设双操作点方法的特定配置和使用，应当理解的是，双操 作点方法可以与其他配置一起使用并且用于其他目的，其中人们对在组水平(在说明 性实施例中，这个组水平是“患者水平”)和元素水平(在说明性实施例中，这个元素 水平是“病变水平”)测量性能感兴趣。虽然在说明性实施例中，双操作点方法应用于 病变检测和假阳性移除两者，但可以理解，双操作点方法可以延伸超过ai流水线的这 些级。例如，可以在体素水平(元素)对体积水平(组)下进行病变的检测，而不是 患者水平和病变水平。作为另一示例，体素或病变水平可以用于元素水平，并且厚片 (切片集合)可以用作组水平。在又一示例中，所有检查的体积可被用作组水平，而 不是单个体积。应当理解，该方法也可应用于待分析图像的二维图像(例如，胸部、 乳房摄影等2d x射线)而不是三维体积。特异性(诸如每个患者/组的假阳性的平 均数)，可以用于选择操作点。另外，虽然说明性实施例被描述为应用于病变检测和 分类，但基于双操作点的方法可应用于其他结构(夹子、支架、植入物等)和超出医 学成像。
[0071]
基于双操作点的检测和假阳性移除的结果导致有待由ai流水线的病变分类级进 一步处理的病变的最终过滤列表的识别。在ai流水线的病变分类级，在病变列表及其 相应
的轮廓数据上执行配置和训练的ml/dl计算机模型，从而将病变分类为多个预 定的病变分类中的一个。例如，可以将最终过滤的病变列表中的每个病变及其属性(例 如，轮廓数据)输入到经训练的ml/dl计算机模型中，该经训练的ml/dl计算机模 型然后对此数据进行操作以将该病变分类为特定类型的病变。可以使用先前在基础真 值数据上训练的分类器(例如，训练的神经网络计算机模型)结合ai流水线的先前处 理步骤的结果来执行分类。分类任务可以是或多或少复杂的，例如，它可以提供良性、 恶性或不确定性之间的标签，或者在另一示例中，提供实际病变类型(例如，囊肿、 转移、血管瘤等)。分类器可以是例如基于神经网络的计算机模型分类器(例如，svm、 决策树等)或深度学习计算机模型。该分类器的实际输入是病变周围的补丁，其在一 些实施例中可以用病变掩模或外形(轮廓)来增强。
[0072]
在通过ai流水线的病变分类级对病变进行分类之后，ai流水线输出病变列表及 其分类，连同病变的任何轮廓属性。此外，ai流水线还可输出肝脏的肝脏轮廓信息。 该ai流水线生成的信息可被提供给进一步的下游计算系统，用于进一步处理和生成感 兴趣的解剖结构和解剖结构中存在的任何检测到的病变的表示。例如，可以在医学图 像查看器或其他计算机应用中生成输入的ct医学图像的体积的图形表示，其中使用 由ai流水线生成的轮廓信息在图形表示中叠加或以其他方式突出解剖结构和检测到 的病变。在其他说明性实施例中，ai流水线生成的信息的下游处理可包括诊断决策支 持操作、基于检测到的病变列表、分类和轮廓的自动化医学成像报告生成。在其他说 明性实施例中，基于病变的分类，可以生成不同的治疗建议用于执业医师的查看和考 虑。
[0073]
在一些说明性实施例中，病变的列表、它们的分类和轮廓可存储在与输入的ct 医学图像的体积相对应的患者相关联的历史数据结构中，使得ai流水线在与该患者相 关联的输入的ct医学图像的不同体积上的多次执行可随时间被存储和评估。例如， 可以确定病变列表和/或它们相关联的分类和轮廓之间的差异，以评估患者的疾病或医 学状况的进展，并且将这样的信息呈现给医学专家，用于辅助患者的治疗。
[0074]
可以在不脱离本发明的精神和范围的情况下，实现由说明性实施例的ai机制生 成的特定解剖结构和病变检测信息的其他下游计算系统和处理。例如，ai流水线的输 出可以被另一下游计算系统使用，以处理ai流水线的输出中的解剖结构和病变信息， 以识别与其他信息源(例如，放射学报告)的差异，以便使临床工作人员知道潜在的 被忽视的发现。
[0075]
从而，说明性实施例提供了提供自动化ai流水线的机制，所述自动化ai流水线 包括多个被配置和训练的ml/dl计算机模型，所述多个被配置和训练的ml/dl计算 机模型针对ai流水线的各个级实现各种人工智能操作，以便在输入医学图像的体积中 识别解剖结构和与这些解剖结构相关联的病变、确定与这样的解剖结构和病变相关联 的轮廓、确定这样的病变的分类、以及生成这样的病变的列表以及所述病变的轮廓和 所述解剖结构，用于进一步下游计算机处理来自ai流水线的ai生成的信息。ai流水 线的操作是自动化的，使得在ai流水线的任何级处不存在人为干预，而是采用通过机 器学习/深度学习计算机过程训练的专门配置和训练的ml/dl计算机模型来执行各个 级的指定ai分析。可能存在人为干预的唯一点是在输入医学图像的体积的输入之前 (例如，在患者的医学成像期间)，以及在ai流水线的输出之后(例如，基于由ai 流水线生成的病变列表和轮廓的输出来查看经由计算机图像查看应用呈现的增强的医 学图像)。从而，ai流水线执行人类不能作为精神过程执行的操作，并且不组织任何 人类活动，因为ai流水线专门涉及使用仅存在于计算机环境内
的指定机器学习/深度 学习过程被实现为人工智能的改进的自动化计算机工具。
[0076]
在继续讨论说明性实施例的各个方面和由说明性实施例执行的改进的计算机操 作之前，首先应认识到，贯穿本说明书，术语“机制”将用于指代本发明的执行各种操 作、功能等的元件。如在此所使用的术语“机制”可以是装置、程序或计算机程序产品 形式的说明性实施例的功能或方面的实施方式。在过程的情况下，所述过程由一个或 多个设备、装置、计算机、数据处理系统等来实现。在计算机程序产品的情况下，由 在该计算机程序产品中或在该计算机程序产品上实现的计算机代码或指令表示的逻辑 由一个或多个硬件设备执行以便实现功能或执行与指定“机制”相关联的操作。从而， 这里描述的机制可以被实现为专用硬件、在硬件上执行的软件，从而配置硬件来实现 硬件本来不能够执行的本发明的专用功能，存储在介质上的软件指令，使得所述指令 可由硬件容易地执行，从而专门配置所述硬件以执行本文所述的所述功能性和特定计 算机操作，用于执行所述功能的过程或方法，或者上述各项的任意组合。
[0077]
本说明书和权利要求书可以利用关于说明性实施例的特定特征和元素的术语“一 个”、“至少一个”和“一个或多个”。应当了解，这些术语和短语意在陈述存在特定说明 性实施例中存在的特定特征或元素中的至少一个，但也可存在多于一个。即，这些术 语/短语不旨在将说明书或权利要求限于存在单个特征/元素或要求存在多个这样的特 征/元素。相反，这些术语/短语仅需要至少一个单个特征/元素，其中多个这样的特征/ 元素可能在说明书和权利要求书的范围内。
[0078]
此外，应当理解的是，如果在本文关于描述本发明的实施例和特征使用术语“引 擎”，则并不旨在限制用于实现和/或执行可归因于和/或由引擎执行的动作、步骤、过 程等的任何特定实施方式。引擎可以是但不限于执行指定功能的软件、硬件和/或固件 或其任何组合，所述指定功能包括但不限于通用和/或专用处理器与加载或存储在机器 可读存储器中并且由处理器执行的适当软件组合的任何使用。进一步，除非以其他方 式指定，否则与特定引擎相关联的任何名称是为了便于参考的目的而并非旨在限制于 特定实施方式。另外，归于引擎的任何功能可以由多个引擎同等地执行、结合到相同 或不同类型的另一引擎中和/或与之组合、或者分布在各种配置的一个或多个引擎上。
[0079]
此外，应当理解，以下描述使用说明性实施例的不同元素的多个不同示例，以进 一步说明说明性实施例的示例性实施方式，并帮助理解说明性实施例的机制。这些示 例旨在是非限制性的并且不是实现说明性实施例的机制的各个可能性的穷举。鉴于本 说明书，本领域普通技术人员将清楚的是，在不脱离本发明的精神和范围的情况下， 存在用于除在本文提供的示例之外或替代在本文提供的示例可以利用的这些不同元件 的许多其他替代性实施方式。
[0080]
本发明可以是系统、方法和/或计算机程序产品。所述计算机程序产品可包含上面 具有计算机可读程序指令的计算机可读存储介质(或介质)，所述计算机可读程序指 令用于使处理器执行本发明的各个方面。
[0081]
计算机可读存储介质可以是可以保留和存储指令以供指令执行设备使用的有形 设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储 设备、电磁存储设备、半导体存储设备或前述各项的任何合适的组合。计算机可读存 储介质的更具体例子的非穷举列表包括以下各项：便携式计算机盘、硬盘、随机存取 存储器(ram)、只
读存储器(rom)、可擦除可编程只读存储器(eprom或闪存)， 静态随机存取存储器(sram)、便携式光盘只读存储器(cd-rom)、数字通用盘 (dvd)、记忆棒、软盘、机械编码设备(诸如穿孔卡片或具有记录在其上的指令的 凹槽中的凸起结构)，以及前述各项的任何合适的组合。如本文中所使用的计算机可 读存储介质不应被解释为瞬态信号本身，诸如无线电波或其他自由传播的电磁波、通 过波导或其他传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)、或通过导线 传输的电信号。
[0082]
本文所描述的计算机可读程序指令可从计算机可读存储介质下载到相应的计算/ 处理设备，或经由网络(例如，因特网、局域网、广域网和/或无线网络)下载到外部 计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、 防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡 或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令用于在相应 计算/处理设备内的计算机可读存储介质中的存储。
[0083]
用于执行本发明的操作的计算机可读程序指令可以是汇编指令，指令集架构(isa) 指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据，或者以一种或 多种编程语言的任意组合编写的源代码或目标代码，包括java、smalltalk、c++等面 向对象的编程语言，以及传统的过程式编程语言，诸如“c”编程语言或类似的编程语言。 计算机可读程序指令可完全在用户的计算机上执行、部分在用户的计算机上执行、作 为独立软件包执行、部分在用户的计算机上部分在远程计算机上执行、或者完全在远 程计算机或服务器上执行。在后一种情形中，远程计算机可以通过任何类型的网络(包 括局域网(lan)或广域网(wan))连接到用户的计算机，或者可以连接到外部计 算机(例如，通过使用因特网服务提供商的因特网)。在一些实施例中，电子电路(包 括例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla))可 以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路 个性化，以便执行本发明的各个方面。
[0084]
本文中参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程 图说明和/或框图，描述本发明的各个方面。应当理解，流程图和/或框图的每个框以及 流程图和/或框图中各框的组合，都可以由计算机可读程序指令来实现。
[0085]
这些计算机可读程序指令可以被提供给计算机或其他可编程数据处理装置的处 理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令， 创建用于实现在流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算 机可读程序指令也可存储在可导引计算机、可编程数据处理装置、和/或以特定方式起 作用的其他设备的计算机可读存储介质中，使得具有存储在其中的指令的计算机可读 存储介质包括制品，该制品包括实现流程图和/或框图中的一个或多个框中指定的功能/动作的各方面的指令。
[0086]
计算机可读程序指令也可以加载到计算机、其他可编程数据处理装置、或其他设 备上，使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计 算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程 图和/或框图中的一个或多个框中指定的功能/动作。
[0087]
附图中的流程图和框图说明了根据本发明的不同实施例的系统、方法和计算机程 序产品的可能实现的架构、功能和操作。对此，流程图或框图中的每个框可以代表模 块、段
或指令的一部分，模块、段或指令的一部分包括用于实现指定的逻辑功能的一 个或多个可执行指令。在一些替代实施方式中，框中所标注的功能可以不以图中所标 注的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以基本上同 时执行，或者这些框有时可以以相反的顺序执行。还将注意的是，框图和/或流程图中 的每个框、以及框图和/或流程图中的框的组合可以由基于专用硬件的系统来实现，所 述基于专用硬件的系统执行指定的功能或动作或执行专用硬件与计算机指令的组合。
[0088]
病变检测和分类ai流水线概述
[0089]
图1是根据一个说明性实施例实现多个专门配置和训练的ml/dl计算机模型以 在输入医学图像数据中执行解剖结构识别和病变检测的病变检测和分类人工智能(ai) 流水线(在此简称为“ai流水线”)的示例框图。仅出于说明性目的，将所描绘的ai 流水线专门描述为针对医学图像数据中的肝脏检测和肝脏病变检测。如上所述，说明 性实施例不限于此，并且可以应用于任何感兴趣的解剖结构和与这样的感兴趣的解剖 结构相关联的病变，这些解剖结构和病变可以以由医学成像技术和对应的计算系统捕 获的医学图像数据的图像元素表示。例如，说明性实施例的机制可以应用于其他解剖 结构(诸如肺、心脏等)，以及与肺、心脏或感兴趣的其他解剖结构相关联的病变的 检测、轮廓识别、分类等。
[0090]
此外，应当理解，以下描述提供了来自图1中所说明水平的ai流水线的概述， 并且该描述的后续部分将进入关于ai流水线的各个级的附加细节。在一些说明性实施 例中，ai流水线的每个级被实现为配置和训练的ml/dl计算机模型，诸如深度学习 神经网络的神经网络，如由ai流水线100的各个级中的符号103表示的。这些不同的 ml/dl计算机模型被专门配置和训练以执行在此描述的特定ai操作(例如，身体部 位识别、肝脏检测、相位分类、肝脏最小量检测、肝脏/病变检测、病变分割、假阳性 移除、病变分类等)。尽管以下描述的这些附加部分将阐述用于实现提供新颖技术的 ai流水线的各个级的特定实施例，用于执行不同级的ai操作的机制和方法，应当理 解，在作为整体的ai流水线的背景中，在不脱离说明性实施例的精神和范围的情况下， 可以使用其他等效技术、机制或方法。鉴于本说明书，这些其他等效技术、机制或方 法对于本领域普通技术人员将是显而易见的并且旨在处于本发明的精神和范围内。
[0091]
如图1所示，根据一个说明性实施例，人工智能(ai)流水线100接收输入医学 图像的体积105，在所描绘的示例中，输入医学图像的体积105是被表示为一个或多 个数据结构的输入计算机断层扫描(ct)医学图像的体积，作为然后由ai流水线100 的各个级自动处理的输入，以最终生成包括病变列表及其分类和轮廓信息以及关于感 兴趣的解剖结构(例如，在所描绘的示例中的肝脏)的轮廓信息的输出170。输入医 学图像的体积105可以由医学成像技术102使用大量通常已知或以后开发的医学成像 技术和设备中的任一个来捕获，所述医学成像技术和设备呈现生物实体(即患者)的 内部解剖结构的图像，作为一个或多个医学图像数据结构。在一些说明性实施例中， 输入医学图像的体积105包括患者身体一部分的解剖结构的一部分的二维切片(个体 医学图像)，然后将该二维切片组合以生成厚片(沿着轴的切片的组合，从而提供具 有沿着轴的厚度的医学图像的集合)，并且该二维切片被组合以生成三维表示(即所 述身体部分的解剖结构的体积)。
[0092]
在ai流水线100的第一级逻辑110中，ai流水线100确定112患者身体的与ct 医学成像数据的输入体积105对应的部分，并经由感兴趣的身体部位确定逻辑114确 定患者身
体的该部分是否表示患者身体的对应于感兴趣的解剖结构的一部分，(例如， 腹部扫描而不是颅侧扫描、下身扫描等)。此评估是作为仅关于输入的ct医学成像 数据的体积105(下文称为“输入体积”105)使用ai流水线100上的初始过滤器来操 作的，针对该输入的ct医学成像数据，ai流水线100被专门配置和训练，以执行解 剖结构识别以及轮廓和病变识别、轮廓化和分类。对输入体积105中表示的身体部位 的这种检测可查看与输入体积105相关联的元数据，该元数据可具有指定被扫描的患 者身体的区域的场，如可由源医学成像技术计算系统102在执行医学成像扫描时指定 的。可替代地，ai流水线100的第一级逻辑110可以实现用于身体部位检测112的专 门配置和训练的ml/dl计算机模型，其关于患者身体的特定部分执行医学图像分类， 医学图像分类对输入体积105的医学图像数据执行计算机化模式分析，并且预测关于 患者身体的一个或多个预定部分的医学成像数据的分类。在一些说明性实施例中，这 个评估可以是二元的(例如是或不是腹部医学成像体积)，或者可以是更复杂的多类 别评估(例如，专门识别关于多个不同身体部位分类(例如，腹部、颅、下肢等)的 概率或得分)。
[0093]
如果ai流水线100的第一级逻辑110的感兴趣的身体部位确定逻辑114确定输 入体积105不表示患者身体的其中可以发现感兴趣的解剖结构的部分，(例如，可以 发现肝脏的身体的腹部部分)，则可以中断ai流水线100的处理(拒绝情况)。如果 ai流水线100的第一级逻辑110的感兴趣的身体部位确定逻辑114确定输入体积105 确实表示患者身体的其中可以发现感兴趣的解剖结构的部分，则如下文所述执行ai 流水线100对输入体积105的进一步处理。应当了解，在一些说明性实施例中，可以 提供ai流水线100的多个不同实例，每个实例被配置并训练以处理对应于可能存在于 患者身体的不同部分中的不同解剖结构的输入体积105。从而，第一级逻辑110可以 在ai流水线100外部提供，并且可以作为路由逻辑操作，以将输入体积105路由到对 应的ai流水线100，所述ai流水线100被专门配置和训练以处理特定分类的输入体 积105，例如，一个ai流水线实例用于肝脏和肝脏病变检测/分类，另一ai流水线实 例用于肺部和肺部病变检测/分类，第三ai流水线实例用于心脏和心脏病变检测/分类 等。从而，第一级逻辑110可以包括路由逻辑，所述路由逻辑存储哪个ai流水线实例 100对应于感兴趣的不同身体部位/解剖结构的映射，并且基于输入体积105中表示的 身体部位的检测，第一级逻辑110可以将输入体积105自动路由到对应的ai流水线实 例100，所述ai流水线实例100被专门配置和训练以处理对应于检测到的身体部位的 输入体积105。
[0094]
假设输入体积105被检测为表示存在感兴趣的解剖结构的患者身体的一部分(例 如，为了肝脏病变检测的目的，在输入体积105中存在腹部扫描)，输入体积105的 进一步处理由ai流水线100在第二级逻辑120中执行。该第二级逻辑120包括两个主 要子级122和124，这两个主要子级可以基本上彼此并行和/或依序执行，这取决于所 期望的实施方式(在图1中作为示例表示为并行执行)。两个主要子级122、124包括 相位分类子级122和解剖结构检测子级124，(例如，在ai流水线100被配置为执行 肝脏病变检测的情况下的肝脏检测子级124)。
[0095]
相位分类子级122确定输入体积105是否包括单个成像相位，(例如，造影前相 位、动脉造影相位、门静脉造影相位、延迟相位等)。再次，相位分类子级122可以 被实现为评估与输入体积105相关联的元数据的逻辑，所述元数据可以包括指定医学 成像研究的相位的
场，所述医学图像与所述相位相对应，如可以由医学成像技术计算 系统102在执行医学成像时所生成的。可替代地，说明性实施例可以实现被配置和训 练的ml/dl计算机模型，其被专门训练以检测指示医学成像研究的不同相位的医学 图像的模式，并且由此可以将输入体积105的医学图像关于它们对应于哪些相位进行 分类。相位分类子级122的输出可以是二元的，其指示输入体积105是包括一个相位 还是多个相位，或者可以是对输入体积105中表示的每个相位的分类，该分类随后可 用于确定表示单个相位还是多个相位。
[0096]
如果相位分类指示在输入体积105中存在单个相位，则如下文所述ai流水线100 通过下游级130-170执行进一步处理。如果检测到多个相位，则输入体积105不被ai 流水线100进一步处理，或者如先前所述，可以过滤和/或分成子体积，每个子体积具 有对应的单个相位的图像，使得ai流水线100仅处理对应于目标相位的子体积和/或 将子体积路由到对应的ai流水线，所述ai流水线被配置和训练以处理对应于它们的 特定相位分类的图像的输入体积。应当理解，输入体积可由于若干原因而被拒绝(例 如，图像中不存在肝脏、图像中不存在单个相位输入体积、图像中不存在足够的肝脏 等)。取决于拒绝的实际根本原因，拒绝的原因可经由用户界面等传达给用户。例如， 响应于该拒绝，ai流水线100的输出可指示拒绝的原因且可被下游计算系统(例如， 检视器或额外自动化处理系统)利用以通过输出传达拒绝的原因。例如，在输入体积 中没有检测到肝脏的情况下，可以静默地忽略输入体积，例如，当针对输入体积包含 肝脏时，不将该拒绝传达给用户，但是包括多相输入体积，通过在由观看者下游计算 系统生成的用户界面中清楚地陈述由于输入体积具有多于一个相位的图像而输入体积 没有被ai流水线100处理，拒绝可以被传达给用户(例如，放射科医生)，例如，以 便不会被不包含任何发现的输入体积误解。
[0097]
第二主要子级124是用于检测输入体积105的部分中的感兴趣的解剖结构(在示 例性实施例中是肝脏)的检测子级。即，识别并评估输入体积105中专门描绘感兴趣 的解剖结构(肝脏)的切片、厚片等，以确定这些切片、厚片或输入体积中是否存在 作为整体的预定最小量的感兴趣的解剖结构(肝脏)。如前所述，检测子级124包括 ml/dl计算机模型125，所述ml/dl计算机模型125被专门训练并被配置成执行计 算机化医学图像分析，以识别输入医学图像中对应于感兴趣的解剖结构(例如，人类 肝脏)的部分。
[0098]
从而，在肝脏检测子级124中，ai流水线100使用经训练的ml/dl计算机模型 125来确定输入的ct医学图像的体积是否包括描绘肝脏的图像。体积中描绘肝脏的部 分与相位分类子级122的结果一起传递到ai流水线100的确定子级126，所述确定子 级126包括单个相位确定逻辑127和最小结构量确定逻辑128，所述确定子级126确 定是否存在单个相位的医学成像127，以及在所述体积中描绘感兴趣的解剖结构(例 如，肝脏)的部分中是否存在至少预定量的感兴趣的解剖结构128。如前所述，可基 于从医学图像确定结构测量的已知测量机制来确定是否存在预定量的感兴趣的解剖结 构，例如，从图像内的像素位置的差异计算结构的大小，并将这些测量与一个或多个 预定阈值进行比较以确定在输入体积105中是否存在最小量的感兴趣的解剖结构(例 如，肝脏)，例如在输入体积105中被确定为描绘肝脏的部分中存在1/3的肝脏。
[0099]
在一个说明性实施例中，为了确定在输入体积105中是否存在预定量的感兴趣的 解剖结构(肝脏)，可以使用先前描述的轴向评分机制来评估输入体积105中存在的 解剖结构的部分。如前所述，针对输入体积105，ml/dl计算机模型可被配置和训练 成估计分别对
应于mssv和misv切片的切片得分的切片得分s
sup
和s
inf
。在一些说明 性实施例中，可以通过首先将输入体积105划分成多个区段，然后对于每个区段，在 该区段的切片上执行被配置和训练的ml/dl计算机模型，以估计该区段的s’sup
和s’inf
中的第一切片和最后切片的切片得分，来间接地找到切片得分s
sup
和s
inf
。给定s’sup
和 s’inf
的估计，通过外推法找到s
sup
和s
inf
的估计，因为已知区段如何相对于输入的ct 医学图像的整个体积定位。应当注意，对于每个输入体积105，将存在n个s
sup
和s
inf
的估计，其中n是每体积的区段的数量。在一个说明性实施例中，通过取这n个估计 的未加权平均值来获得最终估计，然而，在其他说明性实施例中，可使用n个估计的 其他函数来生成最终估计。
[0100]
已经确定了输入的ct医学图像的体积的s
sup
和s
inf
的最终估计，基于这些值计 算感兴趣的解剖结构(例如，肝脏)的分数。然后，可将该计算出的分数与预定阈值 比较，以确定在输入的ct医学图像的体积中是否存在预定的最小量的感兴趣的解剖 结构，例如，在输入的ct医学图像的体积中存在至少1/3的肝脏。
[0101]
如果确定逻辑127和128的确定指示存在多个相位和/或在输入体积105中描绘肝 脏的部分中不存在预定量的感兴趣的解剖结构，则可以中断由ai流水线100针对级 130-170对输入体积105的进一步处理(即拒绝输入体积105)。如果确定逻辑127和 128的确定导致确定输入体积105具有单个相位的图像和描绘至少预定量的肝脏，则 输入体积105中描绘解剖结构的部分被转发到ai流水线100的下一级130用于处理。 虽然示例说明性实施例转发包含肝脏的输入体积的子部分用于进一步处理，但是在其 他说明性实施例中，也可以提供肝脏周围的上下文，这可以通过在所选择的肝脏区域 上方和下方添加预定量的裕度来完成。取决于后续处理操作需要多少上下文，该裕度 可被增加到完全覆盖原始输入体积。
[0102]
在ai流水线100的下一级130中，ai流水线100对输入体积105中表示感兴趣 的解剖结构(例如，肝脏)的部分执行病变检测。ai流水线100的这个肝脏/病变检测 级130使用ml/dl计算机模型132-136的集成来检测如在输入体积105中表示的肝脏 和肝脏中的病变。ml/dl计算机模型132-136的集成使用不同训练的ml/dl计算机 模型132-136来执行肝脏和病变检测，其中ml/dl计算机模型132-136被训练并且使 用损失函数来平衡病变检测中的假阳性和假阴性。此外，集成的ml/dl计算机模型 132-136被配置为使得第三损失函数使ml/dl计算机模型132-136的输出彼此一致。
[0103]
在一个说明性实施例中，在输入体积105上执行配置和训练的ml/dl计算机模 型132以检测肝脏的存在。该ml/dl计算机模型132可以与在先前的ai流水线级120 中采用的ml/dl计算机模型125相同，从而，可以利用先前获得的结果。配置并训 练多个(两个或更多个)其他ml/dl计算机模型134-136以在输入体积105的医学图 像中描绘肝脏的部分中执行病变检测。配置并训练第一ml/dl计算机模型134以直 接对输入体积105进行操作并且生成病变预测。第二ml/dl计算机模型136配置有 实现两个不同损失函数的两个不同解码器，一个是惩罚假阴性中的错误的损失函数(即 分类错误地指示不存在病变(正常解剖结构))，并且第二个是惩罚假阳性结果中的 错误的损失函数(即分类错误地指示存在病变(异常解剖结构))。对ml/dl计算 机模型136的第一解码器进行训练以便以具有大量假阳性为代价来识别表示相对大量 的不同病变的模式。ml/dl计算机模型136的第二解码器被训练为对病变的检测较不 敏感，但是检测到的病变更可能被准确地检测。作为整体的ml/dl计算机
模型的集 成的第三损失函数将ml/dl计算机模型136的解码器的结果彼此比较并且使它们彼 此一致。第一和第二ml/dl计算机模型134、136的病变预测结果被组合以生成用于 集成的最终病变预测，同时生成肝脏掩模的预测的其他ml/dl计算机模型132提供 表示肝脏及其轮廓的输出。下面将参见图6更详细地描述这些ml/dl计算机模型 132-136的示例架构。
[0104]
ai流水线100的肝脏/病变检测级130的结果包括肝脏的一个或多个轮廓(外形) 以及识别医学成像数据元素中对应于检测到的病变135的部分的检测图(例如，在输 入体积105中检测到的肝脏病变的体素方式的图)。然后将检测图输入到ai流水线 100的病变分割级140。如下文将更详细描述的，病变分割级140使用分水岭技术和相 应的ml/dl计算机模型142对检测图进行分区，以生成输入体积105的医学图像(切 片)的图像元素(例如，体素)分区。肝脏病变分割级140提供其他机制(诸如ml/dl 计算机模型144)，其基于该分区来识别与输入体积105的切片中存在的病变对应的 所有轮廓，并执行识别哪些轮廓在三维上与同一病变对应的操作。病变分割级140进 一步提供机制(诸如ml/dl计算机模型146)，这些机制聚合相关的病变轮廓以生成 病变的三维分区。病变分割使用医学图像中表示的病变图像元素(例如体素)和非肝 脏组织的修复(in-painting)，以单独地集中于各病变并进行主动轮廓分析。以这种 方式，可以识别和处理个体病变，而不会由于医学图像中的其他病变而偏倚分析或者 由于图像在肝脏外部的部分而偏倚。
[0105]
病变分割140的结果是在输入体积105中具有其对应外形或轮廓的病变148的列 表。这些输出148被提供给ai流水线100的假阳性移除级150。假阳性移除级150使 用配置和训练的ml/dl计算机模型，该模型使用双操作点策略来减少由ai流水线100 的病变分割级140产生的病变列表中的假阳性病变检测。通过配置假阳性移除级150 的ml/dl计算机模型以移除尽可能多的病变，第一操作点被选择为对假阳性敏感。 在敏感的假阳性移除之后确定列表中是否保留预定数目或更少的病变。如果是，则使 用对假阳性相对不太敏感的第二操作点来重新考虑列表中被移除的其他病变。这两种 方法的结果识别有待由ai流水线的病变分类级进一步处理的最终过滤的病变列表。
[0106]
在已经从由病变分割级140生成的病变列表及其轮廓中移除了假阳性之后，将所 得的经过滤的病变列表155作为输入提供给ai流水线100的病变分类级160，在病变 列表及其相应的轮廓数据上执行配置和训练的ml/dl计算机模型，由此将病变分类 到多个预定病变分类中的一个病变分类中。例如，可以将最终过滤的病变列表中的每 个病变及其属性(例如，轮廓数据)输入到病变分类级160的经训练的ml/dl计算 机模型中，然后该经训练的ml/dl计算机模型对此数据进行操作以将该病变分类为 特定的预定类型或类别的病变。
[0107]
在由ai流水线100的病变分类级160对病变进行分类之后，ai流水线100生成 输出170，该输出包括病变及其分类的最终化列表以及病变的任何轮廓属性。此外， ai流水线100输出170还可以包括从肝脏/病变检测级130获得的肝脏的肝脏轮廓信息。 该ai流水线100生成的输出可被提供给进一步的下游计算系统180，用于进一步处理 和生成感兴趣的解剖结构和解剖结构中存在的任何检测到的病变的表示。例如，可以 在下游计算系统180的医学图像查看器或其他计算机应用中生成输入体积的图形表示， 其中，使用由ai流水线生成的轮廓信息在图形表示中叠加或以其他方式突出解剖结构 和检测到的病变。在其他说明性实施例中，由下游计算系统180进行的下游处理可以 包括诊断决策支持操作、基于检测到的病变列表、分类和轮廓的自动化医学成像报告 生成。在其他说明性实施例中，基
于病变的分类，可以生成不同的治疗建议以供执业 医师审查和考虑。在一些说明性实施例中，病变列表、它们的分类和轮廓可以与患者 标识符相关联地存储在下游计算系统180的历史数据结构中，使得可以随着时间推移 存储和评估ai流水线100在与同一患者相关联的不同输入体积105上的多次执行。例 如，可以确定病变列表和/或它们相关联的分类和轮廓之间的差异，以评估患者的疾病 或医学状况的进展，并且将这样的信息呈现给医学专家，用于辅助患者的治疗。可以 在不脱离本发明的精神和范围的情况下实现说明性实施例的其他下游计算系统180和 由ai流水线100生成的指定解剖结构和病变检测信息的处理。
[0108]
图2是概述根据一个说明性实施例的ai流水线的示例操作的示例流程图。图2 中概述的操作可以通过各个逻辑级来实现，包括配置和训练的ml/dl计算机模型， 如在图1中示出并且以上参照在随后本说明书的以下单独部分中描述的特定示例实施 例描述的。应当了解，此操作专门针对在一个或多个数据处理系统中实现的自动化人 工智能流水线，所述数据处理系统具有专门被配置以实现这些自动化计算机工具机制 的一个或多个计算设备。除了在医学图像体积创建时间和使用来自下游计算系统的输 出时，在图1和2概述的操作中不存在人为干预。本发明特别地提供改进的自动人工 智能计算机制以执行所描述的操作，这些操作通过提供新的和改进的过程来避免人类 交互并且减少由于先前的人工过程引起的潜在错误，这些新的和改进的过程具体地不 同于任何先前的人工过程并且专门涉及提供允许在自动化计算工具中实现本发明的改 进的人工智能计算机制的逻辑和数据结构。
[0109]
如图2所示，操作开始于从医学成像技术计算系统(例如，提供计算机断层扫描 (ct)医学图像的计算系统)接收医学图像的输入体积(步骤210)。ai流水线对接 收到的输入体积进行操作以执行身体部位检测(步骤212)，使得可以执行关于感兴 趣的身体部位是否存在于接收到的输入体积中的确定(步骤214)。如果在输入体积 中不存在感兴趣的身体部位(例如在肝脏病变检测和分类的情况下的腹部)，则操作 终止。如果在输入体积中存在感兴趣的身体部位，则或者顺序地或并行地执行相位分 类和最小解剖结构评估。
[0110]
即，如图2所示，对输入体积执行相位分类(步骤216)以确定输入体积是否包 括用于医学成像的单个相位(例如，造影前成像、部分造影成像、延迟相位等)或多 个相位的医学图像(切片)。然后确定相位分类指示单个相位还是多个相位(步骤218)。 如果输入体积包括指向多个相位的医学图像，则操作终止；否则，如果输入体积包括 指向单个相位的医学图像，则操作继续至步骤220。
[0111]
在步骤220中，执行感兴趣的解剖结构(例如，在所描绘的示例中的肝脏)的检 测，以便确定在输入体积中是否存在最小量的解剖结构，以能够准确地执行ai流水线 操作的后续级。确定是否存在最小量的解剖结构(例如，在输入体积中表示至少1/3 的肝脏)(步骤222)。如果不存在最小量，则操作终止；否则，操作继续到步骤224。
[0112]
在步骤224中，执行肝脏/病变检测以生成病变的轮廓和检测图。这些轮廓和检测 图被提供给病变分割逻辑，该病变分割逻辑基于这些轮廓和检测图执行病变分割，(例 如在所描绘的示例中执行肝脏病变分割)(步骤226)。病变分割导致生成病变及其 轮廓的列表，以及解剖结构(例如，肝脏)的检测和轮廓信息(步骤228)。基于病 变及其轮廓的这个列表，对列表中的病变执行假阳性移除操作以移除假阳性并且生成 经过滤的病变及其轮廓的列表(步骤230)。
[0113]
将经过滤的病变及其轮廓的列表提供给病变分类逻辑，该病变分类逻辑执行病变 分类以生成病变、其轮廓以及病变分类的最终列表(步骤232)。将该最终列表连同 肝脏轮廓信息一起提供给下游计算系统(步骤234)，该下游计算系统可以对该信息 进行操作以在医学成像查看器应用中生成医学成像视图，基于检测到的病变的分类生 成治疗建议，基于在不同时间点由ai流水线生成的最终的病变列表的比较来评估同一 患者的病变随时间的历史进展，等等。
[0114]
从而，如以上概述的说明性实施例提供了自动化的人工智能机制和ml/dl计算 机模型，这些模型对医学图像的输入体积进行操作并且生成病变、其轮廓以及分类的 列表，同时使假阳性最小化。说明性实施例提供了自动化的人工智能计算机工具，该 自动化的人工智能计算机工具在输入体积的给定图像体素集合中具体识别体素中的哪 些体素对应于感兴趣的解剖结构(例如，肝脏)的一部分，以及这些体素中的哪些体 素对应于感兴趣的解剖结构中的病变(例如，肝脏病变)。说明性实施例提供了优于 手动和自动化两者的先前方法的明显改进，因为说明性实施例可以集成在临床医生工 作流程中的全自动化计算机工具中。实际上，基于说明性实施例的ai流水线设计的早 期级，其接受仅单个相位的输入体积(例如腹部扫描)，并且拒绝不描绘感兴趣的解 剖结构(例如，肝脏)的输入体积，或者不描绘预定量的感兴趣的解剖结构(例如， 太小和肝脏的量)，只有有意义的输入体积通过自动化ai流水线处理，从而防止放射 科医生在审阅感兴趣的非解剖结构输入体积(例如，非肝病例)时，对无用或有缺陷 的结果花费有价值的手动资源。除了防止用无用信息淹没放射科医生之外，说明性实 施例的自动化ai流水线也通过避免ai流水线和下游计算系统(诸如网络)的拥塞来 确保平滑的信息技术集成，使用与不对应于感兴趣的解剖结构的情况或不能提供足够 量的感兴趣的解剖结构的情况相关联的数据来归档和审阅计算系统。此外，如上所述， 说明性实施例的自动化ai流水线允许以完全自动的方式对病变进行精确检测、测量和 表征，这通过说明性实施例的一个或多个的自动化ai流水线结构及其对应的基于自动 化的ml/dl计算机模型的组件在技术上是可能的。
[0115]
用于检测输入体积中存在最小量的解剖结构的ml/dl计算机模型
[0116]
如前所述，作为输入体积105的处理的一部分，重要的是确保输入体积105表示 医学成像的单个相位并且在输入体积105中表示至少最小量的感兴趣的解剖结构。为 了确定在输入体积105中存在最小量的感兴趣的解剖结构，在一个说明性实施例中， 确定逻辑128实现专门配置和训练的ml/dl计算机模型，其估计用于确定解剖结构 (例如，在输入体积105中存在的肝脏)的一部分的切片得分。以下描述提供了基于 定义的轴向评分技术的这种配置和训练的ml/dl计算机模型的示例实施例。
[0117]
图3a是说明根据一个说明性实施例的人类患者的腹部的示例输入体积(医学图 像)的示例图。在图3a的描述中，示出了三维体积的二维表示。切片是在图3a中示 出的二维表示内的水平线，但是将表示为延伸到页面中和/或延伸出页面的平面，以表 示人体的平坦二维切片，其中这些平面的堆叠导致三维图像。
[0118]
如图3a所示，说明性实施例定义了范围从0至1的切片的轴向得分。定义轴向 得分，使得对应于含有肝脏的第一切片(fsl)的切片具有0的切片得分，而含有肝 脏的最后切片(lsl)具有1的得分。在所描绘的示例中，定义与体积中的最下切片 (misv)和体积中的最上切片(mssv)相关联的第一切片和最后切片，其中沿着体 积的给定轴(例如，图3a的所描
绘的示例中的y轴)确定最下和最上。从而，在此描 绘的示例中，mssv位于最高y轴值切片处且misv位于最低y轴值切片处。例如， misv可最靠近生物实体的下肢(例如，人类受试者的脚)，且mssv可最靠近生物 实体的上部(例如，人类受试者的头部)。fls是描绘相对最接近misv的感兴趣的 解剖结构(例如肝脏)的切片。lsl是描绘相对最接近mssv的感兴趣的解剖结构的 切片。在一个说明性实施例中，经训练的ml/dl计算机模型(例如，神经网络)可 以通过将切片组块作为输入并且输出组块中的中心切片的高度(轴向得分)来分配轴 向得分。用最小化实际高度的误差(例如，最小平方误差)的成本函数来训练该经训 练的ml/dl计算机模型。然后，将该经训练的ml/dl计算机模型应用于覆盖输入体 积的所有组块(可能在组块之间有一些重叠)。
[0119]
肝脏轴向得分估计(lae)由一对切片得分s
sup
和s
inf
来定义，这对切片得分s
sup
和s
inf
分别对应于mssv和misv切片的切片得分。图1中的确定逻辑128的ml/dl 计算机模型被专门配置和训练以确定输入体积105的切片得分s
sup
和s
inf
，并且知道这 些切片得分，说明性实施例的机制能够确定肝脏在输入体积105的视场中的分数。
[0120]
在一些说明性实施例中，可以通过首先将输入体积105划分成多个区段(例如， 包括x个切片(例如，20个切片)的区段)来间接地找到切片得分s
sup
和s
inf
，然后 对于每个区段，在该区段的切片上执行配置和训练的ml/dl计算机模型，以估计该 区段中的第一切片和最后切片的切片得分s’sup
和s’inf
，其中，“第一”和“最后”可以根 据沿着三维体积105的轴线的前进方向来确定(例如，沿着y轴从第一切片到最后切 片从最小y轴值切片前进到最高y轴值切片)。给定s’sup
和s’inf
的估计，通过外推法 找到s
sup
和s
inf
的估计，因为已知区段如何相对于整个体积105定位。应当注意，对于 每个体积，将存在n个s
sup
和s
inf
的估计，其中n是每体积的区段的数量。在一个说明 性实施例中，通过取这n个估计的未加权平均值来获得最终估计，然而，在其他说明 性实施例中，可使用n个估计的其他函数来产生最终估计。
[0121]
例如，图3b示出了图3a的输入体积的另一描绘，其中切片的区段连同其对应的 轴向得分s’inf
和s’sup
一起表示。如图3b所示，在该示例中，区段被定义成20个相隔 5mm的切片。对于体积的每20个切片区段，由ml/dl计算机模型估计切片得分s’sup
和s’inf
，并且从沿着给定范围(例如，从0至1的范围，从-0.5至1.2的范围，或者适 合于特定实施方式的任何其他期望的预定范围)的这些s’sup
和s’inf
值的外推获得s
sup
和s
inf
。在这个示例中，假设-0.5至1.2的预定范围，如果通过应用ml/dl计算机模 型估计s
sup
并且外推为约1.2并且s
inf
被估计为-0.5，指示整个肝脏包含在该体积中。 类似地，如果估计s
sup
为1.2并且s
inf
为0.5，则这些值指示约50％的上轴向肝延伸被 包含在体积中(例如覆盖为(1.2-.5)/(1.2-(-0.5))＝0.41)。作为另一示例，在另 一说明性实施例中，其中肝脏起始于-2.0并且结束于0.8(即，s
sup
被估计为0.8并且 s
inf
被估计为2.0)，肝脏的上限低于1.2，所以肝脏在上部被切割，并且下限低于-0.5， 使得肝脏的底部被完全覆盖。这指示大约80％的下轴向肝延伸被包含在体积中(即覆 盖是(.8-max(-2，-.5))/(1.2-(-.5))＝0.76)。
[0122]
图3c是图3a的输入体积的示例图，其中体积被轴向地分成n个完全重叠的区 段。在所描绘的示例中，存在由箭头指示的7个区段。应当注意，在此示例中，最后 两个区段(图顶部的箭头)几乎完全相同。如前所述，s’sup
和s’inf
值是由ml/dl计算 机模型针对这些区段中的每一个估计的并且用于外推mssv和misv切片的s
sup
和s
inf
值，然后，s
sup
和s
inf
值可用于确定输入体积105中存在的感兴趣的解剖结构的量。
[0123]
从而，通过首先将输入体积105划分成区段并且然后对于每个区段估计该区段中 的第一切片和最后切片的切片得分s’sup
和s’inf
来间接地找到mssv和misv的s
sup
和 s
inf
值。给定这些估计，通过外推法估计s
sup
和s
inf
的值，因为已知区段如何相对于整 个输入体积105定位。存在从每个区段外推的n个s
sup
和s
inf
的估计，其中n是每体积 的区段的数量。最终估计可例如通过估计n个估计的任何合适的组合函数(例如n个 估计的未加权平均值或任何其他合适的组合函数)来获得。
[0124]
图4a-图4c示出根据一个说明性实施例的ml/dl计算机模型的一个说明性实施 例的示例图，该ml/dl计算机模型被配置和训练成估计医学图像的输入体积的区段 的s’sup
和s’inf
值。图4a-图4c的ml/dl计算机模型仅是ml/dl计算机模型的架构 的一个示例，并且可以在不脱离本发明的精神和范围的情况下对该架构进行许多修改 (诸如改变输入体积的输入切片的张量大小、改变ml/dl计算机模型的层中的节点 数量、改变层数等)。鉴于本说明书，本领域的普通技术人员将认识到如何将说明性 实施例的ml/dl计算机模型修改为所期望的实施方式。
[0125]
如图4a中所示，表示输入体积105的区段410或“厚片”的20个切片的序列设置 为处理块(pb)420-430的输入。在所描绘的说明性实施例中，pb 420-430是混合卷 积层和lstm层的逻辑块(如图4b和4c所示)。从pb 420、430的卷积层提取特征， 然后将该特征作为输入馈送到pb 420、430的lstm层。这是以下事实的一种智能/ 轻建模：切片在由解剖结构驱动的感兴趣的解剖区域或解剖结构(例如，腹部/肝脏) 中具有特定顺序(例如，除了肝脏解剖结构本身之外，肝脏、肾脏、心脏等的相对位 置)。在所描绘的示例中，在此示例中，最初20个切片410的张量大小为128x128。 在这个示例实施例中，第一处理块420将张量的大小减小8，以生成具有尺寸16x16x32 的切片的20个切片区段(应当理解，区段中的切片的数量是特定于实施方式的，并且 可以在不脱离本发明的精神和范围的情况下进行修改)，其中32是滤波器的数目。第 二处理块430将输入区段切片转换成具有维度为2x2x64的切片的20个切片区段，其 中64是滤波器的数目。配置有平坦层、紧密层和线性层的后续神经网络440被配置和 训练以生成针对输入体积105的输入区段410的s’sup
和s’inf
估计。图4b示出了根据 一个说明性实施例的处理块(pb)关于卷积层和lstm层的组成，并且图4c示出了 根据一个说明性实施例的每个pb的这些卷积层和lstm层中的每一个的示例配置。
[0126]
以图4a-图4c的ml/dl计算机模型架构为例，在该ml/dl计算机模型的训练 期间，在一个说明性实施例中，医学成像数据(例如医学数字成像和通信(dicom) 数据)，被组装到例如具有six512x512大小的三维阵列的输入体积中，浮点数32，具 有霍斯菲尔德单位(hu)值，该值是一个归一化的物理值，该归一化的物理值描绘了 在给定位置(例如，体素)处呈现的材料的x射线的衰减。si是第i体积中的切片的 数目，其中i在0至n-1的范围内，其中n是总体积数。每个输入体积由身体部位检 测器处理，并且如上所述提取与腹部相对应的近似区域(在肝脏检测的情况下)。腹 部被定义为例如来自身体部位检测器的轴向得分-30和23之间的连续区域。拒绝此连 续区域外部的切片，且可将基础真值定义为经适当调整的fsl和lsl的位置。例如， 假设输入体积的范围从a到b，如果在[a：b]和[-30，23]之间不存在重叠，则拒绝输入 体积。换言之，如果b》23或如果a＜-30。
[0127]
输入区段410或“厚片”被重叠成预定切片间隔(例如，5mm)。输入区段410在 x、y维度上再成形为128x128，这产生n个形状为mix128x128的区段410。这被称为 输入体积中的
数据的下采样。由于输入体积内的切片的排序依赖于粗略信息(例如， 器官的大小)，ai流水线仍然对下采样数据操作良好，并且ai流水线的处理和训练 时间两者由于下采样数据的大小的减小而被改善。
[0128]
拒绝具有小于预定数量(例如，20)的切片或小于预定像素大小(例如55mm) 的像素大小的输入区段410，从而产生n’个mix128x128区段。使用从其获取范围(例 如，-1024，2048)到范围(0，1)的线性变换来剪切和归一化区段中的值。此时，如 上所述，所处理的n’个mix128x128区段构成训练集，神经网络440在该训练集上被 训练以生成用于输入区段的s’sup
和s’inf
的估计。
[0129]
关于用经训练的神经网络440执行推断，以上操作用于通过身体部位检测来处理 输入体积105，对应于感兴趣的身体部位的切片选择、重新切片、重新成形、拒绝不 满足预定要求的某些切片，并且针对输入体积105的新区段再次执行生成剪切和归一 化的区段。在生成剪切和归一化的区段之后，输入体积105被划分成包含20个切片的 r-ceil(m-10)/10个子体积或区段，以由此生成具有重叠组块的切片的分区。例如， 如果存在n’＝31个切片体积(切片编号0-30)，那么含有以下重叠切片的三个区段或 子体积：0-19、10-29、11-30。这些区段或子体积将典型地具有大约至少50％的重叠。
[0130]
从而，提供、配置和训练ml/dl计算机模型，以便在给定从0至1的定义的轴 向得分范围基于对应于的预定数量的切片(医学图像)的体积的区段的s’sup
和s’inf
值 的估计，估计输入体积的s
sup
和s
inf
值。根据这些估计，可以确定输入体积是否包括共 同构成至少预定量的感兴趣的解剖结构(例如，肝脏)的医学切片。如前面所讨论的， 该确定可以是ai流水线100的确定逻辑128的一部分，该确定逻辑128用于确定在输 入体积105中是否存在足够表示的解剖结构，以允许在ai流水线100的进一步下游级 中的精确肝脏/病变检测、病变分割等。
[0131]
图5是概述根据一个说明性实施例的ai流水线的肝脏检测和预定量解剖结构确 定逻辑的示例操作的流程图。如图5所示，ai流水线的肝脏检测操作通过接收输入体 积而开始(步骤510)并且将输入体积划分成针对每个区段的预定数量的切片的多个 重叠区段(步骤520)。将每个区段的切片输入到经训练的ml/dl计算机模型中，该 模型估计每个区段中的第一切片和最后切片的轴向得分(步骤530)。第一切片和最 后切片的轴向得分用于外推输入体积的体积中最下切片(misv)和体积中最上切片 (mssv)的得分(步骤540)。这导致misv和mssv的轴向得分的多个估计值， 然后通过各个估计的函数组合这些估计值，从而生成输入体积的misv和mssv的轴 向得分的估计(例如加权平均值等)(步骤550)。基于misv和mssv的轴向得分 的估计，将轴向得分与用于确定输入体积中是否存在预定量的感兴趣的解剖结构(例 如，肝脏)的标准进行比较(步骤560)。此后，操作终止。
[0132]
肝脏/病变检测
[0133]
如前所述，假设确定输入体积105具有所表示的单个相位，并且输入体积105具 有在输入体积105的切片中表示的预定量的感兴趣的解剖结构，在输入体积105中包 括感兴趣的解剖结构的部分上执行肝脏/病变检测。在一个说明性实施例中，ai流水线 100的肝脏/病变检测逻辑级130采用配置和训练的ml/dl计算机模型，该模型进行 操作以检测输入体积105的切片中的感兴趣的解剖结构(例如，肝脏)(同样，在一 些说明性实施例中，这可以是在用于肝脏检测的级120中使用的相同ml/dl计算机 模型125)。ai流水线100的肝脏/
病变检测逻辑级130还包括多个其他配置和训练的 ml/dl计算机模型的集成，以检测感兴趣的解剖结构(肝脏)的图像中的病变。
[0134]
图6是根据一个说明性实施例的用于在感兴趣的解剖结构(例如，肝脏)中执行 病变检测的ml/dl计算机模型的集成的示例图。ml/dl计算机模型600的集成包括 第一ml/dl计算机模型610，其用于检测感兴趣的解剖结构(例如，肝脏)并且生成 相应的掩模。ml/dl计算机模型600的集成还包括第二ml/dl计算机模型620，该 第二ml/dl计算机模型被配置和训练成处理在第二ml/dl计算机模型620的两个解 码器中实现的肝脏掩蔽输入并且使用两个竞争损失函数生成病变预测。一个损失函数 被配置为惩罚假阳性错误(产生低灵敏度，但高准确率)，并且另一损失函数被配置 为惩罚假阴性错误(产生高灵敏度，但较低准确率)。采用额外的损失函数(在图6 中称为一致性损失627)用于第二ml/dl计算机模型620，并且使由两个竞争解码器 生成的输出彼此相似(一致)。ml/dl计算机模型的集成进一步包括第三ml/dl计 算机模型630，该第三ml/dl计算机模型被配置和训练成直接处理输入体积105并且 生成病变预测。
[0135]
如图6所示并且如上所述，集成600包括第一配置和训练的ml/dl计算机模型 610，其专门配置和训练成识别输入医学图像中的感兴趣的解剖结构。在一些说明性实 施例中，该第一ml/dl计算机模型610包括u-net神经网络模型612，该u-net神经 网络模型612被配置和训练成执行图像分析以检测医学图像内的肝脏，然而，应当理 解，说明性实施例不限于该特定神经网络模型，并且在不脱离本发明的精神和范围的 情况下，可以利用可以执行分割的任何ml/dl计算机模型。u-net是在德国freiburg 大学计算机科学系(computer science department of the university of freiburg， germany)为生物医学图像分割开发的卷积神经网络。u-net神经网络基于全卷积网 络，该全卷积网络具有被修改和扩展以便以更少的训练图像工作并产生更精确的分割 的架构。u-net在本领域中通常是已知的，并且从而在此不提供更详细的解释。
[0136]
如图6所示，在一个说明性实施例中，可训练第一ml/dl计算机模型610以一 次处理预定数量的切片，其中该数量被确定为适合于所期望实施方式(例如，通过经 验过程确定3个切片以产生良好结果)。在一个说明性实施例中，输入体积的切片是 例如512x512像素医学图像，但是其他实施方式可以在不脱离说明性实施例的精神和 范围的情况下使用不同的切片尺寸。u-net在输入切片中生成解剖结构的分割，从而 产生对应于感兴趣的解剖结构(例如，肝脏)的一个或多个分段。作为该分段的一部 分，第一ml/dl计算机模型610生成表示肝脏掩模614的分段。提供该肝脏掩模614 作为对集成600的其他ml/dl计算机模型620中的至少一个的输入，以便将由ml/dl 计算机模型620进行的处理仅集中在输入体积105的输入切片中对应于肝脏的部分上。 通过用肝脏掩模614预处理ml/dl计算机模型的输入，由ml/dl计算机模型进行的 处理可以集中在输入切片中对应于感兴趣的解剖结构的部分上，而不是输入图像中的
ꢀ“
噪声”上。其他ml/dl计算机模型(例如，ml/dl计算机模型630)直接接收输入 体积105，无需使用由第一ml/dl计算机模型610生成的肝脏掩模614进行肝脏掩模。
[0137]
在所描绘的集成600说明性实施例中，第三ml/dl计算机模型630由编码器部 分634-636和解码器部分638组成。ml/dl计算机模型630被配置为接收输入体积105 的9片厚片，该9片厚片然后被分离成每个具有3个切片的组631-633，其中每个组 631-633被输入到
对应的编码器网络634-636中。每个编码器634-636是卷积神经网络 (cnn)(诸如densenet-121(d121))，在没有全连接的头部的情况下，该头部已 经被预先训练成用于识别输入切片中存在的不同类型的对象(例如，病变)并且输出 指示输入切片中存在的所检测到的对象类型的分类输出(例如，作为输出分类向量等)。 cnn 634-636可例如在输入切片的3个信道上操作，且cnn 634-636的所得输出特征 被提供给串联nhwc逻辑637，其中nhwc是指批中的图像的数量(n)、图像的 高度(h)，图像的宽度(w)和图像的通道数(c)。原始densenet网络的架构包 括许多卷积层和跳跃真连接，这些连接将3切片全分辨率输入下采样到具有较小分辨 率的许多特征信道。从那时起，全连接头部聚合所有特征并将它们映射到densenet 的最终输出中的多个类别。因为densenet网络被用作所描绘的架构中的编码器，所以 头部被移除并且仅下采样的特征被保留。然后，在级联nhwc逻辑637中，所有特征 通道被级联以将它们传递到解码器级638中，解码器级638具有对图像进行上采样的 作用，直到达到期望的(例如，512x512)输出概率图分辨率。
[0138]
编码器634-636共享通过训练过程优化的相同参数(例如，权重、在训练期间对 病变类型的采样、损失的权重、增强的类型等)。ml/dl计算机模型630的训练使用 两个不同的损失函数。主要损失函数是自适应损失，其被专门配置成惩罚在基础真值 中没有病变的切片中的假阳性错误，并且也惩罚在基础真值中具有病变的切片中的假 阴性错误。损失函数是如下的tversky损失的修改版本：
[0139]
对于每个输出切片：
[0140]
tp＝sum(预测*目标)
[0141]
fp＝sum((1-目标)*预测)
[0142]
fn＝sum((1-预测)*目标)
[0143]
loss＝1-((tp+1)/(tp+1+α*fn+β*fp))
[0144]
其中，“预测”是ml/dl计算机模型630的输出概率并且“目标”是基础真值病变掩模。 输出概率值的范围在0与1之间。对于切片中的每个像素，目标具有0或1。对于在 其中不具有病变的切片，“α”项是小的(例如，零)并且“β”是大的(例如，10)。对 于在其中具有病变的切片，“α”是大的(例如，10)并且“β”是小的(例如，1)。
[0145]
第二损失函数639是连接到编码器634-636的输出的函数。因为这个损失的输入 来自ml/dl计算机模型630的中间，所以它被称为“深度监督”639。深度监督已示出 其使编码器神经网络634-636在训练期间学习输入数据的更好表示。在一个说明性实 施例中，该第二损失是预测切片中是否具有病变的简单均方误差。因此，使用映射网 络将编码器634-636的输出特征映射到0和1之间的9个值，这9个值表示在9个切 片输入中的每一个中具有病变的概率。解码器638生成指定输入图像中检测到的病变 的概率图的输出。
[0146]
第二ml/dl计算机模型620从输入体积接收3个切片的预处理输入，该输入已 经用由第一ml/dl计算机模型610生成的肝脏掩模614预处理，以识别对应于肝脏 掩模614的3个切片的部分。将所得的经预处理的输入切片(在所描绘的示例说明性 实施例中具有192x192x3的大小)提供给第二ml/dl计算机模型620，该第二ml/dl 计算机模型620包括连接至两个解码器(2d dec—表示解码器由2维神经网络层组成) 的densenet-169(d169)编码器621。d169编码器621是神经网络特征提取器，广泛 用于计算机视觉应用中。其由一系列卷积层组成，其中，从每层提取的特征以前馈方 式连接至任何其他层。在编码器621中提
取的特征被传送到两个独立的解码器622、 623，其中每个解码器622、623由二维卷积层和上采样层(在图6中称为2d dec) 组成。训练每个解码器622、623以检测输入切片中的病变(例如，肝脏病变)。如前 文和下文所讨论的，尽管两个解码器622、623被训练成执行相同的任务(即，病变检 测)，但是它们的训练的关键差异在于两个解码器622、623各自利用不同的损失函数， 以便将检测训练驱动到两个竞争方向。通过平均操作640将第二ml/dl模型620的 最终检测图与第三ml/dl模型630的最终检测图组合。这个过程被应用在输入体积 105的所有输入厚片上，以生成最终检测图(例如，肝脏病变)。
[0147]
如上所述，使用两个不同的损失函数来训练第二ml/dl计算机模型620，所述 两个不同的损失函数试图实现相反的检测操作点性能。即，在编码器622中的一个使 用损失函数用于训练的情况下，损失函数对假阴性病变检测中的错误进行惩罚，从而 产生具有相对低准确率的高灵敏度检测，编码器623中的其他编码器使用损失函数用 于训练，该训练对假阳性病变检测中的错误进行惩罚，导致低灵敏度检测但具有高准 确率。这些损失函数的一个示例可以是焦点tversky损失(参见abraham等人，“a novel focal tversky loss function with improved attention u-net for lesionsegmentation”，arxiv：1810.07842[cs]，2018年10月)，其中根据说明性实施例针 对假阳性和假阴性的高惩罚或低惩罚来调整参数。第三损失函数(一致性损失627) 用于强制执行每个解码器622、623的预测检测之间的一致性。一致性损失逻辑627将 两个编码器622、623的输出624、625相互比较，并使这些输出彼此相似。这种损失 可以是例如两个预测检测之间的均方差损失、结构相似性损失、或强制执行所比较的 预测检测之间的一致性/相似性的任何其他损失。
[0148]
在运行时，使用这些相对的操作点编码器622、623，第二ml/dl计算机模型620 生成两个病变输出624、625，这两个病变输出624、625被输入到生成病变输出的平 均值的切片平均(slc avg)逻辑623。然后对病变输出的此平均值进行重采样以生 成在维度上与第三ml/dl计算机模型630的输出相称的输出以用于比较(请注意， 此过程包括恢复肝脏掩蔽操作，并且因此以原始512x512x3分辨率计算病变输出)。
[0149]
在运行时，切片平均(slc avg)逻辑626对编码器622、623的病变预测输出 624和625进行操作以生成ml/dl模型620的最终检测图。应当了解，尽管在训练期 间应用一致性损失627来驱动每一解码器622、623以学习一致检测，但在运行时不再 利用此一致性损失，而是ml/dl模型620输出需要由slc avg模块626聚合的两个 检测图。slc avg逻辑626的结果被重采样以生成具有与输入厚片(512x512x3)相 称的维度的输出。经由体积平均(vol avg)逻辑640，将用于输入体积105的每个 厚片的ml/dl模型620的所有生成的检测与ml/dl模型630的生成的检测组合。此 逻辑计算在体素水平处的两个检测掩模的平均值。结果是与输入体积105中检测到的 病变相对应的最终病变掩模650。
[0150]
从而，在训练ml/dl计算机模型620、630之后，当呈现有新输入体积105的新 切片时，第一ml/dl计算机模型610生成用于预处理第二ml/dl计算机模型620的 输入的肝脏掩模614，并且两个ml/dl计算机模型620、630处理输入切片以生成由 体积平均逻辑640针对体积进行平均的病变预测。结果是基于第一ml/dl计算机模 型610的操作的最终病变输出650以及肝脏掩模输出660。这些输出可以被提供为ai 流水线100的肝脏/病变检测逻辑级130输出，该输出被提供给ai流水线100的病变 分割逻辑级140，如以上先前所讨论的，并且在下文中更详细地描述。从而，说明性 实施例的机制为医学图像(切片)的输入体积105中
的解剖结构识别和病变检测提供 集成600方法。
[0151]
通过如图6所示的集成架构，实现了优于使用单个ml/dl计算机模型的改进性 能。即，已经观察到，通过使用集成架构，通过组合集成的多个ml/dl计算机模型 的检测输出，实现与单个ml/dl计算机模型相同水平灵敏度的改进的检测特异性。 即，利用ml/dl模型620、630在不同的定位产生错误(假阳性)，当对不同的定位 的检测输出求平均时，来自假阳性的信号减少，而来自真阳性病变的信号占优势，从 而导致改进的性能。
[0152]
图7是概述根据一个说明性实施例的ai流水线中的肝脏/病变检测逻辑的示例操 作的流程图。如图7所示，该操作开始于接收输入体积(步骤710)并且使用第一训 练的ml/dl计算机模型(诸如被配置和训练成识别解剖结构(例如，肝脏)的u-net 计算机模型)执行解剖结构检测(例如，肝脏检测)(步骤720)。解剖结构检测的 结果是输入体积的分割，以识别解剖结构的掩模(例如，肝脏掩模)(步骤730)。 还经由集成的第一训练的ml/dl计算机模型来处理输入体积，该第一训练的ml/dl 计算机模型被专门配置和训练成执行病变检测(步骤740)。第一训练的ml/dl计算 机模型基于其对输入体积的处理来生成第一组病变检测预测输出(步骤750)。
[0153]
集成的第二训练的ml/dl计算机模型接收通过将所生成的解剖结构掩模应用于 输入体积而生成的掩蔽输入，并且由此识别输入体积中对应于感兴趣的解剖结构的医 学图像的部分(步骤760)。第二训练的ml/dl计算机模型经由具有两个不同且竞争 的损失函数的两个不同解码器来处理掩蔽输入(例如，一个损失函数惩罚假阳性病变 检测中的错误，而另一损失函数惩罚假阴性病变检测中的错误)(步骤770)。结果 是两组病变预测输出，然后通过组合逻辑组合这两组病变预测输出，以生成第二 ml/dl计算机模型的病变预测输出(步骤780)。如果必要，对第二病变预测输出进 行重采样，并且与由集成的第一ml/dl计算机模型生成的第一病变预测输出组合以 生成最终病变预测输出(步骤790)。然后，将最终病变预测输出与解剖结构掩模一 起输出(步骤795)，并且操作终止。
[0154]
病变分割
[0155]
如前所述，通过包括身体部位检测、感兴趣的身体部位确定、相位分类、感兴趣 的解剖结构识别和解剖结构/病变检测的ai流水线的逻辑的各个ml/dl计算机模型和 级的操作，生成病变预测输出。例如，在图1所示的ai流水线100中，ai流水线100 的肝脏/病变检测级130的结果包括肝脏的一个或多个轮廓(外形)，以及识别医学成 像数据元素中对应于检测到的病变135的部分的检测图(例如，在输入体积105中检 测到的肝脏病变的体素方式的图)。然后将检测图输入到ai流水线100的病变分割级 140。
[0156]
如前所述，病变分割逻辑(例如图1中的病变分割级140)，使用分水岭技术和 对应的ml/dl计算机模型来对检测图分区，以生成输入体积的医学图像(切片)的 图像元素分区。肝脏病变分割级还提供其他机制(诸如一个或多个其他ml/dl计算 机模型)，这些其他机制基于图像元素分区来识别与输入体积的切片中存在的病变相 对应的所有轮廓，并且执行识别哪些轮廓在三维上与同一病变相对应的操作。病变分 割级进一步提供多种机制(诸如一个或多个另外的ml/dl计算机模型)，这些计算 机模型聚合相关的病变轮廓以产生病变的三维分区。
[0157]
病变分割使用在医学图像中表示的病变图像元素和非肝脏组织的修复 (in-painting)，以单独地集中于各病变并执行主动轮廓分析。以这种方式，可以识 别和处理个
体病变，而不由于医学图像中的其他病变而偏倚分析或者由于图像在肝脏 外部的部分而偏倚。病变分割的结果是在输入体积中具有其相应外形或轮廓的病变列 表。
[0158]
图8描绘了根据一个说明性实施例的由病变分割逻辑执行的病变分割过程的各个 方面的概述的框图。如图8所描绘的，病变分割包括用于切片式分割二维检测的机制 (即二维切片中的病变的检测)(框810)，沿着z轴连接二维病变(框820)，以及 切片式细化轮廓(框830)。下文将关于后续附图更详细地描述这些框中的每一个。 图8中所示的分割过程被实施为用于在分析中识别给定输入体积中的所有病变并且在 输入体积的图像(切片)中区分彼此接近的病变的过程。例如，出于执行检测到的病 变的其他下游处理的目的(诸如在病变分类期间)，以及在单独识别病变列表的输出 中的病变以用于下游计算系统操作(诸如提供医学查看应用、执行治疗建议操作、执 行决策支持操作，等等)，在一个或多个图像中看起来在像素方面合并的两个病变可 能需要被识别为两个不同区域或不同的病变。
[0159]
作为在框810中切片式地分区2d图像的一部分，说明性实施例的机制使用现有 分水岭技术将来自ai流水线的先前病变检测级的检测图(例如，由图1中的ai流水 线100的肝脏/病变检测逻辑130生成的检测图135)进行分区。分水岭算法需要定义 种子以执行掩模分区。分水岭算法将掩模分裂成与存在种子一样多的区域，使得每个 区域具有恰好一个大致位于其中心的种子，如图10a和10c所示。在自动分割中，可 以获得掩模中的种子作为其距离图(到掩模轮廓的距离)的局部最大值。然而，此方 法易于产生噪声，且可能导致太多种子，从而过度分裂掩模。因此，我们需要通过对 区域的一些区域进行重组来编辑分区。考虑到大多数病变为气泡形状的经验观察，区 域重组的引导原理是使得所得新区域大致为圆形。例如，对于图10c中所示的掩模， 该机制将合并分别由种子1051和1061识别的两个区域，从而产生仅包括两个大致圆 形区域的新掩模分区。从而，对于在检测图135中定义的检测到的病变，如在图9的 左侧所示的病变(此后所描述的)，可以将其分割成几个气泡状病变，如在图9的右 侧所示。它们将被解释为切片上的3d病变的截面。
[0160]
分水岭分割是基于区域的方法，其起源于数学形态。在分水岭分割中，图像被视 为具有脊和谷的地形景观。景观的海拔值通常由相应像素的灰度值或其梯度量值定义， 因此将二维视为三维表示。分水岭变换将图像分解成“集水盆”(catchment basin)。 对于每个局部最小值，集水盆包括其最陡下降路径终止于此最小值的所有点。分水岭 将盆彼此分离。分水岭变换完全分解图像并且将每个像素分配到区域或分水岭中。
[0161]
分水岭分割需要在图像的每个对象内部选择至少一个标签(称为“种子”点)。种 子点可以由操作者选择。在一个实施例中，通过考虑对象的特定于应用的知识的自动 过程选择种子点。一旦对象被标记，就可以使用形态分水岭变换来生长对象，这将在 下文进一步详细描述。病变典型地具有“气泡”形状。说明性实施例提供了用于基于该 假设合并分水岭的分割区域的技术。
[0162]
此后，在块820中，说明性实施例的机制沿着z方向在每个切片上聚合体素分区 以产生三维输出。因此，该机制必须确定在不同切片中的两组图像元素(例如，体素) 是否属于同一病变(即，它们是否在三维中对齐)。该机制基于病变的交集和并集来 计算相邻切片中的病变之间的测量，并且应用回归模型来确定相邻切片中的两个病变 是否是相同区域的一部分。人们可以将每个病变视为一组体素，并且该机制将两个病 变的相交确定为两组体素的相交，并且将两个病变的并集确定为两组体素的并集。
[0163]
这导致病变的三维分区；然而，轮廓可能不能很好地拟合实际图像。可能存在过 度分割的病变。说明性实施例提出使用主动轮廓，其是处理分割问题的传统框架。这 种算法试图迭代地编辑轮廓以使其越来越好地拟合图像数据，并且同时确保其保持某 些期望的特性(诸如形状平滑度)。在块830中，说明性实施例的机制利用从第一级 810和第二级820获得的分区来初始化主动轮廓，并且一次集中于一个病变；否则， 在接近的病变上运行主动轮廓或随机分割方法可能导致它们再次合并成一个轮廓，这 是反效的，因为这相当于基本上消除了由先前区级带来的益处。该机制集中于一个病 变并且对在集中的病变附近的病变体素和非肝脏组织执行“修补”。
[0164]
这三个处理级的链接允许不受图像中的其他病变或肝脏之外的像素或病变偏倚 的处理。
[0165]
切片式分区2d检测
[0166]
图9描绘了根据一个说明性实施例的病变检测和切片式分区的结果。如图9的左 侧所见，病变区910通过上述先前的ai流水线过程被检测，并且可以从病变检测逻辑 (例如，图1中的130)在轮廓和检测图(例如，图1中的135)的输出中被限定。如 图9的右侧所示，根据一个说明性实施例，图8中的块810的逻辑试图将该区域分区 成三个病变911、912和913。说明性实施例的分区机制基于现有分水岭技术，其操作 以将来自ai流水线的先前病变检测级的检测图分区。分水岭算法主要用于分割目的的 图像处理。这些已知的分水岭算法背后的原理是灰度图像可以被视为地形表面，其中 高强度表示峰和丘，而低强度表示谷。分水岭技术开始用不同颜色的水(标记)填充 每个隔离的谷(局部最小值)。随着水上升，取决于附近的峰(梯度)，来自具有不 同颜色的不同谷的水将开始合并。为了避免这种情况，在水合并的位置构建屏障。填 充水和建筑屏障的工作继续，直到所有峰都在水下，此时创建的屏障给出分割结果。 再次，分水岭技术通常是已知的，并且从而，在本文中不提供更详细的描述。在不脱 离本发明的精神和范围的情况下，可以使用任何已知的用于切片式分区2d图像的技 术。
[0167]
在病变分割的背景下，大多数病变为圆形形状的经验观察强烈地表明产生一组圆 形区域的分区可能是良好的分区。然而，如前所述，分水岭型分区的质量取决于种子 的质量。事实上，种子的任意集合不需要导致圆形区域的集合。例如，图10c示出了 由仅包含一个大致圆形区域的3个种子引起的分水岭分区。另外两个不是圆形。然而， 它们的并集再次是大致圆形的。这种配置被称为过度分裂，因为图中的倾斜分裂 (slanted split)将另外的圆形区域分成两个较小的、非圆形的区域。因此，期望具有 能够校正过度分裂的算法。种子重新标记机制通过合并几个过度分裂的区域以形成仅 包含圆形区域的较粗分区来实现这一点。例如，该机制针对图10c中的分区决定合并 由种子1051和1061识别的两个区域，形成更圆形的新区域。
[0168]
说明性实施例将分区中的区域合并成可对应于物理病变的较圆和较大的区域。分 区将区域分成更小的区域，或者如本文所述，分区将掩模分成更小的区域。就轮廓而 言，分区从而从大轮廓产生一组较小的轮廓(参见图9从左到右)。
[0169]
种子通过从距离图中提取局部最大值来获得，该距离图是从输入掩模到分区计算 的。该图针对每个像素测量其与掩模轮廓的欧几里德距离。取决于输入掩模的拓扑结 构，从这个距离图导出的局部最大值可以通过分水岭算法导致过度分段的分区。在这 种情况
下，分水岭据说是过度分裂的并且倾向于产生不是圆形的区域，这在一些应用 中可能是期望的，但是对于病变分割而言不是理想的。在图10c中，我们示出了其距 离图具有三个局部最大值的合成输入掩模。从而，分水岭产生了包含三个区域的分区， 其中只有一个区域是大致圆形的(对应于种子1071)。另外两个不是。具有种子1051 的区域仅为半圆形。种子重新标记机制然后检查所有种子对，并确定对应于种子1051 和1061的两个区域应当合并在一起，它们将形成更完美的气泡。这样的操作导致仅包 含两个区域的新的分区，并且两者在形状上大致为圆形。
[0170]
局部最大值是与其紧邻点相比具有距轮廓的最大距离的点。局部最大值是点，并 且其到轮廓的距离是已知的。因此，说明性实施例的机制可以绘制以这个点为中心的 圆。圆的半径是距离。对于两个局部最大值，该机制可以从而计算它们对应的圆的重 叠。这在图10a和图10b中描绘。
[0171]
种子重新标记按如下方式确定是否合并两个区域。对于其关联种子是直接相邻的 两个区域，合并将发生；否则，该机制将其决定基于假设检验程序。例如，参见图10a， 所描绘的示例描述了距离图产生两个不同的局部最大值的情况，这导致每个最大值表 示不同的圆形病变的中心的假设。注意，距离图也允许说明性实施例的机制告知最大 值距轮廓(边界)有多远。该距离在图10b中由连接轮廓上的最大值和点的虚线段表 示。因此，如果假设成立，则由于假设病变具有大致圆形或“气泡”形状，人们可以推 断这两个病变的空间范围。这允许说明性实施例的机制绘制如图10b中所示的两个完 整的圆。由此，该机制然后测量两个圆的重叠(例如，利用经典的dice度量)并且将 其与预定阈值进行比较。如果重叠度量的值大于阈值，则该机制推断两个气泡重叠太 多而不明显，并且将发生合并。换言之，该说明性实施例的机制然后推断这两个局部 最大值对应于同一病变的两个“中心”。然而，在传统分水岭中，不存在这样的种子(即， 最大值)重新标记机制。从而，经常发生掩模过度分裂。
[0172]
重叠可以多种方式测量。在一个示例实施例中，该机制使用dice系数。对于如图 10b中所示的对应于两个局部最大值的两个完整圆，该机制可以计算这两个圆的dice 度量。以此方式，该机制可以从训练数据集学习在实践中应用什么最佳阈值，使得一 旦dice度量大于该阈值，这两个局部最大值实际上是同一病变的中心。
[0173]
图10c和图10d提供了另一病变掩模形状的示例，其与图10a和图10b的不同 之处在于两个部分合并的圆在图10a中比在图10c中更靠近彼此。由于可能对掩模形 状非常敏感的距离图，在图10c的示例病变掩模形状中存在三个种子。遵循以上推理， 病变分裂算法将在图10c中表示的病变分裂成两个单独的病变，但不是如在没有种子 重新标记的情况下，将在分水岭技术中发生的三个单独的病变。
[0174]
在图10c和图10d中，种子1051和1061表示比图10a和图10b中描述的种子 更极端的情况。在没有说明性实施例的种子重新标记技术的情况下，将发生分裂(由 倾斜的实线表示)以分离它们。但是利用说明性实施例的种子重新标记机制，可以有 效地避免该不期望的结果。相反，由于种子1071离种子1051和1061足够远，所以上 述相同的假设测试过程将帮助接受种子1071对应于不同气泡的中心的假设，从而导致 如图10c和图10d所示的垂直分裂。等同地，这导致与分配给种子1051和1061的标 签不同的种子1071的标签。然而，类似于图10a和图10b中的情况，说明性实施例 的种子重新标记技术的假设检验程序将确定
种子1051和1061对应于相同的病变。
[0175]
图11a是示出根据一个说明性实施例的用于病变分裂和重新标记的机制的框图。 如图11a所示，该机制可被实现为包括一个或多个算法、机器学习计算机模型等的计 算机模型，该计算机模型由一个或多个计算设备的一个或多个处理器执行并且该一个 或多个处理器对一个或多个医学图像数据结构的输入体积进行操作，接收二维病变掩 模1101以及执行距离变换(框1102)以生成距离图1111。距离变换(框1102)是对 二元掩模执行的操作，该二元掩模针对病变掩模中的每个点计算其到掩模轮廓(边界) 的最短距离。朝向病变掩模的内部移动越多，越远离其轮廓(边界)。从而，距离变 换识别病变掩模的中心点(即具有比其他点更大的距离的那些点)。在一个实施例中， 该机制可选地对距离图1111执行高斯平滑。
[0176]
该机制然后执行局部最大值识别(框1103)以生成种子1112。如上所述，这些 局部最大值是距离图1111中距轮廓或边界具有最高距离的点。该机制基于种子1112 执行分水岭技术(框1104)以生成分水岭分裂病变掩模1113。如上所述，这种分裂病 变掩模1113可以被过度分裂，导致不符合病变的假定气泡形状的区域。因此，该机制 基于距离图1111、种子1112和分裂的2d病变掩模1113执行种子重新标记(框1120) 以生成更新的分裂病变掩模1121。种子重新标记在下文参照图11b进一步详细描述。 所得更新的分裂病变掩模1121将具有已经合并以形成更精确地符合为病变假定的气 泡形状的区域的区域。
[0177]
图11b是示出根据一个说明性实施例的用于种子重新标记的机制的框图。如图 11b所示，该机制接收距离图1111和种子1112，该机制可被实现为包括一个或多个算 法的计算机模型、机器学习计算机模型等，由一个或多个计算设备的一个或多个处理 器执行并且对一个或多个医学图像数据结构的输入体积进行操作。更具体地，该机制 考虑种子1112中的每对种子(种子a和种子b)。该机制确定种子a和种子b是否 是直接邻居(框1151)。如果种子a和种子b是直接邻居，则该机制为种子a和种 子b分配相同的标签(框1155)。换言之，种子a和种子b被分组以表示单个区域。
[0178]
如下所述，在块1151中如果种子a和种子b不是直接邻居，则该机制基于距离 图1111来执行空间范围估计(1152)，并确定种子a和种子b的成对亲和性。根据 说明性实施例，空间范围估计假设区域是“气泡”形状。从而，该机制假设每个种子表 示以与距离图的距离作为圆的半径的圆。
[0179]
然后，所述机制计算由种子a和种子b表示的圆的重叠度量(框1153)。在一 个示例实施例中，该机制使用如下的dice度量：
[0180][0181]
其中|a|表示由种子a表示的圆的面积，|b|表示由种子b表示的圆的面积。类似地，|a∩b| 表示a和b的交集的面积。在替代实施例中，该机制可以如下计算重叠度量：
[0182][0183]
其中|a|表示由种子a表示的圆的面积，|b|表示由种子b表示的圆的面积，|a∩b|表示 a和b的交集的面积，并且|a∪b|表示a和b的并集的面积。
[0184]
该机制确定重叠度量是否大于预定阈值(框1154)。在块1154中如果重叠度量 大于阈值，则该机制合并分裂的2d病变掩模1113中的对应区域(块1155)。
[0185]
如果两个种子之间的亲和性大于阈值，则它们被分配相同的标签。否则，在该级， 不知道它们是否应该属于同一组。这个决定留给标签传播级(图15中的框1512)， 该标签传播级是在z向连接中使用的同一模块，该标签传播级将在下文描述。
[0186]
在我们具有多于两个种子的情况下，在标签传播之前对于所有种子对重复图11b 的相同操作，这产生种子组。例如，存在确定种子对(a，b)和(b，c)属于同一组 的情况，而种子对(a，c)未通过测试，如图11b所示。然后标签传播将必须将a、b、 c放在同一组中(即对应于种子a和c的区域将仍然合并)。然而，如果存在种子a、 b、c和d，并且亲和性计算(对总共六对执行)显示仅(a，b)和(c，d)通过测试， 则标签传播将导致两组，这两组分别含有(a，b)和(c，d)。因此，如果种子对未 通过测试，则意味着不知道它们是否应该放入同一组中，而不是它们应该属于不同组。
[0187]
例如，在图10c中，存在3个种子对(1051-1061、1051-1071、1061-1071)，并 且该机制应当确定种子1051和1061应该被分配相同的标签(属于相同的组)。标签 传播步骤随后将这3个种子聚类成2组，第一组仅包含1071而第二组具有1051和1061 两者。
[0188]
图12是概述根据一个说明性实施例的用于病变分裂的示例操作的流程图。图12 中概述的操作可由上文关于图11a-图11b所描述的机制来执行。如图12所示，操作 开始(步骤1200)，并且机制生成二维病变掩模的距离图(框1101)。如上所述，可 通过对二维病变掩模执行距离变换操作并且可选地执行高斯平滑以移除噪声来生成该 距离图。该机制然后使用局部最大值识别来生成数据点(例如每个组的局部最大值) 的分组(步骤1202)。该机制基于局部最大值执行病变分裂以生成区域(步骤1203)。 该机制然后使用距离图基于成对相似度重新标记种子(步骤1204)。然后，该机制合 并与具有相同标签的种子相对应的区域(步骤1205)。应当理解，如上所述，由于说 明性实施例的机制所执行的种子重新标记，步骤1205中输出的分裂病变掩模不会由于 错误标记与关联于每个病变形状的数据点关联而具有与分水岭技术关联的过度分裂问 题。此后，操作结束(步骤1206)。
[0189]
病变的z向连接
[0190]
可对输入体积的每个二维图像或切片执行上述病变分裂和种子重新标记的过程， 从而为在对应的二维图像中表示的每个病变生成适当标记的病变掩模。然而，输入体 积表示生物实体的内部解剖结构的三维表示，并且当在三维中考虑时，可能看起来与 相同病变相关联的病变可能实际上与不同病变相关联。从而，为了能够正确地识别在 输入体积的三维中表示的生物实体内的单独病变，说明性实施例提供了用于沿着z轴 (即，在三维中)连接二维病变的机制。
[0191]
执行二维病变沿z轴的连接的机制(称为病变的z向连接)包括在由上述机制生 成的分裂病变输出执行以确定三维z向病变检测的逻辑回归模型。该机制连接相邻图 像切片中的两个病变。当逻辑回归模型确定两个病变表示相同的病变时，连接这两个 病变。例如，对于相邻图像切片上的任何二维病变(即在切片的三维组织的集合中沿 着z轴连续排序的z轴坐标的切片)，如下文将描述的，该机制确定这些二维病变是 否属于相同的三维病变。
[0192]
图13a-图13c说明根据一个说明性实施例的用于病变的z向连接的过程。图13a 描绘了病变掩模输入。图13b描绘了切片式病变分裂之后的病变，这可以采用先前描 述的说
明性实施例的重新标记的改进的病变分裂机制。如图13a-图13b所示，切片1310 具有病变1311和1312，切片1320具有病变1321，并且切片1330具有病变1331和1332。 病变机制的z向连接(即，逻辑回归模型)在输入体积中的每个相邻切片对的分裂病 变掩模上执行，以便将给定切片中的每个病变与成对的相邻切片中的每个病变进行比 较。例如，病变机制的z向连接将切片1310中的病变1311(病变a)与切片1320中 的病变1321(病变b)进行比较。对于每次比较，该机制将每个病变作为一组体素来 处理，并且针对病变a的大小和针对病变b的大小确定病变a(病变a中的一组体素) 与病变b(病变b中的一组体素)之间的交集。病变机制的z向连接使用逻辑回归模 型基于两个重叠比率确定病变a和病变b是否连接，如下：
[0193][0194]
其中|a|表示由种子a表示的圆的面积，|b|表示由种子b表示的圆的面积，并且 |a∩b|表示由种子a和种子b表示的圆的交集的面积。该机制使用这两个比率作为输 入特征来训练逻辑回归模型以确定连接病变a和病变b的概率。即，诸如先前如上所 述的，使用机器学习过程，在训练图像的体积上训练逻辑回归模型以生成关于以下概 率的预测：在每个训练体积中的切片的每个成对组合中，一个切片中的病变是与在相 邻切片中表示的病变相同或不同的病变。将此预测与病变是相同还是不同病变的基础 真值指示进行比较，以便生成损失或误差。然后修改逻辑回归模型的操作参数(例如， 系数或权重)以便减小这种损失或误差，直到已经执行了预定数量的训练时期或者满 足预定的停止条件。
[0195]
逻辑回归模型广泛用于求解二元分类问题。然而，在说明性实施例的背景下，这 种逻辑回归模型预测病变的两个截面为同一病变的一部分的概率。为此，逻辑回归使 用如之前所提及的两个重叠比率r0和r1。具体地，逻辑模型如下学习线性地组合两个 特征：
[0196][0197]
其中，(c0,c1,b)是经由机器学习训练操作从训练体积中学习的操作参数。用符号表示r0和r1，并且分别表示最小重叠比率和最大重叠比率。在逻辑回归模型的训练之后的操 作参数的状态可以表示为在推断时(即，在逻辑回归模型的训练之后)， 当处理图像(切片)的新输入体积时，设置阈值t，使得如果并且仅当关系 成立(即，该预测概率高于设定阈值)时，两个截面被视为属于 同一病变。
[0198]
存在两种极端情况。首先，当阈值t被设置为0时，说明性实施例的z向连接机 制总是确定病变是相同的病变(即这些截面是连接的)。那么真阳性率和假阳性率两 者都为1。第二，当阈值t被设置为1时，z向连接机制将不识别要连接的病变的任何 截面。在这种情况下，真阳性率和假阳性率两者都将为0。因此，仅当阈值t在区间(0， 1)中时，逻辑回归模型才将确定病变截面是否跨相邻切片与相同病变相关联。使用理 想的逻辑回归模型，真阳性率等于1(所有真连接都被识别)并且同时假阳性率是0 (进行零假连接)。
[0199]
从而，一旦逻辑回归模型被训练，可以通过以以下这种方式评估新的切片对：计 算这些对的这些比率并且将它们作为输入特征输入到经训练的逻辑回归模型中，以便 针对这些对中的每个对生成预测，并且然后，如果预测概率等于或大于预定阈值概率， 则认为病变a和b在三维上与同一病变相关联。然后可以执行跨切片的病变的适当重 新标记，以
便将二维切片中的病变与其他相邻切片中的相同病变表示适当地相关联， 并且由此识别输入体积内的三维病变。
[0200]
存在支持用于训练逻辑回归模型的两个比率输入特征的基本原理(rationale)。 例如，如果病变a和b在尺寸上足够不同，那么它们不可能是相同病变的一部分。此 外，如果病变a和b不相交(如切片1310中的病变1312和切片1320中的病变1321)， 则特征r0、r1将具有零值。如上所述，给定两个特征量r0、r1逻辑回归模型执行回归， 并且输出表示病变a和病变b是同一病变的一部分的可能性的0和1之间的概率值。
[0201]
图13c描绘了根据一个说明性实施例的切片之间的截面连接。如图13c所示，该 机制通过执行说明性实施例的经训练的逻辑回归模型来确定切片1310中的病变1311 和切片1321中的病变1321是同一病变的一部分，经训练的逻辑回归模型基于如以上 所讨论的重叠比率来预测病变共性。该机制还以类似的方式确定切片1320中的病变 1321和切片1330中的病变1331是同一病变的一部分。从而，该机制沿着z轴传播相 交的病变并且执行病变的z轴连接。
[0202]
基于输入体积中的切片关于识别跨越二维切片的病变的z向连接的成对评估，以 及通过经训练的逻辑回归模型确定病变是否沿着z轴连接，可以执行病变的重新标记， 以便确保将相同的病变标记应用于输入体积的每个切片中存在的每个病变掩模(例如， 跨越输入体积中的一组切片的所有病变掩模)，其中通过逻辑回归模型确定病变掩蔽 与相同病变a相关联，可重新标记，以指定它们是相同病变a的一部分。这可以针对 输入体积的每个切片中的每个病变截面执行，以此为输入体积中存在的一个或多个病 变生成病变掩模的三维关联。然后，该信息可以用于在三维中表示或以其他方式处理 病变(诸如在稍后的下游计算系统操作中)，因为与相同病变相关联的所有截面在输 入体积中被正确地标记。
[0203]
图14a和图14b说明了根据一个说明性实施例的经训练的逻辑回归模型的结果。 图14a说明最大重叠比率(r0)+最小重叠比率(r1)度量和最大重叠比度量的受试者 (receiver)工作特征曲线(roc)曲线。roc曲线是说明当二元分类器系统的辨别 阈值变化时二元分类器系统的诊断能力的图形绘图。roc曲线是通过在各个阈值设置 下绘制真阳性率(tpr)相对于假阳性率(fpr)来创建的。图14b说明最大重叠比 率+最小重叠比率度量和最大重叠比率度量的准确率-召回率曲线。准确率-召回率曲线 是对于不同阈值的准确率(y轴)和召回率(x轴)的绘图，非常像roc曲线，其中 准确率是在检索到的实例中的相关实例的分数，并且召回率(或灵敏度)是实际检索 到的相关实例的总量的分数。如这些图所示，双特征逻辑模型优于其单特征对应物。 这两个特征从而为该预测任务带来有价值的信息。
[0204]
观察图14a中的最大重叠比率(r0)+最小重叠比率(r1)度量曲线，可以看出， 利用适当的阈值t，经训练的逻辑回归模型能够以大约3％的假阳性率为代价来产生大 约等于95％的真阳性率。参见图14b，所描绘的图在准确率和召回率方面评估经训练 的逻辑回归模型，并且示出了两个测量都能够通过适当的阈值t的选择来实现非常好 的结果。
[0205]
图15是概述根据一个说明性实施例的用于沿着z轴连接二维病变的机制的示例操 作的流程图。如图15所示，操作开始(步骤1500)，并且机制从输入体积选择第一 图像x(步骤1501)并选择图像x中的第一病变a(步骤1502)。在一些说明性实施 例中，可以使用先前描述的分裂和重新标记机制来处理输入体积中的图像或切片，然 而这不是必需的。相反，
是否更好(例如，改进轮廓的对比度和方差)。如果原始轮廓更好，则保持原始轮廓。 如果新轮廓更好(例如改进轮廓的对比度和方差)，则该机制使用新轮廓。在一些说 明性实施例中，该机制基于同质区域和计算方差来确定哪个轮廓更好。如果方差在轮 廓的内部和外部都减小，则该机制使用新轮廓；否则，该机制使用旧轮廓。在另一说 明性实施例中，该机制确定对比度(轮廓内部的平均值对轮廓附近的平均值)是否得 到改进。在不脱离说明性实施例的精神和范围的情况下，可以使用利用不同测量的其 他技术来在旧轮廓与新轮廓之间进行选择。
[0224]
图17是概述根据说明性实施例的用于切片式轮廓细化的机制的示例操作的流程 图。如图17中所示，对于被分割以示出病变的图像中的给定轮廓(诸如肝脏中)，操 作开始(步骤1700)，并且机制确定初始轮廓的第一对比度和方差(步骤1701)。该 机制修复病变附近的病变像素(或三维体素)(步骤1702)。该机制然后确定病变周 围的轮廓(步骤1703)。然后，该机制确定新轮廓的第二对比度和方差(步骤1704)。 该机制确定第二对比度和方差是否表示与第一对比度和方差相比的改进(步骤1705)。 如果第二对比度和方差表示改进，则该机制使用更新的轮廓来表示病变(步骤1706)。 此后，操作结束(步骤1708)。
[0225]
在步骤1705中如果第二对比度和方差不表示改进，那么该机制恢复到初始轮廓 (步骤1707)。此后，操作结束(步骤1708)。可以针对在输入切片和/或输入体积 中识别的每个病变重复该过程，以便重新计算轮廓并且改进与图像/输入体积中存在的 每个病变相关联的轮廓。
[0226]
假阳性移除
[0227]
在执行病变分割以生成病变及其轮廓的列表之后，ai流水线100执行处理150 的假阳性级以从病变列表中移除错误指示的病变。这个假阳性级150可以采取许多形 式来减少病变列表中错误识别的病变的数量，例如，肝脏/病变检测逻辑130输出的图 1中的轮廓和图135，这些轮廓和图135然后通过在病变分割逻辑140中执行的分割和 重新标记来合并。以下描述将阐述可以用于执行这种假阳性移除的新颖的假阳性移除 机制，但是不要求这种特定的假阳性移除。此外，下文描述的假阳性移除机制可以与 上文描述的其他机制分开使用，并且可以应用于在图像中识别的任何对象列表，其中 说明性实施例专门利用医学图像中的病变的这种假阳性移除。即，在本节中描述的假 阳性移除机制可以与在上文中描述的其他机制分开和不同地实现。
[0228]
出于说明的目的，将假设假阳性移除机制被实现为ai流水线100的一部分和ai 流水线100的假阳性移除逻辑150的一部分。从而，在假阳性级150中，考虑到如上 所述的具有病变的z向连接和轮廓细化的输入体积的三维性质，在本节中描述的假阳 性移除机制在由肝脏/病变检测逻辑和病变的分割和重新标记产生的病变列表上操作。 图1中的这个列表148被输入到假阳性移除逻辑级150，该假阳性移除逻辑级以下文 描述的方式处理列表148并且将经过滤的或经修改的病变列表(其中在经修改的病变 列表中错误识别的病变被最小化)输出到病变分类级160。然后，病变分类级对经修 改的病变列表中指示的各种病变进行分类。
[0229]
即，捕获ai流水线100的先前级中的所有病变可以导致增加的灵敏度设置，该 增加的灵敏度设置导致ai流水线100误识别实际上不将病变表示为病变的一部分的像 素。因此，可能存在应被移除的假阳性。假阳性级150包括对病变及其轮廓的列表进 行操作以移
除假阳性的逻辑。应当了解，此类假阳性移除还必须平衡以下风险：在检 查(输入体积水平的集合与病变水平相反)时，假阳性的移除(如果不适当地进行) 可能导致病变未被检测到。这可能是有问题的，因为医师和患者可能不会意识到需要 治疗的病变。应当理解，检查理论上可以包含同一患者的若干图像体积。然而，因为 在存在实现单个相位检测的ai流水线的一些说明性实施例中，仅处理一个体积的图像， 所以假设关于单个体积执行该处理。为了清楚起见，此后使用“患者水平”代替“检查水 平”，因为这是说明性实施例所感兴趣的(患者是否具有病变)。应当了解，在其他说 明性实施例中，本文描述的操作可扩展到检查水平，其中可评估同一患者的多个图像 体积。
[0230]
对于这些说明性实施例，给定ai流水线100的先前级(切片、掩模、病变、病 变和解剖结构轮廓等)的输出作为假阳性移除级150的输入148，假阳性移除级150 在患者水平(输入体积水平)的高特异性操作点处操作，以便仅允许几个患者水平的 假阳性(检测到至少一个病变的正常患者/体积)。这个点可以从患者受试者工作特征 (roc)(患者水平灵敏度对患者水平特异性)分析的分析中检索。对于其中使用高 度特异性操作点(在此称为患者水平操作点op
patient
)产生至少一些病变的那些体积， 在病变水平(在此称为病变水平操作点op
lesion
)处使用更灵敏的操作点。可以从病 变水平roc曲线(病变灵敏度对病变特异性)的分析中识别病变水平操作点op
lesion
， 以便使保留的病变的数目最大化。
[0231]
这两个操作点，(即op
patient
和op
lesion
)可以在一个或多个经训练的ml/dl 计算机模型中实现。训练一个或多个经训练的ml/dl计算机模型以将输入体积和/或 其病变列表(分割逻辑的结果)分类为识别的病变是真病变还是假病变(即真阳性或 假阳性)。该一个或多个经训练的ml/dl计算机模型可以被实施为二元分类器，其 中该输出针对每个病变指示它是真阳性还是假阳性。包括用于输入的病变列表中的所 有病变的二元分类的输出集合可以用于过滤病变列表以移除假阳性。在一个说明性实 施例中，一个或多个经训练的ml/dl计算机模型首先实现患者水平操作点以确定分 类的结果是否指示病变列表中的任何病变为真阳性同时滤除假阳性。如果在患者水平 (输入体积水平)过滤之后在病变的第一过滤列表中留下任何真阳性，则使用病变水 平操作点来滤除剩余的假阳性(如果有的话)。因此，生成使假阳性最小化的经过滤 的病变列表。
[0232]
操作点的实现可以是关于单个经训练的ml/dl计算机模型或多个经训练的 ml/dl计算机模型。例如，使用单个经训练的ml/dl计算机模型，操作点可以是可 动态切换的ml/dl计算机模型的操作参数的设置。例如，使用患者水平操作点可以 处理对ml/dl计算机模型的输入，以生成结果，该结果指示在对每个病变进行分类 之后病变列表是否包括真阳性，如果是，可以将ml/dl计算机模型的操作点切换到 病变水平操作点，并且再次处理输入，其中每次通过ml/dl计算机模型的假阳性从 由假阳性移除级输出的病变的最终列表中被移除。可替代地，在一些说明性实施例中， 可以训练两个单独的ml/dl计算机模型，一个用于患者水平操作点并且一个用于病 变水平操作点，这样使得指示至少一个真阳性的该第一ml/dl计算机模型的该结果 引起通过该第二ml/dl计算机模型的该输入的处理并且由两个模型识别的这些假阳 性被从由该ai流水线的该假阳性移除级输出的该最终的病变列表中移除。
[0233]
(多个)ml/dl计算机模型的训练可以涉及机器学习训练操作，在所述机器学 习训练操作中，ml/dl计算机模型处理训练输入，所述训练输入包括图像体积和对应 的病变列
表，其中病变列表包括病变掩模或轮廓，以针对图像中的每个病变生成关于 其是真阳性还是假阳性的分类。训练输入进一步与指示图像是否包括病变的基础真值 信息相关联，该基础真值信息然后可以用于评估由ml/dl计算机模型生成的输出以 确定损失或误差，并且然后修改ml/dl计算机模型的操作参数以减小所确定的损失/ 误差。以此方式，ml/dl计算机模型学习表示真/假阳性病变检测的输入特征。该机 器学习可关于操作点中的每一个执行(即op
patient
和op
lesion
)，这样使得ml/dl 计算机模型的操作参数在考虑患者水平灵敏度/特异性和/或病变水平灵敏度/特异性的 情况下被学习。
[0234]
在关于病变是真阳性还是假阳性进行病变分类时，如果输入体积(表示处于“患 者水平”的患者)包含至少一个病变，则认为该输入体积是阳性的。如果输入体积不包 含病变，则认为输入体积是阴性的。考虑到这一点，将真阳性定义为阳性输入体积(即 具有被分类为实际上是病变的病变的至少一个发现的输入体积)。将真阴性定义为阴 性输入体积(即没有病变并且没有被分类为病变的发现的输入体积)。假阳性被定义 为没有病变的阴性输入体积，然而，该输入指示发现中的病变(即当不存在病变时， 所述ai流水线列出病变)。假阴性被定义为具有病变的阳性输入体积，但是ai流水 线不指示发现中的病变。经训练的ml/dl计算机模型将输入中的病变关于它们是真 阳性还是假阳性进行分类。从由假阳性移除生成的输出中过滤出假阳性。假阳性的检 测在患者水平和病变水平(即两个不同的操作点)以不同的灵敏度/特异性水平被执行。
[0235]
可以基于roc曲线分析来确定患者水平和病变水平的两个不同操作点。roc曲 线可以使用ml/dl计算机模型验证数据来计算，该ml/dl计算机模型验证数据由若 干输入体积(例如，对应于不同患者检查的若干输入体积)组成，这些输入体积可以 包含一些病变(每个检查在0与k个病变之间)。对经训练的ml/dl计算机模型、 或“分类器”的输入是先前在输入中检测到的发现，这些发现是实际病变或者是假阳性 的(例如，ai流水线的病变检测和分割级的输出)。第一操作点(即，患者水平操作 点op
patient
)被定义为保留至少x％的被识别为真阳性的病变，这意味着几乎所有真 阳性都被保留，同时移除一些假阳性。x的值可以基于roc曲线的分析来设置并且可 以是用于特定实施方式的任何合适的值。在一个说明性实施例中，x的值被设置为98％， 使得几乎所有的真阳性都被保留，而一些假阳性被移除。
[0236]
定义第二操作点(即，病变水平操作点op
lesion
)，使得病变灵敏度高于针对第 一操作点(即患者水平操作点op
patient
)获得的病变灵敏度，并且使得特异性高于 y％，其中y取决于经训练的ml/dl计算机模型的实际性能。在一个说明性实施例中， y被设定为30％。用于患者水平和病变水平操作点确定的roc曲线的示例在图18a 中示出。如图18a所示，沿着病变水平roc曲线选择病变水平操作点，使得病变灵 敏度高于患者水平操作点的病变灵敏度。
[0237]
图18b是根据一个说明性实施例的用于基于患者和病变水平操作点执行假阳性移 除的操作的示例流程图。如图18b所示，ai流水线的分段级逻辑的结果被输入1810 到实现第一操作点的第一经训练的ml/dl计算机模型1820。输入1810包括输入体积 (或图像体积(voi))和病变列表，病变列表包括指定对应于在图像体积的图像数 据中识别的每个病变的像素或体素的病变掩模或轮廓数据以及与这些像素关联的指定 它们对应于输入体积的三维空间(即先前描述的分割、z向连接和轮廓细化的输出)的 病变的标签。输入可表示为
集合s。第一经训练的ml/dl计算机模型1820在其训练 中实现患者水平操作点，以便利用被保留在由训练的ml/dl计算机模型1820的分类 生成的所得过滤的病变列表中的真阳性的x％(例如，98％)，对从输入提取的特征 进行分类，并且在所得列表中一些假阳性被移除。所得列表包括含有由第一ml/dl 计算机模型1820分类的真阳性病变的子集s
+
和含有由第一ml/dl计算机模型1820 分类的假阳性病变的子集s-。
[0238]
假阳性移除逻辑进一步包括真阳性评估逻辑1830，其确定第一ml/dl计算机模 型1820输出的真阳性的子集是否为空。即，真阳性评估逻辑1830确定是否没有来自 s的元素被第一ml/dl计算机模型1820分类为真病变。如果真阳性的子集为空，则 真阳性评估逻辑1830使得真阳性子集s
+
被输出为经过滤的病变列表1835(即在发送 至ai流水线的病变分类级的输出中将不识别病变)。如果真阳性评估逻辑1830确定 真阳性的子集s
+
不为空，则在输入s上执行第二ml/dl计算机模型1840，其中该第 二ml/dl计算机模型1840在其训练中实现第二操作点(即病变水平操作点op
lesion
)。 应当理解，虽然为了便于解释示出了两个ml/dl计算机模型1820和1840，如上所述， 这两个操作点可以在用于配置相同ml/dl计算机模型的训练操作参数的不同集合中 实现，使得第二ml/dl计算机模型可以是用与1820相同的ml/dl计算机模型但具 有与第二操作点对应的不同操作参数的输入s的处理。
[0239]
第二ml/dl计算机模型1840处理具有对应于第二操作点的训练操作参数的输入， 以再次生成关于它们是真阳性还是假阳性的病变分类。结果是含有预测的病变(真阳 性)的子集s’+
和含有预测的假阳性的子集s
’-。然后经过滤的病变列表1845被输出为 子集s’+
，由此有效地消除在子集s
’-中指定的假阳性。
[0240]
图18a和图18b中所示的示例实施例是根据患者水平和病变水平操作点来描述的。 应当了解，假阳性移除的机制可用各种不同水平的操作点来实现。例如，可以对“体素 式”假阳性移除操作中的图像体积水平和体素水平操作点执行类似的操作。图18c是根 据一个说明性实施例的用于基于输入体积水平和体素水平操作点执行体素方式的假阳 性移除的操作的示例流程图。图18c中的操作类似于图18b的操作，但是关于输入集 合s中的体素执行操作。利用体素式假阳性移除，第一操作点可以再次是患者水平或 输入体积水平操作点，而第二操作点可以处于体素水平操作点op
voxel
。在这种情况 下，在体素水平评估真阳性和假阳性，使得如果指示任何体素与病变相关联，并且其 实际上与病变相关联，则它是真阳性的，但是如果体素被指示为与病变相关联但它实 际上不与病变相关联，则其被认为是假阳性。可以基于相应的roc曲线再次生成操作 点的适当设置，使得如上所述实现灵敏度和特异性之间的类似平衡。
[0241]
还应当理解，虽然假阳性移除机制的以上说明性实施例假设来自患者检查的单个 输入体积，但是说明性实施例可以应用于一个或多个图像(切片)的任何分组。例如， 假阳性移除可以应用于单个切片、小于输入体积的一组切片或甚至来自相同检查的多 个输入体积。
[0242]
图19是概述根据一个说明性实施例的ai流水线的假阳性移除逻辑的示例操作的 流程图。如图19所示，操作开始于(步骤1900)从ai流水线的先前级接收输入s， 其中该输入可以包括例如输入的图像体积以及对应的包括掩模、轮廓等的病变列表(步 骤1910)。该输入由第一经训练的ml/dl计算机模型处理，该第一经训练的ml/dl 计算机模型被训练为实现第一操作点(例如，相对更高度特异且更不敏感的患者水平 操作点)以针对包括真阳性
子集和假阳性子集的病变生成第一组分类(步骤1920)。 确定真阳性子集是否为空(步骤1930)。如果真阳性子集为空，那么该操作输出真阳 性子集作为经过滤的病变列表(步骤1940)并且该操作终止。如果真阳性子集不为空， 则通过第二ml/dl计算机模型来处理输入s，该第二ml/dl计算机模型被训练为实 现第二操作点，该第二操作点比第一操作点相对更敏感并且更少特异(步骤1950)。 如上所述，在一些说明性实施例中，第一和第二ml/dl计算机模型可以是相同的模 型，但是配置有与实现不同操作点的不同训练相对应的不同操作参数。处理第二 ml/dl计算机模型的结果是包括第二真阳性子集和第二假阳性子集的病变的第二组 分类。然后输出第二真阳性子集作为经过滤的病变列表(步骤1960)并且操作终止。
[0243]
示例计算机系统环境
[0244]
可以在许多不同类型的数据处理环境中利用说明性实施例。为了提供用于描述说 明性实施例的指定元素和功能的背景，下文提供图20和图21作为可以在其中实现说 明性实施例的方面的示例环境。应当了解，图20和图21仅为示例，且无意断言或暗 示关于其中可实现本发明的各个方面或实施例的环境的任何限制。在不脱离本发明的 精神和范围的情况下，可以对所描绘的环境进行许多修改。
[0245]
图20描绘实现请求处理流水线2008的认知系统2000的一个说明性实施例的示 意图，其在一些实施例中可以是问答(qa)流水线、治疗建议流水线、医学成像增强 流水线，或任何其他基于人工智能(ai)或认知计算的流水线，该流水线使用复杂的 人工智能机制来处理请求，该复杂的人工智能机制通过关于生成的结果的过程，但是 通过不同的计算机指定过程来近似人类。为了本说明书的目的，将假设请求处理流水 线2008被实现为对输入问题形式的结构化和/或非结构化请求进行操作的qa流水线。 在美国专利申请公开no.2011/0125734中描述了可以结合本文描述的原理使用的问题 处理操作的一个示例，其全部内容通过引用并入本文。
[0246]
认知系统2000在连接到计算机网络2002的一个或多个计算设备2004a-d(包括 一个或多个处理器以及一个或多个存储器，以及潜在地本领域已知的任何其他计算设 备元件，包括总线、存储装置、通信接口等)上实施。仅出于说明的目的，图20描绘 仅在计算设备2004a上实现的认知系统2000，但如上文所述，认知系统2000可分布 在多个计算设备(诸如，多个计算设备2004a-d)上。网络2002包括多个计算设备 2004a-d，其可作为服务器计算设备操作，以及2010-2012，其可作为客户端计算设备 操作，经由一个或多个有线和/或无线数据通信链路彼此通信和与其他设备或组件通信， 其中，每个通信链路包括电线、路由器、交换机、发送器、接收器等中的一个或多个。 在一些说明性实施例中，认知系统2000和网络2002经由一个或多个认知系统用户的 各自的计算设备2010-2012来实现它们的问题处理和答案生成(qa)功能。在其他实 施例中，认知系统2000和网络2002可提供其他类型的认知操作，包括但不限于请求 处理和认知响应生成，请求处理和认知响应生成可取决于所期望的实现(例如，认知 信息检索、用户的训练/指示、数据的认知评估等)而采取许多不同的形式。认知系统 2000的其他实施例可与除了本文描绘的那些之外的组件、系统、子系统和/或设备一起 使用。
[0247]
认知系统2000被配置以实现从各个源接收输入的请求处理流水线2008。请求可 以以自然语言问题、对信息的自然语言请求、对认知操作的执行的自然语言请求等的 形式
提出。例如，认知系统2000从网络2002、电子文档2006的语料库或多个语料库、 认知系统用户和/或其他数据和其他可能的输入源接收输入。在一个实施例中，认知系 统2000的一些或所有输入通过网络2002路由。网络2002上的各个计算设备2004a-d 包括用于内容创建者和认知系统用户的接入点。计算设备2004a-d中的一些包括用于 存储数据2006的语料库或多个语料库(其仅出于说明性目的在图20中被示为单独的 实体)的数据库的设备。数据2006的语料库或多个语料库的部分也可以提供在一个或 多个其他网络附接的存储设备上、在一个或多个数据库中、或在图20中未明确示出的 其他计算设备中。在各个实施例中，网络2002包括本地网络连接和远程连接，使得认 知系统2000可在任何大小的环境(包括本地和全局，(例如因特网))中操作。
[0248]
在一个实施例中，内容创建者在数据2006的语料库或多个语料库的文档中创建 内容以用作认知系统2000的数据的语料库的一部分。文档包括用于认知系统2000中 的任何文件、文本、文章或数据源。认知系统用户经由到网络2002的网络连接或因特 网连接来访问认知系统2000，并且将基于数据2006的语料库或多个语料库中的内容 来回答/处理的问题/请求输入到认知系统2000。在一个实施例中，使用自然语言来形 成问题/请求。认知系统2000经由流水线2008解析和解释问题/请求，并向认知系统用 户(例如，认知系统用户2010)提供响应，该响应包含对提出的问题的一个或多个答 案、对请求的响应、处理请求的结果等。在一些实施例中，认知系统2000在候选答案 /响应的排序列表中向用户提供响应，而在其他说明性实施例中，认知系统2000提供 单个最终答案/响应或最终答案/响应与其他候选答案/响应的排序列表的组合。
[0249]
认知系统2000实现流水线2008，其包括基于从数据2006的语料库或多个语料库 获得的信息用于处理输入问题/请求的多个级。流水线2008基于输入问题/请求的处理 和数据2006的语料库或多个语料库来生成输入问题或请求的答案/响应。
[0250]
在一些说明性实施例中，认知系统2000可以是可从纽约armonk的internationalbusiness machines公司获得的ibm watson
tm
认知系统，其用下文描述的说明性实施 例的机制来扩充。如先前概述的，ibm watson
tm
认知系统的流水线接收输入问题或 请求，然后ibm watson
tm
认知系统的流水线解析该输入问题或请求以提取问题/请求 的主要特征，该问题/请求的主要特征进而用于制定应用于数据2006的语料库或多个 语料库的查询。基于对数据2006的语料库或多个语料库应用查询，通过跨数据2006 的语料库或多个语料库查看数据2006的语料库或多个语料库(下文简称为语料库2006) 的具有包含对输入问题/响应(下文假定为输入问题)的有价值响应的一些潜能的部分， 来生成一组假设或对输入问题/请求的候选答案/响应。ibm watson
tm
认知系统的流水 线2008然后使用各种推理算法对输入问题的语言和在应用查询期间发现的语料库 2006的各部分中的每个部分中使用的语言执行深度分析。
[0251]
然后针对统计模型对从不同推理算法获得的得分进行加权，该统计模型总结了 ibm watson
tm
认知系统2000的流水线2008(在该示例中)关于潜在候选答案由问题 推断的证据具有的置信度水平。针对每个候选答案重复该过程以生成候选答案的排序 列表，所述排序列表然后可以呈现给提交输入问题的用户(例如客户端计算设备2010 的用户)，或从所述排序列表选择最终答案并呈现给用户。关于ibm watson
tm
认知 系统2000的流水线2008的更多信息可例如从ibm公司网站、ibm redbooks等获得。 例如，关于ibm watson
tm
认知系
统的流水线的信息可以在袁(yuan)等人在2011 年的ibm研发者工作(ibm developerworks)中的“watson和医疗保健(watson andhealthcare)”以及罗布高(rob high)在2012的ibm redbooks中的“认知系统的 误差：ibm watson内部观察和它如何工作(the era of cognitive systems：an insidelook at ibm watson and how it works)”中找到。
[0252]
如上所述，虽然来自客户端设备的对认知系统2000的输入可以以自然语言问题 的形式提出，但是说明性实施例不限于此。相反，输入问题实际上可被格式化或结构 化为可使用结构化和/或非结构化输入分析(包括但不限于ibm watson
tm
等认知系统 的自然语言解析和分析机制)来解析和分析的任何合适类型的请求，以确定执行认知 分析的依据，并提供认知分析的结果。例如，医师、患者等可以经由其客户端计算设 备2010向认知系统2000发出对于基于特定医学成像的操作的请求(例如，“识别患者 abc中存在的肝脏病变”或“为患者提供治疗建议”或“识别患者abc的肝脏病变中的 变化”等)。根据说明性实施例，此类请求可以专门针对认知计算机操作，这些认知计 算机操作采用说明性实施例的病变检测和分类机制来提供病变的列表、病变的轮廓、 病变的分类和感兴趣的解剖结构的轮廓，认知系统2000据此操作以提供认知计算输出。 例如，请求处理流水线2008可以处理诸如“识别患者abc中存在的肝脏病变”的请求 以解析该请求并且由此将感兴趣的解剖结构识别为“肝脏”，特定的输入体积是患者
ꢀ“
abc”的医学成像体积，并且解剖结构中的“病变”将被识别。基于此解析，对应于患 者“abc”的特定医学成像体积可以从语料库2006中检索并且输入到病变检测和分类 ai流水线2020，该流水线对如先前描述的此输入体积进行操作，用于识别肝脏病变的 列表，该列表被输出到认知计算系统2000以便通过请求处理流水线2008的进一步评 估，用于生成医学成像查看器应用输出等。
[0253]
如图20所示，这些计算设备中的一个或多个(例如，服务器2004)可以被专门 配置成实现病变检测和分类ai流水线2020(例如像图1中的ai流水线100)。计算 设备的配置可以包括提供专用硬件、固件等，以促进本文关于说明性实施例描述的操 作的执行和输出的生成。计算设备的配置也可以或替代地包括提供存储在一个或多个 存储设备中和加载到计算设备(诸如服务器2004)的存储器中的软件应用，用于使得 计算设备的一个或多个硬件处理器执行软件应用，所述软件应用将处理器配置为执行 操作并生成本文中关于说明性实施例描述的输出。此外，在不脱离说明性实施例的精 神和范围的情况下，可以使用专用硬件、固件、在硬件上执行的软件应用等的任何组 合。
[0254]
应当理解，一旦以这些方式之一配置计算设备，计算设备就变成被专门配置用于 实现说明性实施例的机制的专用计算设备，并且不是通用计算设备。此外，如本文所 述，说明性实施例的机制的实现改进了计算设备的功能性，并且提供了促进感兴趣的 解剖结构中的自动病变检测以及此类病变的分类的有用且具体的结果，这相对于手动 过程减少了误差并改进了效率。
[0255]
如上所述，说明性实施例的机制利用被专门配置的计算设备或数据处理系统来执 行用于执行解剖结构识别、病变检测和分类的操作。这些计算设备或数据处理系统可 包括各个硬件元件，这些硬件元件通过硬件配置、软件配置、或硬件和软件配置的组 合被专门配置以实现本文描述的系统/子系统中的一个或多个。图21是可在其中实现 说明性实施例的各个方面的仅一个示例数据处理系统的框图。数据处理系统2100是计 算机(诸如图20中
的服务器2004)的示例，其中实现本发明的说明性实施例的各个 过程和各个方面的计算机可用代码或指令可以被定位和/或执行，以便实现本文描述的 说明性实施例的操作、输出和外部效果。
[0256]
在所描绘的示例中，数据处理系统2100采用包括北桥和存储器控制器集线器 (nb/mch)2102以及南桥和输入/输出(i/o)控制器集线器(sb/ich)2104的集线 器架构。处理单元2106、主存储器2108和图形处理器2110连接到nb/mch2102。图 形处理器2110可以通过加速图形端口(agp)连接到nb/mch2102。
[0257]
在所描绘的示例中，局域网(lan)适配器2112连接到sb/ich2104。音频适配 器2116、键盘和鼠标适配器2120、调制解调器2122、只读存储器(rom)2124、硬 盘驱动器(hdd)2126、cd-rom驱动器2130、通用串行总线(usb)端口和其他 通信端口2132、以及pci/pcie设备2134通过总线2138和总线2140连接到sb/ich 2104。pci/pcie设备可包括例如以太网适配器、附加卡和用于笔记本计算机的pc卡。 pci使用卡总线控制器，而pcie不使用。rom2124可以是例如闪存基本输入/输出系 统(bios)。
[0258]
hdd2126和cd-rom驱动器2130通过总线2140连接到sb/ich2104。hdd2126 和cd-rom驱动器2130可以使用例如集成驱动电子设备(ide)或串行高级技术附 件(sata)接口。超级i/o(sio)设备2136可以连接到sb/ich2104。
[0259]
操作系统在处理单元2106上运行。操作系统协调并提供对图21中的数据处理系 统2100内的各个组件的控制。作为客户端，操作系统可以是诸如的可商购操作系统。面向对象的编程系统(诸如java
tm
编程系 统)可结合操作系统运行，且提供从在数据处理系统200上执行的java
tm
程序或应用 程序对操作系统的调用。
[0260]
作为服务器，数据处理系统2100可以是例如运行高级交互执行操作系 统或操作系统的ibm eserver
tm
计算机系统、基于power
tm
处理器 的计算机系统等。数据处理系统2100可以是在处理单元2106中包括多个处理器的对 称多处理器(smp)系统。或者，可以采用单个处理器系统。
[0261]
操作系统、面向对象的编程系统和应用或程序的指令位于存储设备(诸如hdd 2126)上，并且可被加载到主存储器2108中用于由处理单元2106执行。用于本发明 的说明性实施例的处理可以由处理单元2106使用计算机可用程序代码来执行，该计算 机可用程序代码可以位于存储器(例如像主存储器2108、rom 2124)中，或者例如 位于一个或多个外围设备2126和2130中。
[0262]
总线系统(诸如图21中所示的总线2138或总线2140)可包括一条或多条总线。 当然，总线系统可以使用任何类型的通信结构或架构来实现，该通信结构或架构提供 附连到该结构或架构的不同组件或设备之间的数据传送。通信单元(诸如图21的调制 解调器2122或网络适配器2112)可包括用以发射和接收数据的一个或多个装置。存 储器可以是例如主存储器2108、rom 2124或诸如在图21中的nb/mch2102中发现 的高速缓存。
[0263]
如上所述，在一些说明性实施例中，说明性实施例的机制可被实现为应用指定硬 件，固件等、存储在存储设备(诸如hdd2126)中并加载到存储器(诸如主存储器2108) 中的应用软件，用于由一个或多个硬件处理器(诸如处理单元2106)执行，等等。这 样，图21中所示的计算设备变得被专门配置成用于实现说明性实施例的机制并且被专 门配置成执行操
作并且生成在本文关于病变检测和分类人工智能流水线所描述的输出。
[0264]
本领域的普通技术人员将了解，图20和图21中的硬件可取决于实施方式而变化。 除了图20和图21中描绘的硬件之外或代替图20和图21中描绘的硬件，可以使用其 他内部硬件或外围设备(诸如闪存、等效非易失性存储器或光盘驱动器等)。此外， 在不脱离本发明的精神和范围的情况下，说明性实施例的处理可以应用于除了先前提 到的smp系统之外的多处理器数据处理系统。
[0265]
此外，数据处理系统2100可以采取多个不同数据处理系统中的任何一个的形式， 这些数据处理系统包括客户端计算设备、服务器计算设备、平板计算机、膝上型计算 机、电话或其他通信设备、个人数字助理(pda)等。在一些说明性实例中，数据处 理系统2100可为便携式计算装置，其配置有闪存以提供用于存储例如操作系统文件和 /或用户生成的数据的非易失性存储器。基本上，数据处理系统2100可以是无架构限 制的任何已知或以后开发的数据处理系统。
[0266]
如上所述，应当理解，说明性实施例可以采取完全硬件实施例、完全软件实施例 或包含硬件和软件元件两者的实施例的形式。在一个示例实施例中，说明性实施例的 机制以软件或程序代码实现，其包括但不限于固件、驻留软件、微代码等。
[0267]
适合于存储和/或执行程序代码的数据处理系统将包括至少一个处理器，其直接地 或通过通信总线(诸如例如系统总线)间接地耦合到存储器元件。存储器元件可以包 括在程序代码的实际执行期间采用的本地存储器、大容量存储装置和提供至少一些程 序代码的临时存储以便减少在执行期间必须从大容量存储装置检索代码的次数的高速 缓存存储器。存储器可以是各种类型的，包括但不限于rom、prom、eprom、 eeprom、dram、sram、闪存、固态存储器等。
[0268]
输入/输出或i/o设备(包括但不限于键盘、显示器、定点设备等)可以直接地或 通过居间的有线或无线i/o接口和/或控制器等耦合到系统。i/o设备可采用除了传统 键盘、显示器、定点设备等之外的许多不同形式，诸如例如通过有线或无线连接耦合 的通信设备，包括但不限于智能电话、平板计算机、触摸屏设备、语音识别设备等。 任何已知的或以后开发的i/o设备都旨在处于说明性实施例的范围内。
[0269]
网络适配器也可以耦合到系统，以使得数据处理系统能够通过居间的私有或公共 网络变得耦合到其他数据处理系统或远程打印机或存储设备。调制解调器、电缆调制 解调器和以太网卡仅是用于有线通信的当前可用类型的网络适配器中的一些。也可利 用基于无线通信的网络适配器，包括但不限于802.11a/b/g/n无线通信适配器、蓝牙无 线适配器等。任何已知的或以后开发的网络适配器都旨在处于本发明的精神和范围之 内。
[0270]
本发明的描述是出于说明和描述的目的而呈现的，并且不旨在是穷尽性的或局限 于所披露的形式的本发明。在不脱离所描述的实施例的范围和精神的情况下，许多修 改和变化对本领域的普通技术人员而言将是显而易见的。选择和描述实施例以便最好 地解释本发明的原理、实际应用，并且使得本领域普通技术人员能够针对具有适合于 所考虑的特定用途的各种修改的各种实施例理解本发明。选择在此使用的术语以最佳 地解释实施例的原理、实际应用或在市场上找到的技术上的技术改进，或使得本领域 普通技术人员能够理解在此披露的实施例。