用于提高计算机辅助诊断对图像处理不确定性的鲁棒性的方法

专利名称：用于提高计算机辅助诊断对图像处理不确定性的鲁棒性的方法
用于提高计算机辅助诊断对图像处理不确定性的鲁棒性的
方法本申请涉及计算机辅助诊断(CADx)的领域。本申请尤其适于结合基于诊断图像的计算机辅助诊断的应用，并将具体参考其加以描述。然而，应当认识到，本申请还适用于可以包括或不包括图像的其他计算机辅助诊断系统。已经有人提出将计算机辅助诊断系统作为一种辅助精确表征诊断医学图像中发现的异常的方法。例如，可以将计算机辅助诊断用于探测CT扫描中的肺部结节。CADx系统分析CT图像或至少分析与探测到的结节相关联的部分，并估计给定结节是恶性或是良性的可能性。通常，执行初始图像处理以准备要分析的图像。再次参考针对肺部结节的CADx 的范例，使用初始分割步骤限定每个结节的边界。然后将这些边界充当CADx系统的输入。 CADx系统执行特征提取，其量化描述结节的众多特征，例如100个或更多个特征。这些特征例如可以包括形状、纹理、对比度、尺寸等。经分割的边界允许对结节的内部特征和外部特征特性进行差异(differential)分析以及描述结节的形状和尺寸。应用模式分类算法以基于这组计算的特征对未知结节分类。将这种分类分成组，诸如良性或恶性。利用一组训练数据训练这样的分类算法或“分类器”。训练数据通常包括先前进行的分割或其他图像处理和特征提取，并且其已经知道例如诊断的正确分类。由于与图像处理相关联的不确定性可能会出现问题。例如，考虑通过肺部结节的体积和对比度评估对肺部结节的诊断的简单分类器，对比度即结节内部的平均亮度除以其周围的平均亮度。如果使用两种分割算法进行预处理并生成两个不同的边界，这些边界可能导致不同的体积，即边界内包含的体积或面积以及不同的对比度值。结节的分割是主观的。亦即，对于什么是正确的边界没有绝对明确的答案。此外，可能两种不同分割例程可以导出不同的边界，而两者都是合理的。那么就出现问题了，即使用哪种分割来生成训练数据集并执行实际的计算机辅助诊断任务。在一些训练流程中，首先选择分类中要使用的特征。在分类算法中使用过多的特征可能会有问题，特别是包括不相关特征的情况。过多的特征会导致过度拟合 (over-fitting)，其中，由于训练数据大小有限，噪声或不相关特征可能对分类决定生成不当影响。选择理想的特征子集的过程称为“特征选择”。特征选择可能受到图像处理步骤中的不确定性的影响。一些特征可能比其他特征更容易受到不确定性影响。例如，分割边界的表面面积可能比总体积更为敏感，尤其是因为许多分割算法被设计成生成一致 (consistent)的体积测量，但因此可能生成在局部不同的形状。通常执行除分割之外的其他类型的图像处理。然而，在开发临床可行的CADx系统的过程中，分割是特别大的挑战。其他图像处理步骤可以包含影响CADx结果的不确定性要素。例如，使用不同内核的内插法可能都生成视觉上可接受的结果，但均获得不同的特征集，以及因此潜在不同的分类。使用配准过程以将同一患者的多幅图像对准或将单位患者与参考图集对准。不同的配准算法可能再次生成视觉上类似的结果，但可能会生成不同的计算特征和不同的分类。由于对图像进行过滤或去噪声、诸如图像锐化的图像增强或重建算法，可能会观察到类似的不确定性效应。已经采用了各种分割技术，例如距离变换和区域生长。在用于肺结节的示范性分割技术中，利用阈值化步骤对分割过程进行初始化。在确定被分割的结节的最终形状时，初始阈值至关重要。已经发现400HOimSfield单位(HU)的阈值代表了一个合理的值，其对于若干分割算法在切片厚度的范围上生成相对一致的结节体积估计。然而，使用这种阈值不能令人满意地分割一些结节，并转而利用不同的阈值进行分割。为了克服针对训练和测试两者而言的这一难题，可以针对每个结节手动改变分割阈值，直到获得视觉上可接受的分割为止。尽管这种方法获得了相当大成功，但用户的主观性问题仍旧带来了不确定性。由不同的临床医生对分割进行的手动选择导致在对图像进行诊断时难以保持一致性。用户主观性的影响往往会导致不同放射科医师之间的分割具有很大变化。如果允许用户利用计算机编辑工具修改分割结果，这种主观性会加剧。CADx系统的关键难题是面对与图像处理步骤相关联的不确定性时的鲁棒性 (robustness)。“鲁棒”意味着尽管存在不确定性，但使用任何合理图像处理例程的CADx输出诊断的精密性和精确度将保持仍然相对相同。要克服的问题包括训练对图像处理步骤中的不确定性有恢复力的分类器以及选择对图像处理步骤中的不确定性有恢复力的特征。提出的解决上述问题的一种尝试是简单指定单个图像处理算法和针对要在所有诊断情况下使用的所述算法的参数。在肺结节CADx的范例中，这通常涉及指定分割例程和单个固定阈值。然而，如上所述，并非总能够找到在所有情况下都适用的通用算法、阈值或特征。他人已经提出完全去除图像处理步骤，并基于原始图像数据进行分析和分类，无需提取特征。尽管这种提议已经相对成功，但在许多情况下，仍旧期望对结节进行分割。例如，通常对结节执行体积测量以便追踪进展或治疗功效。此外，分析原始数据在其他图像处理算法，例如配准、过滤和内插法中没有助益。他人已经提出，在训练例程中使用数据之前向数据添加噪声，从而改善CADx系统的一般化性能。通常这是通过生成每个训练数据点的多个副本来进行的，但每次都向该数据点的位置添加了不同水平的随机噪声。一个缺点在于难以将人为噪声匹配到与图像处理算法相关联的实际不确定性。本申请想到了一种克服了上述问题和其他问题的新的经改进的训练技术。根据一个方面，提供了一种分类器。该分类器包括已经由特征矢量构成的特征矩阵训练的线性判别式处理器、支持矢量机、神经网络、贝叶斯(Bayesian)处理器、决策树或最邻近处理器中的至少一种。通过利用多种图像处理算法的每种和一种或多种特征提取算法处理诊断图像数据生成特征矩阵中的每个特征矢量。根据另一方面，提供了一种用于训练分类器的方法，所述分类器用于计算机辅助诊断(CADx)。利用多种图像处理算法中的每种处理来自多位具有已知诊断的患者中的每位的训练图像数据集，以生成多个经处理和经分割的训练图像。提取经处理和经分割的图像的特征。利用提取的特征和已知诊断训练分类器。根据另一方面，提供了一种训练用于计算机辅助诊断系统的分类器的方法。从多位具有已知诊断的患者生成多个训练图像数据集。利用多种图像处理算法中的每种处理每个训练数据集以生成经处理和经分割的训练图像。提取经处理和经分割的图像的特征以生成特征矢量。利用生成的特征矢量训练所述分类器以识别所述已知诊断。一个优点在于更为鲁棒的分类器。另一优点在于在一定范围的图象处理技术中实现更有意义的计算机辅助诊断。另一优点在于放射科医师个人能够选择更优选的图像处理技术而不会对计算机辅助诊断造成不利影响。另一优点在于软件开发人员能够创建使用不同图像处理技术的新版本计算机辅助诊断软件而不会对计算机辅助诊断造成不利影响。在阅读和理解下文的详细描述后，更多优点和益处对于本领域普通技术人员将变得显而易见。本发明可以具体化为不同的部件或部件布置，以及具体化为不同的步骤和步骤安排。附图仅用于图示说明优选实施例，而不应解释为是对本发明的限制。

图1是训练数据准备过程的示意图；图2图示了训练数据矩阵的一个范例；图3图示了训练数据矩阵的第二实施例；图4是CADx系统中的分类器的示意性图示；图5图示了使用选定阈值相对于所有阈值的相对精确度；图6a、6b和6c图示了使用不同阈值的分割结果的差异；图7是针对良性结节的分割阈值间恶性的CADx概率的图示；以及图8是图示了分类器性能分布的表格。本申请涉及一种鲁棒的分类器以及一种将分类器训练成对与图像或其他处理步骤相关联的不确定性鲁棒的方法。通过对训练数据反复应用不同的图像处理算法和特征提取来训练本分类器，使得所得的特征反映图像处理算法范围的不确定性。本申请还涉及基于这种扩大的训练数据集构造的分类器。参考图1，图像处理步骤12/使用第一图像处理算法121对初始或原始图像数据 IO1进行操作。一旦处理了图像，就对图像进行特征提取步骤14以提取特征，组合所述特征以生成具有特征矢量F11的特征矢量输出16/。将该过程重复m次以针对m种图像处理算
法121.....12m中的每种使初始图像数据IO1进行图像处理步骤12/.....12Λ对经处理
的图像中的每幅进行特征提取步骤14以生成对应的特征矢量输出16/.....16Λ通过这
种方式，从初始图像数据IO1生成了 m个特征矢量F11.....F；.,针对k个初始图像数据集IO1.....IOk中的每个重复这一操作，其中，k是复数
值，在一些实施例中大于100。由此对k个初始图像数据集中的每个进行了图像处理步骤
12/.....1 1,其中，首先利用第一图像处理算法121处理该图像。对每幅经处理的图像进行
特征提取步骤14以生成特征提取矢量F11.....Fk1的特征矢量输出16/.....16Λ类似地，
对k个初始图像数据集中的每个进行m个图像处理步骤12/.....12km，并且因此执行m种
图像处理算法中的每种；亦即，总共执行mXk种图像处理操作。对经处理的图像中的每幅
进行特征提取步骤14以生成描绘特征矢量F11.....Fkm中的一个的特征矢量输出16/.....
16；0图像处理包括不同的分割方法、不同的内插方法、不同的配准方法、不同的滤波器等。 每个图像数据集和图像处理算法生成不同的经处理的图像，然后对经处理的图像进行特征提取。通过这种方式，单幅输入图像生成m个特征矢量，并且k幅输入图像生成mxk个特征矢量。应当认识到，可以在单个计算机或处理器上，或由多个处理器、ASIC或其他装置实施上述步骤。如图2所示，将特征矢量组合成mxk行和η列的训练数据矩阵18，其中，η是提取的特征的数目。如图3所示，备选的训练数据矩阵18'具有包含mxn列的k行，表示利用不同处理算法提取的不同特征。如本文所使用的，将矩阵构造成包括张量和其他多重线性函数。在特征选择和用于分类器或分类器群(ensembles)的训练中使用训练数据集和经处理的图像。更具体而言，使用图2或3的训练数据矩阵执行特征选择或分类器训练。这有效地扩大了训练算法中使用的训练点的数量或增加了训练空间的维度。通过对图2或3 所示的训练数据执行特征选择和/或分类器训练构造分类器群。分类器包括一个或多个线性判别式、支持矢量机、神经网络、贝叶斯分类器、决策树、最邻近分类器等。特征选择包括遗传算法、逐步搜索、穷举搜索、主成分分析、判别式分析等的组合。应当认识到，可以在单个计算机或处理器上，或由多个处理器、ASIC或其他装置实施上述步骤。更具体而言，如图4所示，通过为分类器20供应训练数据矩阵18或18 ‘和先验的已知诊断22来训练分类器20。分类器使用线性判别式、支持矢量机、神经网络、贝叶斯分类器、决策树、最邻近分类器等根据对应于已知诊断22的训练数据矩阵18或18'确定训练数据中的模式。一旦已经训练了分类器，该训练通常在实验室位置处，安装分类器作为CADx 系统的一部分。在此之后，在图像处理步骤中利用图像处理器沈处理未知图像数据24，该
图像处理步骤可以使用或不使用图像处理算法1.....m。特征提取处理器或模块观在特
征提取步骤中提取特征矢量F，特征矢量F可以包括或不包括与特征提取步骤14提取的相同的η个特征。在基于训练期间学习的模式分析特征矢量之后，分类器20生成指示所提出的诊断和诊断正确可能性的输出30。在评估肺节结的情况下，显示器可能指示结节是恶性的，概率或确定性为0.80或80%。也可以显示诸如一个或多个特征的其他信息。类似地， 还可以显示每个结节的图像，所述结节有或没有图像处理算法的分割部分标志的边界。在应用于肺部结节的CADx的一个范例中，总体目标是通过提供肺节结是恶性还是良性的辅助意见来辅助医生阅读CT或其他诊断图像。在本范例中，初始图像数据集包括针对125个肺部结节中的每个的初始图像数据，即k= 125。在由图像处理器沈执行的图像处理步骤期间，利用手动识别的种子点和6个不同的分割阈值分割数据集，即m = 6。适
当的分割阈值包括-800HU、-700HU.....-300HU的对比度。从这些分割提取的特征生成数
据集Τ_8(1(1、Τ_·.....Τ_·。由熟悉特征提取算法的研究人员针对每个结节进行手动选择“最
佳”的分割，生成第一或手动训练数据集T￥a。将全部6个阈值的结果与手动训练数据集组合以生成扩大的训练集T4sr以图2的数据矩阵18的方式构造这一训练矩阵T4sr行数等
于kXm，并且列数等于η = 215。在本范例中，矩阵T_8(1(1、T_7(1(1.....Τ_、！>动包括k = 125
行，η = 215 列。通过包括500个线性判别式分类器的群的留下一个(leave-one-out)流程测试 CADx系统的诊断性能。基于遗传算法的特征选择和分类器训练都是利用每次留下一个迭代来执行的，以减少偏差。在这种分析中，从训练中移除属于不同分割处的测试结节的所有点。如下执行两组计算试验1.对 IV动训练，确认 T 手动、Τ_800、Τ_700.....Τ_300 ；以及，
2.对 T全部训练，确认 T手动、T_800、T_700.....Τ_300。用统计学方式分析结果。例如，考虑一个假想的用户，为该用户提供基于阈
值-800HU、-700HU.....-300HU的6次分割并要求该用户在继续进行CADx计算之前使用
分割。执行一组模拟以模拟随机选择分割的用户。例如，蒙特卡罗(Monte Carlo)方法能够针对125种情况中的每种执行随机选择5000次。对于每个模拟组的分割选择，计算指示精确度的接收器工作特性(ROC)曲线下方的面积。参见图5。这种迭代随机过程生成一大组的诊断概率值。这些值的分布描述CADx算法面对不确定分割时的性能。此外，通过选择生成最佳CADx算法性能、第二佳CADx算法性能等的分割来计算最佳情况和最坏情况的情形。例如，最佳分割的恶性结节可以是产生恶性可能性或概率的最高CADx估计值的那一个。同样地，对于良性结节，最佳分割生成最低的恶性概率。图6a_6c中图示了对分割参数选择的影响的范例。尽管使用了相同的图像数据， 但针对不同的阈值设置观察到被分割结节轮廓的显著偏差。图6a图示了针对-800HU阈值的分割结果；图6b图示了针对-600HU阈值的分割结果；图6c图示了针对-400HU阈值的分割结果。当要求不同用户选择“最佳”分割时，他们往往会选择图6a-6c中的不同的分割。 类似地，如果进行手动分割，手动绘制的轮廓线可能不同于图6a-6c中所示的轮廓线，并且由不同放射科医师绘制的手动轮廓线可能彼此不同。在图7中示出了这种变化对本范例中 CADx输出的影响。在本范例中，如果利用在手动选择的分割结果上训练的CADx系统对图6 中给出的分割进行分类，那么系统将该结节分类为“恶性”的概率大约为0. 53。在全部其他阈值时，该系统做出良性分类。本申请的目的是稳定CADx结果，从而使其与手动或阈值分割一致。对于125种情况中的每种，通过从分割阈值数据集-800HU、-700HU、. . .、-300HU 选择来计算可能的CADx输出的范围。每个CADx输出取的值从针对良性预测的0到针对恶性预测的1。预计在分割变化时鲁棒的分类器仅产生小范围的输出值。当在手动分割数据上进行训练时，观察到在125种情况下，输出值的范围具有为0. 36的平均值，该平均值的标准偏差为+/-0. 23。对于包含如在图2的训练数据矩阵18中表示的全部分割结果的矩阵 T4^上训练的鲁棒系统，在所有125种情况下该范围下降为标准偏差为+/-0. 21的平均值 0. 27。当在手动选择的数据上训练时，仅有56种情况，其中，恶性或良性的分类将会基于分割阈值改变。使用在全部分割结果上训练的本鲁棒系统，在本范例中仅有41种情况，其中， 分类有改变的风险。参考图8，提供了一表格，其图示了分类器性能的分布。该表格总结了当使用不同训练矩阵执行训练时CADx性能的变化。如第一行中，在选定的手动分割上测试CADx，代表了基于单组观察人员的判断在数据上获得的CADx性能。在第一行的两列之间未观察到显著差异，表示常规训练方法和本申请所述方法之间没有差异。模拟的分布估计很宽范围观察人员之间的变化，每位观察人员对哪种分割是最佳的有着不同的判断。通过模拟平均值、标准偏差和百分比以及表格中给出的最佳情况和最坏情况情形和图5中实现的分布总结这种效果。从手动选定的训练数据改变为在所有数据结果上训练导致平均值性能从.809微变到.800，但使标准偏差从0. 022减小到0. 017，从而证实了提高鲁棒性的目标。所描述的分类器和分类器训练技术应用于医疗护理，包括基于图像的临床决策支持系统。具体而言，可以与医学成像系统、成像工作站、患者监测系统和保健信息系统集成的计算机辅助诊断系统和治疗管理系统。基于图像的计算机辅助诊断系统包括，但不限于用于肺癌、乳腺癌、结肠癌、前列腺癌等的系统。图像数据可以源于CT、MRI、超声、PET、SPECT 或其他成像器械。整体可以涉及使用放射医学工作站或图像归档和通信系统。
本公开引用了优选实施例。在阅读并理解了前述详细说明的情况下，他人可以想到修改和变型。意图是只要它们落在所附权利要求或与其等价的范围内，将本公开解释为包括所有这样的修改和变型。
权利要求
1.一种分类器(20)，包括:已经由特征矢量(F11.....Fkm)构成的特征矩阵(18、18')训练的线性判别式处理器、支持矢量机、神经网络、贝叶斯处理器、决策树和最邻近处理器中的至少一个，所述特征矩阵中的每个特征矢量(F)都是通过利用多种图像处理算法中的每种和一种或多种特征提取算法处理诊断图像数据而生成的。
2.一种计算机辅助诊断(CADx)系统，包括根据权利要求1所述的分类器(20)，所述分类器具有接收要在诊断中使用的诊断图像的输入；与所述分类器的输出连接的显示器(30)，所述显示器显示预测的诊断和所述预测的诊断正确的概率。
3.根据权利要求2所述的计算机辅助诊断系统，还包括图像数据输入(M)，所述图像数据输入从诊断成像器接收图像数据； 图像处理器(沈)，所述图像处理器处理诊断数据以生成经处理的诊断图像；以及特征提取处理器( )，所述特征提取处理器提取经处理的诊断图像的特征。
4.根据权利要求3所述的计算机辅助诊断系统，其中，所述图像处理器06)包括分割处理器。
5.根据权利要求2所述的计算机辅助诊断系统，其中，输入的图像数据是包括肺结节的肺的图像数据，并且所述分类器生成每个肺结节是恶性的概率。
6.一种训练分类器00)的方法，其用于计算机辅助诊断(CADx)，所述方法包括 利用多种图像处理算法中的每种处理来自多位具有已知诊断的患者的多个训练图像数据集(lOi、. . . IOk)中的每个，以生成多个经处理的训练图像； 提取(14)所述经处理的训练图像的特征；利用所提取的特征(18、18')和所述已知诊断02)训练所述分类器00)。
7.根据权利要求6所述的方法，其中，所述处理步骤包括分割。
8.一种训练分类器OO)的方法，其用于计算机辅助诊断(CADx)系统，所述方法包括 从每位都具有已知诊断的多位患者生成多个(k)训练图像数据集(IO1.....IOk)；利用多种(m)图像处理算法(121.....12m)中的每种处理每个训练图像数据集以生成经处理的训练图像；从所述经处理的训练图像提取特征(14)以生成特征矢量(F11.....F；)；利用所生成的特征矢量训练所述分类器OO)以识别所述已知诊断。
9.根据权利要求8所述的方法，其中，对所述训练图像数据集的所述处理包括 分割算法、内插算法、过滤算法、配准算法和重建算法中的至少一种。
10.根据权利要求8所述的方法，其中，所述处理包括利用具有分割标准的分割算法进行分割，所述分割标准包括根据多个对比度阈值中的每个进行的分割。
11.根据权利要求8所述的方法，其中，提取每幅经处理的图像的多个(η)特征，使得所述特征矢量中的每个都指示(η个)所提取的特征，例如，所述经处理的图像或所述经处理的图像的一个或多个子区的纹理、对比度、形状和尺寸中的一个或多个。
12.根据权利要求8所述的方法，还包括将所述特征矢量(F11.....Fkm) 一起组合成训练数据矩阵(18、18’)。
13.根据权利要求8所述的方法，还包括在训练所述分类器00)之后，提供具有未知诊断的诊断图像数据集02)； 对未知诊断数据集进行图像处理06)以生成经处理的未知诊断图像； 从所述经处理的未知诊断图像提取08)特征以生成未知诊断图像特征矢量； 向所述分类器提供所述未知诊断图像特征矢量并生成潜在诊断和精确度的概率; 显示预测的诊断和所述概率。
14.一种通过根据权利要求8所述的方法训练的分类器00)。
15.一种包括根据权利要求13所述的分类器的计算机辅助诊断(CADx)。
全文摘要
通过由特征矢量(F11、...、Fkm)构成的特征矩阵(18、18′)训练分类器(20)。利用多种(m)图像处理算法(121、...、12m)中的每种对多个(k)训练图像数据集中的每个进行操作以生成特征矢量，从而生成经处理的和经分割的图像。提取(14)经分割的区域的特征以生成特征矢量。通过这种方式，利用由各种图像处理算法生成的数据训练分类器。
文档编号G06F19/00GK102165454SQ200980137834
公开日2011年8月24日 申请日期2009年9月9日 优先权日2008年9月29日
发明者L·博罗茨基, M·C·李 申请人:皇家飞利浦电子股份有限公司