确定病理切片中组织解剖区域的制作方法

1.本发明涉及病理学和数字病理学，特别是涉及一种用于确定一系列病理切片中一个或多个组织解剖区域的系统和计算机实施的方法。本发明进一步涉及基于该系统或该方法所生成的一个或多个注释来控制组织解剖系统。本发明进一步涉及计算机可读介质，包括用于导致处理器系统执行计算机实施的方法的指令。


背景技术：

2.在病理学领域，外科医生经常会从患者取下组织样本，供医院的病理科或其他地方检查。这种组织样本可以包埋在石蜡中，以形成通常被称为“组织块”的东西。病理学家可以将组织块切成很薄的层，放在载玻片上，在显微镜下检查。这可以使病理学家能够确定诊断。
3.病理学有各种特殊用途。例如，病理学可用于指导个别癌症患者的治疗决策，例如，使用所谓的基于基因组的诊断测试。这可能涉及在组织中分离癌细胞，这些组织通常在载玻片上制备，并在聚合酶链式反应(pcr)过程中使用分离的癌细胞来“扩增”dna和/或rna，从而能够检测或量化感兴趣的特定基因畸变。
4.常见的用于从周围的非癌细胞中分离出癌细胞或从周围的组织中分离出感兴趣的组织的方法包括但不限于手工解剖，例如用刀片切割和/或提升组织，以及用铣削工具、激光器、溶解液等进行(半)自动解剖。
5.要解剖的组织区域可以用数字病理学的技术来确定。这种数字病理学基于病理切片的数字化，指的是将放置在载玻片上的组织切片转换为数字图像(“数字切片”)，可以在显示器(例如，计算机监测器)上查看、管理、共享和分析。因此，病理学家可以通过对图像进行数字注释，例如使用鼠标、笔或触摸屏，指定组织提取区域。例如，病理学家可以通过在图像中选择和放置几何基元(例如，线、圆、矩形或其他类型的多边形)来指示这些区域，然后可以调整其大小和/或形状。附加地或替代地，病理学家可以通过例如所谓的“自由形式”工具来限定这些几何基元，或者可以简单地在图像中自由绘制，等等。自动或半自动地注释图像中的形态结构也是已知的。如果这些区域与形态学结构相联系，此类技术可用于自动或半自动地确定组织提取区域。
6.通常情况下，在使用染色剂对组织进行染色的图像中注释组织解剖区域，以增加某些类型的生物材料的可见性，这转而可能有助于识别感兴趣的组织，例如癌细胞。例如，可将苏木精-伊红(h&e)施用于组织，以获得染色的“参考”切片，其中感兴趣的组织可以更好地被识别。同时，最好从未染色的切片上解剖感兴趣的组织，这些也称为“提取”切片。因此，可能需要将表示组织解剖区域的注释从染色的参考切片转移到未染色的提取切片，或者一般从一个图像转移到另一个图像。
7.us20180267290a1描述了一种用于选择未染色样本的样本移除区域进行移除以用于分子诊断的方法。该方法包括以下步骤：a)在物体的参考切片的参考图像中选择参考移除区域，其中对参考切片中的生物材料染色，b)在成像设置下获得物体的样本切片的数字
样本图像，其中样本切片中的生物材料未被染色，c)将数字样本图像与参考图像配准，以将参考图像中的参考移除区域平移到数字样本图像，以及d)基于平移的参考移除区域确定数字样本图像的样本移除区域。
8.不利的是，在生物材料在整个切片上具有不同的形状和/或位置的情况下，us20180267290a1不够稳健。


技术实现要素：

9.本发明的目的是更稳健地将识别组织解剖区域的注释从参考图像转移到一个或多个提取图像。
10.根据本发明的第一方面，提供了一种计算机实施的方法，用于使用代表一系列病理切片的数字化形式的一系列图像来确定该系列病理切片中的一个或多个组织解剖区域。该方法包括：
[0011]-获得第一注释，该第一注释在该系列图像的第一图像中标识第一组织解剖区域；
[0012]-获得第二注释，该第二注释在该系列图像的第二图像中标识第二组织解剖区域，其中第一图像和第二图像在该系列图像中被一系列中间图像隔开；以及
[0013]-通过对一个或多个图像中的每一个图像执行以下操作来为该系列中间图像中的一个或多个中间图像生成注释：
[0014]-确定第一组配准参数，所述第一组配准参数代表中间图像与第一图像的至少部分配准；
[0015]-确定第二组配准参数，所述第二组配准参数代表中间图像与第二图像的至少部分配准；
[0016]-使用第一组配准参数将第一注释从第一图像传播到中间图像；
[0017]-使用第二组配准参数将第二注释从第二图像传播到中间图像；以及
[0018]-组合所传播的第一注释和第二注释以获得中间图像中的注释。
[0019]
根据本发明的另一方面，提供了一种系统，用于使用代表一系列病理切片的数字化形式的一系列图像来确定该系列病理切片中的一个或多个组织解剖区域。
[0020]
该系统包括：
[0021]-数据接口，用于访问该系列图像；
[0022]-另一数据接口，用于访问注释输入数据，该注释输入数据限定了：
[0023]-第一注释，该第一注释在该系列图像的第一图像中识别第一组织解剖区域，和
[0024]-第二注释，该第二注释在该系列图像的第二图像中识别第二组织解剖区域，其中第一图像和第二图像在该系列图像中被一系列中间图像隔开；以及
[0025]-一个处理器子系统，被配置为：
[0026]-通过对一个或多个图像中的每一个图像执行以下操作来为该系列中间图像中的一个或多个中间图像生成注释：
[0027]-确定第一组配准参数，所述第一组配准参数代表中间图像与第一图像的至少部分配准；
[0028]-确定第二组配准参数，所述第二组配准参数代表中间图像与第二图像的至少部分配准；
[0029]-使用第一组配准参数将第一注释从第一图像传播到中间图像；
[0030]-使用第二组配准参数将第二注释从第二图像传播到中间图像；以及
[0031]-组合所传播的第一注释和第二注释以获得中间图像中的注释。
[0032]
根据本发明的另一方面，提供了一种计算机可读介质，所述计算机可读介质包括代表指令的暂时性或非暂时性数据，该指令被布置用于导致处理器系统执行计算机实施的方法。
[0033]
上述措施基于以下观点，即感兴趣的组织的形状和位置在一系列病理切片中可能有很大的不同，因此在代表该系列病理切片的数字化形式的一系列图像中也是如此。例如，肿瘤可能具有复杂和不规则的三维形状，这种三维形状的二维交叉点可能在不同的病理切片之间有很大差异。感兴趣的组织也可能具有复杂的形状，例如在前列腺活检的情况下。
[0034]
因此，在获得了图像之一(例如，“参考”图像)的组织解剖区域的注释的情况下，可能难以将此注释转移到其他“提取”图像。这里，参考图像可以对应于h&e染色的病理切片，或以任何其他方式表示便于获得组织提取区域的注释的图像，而提取图像可以对应于未染色的病理切片、核固红(nfr)染色的病理切片或以任何其他方式表示可能无法获得组织提取区域的注释或比参考图像更难获得组织提取区域的注释的图像。
[0035]
上述措施涉及获得在至少两个参考图像中识别各自的组织解剖区域的注释。这两个参考图像在一系列图像中被一系列中间图像隔开，这些中间图像代表一系列中间病理切片的数字化形式。注释可以以本身已知的方式获得，例如，通过病理学家的手动注释，或者在一些实施方案中通过半自动或自动注释。
[0036]
可以通过至少部分地将每个参考图像与中间图像配准来获得至少一个中间图像的注释。这种配准本身是已知的，并且通常表达了图像的图像内容之间的对应关系，因此也被称为“图像配准”。这里，术语“至少部分”是指参考图像的至少部分与中间图像(例如，空间子区域，或选定的图像特征)配准等。如本身已知的，每个配准可以由一组参数限定。例如，配准可以是参数配准，但也可以包括常规被认为是非参数配准的配准，例如，被变形场或类似的东西所限定的配准。在后一实施例中，配准参数可以定义变形矢量。
[0037]
在获得两个注释后，每个注释可以基于各自的配准转移到中间图像。这种转移通常可能涉及根据配准对注释进行变形。例如，如果使用弹性配准，弹性配准可以指示图像内容的变形，它可以以同样的方式应用于覆盖在图像内容上的注释。因此，可以为中间图像获得两个注释，然后将其组合为一个，例如使用形态学操作，例如考虑到形状的重叠，或距离变换或形状上下文等。
[0038]
与已知的将注释从参考图像转移到提取图像的技术相比，上述措施在该系列图像中的中间图像两侧转移为各自参考图像所获得的两个或多个注释。因此，注释可以从中间图像的任何一侧转移。因此，组合的注释可以有效地代表这种注释的双向插值，而不仅仅是来自一侧的推断。这样的插值能够更好地说明感兴趣的组织的形状和/或位置在一系列病理切片中的巨大差异。特别是，如果感兴趣的组织的形状和/或位置差异很大，两个注释也可能有不同的形状和/或位置，例如，由病理学家对每个参考图像进行不同的注释以说明所述不同的形状和/或位置。这代表了额外的信息，在组合两个注释时可以考虑这些额外的信息。例如，组合的注释可能仅由两个注释之间的重叠部分组成，例如，表示逻辑上的“和”，从而表示“保守”的注释，与单独的注释相比，这更可能只包含感兴趣的组织。因此，与从一侧
推断注释相比，可以获得更稳健的注释。
[0039]
可选地，第一组配准参数和第二组配准参数各自限定了可变形配准，并且将第一注释传播到中间图像以及将第二注释传播到中间图像各自包括基于各自组的配准参数使各自的注释变形。这样的可变形配准也被称为弹性配准，通常不仅以平移和/或旋转的方式(例如，作为仿射变换)表达图像的图像内容之间的对应关系，而且还以局部变形的方式(例如，非刚性变换)表达。在获得这样的弹性配准参数后，两个注释都可以根据为基础图像内容所计算出的变形进行变形。由此，每个变形的注释可以更好地匹配中间图像中的图像内容。
[0040]
可选地，该方法还包括确定中间图像中注释的拟合质量，以及如果拟合质量不满足拟合质量标准，则提醒用户在第三图像中提供第三注释，该第三图像包含在第一图像和第二图像之间的一系列中间图像中。这样的拟合质量可以通过多种方式确定，例如，通过比较组合注释与中间图像中的图像内容，和/或通过比较两个所传播的注释。如果认为拟合质量不够，这可能表示感兴趣的组织的形状和/或位置在参考图像和提取图像中的每个或这两个之间差异太大，导致任一或两个注释的传播不够准确。因此，可能期望的是获得较近的图像(例如，在两个参考图像之间)的注释，该图像在感兴趣的组织的形状和/或位置方面可能与中间图像更相似。因此，可以提醒用户，例如，使用屏幕上的警告或以任何其他方式，在第三图像中提供第三注释，该第三图像包含在第一图像和第二图像之间的一系列中间图像中。在一些实施方案中，这可能涉及到必须对相应的病理切片进行染色和重新数字化，从而有效地将提取切片转换为参考切片，并在重新数字化后，在两个原始参考图像之间获得另一参考图像。
[0041]
在一些实施方案中，只有在通过将第一注释传播到中间图像所获得的拟合质量不满足拟合质量标准时，才可能需要在第二图像中获得第二注释。例如，该方法和系统可以首先获得第一注释，确定第一组配准参数，使用第一组配准参数将第一注释从第一图像传播到中间图像，并确定所得到的传播的注释的拟合质量，在这些实施方案中，该拟合质量例如可以基于从用户接收到的用户输入来确定，该用户输入可以指示拟合质量。如果认为拟合质量不够(例如，不满足拟合质量标准)，则该方法和系统可以获得第二注释，例如通过提醒用户在第二图像中提供第二注释。在获得第二注释后，该方法和系统可以确定第二组配准参数，使用第二组配准参数将第二注释从第二图像传播到中间图像，并组合所传播的第一注释和第二注释以获得中间图像中的注释。换句话说，与第二注释以及第一和第二注释的组合相关的功能是有条件的功能，因为该功能只有在传播单个注释生成的拟合质量不够时才(需要)被调用。
[0042]
可选地，提醒用户包括指示第三图像在一系列中间图像中的位置或相应病理切片在一系列病理切片中的位置。例如，可以提醒用户对第三图像进行注释，该第三图像在该系列中间图像中的基本中间的位置，或者换句话说，在一系列图像中的第一图像和第二图像之间的基本中间的位置，从而在相应的一系列中间病理切片的中间位置。
[0043]
可选地，确定中间图像中注释的拟合质量包括确定所传播的第一注释的第一拟合质量以及所传播的第二注释的第二拟合质量，并且该方法进一步包括基于第一拟合质量和第二拟合质量的比较确定第三图像的位置。可以基于各自的拟合质量，自适应地确定将被注释的第三图像的位置。例如，如果一个所传播的注释与另一所传播的注释相比生成较差
的拟合质量，这可能指示感兴趣的组织的形状和/或位置在中间图像和相应的参考图像之间差异太大，因此，可能期望的是在中间图像的所述一侧获得更接近中间图像的注释。因此，在生成中间图像的注释时，第三图像的注释可以取代较前的参考图像的注释。
[0044]
可选地，
[0045]-第一图像和第三图像在该系列图像中被第一子系列的中间图像隔开；
[0046]-第二图像和第三图像在该系列图像中被第二子系列的中间图像隔开；以及
[0047]
其中，该方法还包括：
[0048]-基于第一注释和第三注释，为第一子系列的中间图像中的一个或多个中间图像生成注释；以及
[0049]-基于第二注释和第三注释，为第二子系列的中间图像中的一个或多个中间图像生成注释。
[0050]
上述措施提供了迭代过程，在这个过程中，如果对于特定的中间图像，组合传播的注释的拟合质量被认为不够，则获得第一图像和第二图像之间的第三图像的注释，之后，对这两个子系列单独重复“注释-传播”的过程。这种迭代可以重复进行，直到所有或足够数量的提取图像都已被注释之后，迭代过程停止。有利地，该迭代过程是自适应的，因为只有在认为拟合质量不够的情况下，才会要求用户注释另一图像(这可能涉及到对相应的病理切片进行染色，并对染色的切片进行重新数字化)。否则，在其他地方，迭代过程是基于“注释-传播”进行的。
[0051]
可选地，确定拟合质量包括确定所传播的第一注释和所传播的第二注释在形状上的差异，或表面积上的重叠。这种拟合质量的度量可用于如下拟合质量的补充或替代，该拟合质量基于将注释与图像内容进行比较，并基于这样的考虑，即如果两个注释在形状和/或大小方面相似或基本相同，则所传播的注释可被视为可靠的。
[0052]
可选地，确定拟合质量包括确定所传播的第一注释和/或所传播的第二注释的变形大小。较大的变形可能指示在各自的参考图像和中间图像之间感兴趣的组织的形状有较大的差异，因此所传播的注释不足以拟合中间图像的可能性较大。
[0053]
可选地，确定拟合质量是基于：i)第一图像中第一注释所依据的图像数据与中间图像中所传播的第一注释所依据的图像数据之间的相似性和/或差异，和/或ii)第二图像中第二注释所依据的图像数据与中间图像中所传播的第二注释所依据的图像数据之间的相似性和/或差异。这种基于图像的拟合质量可以表达各自配准的可靠性和/或准确性，也可以与上述基于形状差异或表面积重叠的拟合质量相结合。可以理解的是，替代地，对各自配准的可靠性和/或准确性的任何其他已知的措施可被用来确定拟合的质量。
[0054]
可选地，第一组配准参数和第二组配准参数是由以下一组之一确定的：基于特征的图像配准、使用主动轮廓模型的图像配准、使用形状上下文的图像配准以及使用水平集方法的图像配准。这些配准技术本身是已知的，并且已经被发现不仅适合于图像配准，而且也适合于将注释传播到一个或多个中间图像。
[0055]
可选地，第一图像、第二图像和第三图像是苏木精-伊红(h&e)染色的病理切片，或使用从病理切片可去除的或不可去除的另一染色剂染色的病理切片。
[0056]
可选地，该系列中间图像是在石蜡中未染色、未在石蜡中未染色和/或用核固红(nfr)或另一从病理切片上可去除的染色剂染色的病理切片。
[0057]
可选地，该方法还包括控制组织解剖系统，用于基于为一个或多个中间图像所生成的一个或多个注释，从对应于所述一个或多个中间图像的一个或多个病理切片中解剖组织。因此，所生成的注释可用于自动或半自动地从相应的病理提取切片中提取组织。
[0058]
可选地，确定第一组配准参数包括确定该系列图像中各自的图像对之间的单独配准，其中单独配准共同构成第一图像和中间图像之间的配准链。因此，代替直接确定第一图像和中间图像之间的配准参数，第一图像和中间图像之间的配准可以作为两个图像之间的图像对之间的单独配准的叠加来获得。图像对(例如，连续的图像对、或由一系列图像中的每个第二或第三图像所形成的图像对)之间的这种配准可能更稳健，因为图像之间的距离可能小于第一图像和中间图像之间的距离，因此期望的是，图像对之间的相似性高于第一图像和中间图像之间的相似性，这可能导致更稳健的整体配准。上述“基于链”的配准方法也可在加以必要修改的前提下用于确定第二组配准参数。
[0059]
可选地，该系统还包括用户接口子系统，包括：
[0060]-显示输出，用于在显示器上示出各自的图像；
[0061]-用户输入接口，用于从用户可操作的用户输入设备接收用户输入数据；
[0062]
其中，处理器子系统被配置为通过用户接口子系统，使用户能够在第一图像中提供标识第一组织解剖区域的第一注释，并在该系列图像的第二图像中提供标识第二组织解剖区域的第二注释。
[0063]
因此，该系统可被配置为使用户能够手动限定第一注释和第二注释。在这样的实施方案中，上述注释输入数据可以是由处理器子系统作为用户注释的结果而生成的数据。在这样的实施方案中，进一步的数据接口可以是处理器子系统的内部数据接口，例如存储器接口。
[0064]
可选地，该系统被配置为通过对第一图像和第二图像应用注释技术以获得第一注释和第二注释来生成注释输入数据。该注释技术可以是已知类型的自动注释技术，但也可以是半自动注释技术，用户可以通过上述用户接口子系统提供附加的用户输入。
[0065]
可选地，该系统是组织解剖系统的一部分或被配置为与组织解剖系统的接口。
[0066]
本领域的技术人员可以理解，本发明的两个或多个上述实施方案、实施方式和/或可选方面可以以任何被认为有用的方式组合。
[0067]
任何计算机实施的方法和/或任何计算机程序产品的修改和变化，对应于所描述的相应系统的修改和变化，可以由本领域的技术人员在本说明书的基础上进行，反之亦然。
附图说明
[0068]
本发明的这些方面和其他方面从下文描述的实施方案中显而易见，并且将参考这些实施方案加以阐明。在图中，
[0069]
图1示出了包埋在石蜡块中以形成组织块的组织材料；
[0070]
图2例示了对组织块的切片，以获得一系列病理切片，其中每个病理切片包含各自的组织部分；
[0071]
图3例示了一系列病理切片，其中一个病理切片中的组织被h&e染色，其余病理切片未被h&e染色；
[0072]
图4例示了对h&e染色的病理切片的注释以及注释转移到未被h&e染色的病理切
片；
[0073]
图5示出了包括组织束(tissuestrand)的组织块；
[0074]
图6例示了对组织块的切片，以获得一系列病理切片，其中每个病理切片包含各自的组织部分；
[0075]
图7例示了对若干h&e染色的病理切片的注释，作为将注释转移到一个或多个提取切片时的参考切片，位于两个参考切片之间的病理切片未被h&e染色；
[0076]
图8例示了注释从多个h&e染色的病理切片到未被h&e染色的中间病理切片的转移；
[0077]
图9示出了确定组织解剖区域的系统；
[0078]
图10示出了确定组织解剖区域的方法；以及
[0079]
图11示出了包括非暂时性数据的计算机可读介质。
[0080]
应该注意的是，在不同图中具有相同附图标记的项具有相同的结构特征和相同的功能或相同的信号。如果已经解释了这样的项的功能和/或结构，则没有必要在具体实施方式中重复解释它。
[0081]
附图标记表
[0082]
以下附图标记表是为了便于附图的解释而提供的，不应解释为对权利要求的限制。
[0083]
10、11组织块
[0084]
15切割
[0085]
20、21组织材料
[0086]
30-86病理切片(*＝含有h&e染色的组织)
[0087]
90-95成对图像之间的配准
[0088]
100-107组织部分(未被h&e染色的)
[0089]
150、151组织部分(被h&e染色的)
[0090]
200-203表示组织解剖区域的注释
[0091]
250-254转移注释
[0092]
300确定组织解剖区域的系统
[0093]
320数据接口
[0094]
340处理器子系统
[0095]
342、344内部数据通信
[0096]
360用户接口子系统
[0097]
370显示输出
[0098]
380用户输入接口
[0099]
400数据存储器
[0100]
410图像数据
[0101]
412注释输出数据
[0102]
420显示器
[0103]
422显示数据
[0104]
440用户输入设备
[0105]
442 用户输入数据
[0106]
500 确定组织解剖区域的方法
[0107]
510 在第一图像中获得第一注释
[0108]
520 在第二图像中获得第二注释
[0109]
530 为中间图像生成注释
[0110]
540 确定第一组配准参数
[0111]
550 确定第二组配准参数
[0112]
560 将第一注释传播到中间图像
[0113]
570 将第二注释传播到中间图像
[0114]
580 组合所传播的第一注释和第二注释
[0115]
600 计算机可读介质
[0116]
610 指令数据
具体实施方式
[0117]
图1示出了包含组织材料20的组织块10，组织材料20可以是在手术或活检或类似的过程中从患者移除的，并且它可能包含患病组织，例如病变，或任何其他类型的感兴趣的组织。为了获得组织块10，组织材料20可以用石蜡浸渍并包埋其中。为了能够对感兴趣的组织进行病理学或组织学检查，可以对组织块进行切片，并将所得的一个或多个组织切片分别转移到分立的玻璃载玻片上，这样不仅能够通过光学显微镜进行检查，还能够将其数字化，例如通过在数字病理学领域本身已知的所谓的数字载玻片扫描仪进行。图2例示了对组织块10的切片，并且将所得的组织切片安装到玻璃载玻片上(均由图2中的箭头15指示)，以及例示了所得的结果即一系列的病理切片30-34。在图2中，一系列病理切片30-34中的每个切片都被示出为包括组织部分100。
[0118]
图3例示了一系列病理切片40*-45，其中第一病理切片40*中的组织被苏木精-伊红(h&e)染色。这种类型的染色在病理学和组织学领域是众所周知的，可用于提高某种类型的生物材料的可见度，这转而便于识别某种感兴趣的组织，例如组织部分150，或组织部分150的一部分。
[0119]
图3示出了其余未被h&e染色的病理切片41-45。一般来说，一系列病理切片可以包含h&e染色的病理切片(由于进一步描述的原因，也被称为“参考切片”)，以及一个或多个未染色或使用核固红(nfr)染色或使用不影响聚合酶链式反应(pcr)过程和/或在pcr前可去除的类似染色剂染色的病理切片。含有h&e染色组织的病理切片在这里和其他地方也被简称为“染色病理切片”，并以带有星号的附图标记来标记。含有未染色(在或不在石蜡中)或nfr染色组织的病理切片可用于组织解剖，这也被称为组织提取，相应的切片被称为“提取切片”。
[0120]
图4例示了对h&e染色的病理切片50*的注释。可以在物理载玻片50*本身上进行这样的注释，例如使用标记，但是现在通常应用于病理切片的数字化形式，例如其图像。因此，对应用(或生成、转移等)到病理切片的注释的任何引用应理解为包括以数字方式应用(或生成、转移等)到病理切片的数字化形式的注释。这种数字注释本身是已知的，可以由用户(例如，病理学家)通过操作数字病理学软件包，或通过(半)自动算法进行。还应注意的是，
这种数字注释原理上也可以通过在病理切片上做物理标记并将病理切片及其注释数字化来获得。
[0121]
一般来说，注释200可应用于标记感兴趣的组织，在许多情况下，用于专门标记组织解剖区域。如图4中所例示的，注释200的形状不需要对应于解剖结构的形状，例如，作为或包含感兴趣的组织的组织部分151，但可以这样做。例如，注释200可以包括周围石蜡的一部分，或者可以延伸到石蜡之外，或者可以延伸到先前含有石蜡但在组织切片数字化之前已经被移除的区域。
[0122]
由于h&e染色，可能优选的是不在参考切片50*上进行组织提取，而是在一个提取切片上进行。因此，如图4中的箭头70所指示的，注释200可以从参考切片50*转移到提取切片51，以获得提取切片51中的注释250。已知的是，基于两个切片的对应图像之间的图像配准，通过平移数字注释来转移注释。也就是说，由于图像配准可以确定参考切片50*的图像数据与提取切片51的图像数据之间的对应关系，从而确定组织部分151和组织部分101之间的对应关系，因此注释200可以根据基础图像数据(underlying image data)的对应关系来转移。注意到，图4示出了与注释200相比，注释250被平移、旋转以及变形，这是也包括平移、旋转和变形分量的图像配准的结果，例如通过被估计为仿射变换的分量。还应注意的是，参考切片50*可以通过作为初始注释的病理切片而被标记为“参考”切片，例如，通过代表用于将注释200转移到一个或多个提取切片的参考。
[0123]
图5类似于图1，但示出了包含组织束的组织块11，因而组织材料21具有卷曲的形状。感兴趣的组织可能经常具有这样复杂的形状，例如，由于生物原因，而且也有例如在前列腺活检的情况下从组织束中获得组织切片时。
[0124]
图6类似于图2，它显示了对组织块11的切片，并且将所得的组织切片安装到玻璃载玻片上。切片和安装在玻璃上的结果(均由图6中的箭头15表示)是一系列病理切片60-65，每个切片可能包含各自的组织部分102-107。可以看出，当比较图6和图2时，组织的卷曲形状导致组织部分102-107在每个病理切片60-65中的外观有很大差异，例如，具有不同的形状。因此，病理切片之间的图像配准可能是次优的，例如，导致错误的对应关系。当感兴趣的组织位于同质的组织区域时，这个问题可能会加剧。在这种情况下，图像配准既不能被感兴趣的组织本身所引导，例如，由于其形状不同，也不能被周围的组织区域所引导，因为缺乏空间细节不允许图像配准来确定周围组织区域的对应关系。
[0125]
因而，如果一个病理切片包含h&e染色的组织并被注释，从而有效地代表参考切片，将注释转移到提取切片上也可能是次优的，因为它可能导致转移的注释与提取切片中的感兴趣的组织不匹配。因此，基于该注释的后续组织解剖可能是次优的，因为可能提取不到足够的感兴趣的组织，或者有太多不感兴趣的组织。
[0126]
图7例示了根据本发明的一些实施方案，对多个h&e染色的病理切片的注释。这里示出了一系列病理切片70*-76*，其中切片70*、73*和76*是h&e染色的病理切片，它们包含各自的注释201-203，因此可以代表参考切片。这种注释可以由用户提供，或者如参考图9所解释的，系统可以提示用户在选定的切片上提供注释，这些切片可能已经是h&e染色的，或者仍然需要h&e染色的，或者使用(半)自动算法来确定选定的h&e染色切片上的注释。在获得参考切片的注释后，其中参考切片在一系列病理切片70*-76*中被各自子系列的中间切片(例如，切片71和72，以及切片74和75)隔开，可以如图8中所例示的方式将这些注释转移
到中间切片，以便能够在每个所述切片中标识组织提取区域。
[0127]
进一步参考图7，注意到，注释的转移可以涉及至少两个参考切片，如外侧的切片70*和76*，可选地扩展一个或多个中间的参考切片，如图7中的切片73*所代表的。
[0128]
图8例示了将注释从参考切片80*、83*和86*转移到提取切片81、82、84和85。与其他地方一样，这里提到的是切片，但可以理解为这里适用于切片的数字化形式，即相应的图像。转移可以包括以下步骤，这些步骤可以分立地(例如，并行地或顺序地)应用于子系列的中间切片的每个切片。例如，对于第一子系列中间切片81、82，可以通过将每个中间切片81、82与两个最近的参考切片(即，第一参考切片80*和第二参考切片83*)中的每个配准，为各自的切片生成注释251、252。这种“双向”配准可能涉及到各自切片之间的直接配准，例如，第一参考切片80*和中间切片81之间的直接配准以及第二参考切片83*和中间切片81之间的直接配准。替代地，如图8中还所示出的，中间切片与每个参考切片的配准可以通过配准链进行。为此，每对连续的切片可以相互配准，如图8中的附图标记90-95所示，附图标记90-95分别代表各自的一对切片之间的配准。然后，可以获得参考切片和各自的中间切片之间的配准，作为单独配准的叠加。例如，中间切片81可以通过配准90与第一参考切片80*配准，并通过配准91和配准92的叠加与第二参考切片83*配准。然后，无论是直接配准还是通过配准链配准，都可以为每个中间切片81、82生成第一组配准参数以及第二组配准参数，所述第一组配准参数代表中间切片81、82与第一参考切片80*的至少部分配准，所述第二组配准参数代表中间切片81、82与第二参考切片83*的至少部分配准。
[0129]
然后，两个参考切片80*、83*中的注释均可被传播，从而以其他地方所描述的方式转移到中间切片81、82(这也在图8中以虚线示意性地示出)，并随后组合以获得各自中间切片81、82中的组合注释251、252。上述过程也可以以基本相同的方式对第二子系列中间切片84、85进行，只是现在使用第二参考切片83*和第三参考切片86*作为两个最近的参考切片，从而得到中间切片84、85的组合注释253、254。
[0130]
一般来说，可以通过对至少两个病理切片的组织进行h&e染色而以上述方式转移注释。在一系列病理切片中，这些切片可以是第一个切片和最后一个切片，或者通常是被一系列代表提取切片的中间切片隔开的任何两个切片。在数字化之后，可以对h&e染色的切片进行注释，以标识组织解剖区域，从而成为中间提取切片的参考切片。然后，两个参考切片中的注释可以转移到每个或至少一个中间提取切片，这可能涉及双向配准，例如，从中间切片“向前”到一个参考切片和“向后”到另一参考切片。这种双向配准可以涉及两次已知的图像配准的执行，例如基于特征的图像配准、使用主动轮廓模型的图像配准、使用形状上下文的图像配准或使用水平集方法的图像配准。在获得前向和后向配准之后，可以通过调整注释的形状和/或位置以与基础图像数据保持一致来将每个注释传播到中间切片，从而获得“前向注释”和“后向注释”，形容词“前向”和“后向”在这里指的是在一系列病理切片中各自注释的来源，例如，在该系列中较前或较后。然后，这两个注释可以组合，例如基于距离变换、形状上下文等技术或通过形态学操作，例如使用两个注释之间的重叠。具体的实施例可以是，两个注释可以作为逻辑“和”(即，两个注释的交集)或逻辑“或”(即，两个注释的并集)组合。
[0131]
另一具体的实施例是，可以将带符号的距离变换应用于每个转移的注释，以获得两个带符号的距离变换的图像。然后，这两个带符号的距离变换图像可以加在一起，组合的
注释区域可以被确定为所加像素值为正的区域。
[0132]
如果两个注释太不同，例如在形状方面，生成注释的系统(例如，图9的系统)可能会建议用h&e染色中间切片，并对其进行注释。然后，这个切片可以用作参考切片，从而减少一系列病理切片中参考切片之间的平均距离，进而减少两个注释相差太大的可能性。一般来说，拟合质量的度量可用于评估注释之间和/或图像数据之间的差异，以确定是否需要对中间切片进行染色和注释。具体的实施例是，拟合质量可以表达为所传播的第一注释和/或所传播的第二注释的变形的大小，例如表达为由一组变换参数所限定的变换的非刚性分量的大小。附加地或替代地，拟合质量可表达为所传播的第一注释和所传播的第二注释在形状上的差异，或表面积上的重叠。例如，形状上的差异可以通过注释的轮廓差异来量化。
[0133]
参考图8和其他所描述的技术可以通过适当配置的系统或计算机实施的方法来实施。
[0134]
图9示出了系统300，用于使用代表一系列病理切片的数字化形式的一系列图像来确定该系列病理切片中的一个或多个组织解剖区域。系统300包括数据接口320，所述数据接口320被配置为访问该系列图像的图像数据410。在图9的实施例中，数据接口320被示出为连接到包括图像数据410的外部数据存储器400。例如，数据存储器400可以由医院信息系统(his)的图片存档和通信系统(pacs)构成或成为其一部分，系统300可以连接至数据存储器400或包含在其中，或者可以是任何其他类型的数据存储器，如硬盘驱动器、ssd或其组合。因此，系统300可以通过外部数据通信获得对图像数据410的访问。替代地，可以从系统300的内部数据存储器(未示出)访问图像数据410。一般来说，数据接口320可以采取各种形式，例如与局域网(lan)或广域网(wan)的网络接口，例如因特网，与内部或外部数据存储器的存储接口，等等。
[0135]
系统300进一步示出为包括处理器子系统340，所述处理器子系统340被配置为通过数据通信342与数据接口320进行内部通信。处理器子系统340进一步示出为通过数据通信344与用户接口子系统360进行内部通信。用户接口子系统360可被配置为使用户能够在系统300运行期间与其交互，例如使用图形用户接口。用户接口子系统360被示出为包括用户输入接口380，所述用户输入接口380被配置为从用户可操作的用户输入设备440接收用户输入数据442。用户输入设备440可以采取多种形式，包括但不限于计算机鼠标、触摸屏、键盘、麦克风等。图9示出的用户输入设备是计算机鼠标080。一般来说，用户输入接口380可以是与用户输入设备440的类型相对应的类型，即可以是与其对应的用户设备接口380的类型。
[0136]
用户接口子系统360进一步示出为包括显示输出接口370，所述显示输出接口370被配置为向显示器420提供显示数据422，以使系统300的输出可视化。在图9的实施例中，显示器是外部显示器420。替代地，显示器可以是内部显示器。注意，代替显示输出接口370，用户接口子系统360也可以包括另一类型的输出接口，所述另一类型的输出接口被配置为以感官可感知的方式向用户呈现输出数据。
[0137]
处理器子系统340可被配置为在系统300运行和使用用户接口子系统360期间，建立使用户能够注释图像数据的用户接口，并且特别是在一系列图像的第一图像中提供标识第一组织解剖区域的第一注释，并且在一系列图像的第二图像中提供标识第二组织解剖区域的第二注释，其中第一图像和第二图像在该系列图像中被一系列中间图像隔开。注意，在
一些实施方案中，第一注释和第二注释可以由处理器子系统340(半)自动获得。在这种情况下，用户的角色发生变化，用户数据(输入和输出，442和422)可以适应不同的角色。一般来说，手动、半自动或自动注释可产生注释输入数据，该注释输入数据以计算机可读的方式限定第一注释和第二注释，处理器子系统340可通过另一数据接口(在图9中未单独示出)访问该注释输入数据，例如该另一数据接口可以是处理器子系统的存储器接口，或者在注释输入数据存储在数据存储器400中的情况下，该另一数据接口与数据接口320相同或相同类型的数据接口。处理器子系统340可以进一步被配置为以在其他地方描述的方式(例如，参考图8和10)为一系列中间图像中的一个或多个中间图像生成注释。其结果可以获得存储在数据存储器400中和/或由组织解剖系统所使用的注释输出数据412。
[0138]
尽管在图9中未示出，但在一些实施方案中，系统300可以包括到组织解剖系统的接口，以便控制组织解剖系统基于为一个或多个中间图像所生成的一个或多个注释，从对应于该一个或多个中间图像的一个或多个病理切片解剖组织。在其他实施方案中，系统300可以是这种组织解剖系统的一部分，例如，以其子系统的形式。此外，在一些实施方案中，处理器子系统340可以被配置为确定中间图像中注释的拟合质量，并且如果拟合质量不满足拟合质量标准，则提醒用户在第三图像中提供第三注释，该第三图像包含在第一图像和第二图像之间的一系列中间图像中。例如，处理器子系统340可以通过用户接口子系统360生成屏幕警告，以由显示器420示出。在一些实施方案中，处理器子系统340还可以通过用户接口子系统360指示第三图像在该系列图像中的推荐位置，例如，作为指定该位置的屏幕消息或通过在显示器420上突出显示特定切片的可视表示。一般来说，处理器子系统340可以通过用户接口子系统360向用户提供待执行的指令，以便使用中间的第三参考切片的第三参考图像来提供第三注释。在一些实施方案中，一旦新染色的切片再次被数字化，处理器子系统340可以通过用户接口子系统360提示用户对所述切片进行注释。在获得注释后，处理器子系统340可以接着使用新染色的切片作为参考切片，以生成提取切片的注释。
[0139]
一般来说，系统300可以体现为或体现在单个装置或设备中，例如工作站或病理学系统，例如与这种组织解剖系统相连接的组织解剖系统或病理学系统。该装置或设备可包括一个或多个微处理器，例如，cpu和/或gpu，它们共同代表处理器子系统，并可执行适当的软件。软件可能已经下载和/或存储在相应的存储器中，例如，易失性存储器，如ram，或非易失性存储器，如flash。替代地，系统的功能单元，例如数据接口、用户输入接口、显示输出接口和处理器子系统，可以以可编程逻辑的形式在设备或装置中实施，例如以现场可编程门阵列(fpga)的形式。一般来说，系统的每个功能单元可以以电路的形式实施。注意，系统300也可以以分布式方式实施，例如，涉及不同的装置或设备。例如，该分布可以按照客户机-服务器模型，例如，使用服务器和瘦客户机。例如，如图像配准和注释的传播等计算上的复杂操作，可以由一个或多个服务器执行，例如，一个或多个基于云的服务器或高性能计算系统，而注释可以在客户端生成，例如，由用户，他可以操作连接到客户端的用户输入设备。在这样的实施例中，系统300的处理器子系统可以表示为所述分布式服务器和/或客户端的微处理器。
[0140]
图10示出了一种方法500，用于使用代表一系列病理切片的数字化形式的一系列图像，确定该系列病理切片中的一个或多个组织解剖区域。该方法500示出为包括，在题为“在第一图像中获得第一注释”的步骤中，获得510该系列图像的第一图像中标识第一组织
解剖区域的第一注释。该方法500进一步示出为包括，在题为“在第二图像中获得第二注释”的步骤中，获得520该系列图像的第二图像中标识第二组织解剖区域的第二注释，其中第一图像和第二图像在该系列图像中被一系列中间图像隔开。该方法500进一步示出为包括，在题为“为中间图像生成注释”的步骤中，通过对所述一个或多个图像中的每个图像执行以下步骤540-580，为该系列中间图像中的一个或多个中间图像生成530注释。也就是说，步骤530被示出为包括，在题为“确定第一组配准参数”的步骤中，确定540代表中间图像与第一图像的至少部分配准的第一组配准参数。步骤530进一步示出为包括，在题为“确定第二组配准参数”的步骤中，确定550代表中间图像与第二图像的至少部分配准的第二组配准参数。该步骤530进一步示出为包括，在题为“将第一注释传播到中间图像”的步骤中，使用第一组配准参数将第一注释从第一图像传播560到中间图像。该步骤530进一步示出为包括，在题为“将第二注释传播到中间图像”的步骤中，使用第二组配准参数将第二注释从第二图像传播570到中间图像。步骤530进一步示出为包括，在题为“组合所传播的第一注释和第二注释”的步骤中，组合580所传播的第一注释和第二注释以获得中间图像中的注释。
[0141]
可以理解的是，一般来说，图10的方法500的步骤可以以任何合适的顺序执行，例如，连续地、同时地或其组合地执行，但在适用情况下，例如由输入/输出关系而使得特定的顺序成为必须的。该方法500可以在计算机上实施，作为计算机实施的方法、专用硬件、或两者的组合。如图11中还例示，计算机的指令(例如，可执行代码)可以存储在计算机可读介质600上，例如以一系列610的机器可读物理标记的形式和/或以一系列具有不同电学(例如，磁)或光学特性或值的元素的形式。可执行代码可以以暂时性或非暂时性的方式存储。计算机可读介质的实施例包括存储器设备、光学存储设备、云存储设备等。图11示出了一个光盘600。
[0142]
应该指出的是，上面所提及的实施方案例示而非限制本发明，本领域技术人员能够设计许多替代的实施方案。在权利要求中，置于括号内的任何附图标记都不应被解释为对权利要求的限制。动词“包括(comprise)”及其变体的使用并不排除除了权利要求中所陈述的元素或步骤之外的元素或步骤的存在。元素前面的冠词“一(a)”或“一个(an)”并不排除存在多个这样的元素。当诸如“至少一个”这样的表达置于元素列表或元素组之前时，表示从列表或组中选择所有元素或其任何子集。例如，“a、b和c中的至少一个”的表达应理解为只包括a、只包括b、只包括c、包括a和b、包括a和c、包括b和c，或者a、b和c的全部。本发明可以借助于包括若干不同元素的硬件，以及借助于适当编程的计算机来实现。在列举若干装置的设备权利要求中，这些装置中的若干个可以由同一硬件项实现。在相互不同的从属权利要求中记载了某些措施这一纯粹事实并不指示这些措施的组合不能被用来发挥优势。