用于分析组织病理学图像数据的方法和设备与流程

1.本发明涉及一种用于分析组织病理学图像数据的方法和设备。本发明尤其涉及一种用于分析不同的组织病理学图像数据的相似性的方法和设备。


背景技术：

2.借助于组织病理学的方法分析组织样本是癌症诊断学中的核心要素。在此，组织样本从患者从可能存在病理变化的身体区域中提取。通常，从组织样本中获得多个区段或块，然后将其切成微米薄的组织切片。为了可以更好地识别可能的组织变化或首要地将其量化，借助于组织病理学染色剂对组织切片进行染色。然后，通过女病理学医师或男病理学医师在显微镜下对所述被染色的组织切片进行分析，允许做出关于所检查的组织的精细组织构造的可能的病理变化的结论。
3.组织病理学检查工作强度非常高。除了组织样本提取本身之外，所述组织病理学检查还需要组织切片的制备，包括组织切片的切割、固定和染色。在此应注意，通常必须对每个组织样本分析多个区段和从中制备的组织切片。
4.因此，为了减轻医务人员的负担，在过去的几十年中，越来越多的所述工作过程已经被自动化和数字化。因此，在现代实验室中通常已经使用计算机控制的制备自动机和染色自动机。此外，被染色的组织切片如今通常被数字化以用于进一步使用。为此，使用专用扫描仪、即所谓的玻片扫描仪。在此记录的图像也被称为“全载玻片图像(英文：whole slide image)”。然后，以这种方式获得的组织病理学图像数据由女病理学医师或男病理学医师在数字诊断站查看和分析。
5.虽然组织病理学工作流程的许多过程可以通过继续进行的数字化来改进和加速，但是鉴定本身——尽管在数字诊断站处执行——是女病理学医师或男病理学医师仍然在很大程度上依赖自己的判断力的事务。此外，关于组织样本的组织病理学图像数据集已经是大的数据量。所以，各个组织病理学图像的尺寸已经规模比较大。这原因在于，组织病理学图像一方面应可以实现对整个组织切片的概览，并且另一方面必须具有足够的分辨率，以便能够观察各个细胞。此外，组织病理学图像数据集通常不仅具有关于组织切片和区段的单个图像，而且还具有来自组织样本的不同的组织切片的多个单个图像，所述组织切片通常来自不同的区段并且借助于不同的组织病理学染色剂进行染色。鉴定额外地通过如下方式变得困难：组织病理学图像数据本质上是不均匀的，这使得所述组织病理学图像数据的量化和可重复分类明显复杂化。在鉴定时必须解决的问题相似地是复杂的。除了是否存在病理变化的基本问题之外，通常还应例如做出是否新出现了组织变化或是否涉及病历的已知疾病的重新出现。
6.迄今为止，所有这和用于治疗患者的组织病理学鉴定的有效范围在很大程度上阻碍了基于数字化图像数据的自动化鉴定程序的有效和全面使用。这引起，由于处于上游的过程持续自动化，病理学医师面临着不断增加的工作负荷，但是在实际鉴定中病理学医师很大程度上只能靠自己。此外，由于持续增长的数据量，纳入所有可用的信息并且在评估案
例时考虑所有可用的信息日益变得困难。


技术实现要素：

7.因此，本发明的目的是提供在鉴定数字组织病理学图像数据时辅助用户的方法和设备。
8.根据本发明，借助于根据本发明的实施例的方法、设备、计算机程序产品或计算机可读的存储介质来实现所提出的目的。在后续实施例中说明有利的改进方案。
9.在下文中，所述目的的根据本发明的解决方案不仅在所要求保护的设备方面而且也在所要求保护的方法方面予以描述。在此提及的特征、优点或替选的实施方式同样也可转用于其他所要求保护的主题，并且反之亦然。换言之，实体性的实施例(所述实施例例如针对设备)也可以借助于结合方法描述或要求保护的特征来改进。在此，方法的对应的功能特征通过对应的实体性的模块构成。
10.此外，所述目的的根据本发明的解决方案不仅在用于使三维体可视化的方法和设备方面，而且也在用于调整被训练的函数的方法和设备方面予以描述。在此，在用于确定的方法和设备中的数据结构和/或功能的特征和替选的实施方式可以转用于在用于调整的方法和设备中的类似的数据结构和/或功能。在此，类似的数据结构尤其可以通过使用前缀“训练”来表征。此外，在用于分析组织病理学图像数据的方法和设备中使用的被训练的函数尤其可以通过用于调整被训练的函数的方法和设备来调整和/或提供。
11.根据本发明的一个实施方式，提供计算机实施的用于提供关于患者的不同的组织病理学图像数据的相似性信息的方法。所述方法具有多个步骤。一个步骤涉及提供第一组织病理学图像数据。第一组织病理学图像数据基于已在第一时刻从患者提取的组织样本。另一步骤涉及提供第二组织病理学图像数据。第二组织病理学图像数据基于已在不同于第一时刻的第二时刻从患者提取的组织样本。另一步骤涉及基于第一组织病理学图像数据和第二组织病理学图像数据借助于图像处理算法来确定相似性信息。相似性信息具有关于第一组织病理学图像数据中的指示病理学鉴定的至少一个区域与第二组织病理学图像数据中的指示病理学鉴定的至少一个区域之间的相似性的说明。另一步骤涉及提供相似性信息。
12.第一组织病理学图像数据和第二组织病理学图像数据是图像数据集，所述图像数据集可以具有一个或多个尤其二维的单个图像。用于第一组织病理学图像数据的另一表述是第一组织病理学图像数据集。用于第二组织病理学图像数据的另一表述是第二组织病理学图像数据集。一个单个图像或多个单个图像可以分别是像素图像。一个单个图像或多个单个图像分别描绘了从患者的组织样本中制备的组织切片。如果在组织病理学图像数据集中描绘了多个组织切片，则所有所述组织切片可以从同一组织样本中制备。借此，第一组织病理学图像数据中的所有图像数据可以基于一个组织样本产生，并且第二组织病理学图像数据中的所有图像数据可以基于另外的/其他组织样本产生。两个组织样本两者可以从同一患者提取，更确切地说尤其从患者的相同或至少一个相似的解剖目标区域提取，但是在不同的时刻提取。例如在所述时刻之间可以存在数天、数月或数年以及患者的多样的医学治疗。
13.从组织样品制备组织切片可以包括从组织样品中制备区段(例如借助于冲切工
具)，所述区段被切成微米薄的层、即组织切片。用于区段的另一词是块或冲切部。在此，在组织病理学图像数据中描绘的组织切片尤其可以从同一组织样本中的不同的区段中获得。在显微观察时，组织病理学图像数据的单个图像可以显示组织样本的精细组织结构，并且尤其可以显示细胞结构或包含在组织样本中的细胞。当在更大的长度尺度上观察时，单个图像可以显示组织结构和组织密度的概览。
14.制备组织切片还包括借助于组织病理学染色剂对组织切片进行染色。在此，染色可以用于突出组织切片中的不同结构、如例如细胞壁或细胞核，或用于检验医学指标、如例如细胞增殖水平。在此，不同的组织病理学染色剂用于不同的目的。尤其地，包含在组织病理学图像数据集中的所有单个图像可以描绘已经借助于同一组织病理学染色剂染色的组织切片。替选地，包含在组织病理学图像数据集中的单个图像可以描绘已经借助于不同的组织病理学染色剂染色的组织切片。
15.为了产生组织病理学图像数据，数字化或扫描所述被染色的组织切片。为此，组织切片借助于合适的数字化站成像、如例如所谓的全载玻片扫描仪来成像，所述全载玻片扫描仪优选地扫描绷紧在载玻片上的整个组织切片并且将其转换成像素图像。为了通过组织病理学染色剂获得颜色效果，像素图像优选地是彩色像素图像。因为不仅组织的整体印象而且精细分辨的细胞结构在鉴定中都是重要的，所以包含在组织病理学图像数据中的单个图像通常具有非常大的像素分辨率。单个图像的数据尺寸通常可以为数千兆字节。可选地，可以将组织切片的数字化记录组合成组织病理学图像数据集。替选地，单个的记录也可以形成组织病理学图像数据。组织病理学图像数据可以被数字处理，并且尤其可以存档在合适的数据库中。
16.除了图像数据之外，组织病理学图像数据还可以包含元数据，在所述元数据中例如可以保存有提取组织样本的时刻、患者标识符、所使用的一个或多个组织病理学染色剂、病理学鉴定和/或组织样本所来自的解剖目标区域。替选地或附加地，这种信息可以保存在存档组织病理学图像数据的数据库中或与所述数据库分开的数据库中。这种数据库例如可以是一个或多个医学信息系统的一部分、例如医院信息系统(英文：hospital information system-his)、放射科信息系统(英文：radiology information system-ris)、实验室信息系统(英文：laboratory information system-lis)、心血管科信息系统(英文：cardiovascular information systems-cvis)和/或影像归档和通信系统(pacs)的一部分。
17.因此，表述“基于组织样本”总体上可以表示，相应的组织病理学图像数据具有显示已经从组织样本中制备并且借助于组织病理学染色剂染色的组织切片的图像数据。
18.关于组织病理学图像数据，“提供”可以表示，所述组织病理学图像数据由数字化站提供以用于进一步使用。此外，提供可以表示，所述组织病理学图像数据是可从对应的数据库检索的、从对应的数据库检索和/或加载或可以加载到计算单元中，以便使组织病理学图像数据例如在数据处理装置中经受一个或多个处理步骤。
19.图像处理算法尤其可以被理解为计算机程序产品，所述计算机程序产品构成用于通过分析第一组织病理学图像数据和第二组织病理学图像数据的图像数据或像素值来确定相似性信息。图像处理算法可以具有呈一个或多个用于处理器的指令形式的程序组成部分，以用于确定相似性信息。可以提供图像处理算法，其方式例如为，所述图像处理算法保
存在存储装置中或加载到合适的数据处理装置的工作存储器中，或者一般性地供应用。
20.指示病理学鉴定的区域尤其可以显示或建议所描绘的组织的一个或多个病理变化。换言之，指示病理学鉴定的区域可以是指示一个或多个病理变化的区域。例如，指示病理学鉴定的区域可以具有一个或多个肿瘤细胞或一个和/或多个病理组织结构。在第一组织病理学图像数据和第二组织病理学图像数据中可以分别自动和/或通过用户辨识指示病理学鉴定的区域。例如，用户可以是女医生或男医生或女病理学医师或男病理学医师。
21.指示病理学鉴定的区域之间的相似性尤其可以是可疑区域的形态或结构相似性。例如，相似的区域可以具有相似的组织结构、相似的纹理、相似的像素或颜色值、相似的细胞密度、相似的细胞形态、相似的图案和/或其他相似的特征。图像处理算法可以构成用于从第一组织病理学图像数据和第二组织病理学图像数据中自动提取这种特征和其他特征，并且在第一组织病理学图像数据与第二组织病理学图像数据之间进行比较，以便从中确定用于相似性的定量量度(相似性量度)。
22.基于相似性分析创建相似性信息。相似性信息尤其可以具有指示病理学鉴定的区域之间的相似性的说明。此外，相似性信息可以说明指示病理学鉴定的区域之间的相似性。相似性信息尤其可以说明用于相似性的定量量度(相似性量度)或基于这种定量量度。
23.提供相似性信息可以包括提供相似性信息以供任意进一步使用。例如，可以将相似性信息提供给另一算法以用于进一步分析。此外，可以提供相似性信息以用于在数据库中存档。此外，可以借助于用户界面将相似性信息提供给用户获悉。
24.通过提供相似性信息，提供第一组织病理学图像数据和第二组织病理学图像数据中的病理变化以什么程度相似的结论。因此，在整个组织病理学图像数据中并不非指定地搜索可能的相似性，而是指定地针对显示病理组织变化或预示这种病理组织变化的区域进行搜索。发明人已经认识到，这种信息尤其可能与如下问题相关：是否新出现了组织变化，即是否涉及新的疾病，或是否涉及病历的已知疾病的重新发作或重新传播。这种现象也称为复发。即表明，源于基础疾病的重新发作或重新传播的组织变化具有相似的形态和/或结构特征。所述相似性的自动化评估不仅实现发现可能保持人眼看不见的细微或隐藏的相似性，而且还确保对可供使用的图像数据进行快速、系统和详尽的比较。鉴于巨大的图像尺寸和数据量，在没有辅助方法的情况下，尤其比较对于用户通常是不可行的。例如，当关乎决定例如治疗构思是否成功或是否必须被调整时，用户由此获得有价值的额外信息。因此，基于辨识医学相关的参数和在数字化测量数据中自动化评估所述参数，发明人创建了在进行医学诊断时持续辅助用户的方法。
25.根据一个实施方式，所述方法还可以具有辨识第一组织病理学图像数据和/或第二组织病理学图像数据中的指示病理学鉴定的区域的步骤。
26.换言之，自动或半自动确定与上述问题相关的区域、即组织病理学图像数据中的显示或指示病理组织变化的区域。在此，可以不仅在第一组织病理学图像数据而且在第二组织病理学图像数据中或仅在两个组织病理学图像数据中的一个组织病理学图像数据中辨识所述区域。在此，在辨识时可以利用用户的已经存在的注释，所述用户例如在以前鉴定期间编制了所述注释。为此，例如可以评估对应的组织病理学图像数据的元数据。替选地或附加地，可以分别新地分析整个组织病理学图像数据。例如，为此图像处理算法可以对应地构成为，使得可以通过将图像处理算法应用到第一组织病理学图像数据和/或第二组织病
理学图像数据上来辨识指示病理学鉴定的区域。作为另一替选方案，可以评估涉及指示病理学鉴定的区域的用户输入。例如，用户可以经由用户界面标记一个或多个区域，然后应将所述区域作为相关区域(下文中也称为感兴趣区域)用作进一步处理的基础。
27.通过辨识指示病理学鉴定的区域，可以更有针对性地搜索病理组织变化之间的相似性。因此，可以在更短的时间内并且以更高的可信度提供对应的结论。此外，通过至少半自动化地选择相关区域，可以进一步减轻在用户任务即创建医学诊断中用户的负担。
28.根据一个实施方式，相似性信息包括：
[0029]-相应第一组织病理学图像数据和/或第二组织病理学图像数据中的指示病理学鉴定的相似的区域的说明；
[0030]-基于第一组织病理学图像数据和/或第二组织病理学图像数据的辅助图像，在所述辅助图像中突出指示病理学鉴定的相似的区域；
[0031]-第一组织病理学图像数据和/或第二组织病理学图像数据中的指示病理学鉴定的相似的区域的位置信息；
[0032]-相应的第一组织病理学图像数据和第二组织病理学图像数据中的指示病理学鉴定的相似的区域的相应的相似性的定量说明；
[0033]-关于在第一组织病理学图像数据与第二组织病理学图像数据之间是否存在复发关系的说明。
[0034]
通过所提及的相似性信息，向用户提供与分析和鉴定组织病理学图像数据相关的信息的信息。通过具有相似的病理变化的区域的说明，有针对性地向用户表明例如可能预示疾病的再次出现的区域。根据相似性区域，所述用户可以自己设想相继的组织样本中的病理变化之间的可能的相似性。在此，区域的特征可以在于位置信息，根据所述位置信息，例如可以在第一组织病理学图像数据和/或第二组织病理学图像数据中的图形表示中绘制所述区域。在此，位置信息例如可以包括坐标的说明。
[0035]
此外，根据一些实施方式，可以在相应的组织病理学图像数据中提供关于指示病理学鉴定的区域的相对份额的信息。因此，用户获得关于病理组织变化如何随时间发展的说明。
[0036]
此外，可以提供一个或多个辅助图像。辅助图像可以基于第一组织病理学图像数据和/或第二组织病理学图像数据的图像数据或者可以基于所述图像数据呈现。在辅助图像中，指示病理学鉴定的区域例如可以通过标记、例如以边框或掩模的形式突出和/或以颜色的方式突出。
[0037]
在此，在辅助图像中尤其可以分别标识指示病理学鉴定的区域、尤其所有指示病理学鉴定的区域和/或在组织病理学图像数据上具有相似性的指示病理学鉴定的区域。借此，一方面用户获得所有组织变化的概览而另一方面得到预示复发的区域显示。例如，通常可以借助于一个颜色标识指示病理学鉴定的区域，并且借助于另一颜色标识相似的区域。
[0038]
替选地或附加地，通过相似性的可选的定量说明，用户得到关于相似性程度的结论。由此，所述用户可以决定哪些区域具有大的相似性，并且在分析中专注于所述区域。定量说明可以作为数值被提供或例如可以集成在辅助图像中(例如作为数字指示或以颜色编码的形式)。
[0039]
此外，相似性信息可以包含关于第一组织病理学图像数据与第二组织病理学图像
数据之间的复发关系的说明。换言之，这是关于要么在第一组织病理学图像数据中要么在第二组织病理学图像数据中可见的病理变化是否可以以类似方式在相应另外的组织病理学图像数据中被识别的说明。借此，这表示关于病理变化是否基于已经存在的病理变化的重新发作或进一步增长的结论。根据本发明的构思，可以基于相似性的一个或多个定量说明做出这种结论。为此，例如可以评估相似性的定量说明的平均值或中值或最大值。
[0040]
根据一个实施方式，提供相似性信息的步骤具有经由用户界面为用户显示相似性信息，由此可以直接使用户了解相似性分析的结果。
[0041]
根据一个实施方式，所述方法还具有基于相似性信息填写医学报告模板的步骤。
[0042]
通过自动化填写报告模板，可以进一步减轻用户在鉴定组织病理学图像数据时的负担。例如，报告模板可以是电子医学报告。在报告模板中可以设有用于输入案例特定信息的占位符。在填写的步骤中，可以基于相似性信息填写一个或多个占位符。
[0043]
根据一个实施方式，分析的步骤包括在第一组织病理学图像数据中辨识指示病理学鉴定的感兴趣区域，以及包括搜索第二组织病理学图像数据的相似性区域，所述相似性区域分别与感兴趣区域具有相似性。在此，搜索的步骤包括将图像处理算法应用到第二组织病理学图像数据上，并且确定相似性信息的步骤基于搜索的步骤。
[0044]
换言之，感兴趣区域表示第一组织病理学图像数据的指示病理学鉴定(或病理变化)的一个或多个区域。感兴趣区域尤其可以(例如通过以前鉴定)已经被预设，或(例如通过用户输入或自动)被动态地预设。反之，根据感兴趣区域确定第二组织病理学图像数据中的相似性区域。相似性区域可以被理解为第二组织病理学图像数据的指示病理学鉴定(或病理变化)的区域。感兴趣区域与相似性区域之间的相似性可以再次包括形态和/或结构相似性。例如，相似的区域可以具有相似的组织结构、相似的纹理、相似的像素值或颜色值、相似的细胞密度、相似的细胞形态、相似的图案和/或其他相似的特征。图像处理算法可以构成用于，从感兴趣区域和可能的相似性区域中自动提取这种特征和其他特征，并且将其进行比较。图像处理算法还可以构成用于，基于比较确定用于相似性的定量量度(相似性量度)。然后，相似性区域尤其可以是其中相似性量度高于所预设的或可预设的阈值的区域。在此，可以自动确定或由用户预设这种阈值。此外，可以通过向用户建议阈值的方式来半自动确定阈值。
[0045]
通过辨识第一组织病理学图像数据中的感兴趣区域，可以在第二数据集中指定地搜索与所述感兴趣区域相似的区域。由此，可以更有针对性地发现和显示患者的时间错开的组织样本中的病理变化的形态和/或结构相似性。由此，使用户能够做出关于例如新提取的组织样本中的病理变化是否是已知病理变化的复发的有根据的结论。由此可以在鉴定时并且尤其在做出诊断或预断时有效地支持用户。
[0046]
根据一个实施方式，感兴趣区域具有在第一组织病理学图像数据中限定的一个或多个单个区域。
[0047]
在此，各个区域可以分别指示一个或多个病理学鉴定或显示一个或多个疾病组织变化。例如，各个区域可以具有来自第一组织病理学图像数据的局部和从而同样具有(像素)图像数据。借此，感兴趣区域同样可以具有(像素)图像数据。在组织病理学图像数据中限定的区域中的一个或多个区域尤其也可以包括第一组织病理学图像数据或整个组织病理学图像数据的(完整的)单个图像。对应地，感兴趣区域也可以包括第一组织病理学图像
数据或整个组织病理学图像数据的一个或多个单个图像。在第一组织病理学图像数据中限定的区域可以具有不同的形状。例如，限定的区域可以是矩形或圆形的或具有任意其他边界。通过考虑用于感兴趣区域的多个区域，可以为相似的区域的搜索提供更大的数据基础。相反，如果第一组织病理学图像数据中仅一个区域或局部显现为相关的，则可以将感兴趣区域限制为第一组织病理学图像数据中的所述仅一个区域或局部。总体上，通过感兴趣区域的自适应限定，可以实现很好地适应相应的情况。
[0048]
根据一个实施方式，辨识感兴趣区域的步骤包括通过图像处理算法确定感兴趣区域和/或评估用户的注释，所述注释标识感兴趣区域。在此，尤其可以在通过用户经由用户界面手动输入提供第一组织病理学图像数据的步骤之后提供注释。
[0049]
换言之，可以通过用户自动和/或手动确定感兴趣区域。由此可以病例特定地且灵活地确定感兴趣区域。用户的注释尤其可以标识第一组织病理学图像数据中的一个或多个区域。为此，可以在用户界面中向用户显示第一组织病理学图像数据的一个或多个参考图像。参考图像可以是基于相应的组织病理学图像数据产生的用于借助于用户界面显示的示图。用户通过用户输入的注释例如可以通过指向参考图像的相关区域，在参考图像中的相关区域周围画边框，和/或圈出参考图像中的相关区域来编制。这例如可以借助于鼠标或电子笔或通过手势控制来完成。此外，可以存在例如以前的鉴定的一个或多个注释。所述一个或多个注释可以作为关于第一组织病理学图像数据的元数据被存储(例如在第一组织病理学图像数据本身或在单独的数据库中)。通过评估已经编制的所述注释，所述注释可以用于限定感兴趣区域。尤其也可行的是，基于用户的注释自动辨识第一组织病理学图像数据中的其他相关区域并且将其与感兴趣区域相关联。在此，可以在第一组织病理学图像数据中搜索与通过用户的注释标识的区域具有相似性的区域。对应地，图像处理算法可以构成用于，在组织病理学图像数据中自动搜索指示的病理学鉴定的区域，并且在此在必要时考虑通过用户的注释预先选择的区域。
[0050]
根据一个实施方式，搜索的步骤包括基于感兴趣区域提取特征签名，并且基于所提取的特征签名求取相似性信息。
[0051]
特征签名可以具有一个或多个特征，所述一个或多个特征从感兴趣区域并且尤其从感兴趣区域的图像数据提取或从所述图像数据中被计算。此外，特征签名可以基于其他信息(或在附加地考虑其他信息的情况下)来提取，如例如基于感兴趣区域周围的周围区域、整个第一组织病理学图像数据和/或关于第一组织病理学图像数据的元数据来提取。特征签名尤其可以表征感兴趣区域。特征签名的特征可以组合成特征向量。特征签名尤其可以具有这种特征向量。特征可以是形态的和/或结构的和/或涉及纹理的特征和/或涉及图案的特征。特征尤其可以包括组织结构或组织密度。此外，特征可以具有细胞密度、细胞形态、组织病理学染色剂的分布、细胞尺寸、一个或多个特定细胞类别的分布等。
[0052]
此外，图像处理算法可以构成用于，基于特征签名来求取相似性信息。
[0053]
求取相似性信息可以包括确定第二组织病理学图像数据中的可能的相似性区域。此外，求取相似性信息可以包括分别从可能的相似性区域中提取特征签名。在此，可以如在基于感兴趣区域提取的特征签名那样进行。此外，求取相似性信息可以包括将基于可能的相似性区域提取的特征签名分别与基于感兴趣区域提取的特征签名进行比较。此外，求取相似性信息可以包括基于分别对于可能的相似性区域的比较来确定相似性量度并且包括
基于一个或多个相似性量度来求取相似性信息。
[0054]
比较的步骤尤其可以基于确定相应的特征签名的间隔、计算特征签名的余弦相似性和/或计算特征签名的各个特征的差值或相似性的加权总和。尤其可以将第二组织病理学图像数据的其相关联的相似性量度大于所预设的或可预设的阈值的区域辨识为相似性区域。
[0055]
通过使用特征签名，限定了用于比较不同的图像数据的易于实现和可良好地传输的参数。此外，包含在特征签名中的特征可以基于从图像数据中导出的上级的可观察量，所述可观察量通常比所基于的图像数据本身更好地表征映射的结构的特性。
[0056]
根据一个实施方式，图像处理算法具有一个或多个被训练的函数。
[0057]
被训练的函数通常将输入数据映射到输出数据上。在此，输出数据尤其可以与被训练的函数的一个或多个参数相关。可以通过训练来确定和/或调整被训练的函数的一个或多个参数。确定和/或调整被训练的函数的一个参数或多个参数尤其可以基于由训练输入数据和相关联的训练输出数据构成的对，其中将被训练的函数应用到训练输入数据上以产生训练映射数据。确定和/或调整尤其可以基于训练映射数据与训练输出数据的比较。通常，可训练的函数、即具有仍未调整的参数的函数也被称为被训练的函数。通过训练一个或多个可选地包括在图像处理算法中的可训练的函数，图像处理算法可以构成用于，执行结合图像处理算法描述的一个或多个任务，即例如对第一组织病理学图像数据和第二组织病理学图像数据就来自第一组织病理学图像数据中的指示病理学鉴定的至少一个区域与来自第二组织病理学图像数据中的指示病理学鉴定的至少一个区域之间的相似性进行分析，搜索第二组织病理学图像数据的相似性区域，辨识第一组织病理学图像数据中的指示病理学鉴定的感兴趣区域，确定相似性信息，提取特征签名和/或基于所提取的特征签名来求取相似性区域或相似性信息。如果所述任务中的多个任务通过被训练的函数实现，则用于所述任务中的每个任务的图像处理算法具有单独的被训练的函数。替选地或附加地，被训练的函数可以构成或训练用于完成所述任务中的多个任务直至所有任务。
[0058]
用于被训练的函数的其他术语是被训练的映射规则、具有被训练的参数的映射规则、具有被训练的参数的函数、基于人工智能的算法、机器学习的算法。被训练的函数的一个实例是人工神经网络。替代术语“神经网络”，也可以使用术语“神经网”。神经网络基本上如生物神经网络——例如人脑——那样构造。人工神经网络尤其包括输入层和输出层。所述人工神经网络还可以包括输入层与输出层之间的多个层。每个层包括至少一个、优选得多个节点。每个节点可以被理解为生物处理单元、例如神经元。换言之，每个神经元对应于应用到输入数据上的运算。一个层的节点可以通过边或连接与其他层的节点连接，尤其通过有向的边或连接来与其他层的节点连接。所述边或连接限定网络的节点之间的数据流。边或连接与通常称为“权重”或“边权”的参数相关联。所述参数可以调节第一节点的输出对第二节点的输入的重要性，其中第一节点和第二节点通过边连接。被训练的函数尤其也可以具有深度人工神经网络(英文专业术语是“deep neural network”或“deep artificial neural network”)。
[0059]
尤其可以训练神经网络。尤其地，训练神经网络基于训练输入数据和相关联的训练输出数据根据“监督”学习技术(英文专业术语是“supervised learning”)来执行，其中将已知的训练输入数据输入到神经网络中，并且将由网络生成的输出数据与相关联的训练
输出数据进行比较。只要最后的网络层的输出数据与训练输出数据不充分对应，则人工神经网络就学习并且独立地调整用于各个节点的边权。
[0060]
根据一个实施方式，被训练的函数中的至少一个具有卷积神经网络并且尤其具有基于区域的卷积神经网络。
[0061]
用于卷积神经网络的英文专业术语是convolutional neural network。卷积神经网络尤其可以构成为深度卷积神经网络(英文专业术语是“deep convolutional neural network”)。在此，神经网络具有一个或多个卷积层(英文专业术语是“convolutional layer”)和一个或多个解卷积层(英文专业术语是“deconvolutional layer”)。神经网络尤其可以包括池化层(英文专业术语是“pooling layer”)。通过使用卷积层和/或解卷积层，神经网络可以特别高效地用于图像处理，因为尽管在节点层之间存在多个连接，然而仅必须确定较少的边权(即对应于卷积核的值的边权)。借此，在相同数量的训练数据的情况下，也可以改进神经网络的精确性。
[0062]
用于基于区域的卷积神经网络的英文专业术语是region-based convolutional neural network。基于区域的卷积神经网络可以具有所谓的快速基于区域的卷积神经网络(对此的英文专业术语是“fast region-based convolutional neural network”)或更快速基于区域的卷积神经网络(对此的英文专业术语是“fast region-based convolutional neural network”)。基于区域的卷积神经网络的特征在于，其具有用于限定可能的相关图像区域的集成的功能，借此，所述基于区域的卷积神经网络适用于根据本发明的实施方式的分区域确定相似性。
[0063]
根据一个实施方式，所述方法还包括经由用户界面接收用户的涉及相似性信息的反馈的步骤以及调整被训练的函数的步骤，由此可以在使用中不断改进所述被训练的函数(对此的英文表述是“continuous learning”)。
[0064]
根据一个实施方式，第二时刻处于第一时刻之前。借此，换言之，第一组织病理学图像数据涉及随访检查的数据。借此，用户例如可以在第一组织病理学图像数据中限定感兴趣区域，并且为此在第二组织病理学图像数据中自动搜索相似性区域并且将其提供给用户。然后，基于此，用户例如可以决定，由其标记的感兴趣区域中的病理变化是否是在第二组织病理学图像数据中已经可见的病理变化的复发。
[0065]
根据一个实施方式，提供第二组织病理学图像数据的步骤包括访问用于组织病理学图像数据的数据库并且基于第一组织病理学图像数据和/或与第一组织病理学图像数据相关联的元数据从存储在数据库中的组织病理学图像数据中选择第二组织病理学图像数据。替选地或附加地，根据实施方式，选择可以基于与第二组织病理学图像数据相关联的元数据。
[0066]
根据一个实施方式，元数据可以具有：
[0067]-用于辨识患者的患者标志，
[0068]-关于患者的如下解剖目标区域的信息：从所述解剖目标区域中已提取第一组织病理学图像数据所基于的组织样本，
[0069]-关于患者的如下解剖目标区域的信息：从所述解剖目标区域中已提取第二组织病理学图像数据所基于的组织样本，
[0070]-关于在提供第一组织病理学图像数据时所使用的一个组织病理学染色剂或多个
组织病理学染色剂的信息，
[0071]-关于在提供第二组织病理学图像数据时所使用的一个组织病理学染色剂或多个组织病理学染色剂的信息，
[0072]-基于第一组织病理学图像数据的疑似诊断或疑似鉴定，
[0073]-基于第二组织病理学图像数据的诊断或鉴定，
[0074]-关于第二时刻的信息，
[0075]
和/或
[0076]-关于第一时刻的信息。
[0077]
由此，不仅可以自动找到第二组织病理学图像数据，而且还可以提供特别合适的第二组织病理学图像数据。由此可以进一步减轻用户的负担。在此，提供还可以基于与第二组织病理学图像数据相关联的元数据并且尤其基于与第一组织病理学图像数据相关联的元数据同与第二组织病理学图像数据相关联的元数据的比较。在此，疑似诊断或疑似鉴定尤其可以由用户经由用户界面输入。
[0078]
根据一个实施方式，提供第一组织病理学图像数据的步骤包括通过用户经由用户界面选择第一组织病理学图像数据。由此，用户可以有针对性地选择其期望处理的第一组织病理学图像数据。
[0079]
根据一个实施方式，第一时刻处于第二时刻之前。借此，换言之，第二组织病理学图像数据涉及随访检查的数据。借此，例如用户不必首先在组织病理学图像数据中限定感兴趣区域，而是也使用——在所述实施方式中“旧”的——第一组织病理学图像数据中的已知的感兴趣区域。然后，基于此，在第二组织病理学图像数据中自动搜索相似性区域且提供所述相似性区域。
[0080]
根据一个实施方式，提供第一组织病理学图像数据的步骤包括访问用于组织病理学图像数据的数据库并且基于第二组织病理学图像数据和/或与第二组织病理学图像数据相关联的元数据从存储在数据库中的组织病理学图像数据中选择第一组织病理学图像数据。
[0081]
根据一个实施方式，元数据可以具有：
[0082]-关于患者的如下解剖目标区域的信息：从所述解剖目标区域中已提取第一组织病理学图像数据所基于的组织样本，
[0083]-关于患者的如下解剖目标区域的信息：从所述解剖目标区域中提取第二组织病理学图像数据所基于的组织样本，
[0084]-关于在提供第一组织病理学图像数据时所使用的一个组织病理学染色剂或多个组织病理学染色剂的信息，
[0085]-关于在提供第二组织病理学图像数据时所使用的一个组织病理学染色剂或多个组织病理学染色剂的信息，
[0086]-基于第二组织病理学图像数据的疑似诊断或疑似鉴定，
[0087]-基于第一组织病理学图像数据的诊断或鉴定，
[0088]-关于第二时刻的信息。
[0089]
和/或
[0090]-关于第一时刻的信息。
[0091]
由此，不仅可以自动找到第一组织病理学图像数据，而且还可以提供特别合适的第一组织病理学图像数据。由此可以进一步减轻用户的负担。在此，提供还可以基于与第一组织病理学图像数据相关联的元数据并且尤其基于与第一组织病理学图像数据相关联的元数据同与第二组织病理学图像数据相关联的元数据的比较。通过考虑疑似诊断或疑似鉴定，可以有针对性地找出第一组织病理学图像数据。因为例如可以有针对性地搜索具有相似的诊断或相似的鉴定的第二组织病理学图像数据。根据本发明的实施方式，可以通过用户经由用户界面输入疑似诊断或疑似鉴定。
[0092]
根据一个实施方式，提供第二组织病理学图像数据的步骤包括通过用户经由用户界面选择第二组织病理学图像数据。由此，用户可以有针对性地选择其期望处理的组织病理学图像数据。
[0093]
根据一个实施方式，第一组织病理学图像数据所基于的组织样本和第二组织病理学图像数据所基于的组织样本分别从患者的相同或同一或至少一个相似的解剖目标区域提取。相同的解剖目标区域例如可以意味着，组织样本已从患者的同一器官或同一解剖结构或同一组织区域提取。相同的解剖目标区域还可以意味着，关于患者的组织样本的相应的提取部位具有近似相同的坐标。
[0094]
根据另一实施方式，提供计算机实施的用于提供关于患者的不同的组织病理学图像数据的相似性信息的方法。所述方法具有多个步骤。一个步骤涉及提供基于已在第一时刻从患者提取的组织样本的第一组织病理学图像数据。另一步骤涉及提供基于已在不同于第一时刻的第二时刻从患者提取的组织样本的第二组织病理学图像数据。另一步骤涉及辨识第一组织病理学图像数据中的感兴趣区域。另一步骤涉及搜索第二组织病理学图像数据的相似性区域，所述相似性区域分别与感兴趣区域具有相似性。在此，搜索的步骤具有将图像处理算法应用到第二组织病理学图像数据上。另一步骤涉及基于搜索的步骤确定相似性信息。另一步骤涉及提供相似性信息。
[0095]
根据一个实施方式，提供用于提供关于患者的不同的组织病理学图像数据的相似性信息的系统。所述系统具有接口和控制装置。接口构成用于接收第一组织病理学图像数据和第二组织病理学图像数据，其中第一组织病理学图像数据基于已在第一时刻从患者提取的组织样本，并且第二组织病理学图像数据基于已在不同于第一时刻的第二时刻从患者提取的组织样本。计算单元构成用于，基于第一组织病理学图像数据和第二组织病理学图像数据借助于图像处理算法来确定相似性信息，所述相似性信息具有来自第一组织病理学图像数据中的指示病理学鉴定的至少一个区域与来自第二组织病理学图像数据中的指示病理学鉴定的至少一个区域之间的相似性的说明。此外，计算单元构成用于提供相似性信息。
[0096]
控制装置可以构成为中央式或分散式计算单元。计算单元可以具有一个或多个处理器。处理器可以构成为中央处理单元(对此的英文专业表述是“central processing unit”，简称cpu)和/或图形处理器(对此的英文专业表述是“graphics processing unit”，简称gpu)。替选地，控制装置可以实现为本地或基于云的处理服务器。
[0097]
接口通常可以构成用于控制装置与其他部件之间的数据交换。接口可以以一个或多个单个的数据接口的形式实施，所述接口可以具有硬件接口和/或软件接口，例如pci总线、usb接口、fire-wire接口、zigbee接口或蓝牙接口。接口还可以具有通信网络的接口，其
中通信网络可以具有局域网(lan)、例如内联网或广域网(wan)。对应地，一个或多个数据接口可以具有lan接口或无线lan接口(wlan或wi-fi)。
[0098]
所提出的设备的优点基本上对应于所提出的方法的优点。特征、优点或替选的实施方式同样可以转用于其他要求保护的主题，并且反之亦然。
[0099]
根据一个实施方式，所述系统还具有用于存储多个组织病理学图像数据的数据库和用于与用户交互的用户界面。接口与数据库和用户界面数据连接。此外，控制装置构成用于，基于用户在用户界面中的手动用户输入从数据库中选择第一组织病理学图像数据，并且经由接口接收所述第一组织病理学图像数据。控制装置还构成用于基于第一组织病理学图像数据和/或基于与第一组织病理学图像数据相关联的元数据从数据库中选择第二组织病理学图像数据。
[0100]
在另一方面，本发明涉及一种计算机程序产品，所述计算机程序产品包括程序并且可以直接加载到可编程控制装置的存储器中，并且所述计算机程序产品具有程序机构、例如库和辅助功能，以便当执行计算机程序产品时，执行尤其根据上述实施方式的用于提供相似性信息的方法。
[0101]
此外，在另一方面，本发明涉及一种计算机可读的存储介质，在所述存储介质上存储有可读和可执行的程序段，以便当程序段由控制装置执行时，执行根据上述实施方式的用于提供相似性信息的方法的所有步骤。
[0102]
在此，计算机程序产品可以包括：具有源代码的软件，所述源代码还必须编译和链接或仅必须解释；或可执行的软件代码，其为了执行仅还应加载到处理单元中。通过计算机程序产品，可以快速地、可相同重复地且鲁棒地执行所述方法。计算机程序产品配置成，使得所述计算机程序产品可以借助于计算单元执行根据本发明的方法步骤。在此，计算单元分别必须具有先决条件，如例如对应的工作存储器、对应的处理器、对应的显卡或对应的逻辑单元，使得可以高效地执行相应的方法步骤。
[0103]
计算机程序产品例如存储在计算机可读的存储介质上或保存在网络或服务器上，从那里，所述计算机程序产品可以加载到相应的计算单元的处理器中，所述处理器可以直接与计算单元连接或构成为计算单元的一部分。此外，计算机程序产品的控制信息可以存储在计算机可读的存储介质上。计算机可读的存储介质的控制信息可以构成为，使得当在计算单元中使用数据载体时，所述控制信息执行根据本发明的方法。计算机可读的存储介质的示例是dvd、磁带或usb记忆棒，在其上存储有电子可读的控制信息、尤其软件。当从数据载体中读取所述控制信息并将其存储到计算单元中时，可以执行上述方法的根据本发明的所有实施方式。因此，本发明也可以基于所述计算机可读介质和/或所述计算机可读的存储介质。所提出的计算机程序产品或相关联的计算机可读介质的优点基本上对应于所提出的方法的优点。
附图说明
[0104]
从下文根据示意图对实施例的阐述中，本发明的其他特点和优点变得清楚。在上下文中提及的修改方案可以分别彼此组合，以便构成新的实施方式。在不同的图中，相同的附图标记用于相同的特征。
[0105]
附图示出：
[0106]
图1示出用于基于组织病理学图像数据提供相似性信息的系统的一个实施方式的示意图，
[0107]
图2示出根据一个实施方式的用于基于组织病理学图像数据提供相似性信息的方法的流程图，
[0108]
图3示出根据另一实施方式的用于基于组织病理学图像数据提供相似性信息的方法的流程图，
[0109]
图4示出根据一个实施方式的从组织病理学图像数据中提取的感兴趣区域的示意图，
[0110]
图5示出根据另一实施方式的从组织病理学图像数据中提取的感兴趣区域的示意图，
[0111]
图6示出根据一个实施方式的在组织病理学图像数据中确定的相似性区域的示意图，
[0112]
图7示出根据另一实施方式的用于基于组织病理学图像数据提供相似性信息的方法的流程图，
[0113]
图8示出根据一个实施方式的用于确定组织病理学图像数据中的相似性区域的方法的流程图，
[0114]
图9示出图像处理算法的一个实施方式的示意图，所述图像处理算法构成用于基于组织病理学图像数据提供相似性信息，
[0115]
图10示出图像处理算法的另一实施方式的示意图，所述图像处理算法构成用于基于组织病理学图像数据提供相似性信息，
[0116]
图11示出图像处理算法的另一实施方式的示意图，所述图像处理算法构成用于基于组织病理学图像数据提供相似性信息，以及
[0117]
图12示出根据另一实施方式的用于基于组织病理学图像数据提供相似性信息的方法的流程图。
具体实施方式
[0118]
在图1中示出根据一个实施方式的用于基于组织病理学图像数据his1、his2提供相似性信息aei的系统1。系统1具有用户界面10、计算单元20、接口30和存储单元60。计算单元20基本上构成用于基于组织病理学图像数据his1、his2计算和提供相似性信息aei。可以由存储单元60经由接口30将组织病理学图像数据his1、his2提供给计算单元20。
[0119]
存储单元60可以构成为中央式或分散式数据库。存储单元60尤其可以是服务器系统的一部分。存储单元60尤其可以是医学信息系统的一部分、例如医院信息系统(对此的英文专业术语是hospital information system或简称为his)和/或pacs系统(pacs在此代表影像归档和通信系统(英文：picture archiving and communication system))和/或实验室信息系统(lis)的一部分。
[0120]
在存储单元60中存档有组织病理学图像数据his1、his2。组织病理学图像数据his1、his2是基于患者的组织样本的图像数据，所述组织样本已在特定时刻从所述患者从解剖目标区域或提取区域提取。解剖提取区域例如可以是例如借助于成像模态如mr或ct设备辨识的器官或组织区域。组织样本例如在活组织检查、作为手术制备
或切除的手术的过程中从患者提取。从组织样本中产生微米薄的组织切片。通常，借助于冲切气缸从组织样本中冲出多个区域(所谓的冲切部或块)，然后将所述区域切成薄层。然后，在最后通过组织病理学染色剂对所产生的组织切片进行染色之前，可以通过不同的技术来固定、制备和准备所产生的组织切片。一方面，组织病理学染色剂用于增加在切片中包含的组织或细胞结构的对比度。另一方面，可以有针对性地使用组织病理学染色剂，以便突出特定特征，从而解决特定病理学问题。存在在过去120年期间研发的多个不同的组织病理学染色剂。苏木精伊红染色剂(h&e染色)通常首先作为常规和概览染色剂。除此之外的、通常称为特殊染色剂的组织病理学染色剂例如是刚果红、三色染色剂或奥拉明o(auramin o)。此外，也可以使用免疫组织化学染色剂，借助于所述免疫组织化学染色剂，蛋白质或其他结构可以借助所标记的抗体变得可见。对此的示例是作为细胞增殖标志物的ki67、作为对于乳腺癌特定的标志物的her2免疫染色剂、用于标记t细胞的cd8免疫染色剂或作为用于免疫治疗成功的预后标志物的pd-l1免疫染色剂。在现代实验室中，计算机控制的自动染色机通常至少用于常见的染色剂。通常，块的第一组织切片借助于h&e染色剂进行染色。在需要时并且根据问题，在鉴定出借助于h&e染色的组织切片之后，借助于特殊染色剂对相应的块的其他组织切片进行染色和分析。
[0121]
如今，完成制备和染色的组织切片通常被数字化以进行鉴定。为此使用专门的扫描仪、所谓的载玻片扫描仪。在此记录的图像也被称为“全载玻片(英文：whole slide image)”。在此记录的图像数据通常是二维像素数据，其中每个像素相关联有颜色值。
[0122]
因为通常从组织样本中提取多个冲切部，所述多个冲切部借助于相同的组织病理学染色剂进行处理，所以组织病理学图像数据his1、his2通常具有多个单个图像(多个单个“全载玻片图像(英文：whole slide image)”或多个单个像素图像)。
[0123]
附加地，组织病理学图像数据his1、his2可以具有元数据，在所述元数据中可以存储有关于相应的组织病理学图像数据his1、his2的附加信息。例如，元数据可以具有以下信息中的一个或多个信息：相应的组织病理学图像数据his1、his2所基于的组织样本从患者提取的时刻、辨识患者的电子标志、如例如患者id或姓名、用于相应的组织病理学图像数据his1、his2的组织病理学染色剂的说明、关于组织病理学图像数据his1、his2的以前鉴定的说明、识别被鉴定的用户的标志(例如姓名或用户id)、相应的组织病理学图像数据his1、his2中的指示病理学鉴定的区域的说明如例如感兴趣区域ib，和/或关于患者的从所述患者已提取相应的组织病理学图像数据his1、his2所基于的组织样本的解剖提取区域的说明。元数据例如可以存储在组织病理学图像数据his1、his2的数据头或组织病理学图像数据his1、his2的与真正的图像数据分开的数据容器中。替选地或补充地，这种元数据也可以保存在患者的电子病历(为此的英文表述是“electronic medical record”或简称emr)中，即与组织病理学图像数据his1、his2分开地保存。这种电子病历例如可以存档在存储装置60中或与所述存储装置分开设立的存储装置中，计算单元20可以经由接口30与所述存储装置连接。
[0124]
用户界面10具有显示单元11和输入单元12。用户界面10可以构成为便携式计算机系统，如例如智能手机、平板计算机或笔记本电脑。此外，用户界面10可以构成为台式pc。输入单元12可以集成到显示单元11中，例如以触摸敏感的屏幕的形式集成到显示单元中。作为对此的替选方案或附加地，输入单元12可以具有键盘或计算机鼠标和/或数字笔。显示单
元11构成用于，显示来自组织病理学图像数据his1、his2中的单个或多个图像(在下文中，所示出的所述单个图像也称为“参考图像rb”)、所求取的相似性信息aei或辅助图像ab，所述辅助图像ab向用户说明相似性信息aei。用户界面10还构成用于，从用户获得关于与鉴定相关的感兴趣区域ib的输入。在此，用户可以是女医生或男医生以及尤其女病理学医师或男病理学医师。
[0125]
用户界面10具有一个或多个处理器13，所述一个或多个处理器构成用于执行用于操控显示单元11和输入单元12的软件，以便提供图形用户界面，所述图形用户界面使用户能够选择用于鉴定的组织病理学图像数据his1、his2，输入感兴趣区域ib并且评定所找出的相似性信息aei。用户例如可以经由用户界面10激活软件，例如其方式是：所述用户从应用商店(app-store)下载所述软件。根据另外的实施方式，软件也可以是呈在浏览器中运行的web应用程序形式的客户端服务器计算机程序。
[0126]
接口30可以具有一个或多个单个数据接口，所述一个或多个单个数据接口确保系统1的部件10、20、60之间的数据交换。一个或多个数据接口可以是用户界面10、计算单元20和/或存储器单元60的一部分。一个或多个数据接口可以具有硬件和/或软件接口，例如pci总线、usb接口、firewire接口、zigbee或蓝牙接口。一个或多个数据接口可以具有通信网络的接口，其中通信网络可以具有局域网(lan)、例如内联网或广域网(wan)。对应地，一个或多个数据接口可以具有lan接口或无线lan接口(wlan或wi-fi)。
[0127]
计算单元20可以具有处理器。处理器可以具有中央计算单元(cpu)、图形处理单元(gpu)、数字信号处理器(dsp)、图像处理处理器、集成(数字或模拟)电路或上述部件的组合和用于根据本发明的实施方式处理组织病理学图像数据his1、his2的其他装置。计算单元20可以实现为单个部件或具有并行或串联工作的多个部件。替选地，计算单元20可以具有真实或虚拟的计算机组、例如集群或云。这种系统可以称为服务器系统。根据实施方式，计算单元20可以构成为本地服务器或云服务器。此外，计算单元20可以具有工作存储器、如ram，以便例如临时存储组织病理学图像数据his1、his2。替选地，这种工作存储器也可以设置在用户界面10中。计算单元20例如通过计算机可读的指令、通过设计和/或硬件构成为，使得所述计算单元可以执行根据本发明的实施方式的一个或多个方法步骤。计算单元20尤其可以构成用于执行在下文中进一步描述的一个或多个图像处理算法tf-a、tf-b、tf-c、tf-a'。
[0128]
计算单元20可以具有子单元或模块21-24，所述子单元或模块构成用于在持续的人机交互的过程中向用户提供相似性信息aei，并从而在鉴定中辅助所述用户。
[0129]
模块21构成用于提供应进行新鉴定的组织病理学图像数据(根据组织样本提取的时刻，要么是以his1表示的组织病理学图像数据，要么是以his2表示的组织病理学图像数据)。例如，模块21可以构成用于从存储单元60接收这种组织病理学图像数据his1或his2并且将其加载到计算单元20或用户界面10中。这例如可以按照用户经由用户界面10输入的指令来发生或者自动触发。此外，模块21可以构成用于，按照指令经由用户界面10向用户显示待鉴定的组织病理学图像数据his1或his2的各个图像作为参考图像rb。模块21还可以构成用于，在组织病理学图像数据his1或his2内求取感兴趣区域ib，所述感兴趣区域ib可以指示病理学鉴定。为此，模块21例如可以从用户界面10接收对应的用户输入，评估通过用户引起的在组织病理学图像数据his1或his2中存在的注释，和/或自动确定感兴趣区域ib。关于
最后提及的替选方案，模块21可以构成用于将合适的图像处理算法应用到组织病理学图像数据his1或his2上(例如在下文中进一步描述的第二图像处理算法tf-b)。
[0130]
模块22构成用于提供组织病理学图像数据，待鉴定的组织病理学图像数据可以与所述组织病理学图像数据进行比较，以便做出关于患者的肿瘤疾病的进展的结论(根据组织样本提取的时刻，要么是以his1表示的组织病理学图像数据，要么是以his2表示的组织病理学图像数据)。为此，模块22尤其可以构成用于，从过去的检查中搜索患者的组织病理学图像数据his1或his2，所述组织病理学图像数据优选地显示来自患者的相同或至少一个相似的解剖提取区域中的组织。模块22可以构成用于，制定合适的搜索请求并且例如搜索存储装置60。类似于模块21，模块22也可以构成用于，同样在比较组织病理学图像数据his1或his2中辨识感兴趣区域ib——例如通过评估以前鉴定的已经存在的注释或者通过应用合适的图像处理算法。
[0131]
模块23构成用于，在待鉴定的组织病理学图像数据his1或his2和/或来自以前的检查中的组织病理学图像数据his1或his2中求取分别显示的肿瘤组织或肿瘤细胞之间的尤其形态和/或结构和/或纹理相关的相似性。例如，这种相似性可以示出在新待鉴定的组织病理学图像数据his1或his2中可见的肿瘤是否是在旧的组织病理学图像数据his1或his2中已映射的肿瘤的复发，或者是否涉及新产生的肿瘤。模块23可以构成用于，提供识别出的相似性作为相似性信息aei。模块23尤其可以构成用于，将合适的图像处理算法应用到组织病理学图像数据his1、his2上，以便获得相似性信息aei。例如，模块23可以构成用于，应用在下文中进一步描述的图像处理算法tf-a、tf-c或tf-a'中的一个或多个图像处理算法。
[0132]
模块24可以被理解为可视化模块，所述可视化模块设计用于，例如经由用户界面10向用户显示模块23的相似性分析的结果。为此，模块24可以构成用于，基于组织病理学图像数据his1、his2向用户提供一个或多个辅助图像ab，在所述一个或多个辅助图像中，以图形和/或颜色和/或其他方式突出相似性区域aeb。在此，如所提及的，相似性区域aeb是组织病理学图像数据his1或his2中的从先前的组织样本开始到新待鉴定的组织样本显示在肿瘤组织/肿瘤细胞的构造上的大的相似性的区域。附加地，模块24可以构成用于，将模块23的相似性分析的结果存档(例如在存储单元60或任意另一存储单元中)或者将其提供给另一模块或另一软件以用于进一步处理。
[0133]
在此，所进行的将计算单元20划分成元件21-24仅用于更简单地解释计算单元20的工作方式并且不应被理解为限制性的。元件21-24或其功能也可以组合在一个元件中。在此，元件21-24尤其也可以理解为计算机程序产品或计算机程序段，当在计算单元20中执行时，所述计算机程序段实现下文中描述的方法步骤中的一个或多个方法步骤。
[0134]
计算单元20和处理器13可以一起形成控制装置40。应注意，控制装置40的所示出的布局、即所描述的划分成计算单元20和处理器13的划分同样仅被示例性地理解。因此，计算单元20可以完全集成在处理器13中，并且反之亦然。方法步骤尤其可以通过执行对应的计算机程序产品(例如安装在用户界面上的软件)完全在用户界面10的处理器13上运行，然后，所述用户界面经由接口30直接与例如存储单元相互作用。换言之，计算单元20然后将与处理器13相同。
[0135]
如已经提及的，根据一些实施方式，计算单元20可以替选地被理解为服务器系统、
如例如本地服务器或云服务器。在这种设计方案中，用户界面10可以被称为“前端(英文：frontend)”或“客户端(英文：client)”，而计算单元20于是用可以被理解为“后端(英文：backend)”。然后，用户界面10与计算单元20之间的通信例如可以基于https协议来执行。在这种系统中，计算能力可以在客户端与服务器之间分配。在“瘦客户端(英文：thin client)”系统中，服务器具有计算能力的大部分，而在“厚客户端(英文：thick client)”系统中，客户端提供更多的计算能力。类似内容同样适用于数据(在此：尤其组织病理学图像数据his1、his2)。在“瘦客户端(英文：thin client)”系统中，数据通常保留在服务器上并且仅将结果传输给客户端，而在“厚客户端(英文：thick client)”系统中，也将数据传输给客户端。
[0136]
根据另一实施方式，所描述的功能也可以被提供为所谓的云服务。然后，对应构成的计算单元构成为云平台。然后可以将待分析的数据、即组织病理学图像数据上传到所述云平台中。
[0137]
图2中示出用于基于患者的时间错开地提取的组织样本的组织病理学图像数据his、his2来提供相似性信息aei的方法的示意性流程图。方法步骤的顺序既不受所示出的顺序也不受所选择的编号限制。因此，步骤的顺序可选地可以调换，并且可以省略个别步骤。
[0138]
在图2中，相似性信息aei基于第一组织病理学图像数据his1与第二组织病理学图像数据his2的比较产生。在此，第一组织病理学图像数据his1基于患者的已在第一时刻从所述患者提取的组织样本产生。第二组织病理学图像数据his2基于相同患者的已在不同于第一时刻的第二时刻从患者提取的组织样本。在此，组织样本分别从患者的相同或至少一个相似的解剖目标区域提取。在此，图2示出仅基于不同的第一时刻和第二时刻的一般情况。在此，第一组织病理学图像数据his1可以基于如下组织样本：所述组织样本在第二组织病理学图像数据his2所基于的组织样本之前从患者提取——或者反之亦然。然后在下面所示出的图3和图6中进一步规定了所述两个选项。
[0139]
在图2的一般情况下，第一步骤s10涉及提供第一组织病理学图像数据his1。在此，提供可以通过从存储单元60中检索第一组织病理学图像数据his1和/或将第一组织病理学图像数据his1加载到计算单元20中来实现。
[0140]
第二步骤s20涉及提供第二组织病理学图像数据his2。在此，提供同样可以通过从存储单元60中检索第二组织病理学图像数据his2和/或将第二组织病理学图像数据his2加载到计算单元20中来实现。
[0141]
在下一步骤s30中，产生相似性信息aei。为此，将第一组织病理学图像数据his1和第二组织病理学图像数据his2输入到第一图像处理算法tf-a中。所述第一图像处理算法基于所限定的相似性度量在第一组织病理学图像数据his1和第二组织病理学图像数据his2中“匹配”相似的区域。在此，相似性度量尤其可以是用于区域的形态和结构相似性的量度。在此，相似的区域尤其可以是指示病理学鉴定的区域。例如，这种指示病理学鉴定的区域可以是第一组织病理学图像数据his1和第二组织病理学图像数据his2中的具有肿瘤组织或肿瘤细胞或一般病历组织变化的区域。通过相似的区域在不同时刻记录的组织样本之间建立相似性关系的方式，可以推导出第一组织病理学图像数据his1和第二组织病理学图像数据his2中的指示病理学鉴定的区域是否彼此相关。例如，如果在第一组织病理学图像数据
his1中辨识出与第二组织病理学图像数据his2中的一个或多个区域相似的区域，则存在例如形态相似的病理组织变化。这又指示第一组织病理学图像数据his1中的病理组织变化表示第二组织病理学图像数据his2中的病理组织变化的复发，或者反之亦然(根据相应的组织病理学图像数据his1或his2所基于的组织样本中的哪个组织样本是以前提取的)。
[0142]
对应地，相似性信息aei可以包含关于第一组织病理学图像数据his1与第二组织病理学图像数据his2之间是否存在复发关系的信息。此外，相似性信息aei可以包含关于第一组织病理学图像数据his1和/或第二组织病理学图像数据his2中的指示病理学鉴定的相似的区域的位置信息，所述位置信息例如可以具有带边框的盒和/或相似的区域的坐标。此外，相似性信息aei可以包含关于第一组织病理学图像数据his1和第二组织病理学图像数据his2的相似的区域之间的相似性程度的说明。此外，相似性信息aei可以具有一个或多个辅助图像ab，所述一个或多个辅助图像可以基于第一组织病理学图像数据his1和/或第二组织病理学图像数据his2，并且在所述一个或多个辅助图像中，例如可以突出指示病理学鉴定的相似的区域。
[0143]
在另一步骤s40中，最终提供相似性信息aei。提供通常可以表示，提供相似性信息aei以供使用。例如，相似性信息aei可以经由用户界面10显示给用户。附加地或替选地，相似性信息aei可以存档在存储单元60中或者输入到另一算法中以用于进一步处理。
[0144]
在可选的步骤s50中，最终基于相似性信息aei自动创建医学报告或鉴定报告。这可以包括借助于相似性信息aei预填写合适的模板，并且经由用户界面10将其提供给用户以用于获悉和进一步处理。
[0145]
为了进一步说明，在图3中所示出的实施方式中现在讨论第一组织病理学图像数据his1基于比第二组织病理学图像数据his2更晚提取的组织样本的情况。因此，换言之，第二时刻在时间上处于第一时刻之前并且第一组织病理学图像数据his1可以被视为第二组织病理学图像数据his2的“随访(英文：follow-up)”。方法步骤的顺序既不受所示出的顺序也不受所选择的编号限制。因此，步骤的顺序必要时可以调换，并且可以省略个别步骤。
[0146]
第一步骤s10'涉及提供第一组织病理学图像数据his1。第一组织病理学图像数据his1例如可以由用户在用户界面10中选择。计算单元20然后可以从存储单元60中检索第一组织病理学图像数据his1并且例如将其加载到计算单元20的工作存储器或另一存储装置中。
[0147]
然后，在下一步骤s15'中确定第一组织病理学图像数据his1中的感兴趣区域ib。感兴趣区域ib尤其是第一组织病理学图像数据his1(或来自所述第一组织病理学图像数据中的局部)中的显示与病理学鉴定相关的形态的区域。换言之，感兴趣区域可以被理解为第一组织病理学图像数据his1中的指示病理学鉴定的区域(或局部)。在此，感兴趣区域ib可以具有一个或多个单个区域(或局部)roi、roi1、roi2等(参见图4和图5)。此外，根据一些实现方案，感兴趣区域ib也可以包括所有第一组织病理学图像数据his1。可以自动(步骤s15a)或手动(步骤s15b)确定感兴趣区域ib。
[0148]
为了在步骤s15a中自动确定感兴趣区域ib，可以将第一组织病理学图像数据his1输入到第二图像处理算法tf-b中，所述第二图像处理算法构成用于，在组织病理学图像数据his1、his2中辨识与病理学鉴定相关的区域、即尤其显示病理组织变化的区域。如在下文中进一步阐述的那样，第二图像处理算法tf-b尤其可以具有被训练的函数。
[0149]
为了在步骤s15b中手动确定感兴趣区域ib，系统1可以构成为，使得用户可以从第一组织病理学图像数据his1中选择一个或多个参考图像rb并且可以在用户界面10中评定所述一个或多个参考图像。此外，系统1和尤其用户界面10可以构成为，使得用户可以借助于注释来标识感兴趣区域ib，用户可以经由用户界面10借助于用户输入来输入所述注释。例如，系统1可以构成为，使得用户可以通过借助于鼠标点击或通过画边框在一个或多个参考图像rb中标记与所述感兴趣区域相关的区域来注释感兴趣区域ib。
[0150]
此外，也可设想感兴趣区域ib的半自动确定，其中通过第二图像处理算法tf-b自动确定可能相关的区域并且将其经由用户界面10显示给用户以用于选择。然后将由用户确认的区域替代感兴趣区域ib。
[0151]
然后，下一步骤s20'涉及提供第二组织病理学图像数据his2，所述第二组织病理学图像数据基于在用于第一组织病理学图像数据his1的组织样本提取之前从患者已提取的组织样本。为此，计算单元20可以构成为，使得其在存储单元60中搜索合适的第二组织病理学图像数据his2并且加载所述第二组织病理学图像数据。根据一些实施方式，可以将通过这种方式找出的第二组织病理学图像数据his2显示给用户以用于选择。因此，用户能够从预选中自己选择从所述用户的角度来看非常适合的第二组织病理学图像数据his2。根据本发明的实施方式，可以在图形用户界面中以时间线的形式向用户显示考虑的第二组织病理学图像数据his2以用于选择，这使用户获得快速和全面的概览。在此，时间线上的各个点可以指示可供使用的第二组织病理学图像数据his2。作为替选方案，计算单元20可以构成用于，自主选择合适的第二组织病理学图像数据his2。替选地，系统1和尤其用户界面10也可以构成为，使得用户完全自己选择第二组织病理学图像数据his2，例如通过独立搜索存储在存储单元60中的组织病理学图像数据。
[0152]
为了适合于根据本发明的实施方式求取相似性信息aei，第二组织病理学图像数据his2应至少与同第一组织病理学图像数据his1相同的患者相关联。此外，如果第二组织病理学图像数据his2还基于已从与从中产生第一组织病理学图像数据his1的组织样本相同或至少一个与之相似的解剖目标区域提取的组织样本，则找出与感兴趣区域ib相似的区域和从而提供有说服力的相似性信息aei的概率增加。此外，如果对于第一组织病理学图像数据his1和第二组织病理学图像数据his2使用相同的染色剂，则可以获得更好的结果。附加地，第一时刻与第二时刻之间的合适的时间间隔可能是相关的。在提供第二组织病理学图像数据his2时，可以将所述信息考虑为元数据。所述元数据例如可以从第一组织病理学图像数据his1中自动提取，从医学信息系统中自动检索和/或通过用户提供。例如，涉及患者、解剖目标区域或染色剂的信息可以保存在第一组织病理学图像数据his1的数据头中并且从那里提取。替选地，可以通过检索保存在医学信息系统中的电子患者档案来获得所述信息。附加地，用户可以查询元数据，例如通过经由用户界面10提供对应的输入掩码。此外，可以预分配用于第一时刻与第二时刻之间的时间间隔的合适的时间窗。
[0153]
根据一些实施方式，也可以提出，在提供第二组织病理学图像数据his2时，考虑在步骤s15中确定的感兴趣区域ib和/或从其中导出的信息(例如特征签名——参见下文)。这于是尤其在如下情况下是有意义的：也在第二组织病理学图像数据his2中已经注释了来自先前的发现/分析中的这种感兴趣区域ib。
[0154]
下一步骤s30'涉及求取相似性信息aei。为此，在子步骤s30a'中提出，搜索第二组
织病理学图像数据his2的相似性区域aeb。为此，可以将第二组织病理学图像数据his2输入到第三图像处理算法tf-c中。可选地，可以将第一组织病理学图像数据his1和/或感兴趣区域ib附加地输入到第三图像处理算法tf-c中。第三图像处理算法tf-c通常可以构成用于，在组织病理学图像数据中搜索与可预设的图像数据具有相似性的区域。在当前情况下，所述可预设的图像数据通过感兴趣区域ib给出。为了确定在图像数据之间是否存在相似性，第三图像处理算法tf-c还可以构成用于应用所限定的相似性度量，如仍在下文中阐述。
[0155]
换言之，相似性区域aeb是第二组织病理学图像数据his2的指示病理学鉴定的区域。相似性区域aeb可以与感兴趣区域ib具有形态相似性。此外，相似性区域aeb可以具有与感兴趣区域ib相似的图案或结构。此外，相似性区域aeb可以具有与感兴趣区域ib相似的特征签名。例如，特征签名可以被理解为可以从图像数据和/或元数据中提取的抽象特征的集合或向量。为了搜索相似性区域，例如可以“扫描”第二组织病理学图像数据his2，并从而可以逐步将第二组织病理学图像数据his2的图像数据与感兴趣区域ib的图像数据进行比较。相似性区域aeb尤其可以与感兴趣区域ib具有高于预先确定的相似性水平或相似性量度的相似性。相似性水平或相似性量度可以指示不同的图像数据之间的一致性的程度。与预先确定的相似性量度进行比较的相似性例如可以是上述相似性度量的结果。例如可以手动或自动预设预先确定的相似性量度。应注意，如果在第二组织病理学图像数据his2中不存在与感兴趣区域ib相似的区域，则搜索相似性区域aeb也可能提供否定结果。
[0156]
可选地，在步骤s30a'中，还可以考虑第二组织病理学图像数据his2中的现有注释，所述现有注释已经指示来自以前的鉴定中的病理学鉴定(因此，即第二组织病理学图像数据his2中的“感兴趣区域”)。
[0157]
然后，基于第一子步骤s30a'，在第二子步骤s30b'中确定相似性信息aei。例如，相似性信息aei可以具有关于相似性区域aeb的说明，如例如所述相似性区域在第二组织病理学图像数据his2中的位置、所述相似性区域的尺寸、关于所述相似性区域的相似性的定量说明等。如果在步骤s30b'中没有找到相似性区域aeb，则这可以在相似性信息aei中对应地指示。此外，相似性信息aei可以包括用于用户的可视化。在此，可视化例如可以基于第二组织病理学图像数据his2。尤其可以基于第二组织病理学图像数据his2产生辅助图像ab，在所述辅助图像中突出一个或多个相似性区域aeb(参见图6)。在此，例如可以通过画边框和/或通过相似性区域的颜色鲜明的标记来实施突出。关于颜色鲜明的标记还可行的是，通过颜色代码来显示各个相似性区域aeb的相似性，在所述颜色代码中，颜色变化与针对各个相似性区域aeb计算的相似性值中的等级相关联。替选地或附加地，相似性信息aei可以具有关于感兴趣区域ib与相似性区域aeb处于复发关系的概率的结论。这可以表明，在感兴趣区域ib中所示出的病理组织变化是在相似性区域aeb中所示出的病理组织变化的复发，这可以预示疾病的重新发作。除了相似性区域aeb之外，第二组织病理学图像数据his2还可以具有指示病理学鉴定的其他区域，例如，所述其他区域虽然显示病理组织变化，但是与第一组织病理学图像数据his1的指示病理学鉴定的区域不具有相似性。所述区域可以同样并且优选地与相似性区域aeb不同地在辅助图像ab中突出——如通过以另一颜色突出的方式。
[0158]
在步骤s40'中，最终提供相似性信息aei。在此，步骤s40'基本上对应于步骤s40，并且在步骤s40中描述的操作也可以在步骤s40'中进行。尤其可以在步骤s40'中借助于用户界面10将辅助图像ab显示给用户。替选地或附加地，辅助图像ab可以存档在存储单元60
中。
[0159]
可选的步骤s50'基本上对应于图2中的步骤s50。在步骤s50'中，尤其可以将辅助图像ab和/或来自第一组织病理学图像数据his1和/或第二组织病理学图像数据his2中的元数据和/或关于复发概率的结论自动输入到医学鉴定报告的模板或报告中，然后可以经由用户界面10将其提供给用户或存档在存储单元60中。
[0160]
可选的步骤s60'是重复步骤。步骤s60'根据如下来安排：根据患者的疾病史，可以考虑多个第二组织病理学图像数据his2以用于与“当前”第一组织病理学图像数据his1进行比较。如结合步骤s20'所阐述，虽然可以呈现考虑的第二组织病理学图像数据his2以用于选择。但是，根据实现方案，这并不是强制性地被提出。此外，用户也可能会选择多个第二组织病理学图像数据his2。在所述情况下，存在考虑用于后续步骤的分析的多个第二组织病理学图像数据his2。因此，可以在可选的步骤s60'中提出，对于不同的第二组织病理学图像数据his2重复步骤s20'、s30'、s40'和s50'，其中每个经过基于另外的第二组织病理学图像数据his2，直至所有考虑的第二组织病理学图像数据his2被处理。
[0161]
在图7中示出用于为组织病理学图像数据his1、his2提供相似性信息aei的方法的另一实施方式。方法步骤的顺序既不受所示出的顺序也不受所选择的编号限制。因此，步骤的顺序必要时可以调换，并且可以省略个别步骤。与图3中所示出的实施方式不同，在所述实施方式中，第一时刻处于第二时刻之前。换言之，第一组织病理学图像数据his1源于在时间上在第二组织病理学图像数据his2所源于的组织样本之前从患者提取的组织样本。因此，第二组织病理学图像数据his2这次是恰好用于鉴定存在的“随访(英文：follow-up)”检查的结果，而第一组织病理学图像数据his1属于预先检查(所谓的“先前(英文：priors)”)。此外，作为另一不同之处，在结合图7所示出的实施方式中假设：在第一组织病理学图像数据his1中，已经通过以前的发现限定了相关的区域，所述相关的区域指示病理学鉴定并且可以表示用于感兴趣区域ib的基础。
[0162]
在第一步骤s20”中，首先提供第二组织病理学图像数据his2。关于技术实现方案，步骤s20”基本上对应于图3中的步骤s10'。对应地，结合步骤s10'描述的单个步骤、替选方案、阐述和效果可以类似地应用到步骤s20”上。
[0163]
然后，在步骤s10”中，借助于第一组织病理学图像数据his1从患者的以前的检查中搜索合适的参考数据。在此，在技术上，步骤s10”基本上对应于图3中的步骤s20'。结合在步骤s20'中提供第二组织病理学图像数据his2所描述的单个步骤、替选方案、阐述和效果可以类似地应用到根据步骤s10”的提供第一组织病理学图像数据his1上。
[0164]
与图3不同，在步骤s15”中，感兴趣区域ib不在“随访(英文：follow-up)”组织病理学图像数据中限定，而是在“先前(英文：priors)”中限定。这在图7中所示出的实施方式中是第一组织病理学图像数据his1。在此，感兴趣区域ib再次是示出与病理学鉴定相关的图案的区域。在此，感兴趣区域ib尤其可以再次具有一个或多个单个区域roi、roi1、roi2等(参见图4和图5)。在步骤s15”中优选地自动确定感兴趣区域ib。为了自动确定感兴趣区域ib，可以将第一组织病理学图像数据his1输入到已经提及的第二图像处理算法tf-b中，所述第二图像处理算法构成用于，在组织病理学图像数据his1、his2中辨识与病理学鉴定相关的区域、即尤其显示病理组织变化如肿瘤组织的区域。替选地，可以自动评估第一组织病理学图像数据his1中已经存在的注释，用户例如在以前的鉴定的过程中在第一组织病理学
图像数据his1中编制所述注释。例如，所述注释可以被保存为第一组织病理学图像数据his1或相关联的元数据中的感兴趣区域ib的标记。
[0165]
下一步骤s30”涉及求取相似性信息aei。为此，在子步骤s30a”中提出，搜索第二组织病理学图像数据his2的相似性区域aeb。因此，作为与图3中所示出的实施方式的系统性不同之处，不在“先前(英文：priors)”his1中搜索相似性区域aeb，而是在“随访(英文：follow-up)”数据his2中搜索所述相似性区域。在此，关于技术实现方案，步骤s30a”基本上对应于图3中的步骤s30a'，并且结合步骤s30a'描述的单个步骤、阐述、替选方案和效果可以类似地转用于步骤s30a”。
[0166]
然后，基于子步骤s30a”，在第二子步骤s30b”中确定相似性信息aei。在此，步骤s30b”基本上对应于图3中的步骤s30b'，并且结合步骤s30b'描述的单个步骤、阐述、替选方案和效果可以类似地转用于步骤s30b”。尤其地，在图7所示出的实施方式中同样可以提出，产生基于第二组织病理学图像数据his2的辅助图像ab。然而，作为系统性不同之处，在图7中所示出的实施方式中，优选地基于随访检查产生辅助图像ai。
[0167]
步骤s40”和s50”基本上对应于图3中的步骤s40'和s50'，并且结合步骤s40'和s50'描述的单个步骤、阐述、替选方案和效果可以类似地转用于步骤s40”和s50”。
[0168]
可选的步骤s60”最终是类似于步骤s60'的重复步骤——不同之处在于，步骤s60”涉及第一组织病理学图像数据his1。对应地，在可选的步骤s60”中提出，对于不同的第一组织病理学图像数据his1重复步骤s10”、s15”、s30”、s40”和s50”，其中每个经过基于另外的第一组织病理学图像数据his1，直至所有考虑的第一组织病理学图像数据his1被处理。
[0169]
应注意，图3和图7中所示出的两个实施方式可以彼此组合。对应地，不仅可以在第一组织病理学图像数据his1中而且可以在第二组织病理学图像数据his2中限定感兴趣区域ib，然后可以检查所述感兴趣区域的相似性以用于确定相似性区域aeb。相反，也可以完全省去专门求取感兴趣区域ib，并且第一组织病理学图像数据his1和第二组织病理学图像数据his2可以本身并且在其整体上借助合适的图像处理算法tf-a就指示病理学鉴定的区域被分析，所述区域在第一时刻与第二时刻之间的时间段上相似。
[0170]
在图8中示出用于确定组织病理学图像数据his1、his2中的相似性区域的方法。方法步骤的顺序既不受所示出的顺序也不受所选择的编号限制。因此，步骤的顺序必要时可以调换，并且可以省略个别步骤。第三图像处理算法tf-c尤其可以构成用于实现结合图8阐述的一个或多个步骤。
[0171]
图8中所示出的实施方式基于存在感兴趣区域ib。因此，图8中所示出的步骤例如可以接着步骤s15'或s15”之后。基于此，第一步骤a10涉及基于感兴趣区域ib来提取特征签名f
ib
。特征签名f
ib
可以有多个单个的特征，所述多个单个的特征从感兴趣区域ib中被提取，并且总体上表征了感兴趣区域ib。特征签名f
ib
可以具有所谓的特征向量，在所述特征向量中组合了各个特征。如果感兴趣区域ib由多个单个的区域roi、roi1、roi2、roi3组成，则特征签名f
ib
的各个特征可以在各个区域上进行平均。特征例如可以包括感兴趣区域ib中的图案、纹理和/或结构。此外，特征签名f
ib
的特征可以具有标识感兴趣区域ib中的(细胞)密度和/或组织病理学标志的密度的参数。此外，特征签名f
ib
的一个或多个特征可以具有表明感兴趣区域ib中的颜色值、灰度或对比度值的参数。附加地，特征签名f
ib
的一个或多个特征可以涉及处于感兴趣区域ib外的特性。例如，这可以是关于周围组织的信息或从关于第一
组织病理学图像数据his1的元数据提取的信息。可以借助于单独的图像处理算法生成特征签名f
ib
，将感兴趣区域ib输入到所述图像处理算法中，并且可选地将第一组织病理学图像数据his1和可能的元数据输入到所述图像处理算法中。为此例如可以使用所谓的纹理分类算法(例如参见：hamilton等人的“fast automated cell phenotype image classification”，bmc bioinformatics，8:110，2007年，doi：10.1186/1471-2105-8-110)或被训练的函数、例如卷积神经网络(参见下文)。上面提及的图像处理算法尤其可以实现为第三图像处理算法tf-c的子程序。
[0172]
在下一步骤a20中，在第二组织病理学图像数据his2中辨识可能的相似性区域aeb。这例如可以通过系统地扫描第二组织病理学图像数据his2来实现。在此，例如可以在第二组织病理学图像数据his2上移动“移动窗口(英文：moving window)”，或者可以通过网格将第二组织病理学图像数据his2划分成可能的相似性区域aeb。作为另一替选方案，也可以动态、即以可变的变量来确定可能的相似性区域aeb。在此可以根据在区域中一致的图像值如灰度、对比度、密度等来辨识相关的区域。此外，通过评估图像边缘来辨识可能的相似性区域是可行的(参见zitnick等人的“edge boxes:locating object proposals from edges”，computer vision
–
eccv，2014年，第391-405页)。此外，使用被训练的函数并且尤其使用卷积神经网络是可行的。作为另一可行性，可以在辨识可能的相似性区域aeb时已经进行确定优先级并且仅第二组织病理学图像数据his2的以一定概率被考虑为相似性区域aeb的区域可以被辨识为可能的相似性区域aeb。为此，例如可以使用将第二组织病理学图像数据his2的不那么相关的区域、例如坏死组织区域从进一步分析中排除的分割。替选于此或附加地，可以应用与第二图像处理算法tf-b相似的算法，所述算法构成用于在组织病理学图像数据中自动识别相关的区域。
[0173]
在下一步骤a30中，从可能相似性区域aeb提取对应于特征签名f
ib
的特征签名f
aeb
。在此，可以基本上如在步骤a10中描述的那样进行。
[0174]
在下一步骤a40中，将从可能的相似性区域aeb提取的特征签名f
aeb
与感兴趣区域ib的特征签名f
ib
进行比较。在此，尤其可以为每个可能的相似性区域aeb确定相似性度量，所述相似性度量表示用于从相应的可能的相似性区域aeb中提取的特征签名f
aeb
与感兴趣区域ib的特征签名f
ib
的相似性或一致性的量度。例如，相似性度量可以限定为特征空间中的特征签名的间隔。如果将特征签名理解为特征向量，则例如可以将相似性度量限定为余弦相似性。
[0175]
在步骤a50中，基于比较从可能的相似性区域aeb中选择相似性区域aeb。在此，例如其相关联的相似性度量表明与感兴趣区域ib的相似性的高于所规定的阈值的量度的所有可能的相似性区域aeb可以被分类为相似性区域aeb。阈值可以自动或手动规定。
[0176]
然后，步骤s30b'或s30b”例如可以接着步骤a50之后。
[0177]
根据本发明的实施方式，图2、图3、图7和图8中所示出的实施方式的方法步骤通过一个或多个图像处理算法tf-a、tf-b、tf-c来执行。图9、图10和图11示出所述图像处理算法的实施方式。图9中所示出的图像处理算法对应于结合图2引入的第一图像处理算法tf-a。所述图像处理算法获得第一组织病理学图像数据his1和第二组织病理学图像数据his2作为输入数据，并且输出相似性区域aeb和/或相似性信息aei作为输出数据。图10中所示出的图像处理算法对应于结合图3和图7提及的第三图像处理算法tf-c。所述图像处理算法获得
感兴趣区域ib以及第二组织病理学图像数据his2作为输入数据，并且输出相似性区域aeb和/或相似性信息aei作为输出数据。图11中示出第一图像处理算法tf-a的变型方案tf-a'。图像处理算法tf-a'的特征在于，在所述图像处理算法中，将第二图像处理算法tf-b和第三图像处理算法tf-c实现为子程序。如所提及的，第二图像处理算法tf-b构成为，使得其识别组织病理学图像数据his1、his2中的感兴趣区域ib。可选地，第二图像处理算法tf-b的至少数个部分可以在第三图像处理算法tf-c中实现。
[0178]
根据一些实施方式，图像处理算法tf-a、tf-b、tf-c、tf-a'具有一个或多个被训练的函数。根据实施方式，所述被训练的函数可以具有神经网络。神经网络可以有多个相继的层。每个层包括至少一个、优选地多个节点。基本上，每个节点可以执行将一个或多个输入值与输出值相关联的数学运算。每个层的节点可以与先前层和/或后续层的所有节点或仅节点的子集连接。当两个节点的输入端和/或输出端连接时，两个节点“连接”。边或连接与通常称为“权重”或“边权”的参数相关联。用于相应第一层的节点的输入值例如可以是第一组织病理学图像数据his1或第二组织病理学图像数据his2或感兴趣区域ib的像素值。相应最后的层通常被称为输出层。输出层的节点的输出值根据图像处理算法例如可以是感兴趣区域ib或相似性区域aeb的像素值或坐标。此外，输出层的输出值可以是相似性信息aei。在输入层与输出层之间存在多个隐藏层(英文专业术语是“hidden layers”)。
[0179]
根据一些实施方式，被训练的函数尤其可以具有卷积神经网络(对此的英文专业术语是“convolutional neural network”或简称cnn)或深度卷积神经网络(英文专业术语是“deep convolutional neural network”)。然后，这种被训练的函数具有一个或多个卷积层(英文专业术语是“convolutional layer”)，并且可选地具有一个或多个解卷积层(英文技术术语是“deconvolutional layer”)。此外，被训练的函数可以具有池化层(英文专业术语是“pooling layer”)和上采样层以及全连接层(英文专业术语是“fully connected layer”)。卷积层卷积输入并且通过在输入上移动图像过滤器的方式将所述输入的结果传递给下一层。然后，如果如在一些实施方式中那样应搜索相似的图像区域，则卷积层尤其可以证明为有利的。池化层通过将层的节点组的输出组合到下一层中的单个节点上来减小数据的维度。上采样层和解卷积层使卷积层和池化层的动作翻转。完全连接层将先前层的每个节点与后续层的节点连接，使得每个节点基本上获得“声音”。
[0180]
根据一些实施方式，被训练的函数具有所谓的“基于区域的”卷积神经网络(英文专业术语是“region-based convolutional neural network”或简称r-cnn)。结合搜索感兴趣区域ib或相似性区域aeb的困难可能是，这种区域出现在组织病理学图像数据his1和his2中的不同的部位处并且可能具有不同的尺寸和形状。虽然所述问题原则上可以通过示例性地结合步骤a20描述的系统地“扫描”组织病理学图像数据his1、his2来解决，然而通常仅在很大的计算耗费和从而时间耗费的情况下解决。基本上，基于区域的卷积神经网络首先从待分析的图像数据中选择一些选择区域(其中在此可以使用结合步骤a20描述的技术)。然后，卷积神经网络用于从选择区域中提取特征签名，根据所述特征签名，可以借助于分类器对选择区域进行分类。在此，所谓的支持向量机(对此的英文专业术语是“support vector machine”或简称svm)或其他神经网络层通常用作分类器。为了关于基于区域的卷积神经网络继续进行公开，示例性地参照girshick等人的“rich feature hierarchies for accurate object detection and semantic segmentation”，arxiv：1311.2524。
[0181]
基于所述基本配置，存在一些改进方案，所述改进方案同样可以在根据本发明的实施方式的被训练的函数中实现，并且同样可以统一地被称为基于区域的卷积神经网络。如果谈及一个或多个被训练的函数具有基于区域的卷积神经网络，则这也包括下文中描述的和其他改进方案。所述改进方案中的一个改进方案被称为“快速”基于区域的卷积神经网络(对此的英文专业术语是“fast region-based convolutional neural network”或简称“fast r-cnn”)。在此，特征签名与用于整个图像的选择区域分开求取，并且然后根据选择区域“池化”。由此，可以消除重叠的选择区域的情况下的特征签名的多次计算(参见girshick的“fast r-cnn”，2015年ieee international conference on computer vision(iccv)，doi：10.1109/iccv.2015.169)。另一改进方案被称为“更快速”基于区域的卷积神经网络(对此的英文专业术语是“faster region-based convolutional neural network”或简称“faster r-cnn”)。在此，选择区域的选择性的选择通过借助于(卷积)神经网络的选择替代(参见ren等人的“faster r-cnn:towards real-time object detection with region proposal networks”，advances in neural information processing systems.第28卷，2015年)。
[0182]
根据一些实施例，基于区域的卷积神经网络尤其可以在自动求取感兴趣区域ib或搜索相似性区域aeb时——即因此在第二图像处理算法tf-b中和第三图像处理算法tf-c中——实现，其中在搜索相似性区域aeb时针对感兴趣区域ib或其特征签名f
ib
进行分类。当然，第一图像处理算法tf-a也可以包含基于区域的卷积神经网络。
[0183]
作为相对于基于区域的卷积神经网络的替选方案，也可以将“普通”卷积神经网络训练成具有与基于区域的卷积神经网络相同的功能范围(即提供基本上相同的输出数据)。这种解决方案也被称为yolo(you only look once)解决方案(参见redmon等人的“you only look once:unified,real-time object detection”，arxiv：1506.02640)。
[0184]
被训练的函数通过调整各个层和节点的权重或加权参数(例如边权)来学习。被训练的函数例如可以通过监督学习的方法被训练(对此的英文专业术语是“supervised learning”)。在此例如可以使用反向传播的方法(对此的英文专业术语是“back propagation”)。在训练期间，将被训练的函数应用到训练输入数据上，以便产生对应的输出值，所述输出值的目标值以训练输出数据的形式已知。可以使用输出值与训练输出数据之间的差值，以便引入成本函数或损失函数作为用于被训练的函数完成其所提出的目有多好或有多坏的量度。训练的目的是，通过迭代调整被训练的函数的参数(例如边权)的方式来找出成本函数的(局部)最小值。被训练的函数最终能够在(足够)大的群体的训练输入数据上提供可接受的结果。所述优化问题可以利用随机梯度方法(对此的英文专业术语是“stochastic gradient descent”)或本专业领域已知的其他方案来执行。
[0185]
对于图9中所示出的第一图像处理算法tf-a，如果所述第一图像处理算法具有被训练的函数，则训练数据集分别具有第一训练组织病理学图像数据his1和第二训练组织病理学图像数据his2，以及根据第一图像处理算法tf-a的配置，具有相关联的经验证的相似性区域aeb或经验证的相似性信息aei。在此，第一训练组织病理学图像数据his1和第二训练组织病理学图像数据his2对应于第一组织病理学图像数据his1或第二组织病理学图像数据his2。因此，所述第一训练组织病理学图像数据和所述第二训练组织病理学图像数据尤其属于相同的患者，并且基于在不同的时刻但是从相同的解剖目标区域从患者提取的组
织样本。在此，经验证的相似性区域aeb或相似性信息aei可以基于用户的注释，所述注释是所述用户基于分析或鉴定第一训练组织病理学图像数据his1和第二训练组织病理学图像数据his2进行的注释。对应于在此使用的术语，第一组织病理学图像数据his1和第二组织病理学图像数据his2会是训练输入数据和目标值，或训练输出数据会是经验证的相似性区域aeb或相似性信息aei。然后，训练第一图像处理算法tf-a可以包括将图像处理算法tf-a应用到第一训练组织病理学图像数据his1和第二训练组织病理学图像数据his2上以产生输出值，以及包括将输出值与经验证的相似性区域aeb或相似性信息aei进行比较。然后可以基于比较来调整第一图像处理算法tf-a的一个或多个参数。
[0186]
对于第二图像处理算法tf-b，合适的训练数据集包括训练组织病理学图像数据his1、his2以及经验证的感兴趣区域ib。因为第二图像处理算法tf-b的目的是自动识别与病理学鉴定相关的区域(即指示病理学鉴定的区域)，所以可以尤其通过用户的注释来获得经验证的感兴趣区域ib，所述经验证的感兴趣区域例如表明第一组织病理学图像数据his1中的肿瘤细胞。然后，训练第二图像处理算法tf-b可以包括将第二图像处理算法tf-b应用到训练组织病理学图像数据his1、his2上以产生输出值，以及包括将输出值与经验证的感兴趣区域进行比较。然后可以基于比较来调整第二图像处理算法tf-b的一个或多个参数。
[0187]
对于图10中所示出的第三图像处理算法tf-c，合适的训练数据集对应地分别包括训练感兴趣区域ib和第二训练组织病理学图像数据his2，以及根据第三图像处理算法tf-c的配置包括相关联的经验证的相似性区域aeb或经验证的相似性信息aei。在此，训练感兴趣区域原理上可以是从组织病理学图像数据中提取的任意区域。在此，尤其可以涉及来自第二组织病理学图像数据his2中的任意感兴趣区域ib。但是，为了针对现场的情况更好地准备第三图像处理算法tf-c，优选的是，训练感兴趣区域ib指示病理学鉴定。这种训练感兴趣区域ib例如可以通过用户来注释。还优选的是，从组织病理学图像数据中提取训练感兴趣区域ib，所述组织病理学图像数据如第一组织病理学图像数据his1一样属于与第二训练组织病理学图像数据his2相同的患者(和解剖目标区域)，但是基于在不同的时刻提取的组织样本。对于经验证的相似性区域aeb和经验证的相似性信息aei，可以如上文中描述的那样进行。然而，训练第三图像处理算法tf-c可以包括将第三图像处理算法tf-c应用到训练感兴趣区域ib和第二训练组织病理学图像数据his2上以产生输出值，以及包括将输出值与经验证的相似性区域aeb或相似性信息aei进行比较。然后可以基于比较来调整第三图像处理算法tf-c的一个或多个参数。
[0188]
此外，可以基于第三图像处理算法tf-c实现变型方案，所述变型方案能够识别组织病理学图像数据集his1、his2内的相似性区域aeb。因此，换言之，用户例如可以在组织病理学图像数据集his1、his2中预设感兴趣区域ib，并且图像处理算法tf-c自动搜索相同的组织病理学图像数据集his1、his2中的所有相似性区域。对应的方法在图12中示出。方法步骤的顺序既不受所示出的顺序也不受所选择的编号限制。因此，步骤的顺序必要时可以调换，并且可以省略个别步骤。
[0189]
第一步骤m10涉及提供组织病理学图像数据。例如，组织病理学图像数据可以对应于第一组织病理学图像数据his1。
[0190]
第二步骤m20涉及提供感兴趣区域ib。在此，步骤m20可以如步骤s15'那样设计。
[0191]
第三步骤m30涉及搜索组织病理学图像数据his1、his2的相似性区域aeb，所述相
似性区域aeb分别与一个或多个感兴趣区域ib具有相似性。搜索的步骤尤其具有将(可选地经调整的)第三图像处理算法tf-c应用到组织病理学图像数据his1、his2上。此外，步骤m30可以如步骤s30a'那样设计。
[0192]
第四步骤m40涉及基于相似性区域aeb提供相似性信息aei。在此，步骤m40可以类似于步骤s30b'设计。
[0193]
第五步骤m50涉及提供相似性信息aei。提供相似性信息aei尤其可以包括在用户界面10中为用户显示或突出组织病理学图像数据his1、his2中的相似性区域。
[0194]
如果第三图像处理算法具有被训练的函数，则所述第三图像处理算法tf-c可以通过提供训练数据集的方式调整为根据图12的方法，所述训练数据集包括训练感兴趣区域ib和训练组织病理学图像数据his1、his2以及训练组织病理学图像数据中的相关联的经验证的相似性区域aeb。在此，经验证的相似性区域aeb可以再次基于用户在分析或鉴定组织病理学图像数据期间的注释。然后，训练可以包括将训练感兴趣区域ib和训练组织病理学图像数据his1、his2输入到第三图像处理算法tf-c中，以便产生对应的输出值。然后将所述输出值与经验证的相似性区域aeb进行比较。然后可以基于比较来调整第三图像处理算法tf-c。
[0195]
即使未明确表明，但是有意义的并且在本发明的意义下，可以将各个实施例、实施例的各个子方面或特征彼此组合或交换，而不脱离本发明的范围。在没有明确提及可转用的情况下，本发明的参照实施例描述的优点也适用于其他实施例。
[0196]
以下点同样是本公开的一部分。
[0197]
1.一种计算机实施的用于提供关于患者的不同的组织病理学图像数据(his1，his2)的相似性信息(aei)的方法，所述方法具有如下步骤：
[0198]-提供(s10'，s10”)第一组织病理学图像数据(his1)，所述第一组织病理学图像数据(his1)基于已在第一时刻从患者提取的组织样本；
[0199]-提供(s20'，s20”)第二组织病理学图像数据(his2)，所述第二组织病理学图像数据(his2)基于已在不同于所述第一时刻的第二时刻从所述患者提取的组织样本；
[0200]-在所述第一组织病理学图像数据(his1)中辨识(s15'，s15”)感兴趣区域(ib)；
[0201]-搜索(s30a'，s30a”)所述第二组织病理学图像数据(his2)的相似性区域(aeb)，所述相似性区域(aeb)分别与所述感兴趣区域(ib)具有相似性，其中搜索(s15'，s15”)的步骤包括将图像处理算法(tf-a，tf-b，tf-c，tf-a')应用到所述第二组织病理学图像数据(his2)上；
[0202]-基于搜索(s30a'，s30a”)的步骤来确定(s30b'，s30b”)相似性信息(aei)；以及
[0203]-提供(s40'，s40”)所述相似性信息(aei)。
[0204]
2.根据1的方法，其中，
[0205]
所述感兴趣区域(ib)具有在所述第一组织病理学图像数据(his1)中限定的一个或多个单个区域(roi，roi1，roi2，roi3)，所述一个或多个单个区域(roi，roi1，roi2，roi3)尤其分别指示病理学鉴定。
[0206]
3.根据上述点中任一个的方法，其中，
[0207]
所述相似性信息(aei)包括：
[0208]-所述相似性区域(aeb)的说明；
[0209]-所述相似性区域(aeb)的相应的相似性的定量说明；
[0210]-所述第二组织病理学图像数据(his2)中的所述相似性区域(aeb)的位置信息；
[0211]-基于所述第二组织病理学图像数据(his2)的辅助图像(ab)，在所述辅助图像(ab)中突出所述相似性区域(aeb)；
[0212]-在所述第一组织病理学图像数据与所述第二组织病理学图像数据(his1，his2)之间存在复发关系的概率。
[0213]
4.根据上述点中任一个的方法，其中，
[0214]
所述第一时刻处于所述第二时刻之前。
[0215]
5.根据4的方法，其中，
[0216]
提供所述第一组织病理学图像数据(his1)的步骤包括：
[0217]-访问用于组织病理学图像数据的数据库(60)；
[0218]-基于所述第一组织病理学图像数据(his1)和/或与所述第一组织病理学图像数据(his1)相关联的元数据，从存储在所述数据库(60)中的所述组织病理学图像数据中选择所述第二组织病理学图像数据(his2)。
[0219]
6.根据5的方法，其中，
[0220]
所述元数据具有：
[0221]-用于辨识所述患者的患者标志，
[0222]-关于所述患者的解剖区域的信息，从所述解剖区域中提取所述第一组织病理学图像数据(his1)所基于的所述组织样本，和/或
[0223]-关于所述第一时刻的信息。
[0224]
7.根据上述点中任一个的方法，其中，
[0225]
所述第二时刻处于所述第一时刻之前。
[0226]
8.根据7的方法，其中，
[0227]
提供(s20')所述第二组织病理学图像数据(his2)的步骤包括：
[0228]-访问用于组织病理学图像数据的数据库(60)；
[0229]-基于所述第一组织病理学图像数据(his1)和/或与所述第一组织病理学图像数据(his1)相关联的元数据，从存储在所述数据库(60)中的所述组织病理学图像数据中选择所述第二组织病理学图像数据(his2)。
[0230]
9.根据8的方法，其中，
[0231]
所述元数据具有：
[0232]-用于辨识所述患者的患者标志，
[0233]-关于所述患者的解剖区域的信息，从所述解剖区域中提取所述第一组织病理学图像数据(his1)所基于的所述组织样本，
[0234]-关于在提供所述第一组织病理学图像数据(his1)时所使用的组织病理学染色剂的信息，和/或
[0235]-关于所述第一时刻的信息。