定制虚拟染色的制作方法

1.各种示例总体上涉及组织样本的虚拟染色，即，提供描绘包括虚拟染色剂的组织样本的一个或多个输出图像。各种示例具体地涉及定制虚拟染色以便提供描绘包括不同着色的虚拟染色剂的组织样本的输出图像。不同的着色可以与不同的染色实验室过程相关联。


背景技术：

2.组织病理学检查是诊断疾病的重要工具。组织病理学是指对组织样本进行光学检查。有助于对组织样本中的细胞进行诊断。
3.通常，组织病理学检查从手术、活检或尸检开始，以获得待检查的组织。组织可能被处理以去除水分并防止腐烂。然后处理后的组织可能被嵌入蜡块中。可以从蜡块上切下薄片。所述薄片在下文中可以称为组织样本。
4.组织样本可以由组织病理学家在显微镜下分析。可以使用适当的染色实验室过程用化学染色剂对组织样本进行染色，从而促进对组织样本的分析。特别是，化学染色剂可以揭示在未染色的组织样本中很难观察到的细胞成分。此外，化学染色剂可以提供对比。化学染色剂可以突出显示组织样本的一种或多种生物标志物或预定义结构。
5.组织病理学中最常用的化学染色剂是苏木精和伊红的组合(缩写为h&e)。苏木精用于将细胞核染成蓝色，而伊红将细胞质和细胞外结缔组织基质染成粉红色。有数百种其他技术已用于对细胞进行选择性染色。最近，抗体已被用于对特定的蛋白质、脂质和碳水化合物进行染色。这种称为免疫组织化学的技术大大提高了在显微镜下明确识别各类细胞的能力。用h&e染色剂进行染色可以被视为组织病理学诊断的常见黄金标准。
6.通过用化学染色剂对组织样本进行着色，组织样本的原本几乎透明、无法区分的结构/组织切片对人眼变得可见。这允许病理学家和研究人员在显微镜下或使用数字明场等效图像来研究组织样本，并评估组织形态(结构)或探索具体细胞类型、结构甚至微生物(如细菌)的存在或流行情况。
7.wo 2019/154987 a1披露了一种方法，该方法使用机器学习逻辑提供看起来像已经用常规化学染色剂染色的组织样本的典型图像的虚拟染色图像。
8.已经发现，正确解释描绘包括化学染色剂的组织样本的图像的能力可能取决于用于产生化学染色的特定染色实验室过程。因此，病理学家通常需要执行特定的染色实验室过程。这可能会限制基于通过特定染色实验室过程制备的包括化学染色剂的组织样本的现有图像获得第二意见的能力。例如，为了能够提供第二意见，可能需要使用进一步的染色实验室过程重新染色组织样本。
9.例如，在参考实施方式中可以设想以下工作流程，以获得准确的诊断。病理学家a将组织样本送到实验室a。实验室a制备并染色组织样本并将染色的探针送还病理学家a。实验室a使用相应的实验室染色过程。然后，病理学家a可以例如使用显微镜等分析包括化学染色剂的组织样本。有时，病理学家a可能需要第二意见。然后，可以将染色的探针送到病理
学家b。病理学家b可以检查染色的探针并将他的意见反馈给病理学家a。在一些情况下，病理学家b可能无法分析已经使用实验室a的实验室过程染色的组织样本。然后，可以将另外的组织样本——例如，属于样本的另一部分或切片——转移到实验室b，以便还使用另一个染色实验室过程来提供化学染色。然后，病理学家b可以检查该另外的组织样本。意见可以合并。
10.这种方法既耗时又昂贵。其受制于是否有足够的组织样本可用：例如，如果需要重新染色，则可能考虑不同的组织样本，这也会在诊断中引入潜在的变化。


技术实现要素：

11.因此，需要提供描绘包括染色剂的组织样本的图像的先进技术。需要有助于定制虚拟染色的技术。
12.该需要由独立权利要求的特征来满足。从属权利要求的特征限定了实施例。
13.一种对组织样本进行虚拟染色的方法包括获得成像数据。该成像数据描绘了该组织样本。该方法还包括在至少一个机器学习逻辑中处理该成像数据。该至少一个机器学习逻辑被配置为提供多个输出图像。该多个输出图像全都描绘了包括该组织样本的给定虚拟染色剂的组织样本。该多个输出图像全都描绘了包括给定虚拟染色剂的组织样本。不同的着色与不同染色实验室过程和/或用于获取成像数据的成像模式的配置相关联。进一步地，该方法包括从该至少一个机器学习逻辑获得多个输出图像中的至少一个输出图像。
14.组织样本可以涉及蜡块的薄片，该蜡块包括如上文所述的嵌入的处理后的样本。然而，术语“组织样本”也可以指已经以不同方式处理或根本没有被处理的组织。例如，组织样本可以指在体内观察到的组织的一部分和/或从人类、动物或植物切除的组织，其中观察到的组织样本已经在体外进一步处理，例如，使用冷冻切片法制备。组织样本可以是任何种类的生物样本。术语“组织样本”还可以指细胞，该细胞可以是原核或真核来源的、多个原核和/或真核细胞(如单细胞阵列)、多个相邻细胞(如细胞群或细胞培养物)、复杂样本(如包含不同原核和/或真核细胞种类和/或类器官的混合物的生物膜或微生物组)。
15.一种计算机程序产品或计算机程序或计算机可读存储介质或数据信号，包括程序代码。该程序代码可以由至少一个处理器加载和执行。在执行该程序代码时，该至少一个处理器执行对组织样本进行虚拟染色的方法。该方法包括获得成像数据。该成像数据描绘了该组织样本。该方法还包括在至少一个机器学习逻辑中处理该成像数据。该至少一个机器学习逻辑被配置为提供多个输出图像。该多个输出图像全都描绘了包括给定虚拟染色剂的组织样本。该多个输出图像全都描绘了包括不同着色的给定虚拟染色剂的组织样本。不同的着色与不同染色过程(如染色实验室过程)和/或用于获取成像数据的成像模式的配置相关联。进一步地，该方法包括从该至少一个机器学习逻辑获得多个输出图像中的至少一个输出图像。
16.一种装置包括处理器。该处理器被配置为获得成像数据。该成像数据描绘了组织样本。该处理器进一步被配置为在至少一个机器学习逻辑中处理该成像数据。该至少一个机器学习逻辑被配置为提供多个输出图像。该多个输出图像全都描绘了组织样本。该组织样本包括给定虚拟染色剂。该多个输出图像描绘了包括不同着色的给定虚拟染色剂的组织样本。不同的着色与不同染色过程(如染色实验室过程)和/或用于获取成像数据的成像模
式的配置相关联。该处理器进一步被配置为从该至少一个机器学习逻辑获得该多个输出图像中的至少一个输出图像。
17.一种为对组织样本进行虚拟染色来训练至少一个机器学习逻辑的方法包括获得训练成像数据。该训练成像数据描绘了一个或多个组织样本。该方法还包括获得多个参考输出图像。该多个参考输出图像描绘了全都包括给定化学染色剂的一个或多个组织样本或一个或多个进一步的组织样本。不同的参考输出图像描绘了包括由不同染色过程(如染色实验室过程)和/或用于获取成像数据的成像模式的配置提供的不同着色的给定化学染色剂的一个或多个组织样本或一个或多个进一步的组织样本。该方法还包括基于该训练成像数据和该多个参考输出图像来训练该至少一个机器学习逻辑。
18.术语“化学染色”还可以包括修饰上述不同类型的组织样本的任何一个组织样本的分子。该修饰可以在一定的照射下产生荧光(例如，在紫外线(uv)光下的照射)。例如，化学染色可以包括修饰组织样本的遗传物质。化学染色的组织样本可以包括转染的细胞。转染可以指有意将裸核酸或纯化的核酸引入真核细胞的过程。它也可以指其他方法和细胞类型。它也可以指细菌和非动物真核细胞(包括植物细胞)中的非病毒dna转移。
19.对组织样本的遗传物质进行修饰可以使遗传物质可使用某种图像模式观察到。例如，遗传物质可以呈现荧光。在一些示例中，对组织样本的遗传物质进行修饰可以使组织样本产生可使用某种图像模式观察到的分子。例如，对组织样本的遗传物质进行修饰可以诱发组织样本产生荧光蛋白。
20.一种计算机程序产品或计算机程序或计算机可读存储介质或数据信号，包括程序代码。该程序代码可以由至少一个处理器加载和执行。在执行该程序代码时，该至少一个处理器执行为对组织样本进行虚拟染色来训练至少一个机器学习逻辑的方法。该方法包括获得训练成像数据。该训练成像数据描绘了一个或多个组织样本。该方法还包括获得多个参考输出图像。该多个参考输出图像描绘了全都包括给定化学染色剂的一个或多个组织样本或一个或多个进一步的组织样本。不同的参考输出图像描绘了包括由不同染色过程(如染色实验室过程)和/或用于获取成像数据的成像模式的配置提供的不同着色的给定化学染色剂的一个或多个组织样本或一个或多个进一步的组织样本。该方法还包括基于该训练成像数据和该多个参考输出图像来训练该至少一个机器学习逻辑。
21.一种装置包括处理器。该处理器被配置为获得训练成像数据。该训练成像数据描绘了一个或多个组织样本。该处理器进一步被配置为获得多个参考输出图像。该多个参考输出图像描绘了一个或多个组织样本，或描绘了一个或多个进一步的组织样本，一个或多个组织样本或一个或多个进一步的组织样本全都包括给定的化学染色剂。不同的参考输出图像描绘了包括不同着色的给定化学染色剂的一个或多个其他组织样本的一个或多个组织样本。不同的着色是由不同染色过程(如染色实验室过程)和/或用于获取成像数据的成像模式的配置提供的。该处理器进一步被配置为基于训练成像数据、多个参考输出图像来训练至少一个机器学习逻辑。
22.一种对组织样本进行虚拟染色的方法包括获得成像数据，该成像数据描绘了包括具有第一着色的化学染色剂的组织样本。该方法还包括在机器学习逻辑中处理成像数据。该方法进一步包括从机器学习逻辑获得描绘包括虚拟染色剂的组织样本的输出图像。该虚拟染色剂与化学染色剂相关联。该虚拟染色剂包括不同于第一着色的第二着色。
23.虚拟染色剂与化学染色剂相关联可以涉及虚拟染色剂和化学染色剂突出显示相同类型的结构或(多个)生物标志物。
24.一种计算机程序产品或计算机程序或计算机可读存储介质或数据信号，包括程序代码。该程序代码可以由至少一个处理器加载和执行。在执行该程序代码时，该至少一个处理器执行对组织样本进行虚拟染色的方法。该方法包括获得成像数据。该成像数据描绘了包括具有第一着色的化学染色剂的组织样本。该方法还包括在机器学习逻辑中处理成像数据。该方法进一步包括从机器学习逻辑获得描绘包括虚拟染色剂的组织样本的输出图像。该虚拟染色剂与化学染色剂相关联。该虚拟染色剂包括不同于第一着色的第二着色。
25.一种装置包括处理器。该处理器被配置为获得成像数据，该成像数据描绘了包括具有第一着色的化学染色剂的组织样本。该处理器还被配置为机器学习逻辑中的成像数据。该处理器进一步被配置为从机器学习逻辑获得描绘包括虚拟染色剂的组织样本的输出图像。该虚拟染色剂与化学染色剂相关联。该虚拟染色剂包括不同于第一着色的第二着色。
26.应理解，在不脱离本发明范围的情况下，以上提及的特征以及以下仍要解释的特征不仅可以以所指示的相应组合来使用，而且还可以以其他组合来使用或者单独地使用。
附图说明
27.图1示意性地展示了根据各个示例的机器学习逻辑。
28.图2是根据各个示例的方法的流程图。
29.图3是根据各个示例的方法的流程图。
30.图4示意性地展示了根据各个示例的装置。
具体实施方式
31.本披露的一些示例总体上提供了多个电路或其他电气装置。所有对电路和其他电气装置以及它们各自提供的功能的提及不旨在限于仅包含本文中所说明和描述的内容。虽然可能将特定标签赋予所披露的各种电路或其他电气装置，但这样的标签并非旨在限制这些电路和其他电气装置的操作范围。这样的电路和其他电气装置可以基于所期望的电气实施方式的特定类型而彼此组合和/或以任何方式分离。应认识到，本文披露的任何电路或其他电气装置可以包括任何数量的微控制器、机器学习专用硬件(例如图形处理器单元(gpu)和/或张量处理单元(tpu)、集成电路、存储器装置(例如，闪存、随机存取存储器(ram)、只读存储器(rom)、电可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)或其其他合适的变体))以及软件，它们彼此共同作用以执行本文所披露的操作。此外，任何一个或多个电气装置可以被配置为执行体现在非暂态计算机可读介质中的被编程为执行所披露的任何数量的功能的程序代码。
32.在下文中，将参照附图来详细描述本发明的实施例。应当理解，以下对实施例的描述不应被理解为限制性的。本发明的范围不旨在由下文描述的实施例或附图来限制，它们仅被认为是说明性的。
33.附图应被视为示意性表示，并且附图中展示的要素不一定按比例示出。而是，各种要素被表示成使得它们的功能和一般用途对于本领域技术人员来说变得显而易见。附图中所示或本文描述的功能块、装置、部件或其他物理或功能单元之间的任何连接或耦合也可
以通过间接连接或耦合来实施。部件之间的耦合也可以通过无线连接建立。功能块可以用硬件、固件、软件或其组合来实施。
34.本文描述的各种技术总体上涉及机器学习。机器学习，尤其是深度学习，提供了一种数据驱动的策略来解决问题。经典推理技术能够基于手工设计的特征从数据中提取模式以解决问题；示例技术是回归。然而，这样的经典推理技术在很大程度上取决于对手工设计特征的准确选择，而这种选择取决于设计者的能力。这种问题的一种解决方案是利用机器学习来发现从特征到输出的映射以及特征本身。这被称为对机器学习逻辑进行训练。
35.本文所述的各种技术总体上涉及通过利用至少一个机器学习逻辑(mll)对组织样本进行虚拟染色。至少一个mll可以例如通过支持向量机或深度神经网络来实施，其可以包括至少一个编码器分支和至少一个解码器分支。
36.本文所述的技术有助于定制虚拟染色。定制可以涉及提供具有虚拟染色的期望着色的输出图像。因此，同一种虚拟染色的不同外观是可能的。
37.可以按照不同染色过程(如染色实验室过程等)进行定制。例如，不同染色过程(如染色实验室过程)可能会表现出化学处理参数(例如温度、浓度等)的变化。不同的染色过程(如染色实验室过程)可能会受到不同的实验室噪声的影响。例如，已经发现不同的染色过程(如染色实验室过程)——虽然名义上提供相同的化学染色剂——可以提供包括具有不同着色的化学染色剂的组织样本。另一方面，解释包括化学染色剂的组织样本的图像的医务人员通常需要特定的着色以便能够可靠地解释图像。
38.虚拟染色可以涉及组织样本的组织病理学。
39.例如，已经发现不同的病理学家经常将探针送到不同的优选化学实验室以获得包括具有所需着色的相应化学染色剂的组织样本。在这种情况下，可能很难从第二位病理学家那里获得第二意见，因为第二位病理学家可能需要在另一个化学实验室使用另一个染色实验室过程重新染色组织样本(尽管名义上使用相同的化学染色剂)。这是昂贵且耗时的，有时甚至是不可能的，例如，如果可用的组织样本量有限的话。
40.另一个示例涉及虚拟荧光染色。例如，在生命科学应用中，使用透射光显微镜获取细胞——例如，在多孔板或其他合适的容器中排列为活细胞或固定细胞——的图像。此外，反射光显微镜可以用于例如内窥镜中或用作外科显微镜。然后可以选择性地染色某些细胞器，例如细胞核、核糖体、内质网、高尔基体、叶绿体或线粒体。荧光团(或荧光染料，类似于生色团)是一种可以在光激发时重新发光的荧光化合物。荧光团可以用于提供荧光化学染色剂。通过使用不同的荧光团，可以实现不同的化学染色剂。例如，赫斯特(hoechst)染色剂是一种可用于染色dna的荧光染料。其他荧光团包括5-氨基乙酰丙酸(5-ala)、氟嗪(fluorszine)和吲哚菁绿(icg)，它们甚至可以在体内使用。可以通过使用相应波长的光来选择性地激发荧光；然后荧光团会发射另一波长的光。相应的荧光显微镜使用相应的光源。已经观察到使用光来激发荧光的照射会损害样本；当通过虚拟染色提供类似荧光的图像时，可以避免这种情况。虚拟荧光染色模仿了荧光化学染色，而不将组织暴露于相应的激发光。已经观察到，即使使用相同的荧光团(即，名义上存在相同的化学染色剂)，用于施加荧光团的实验室过程和/或用于观察组织样本的光学显微镜的配置也会引起外观变化。
41.例如，使用的光学器件、照射、激发光源等都可能引入不同的外观。据观察，尽管名义上使用相同的化学染色剂来突出显示细胞部分，但鉴于光学显微镜的多种可用配置引入
的可变性，对各个图像的解释也可能很困难。
42.为了减轻这些限制和缺点，根据各种示例，获得组织样本的成像数据。然后，在至少一个机器学习逻辑(mll)上处理成像数据。至少一个mll被配置为提供多个输出图像。所有多个输出图像都描绘了包括同一种虚拟染色剂的组织样本，但是以不同的着色。这意味着，例如，可以在多个输出图像中突出显示一个或多个相同的生物标志物或相同的细胞器，因为这些输出图像描绘了包括对该一个或多个生物标志物或细胞器有选择性的同一种虚拟染色剂的相同组织。即，可以在多个图像中突出显示相同的结构。一个或多个生物标志物或细胞器的外观可能在输出图像之间变化。虚拟染色剂可以与一种化学染色剂相关联，例如，对于组织病理学：苏木精和伊红(h&e)、ki67、人表皮生长因子受体2(her2)、雌激素受体(er)、孕酮受体(pr)——或其他化学染色剂。虚拟染色剂可以与相同的荧光团(例如，给定的赫斯特染色剂)相关联。然后有可能从至少一个mll获得多个输出图像中的至少一个输出图像，该至少一个输出图像以具有期望着色的给定虚拟染色剂来描绘组织样本。例如，对mll的执行的每次迭代可以获得单个输出图像，该输出图像以具有与该迭代相关联的相应着色的给定虚拟染色剂来描绘组织样本。然后执行的不同迭代可以输出不同的输出图像，所有图像都以相同的虚拟染色剂描绘相同的组织，但具有不同的着色；可以相应地配置mll，以选择特定的输出图像。
43.一般而言，着色可以限定不同颜色对虚拟染色的外观的相对贡献，例如跨色谱的直方图。不同的着色可以与不同的用户偏好相关联。不同的着色可以显示对结构的依赖性：因此，虽然类似的结构被突出显示，但这种标签的颜色可能取决于特定的结构类型，并因着色而异。不同的着色可能与不同的染色过程(如染色实验室过程)相关联：即，在使用不同的染色过程(如染色实验室过程)来产生名义上相同的化学染色时，颜色外观仍然可能存在差异；这种差异可以通过相应虚拟染色剂的着色来反映。可替代地或附加地，不同的着色可以与相应成像模式的不同配置相关联。于是，虽然名义上模仿了相同的化学染色剂，但外观可能会因配置而异。
44.因此，虽然不同的输出图像都描绘了包括相同虚拟染色剂的组织样本，但是组织样本的图形外观可能在输出图像之间变化。因此，通过使图形外观适应病理学家对输出图像的接收和认知分析的要求，可以促进对输出图像的信息内容的准确分析。特别是，多个病理学家可能能够提供各自的意见和分析，每个病理学家使用定制的虚拟染色。进一步地，所有病理学家都可以分析相同的组织样本，而不是以不同方式染色的不同组织样本：例如，可以针对完全相同的组织样本(特别是组织的相同切片)分析具有不同定制的相同虚拟染色。
45.如本文所用，组织样本的成像数据是指代表组织样本或其部分的任何类型的数据，特别是数字成像数据。例如，取决于成像模式，组织样本的成像数据的维度可能会有所不同。成像数据可以是二维(2-d)、一维(1-d)或甚至是三维(3-d)的。如果使用多于一种成像模式来获得成像数据，则一部分成像数据可以是二维的，而另一部分成像数据可以是一维或三维的。例如，显微成像可以提供包括具有空间分辨率(即，包括多个像素)的图像的成像数据。用共焦显微镜扫描组织样本可以提供包括三维体素的成像数据。组织样本的光谱学可以产生提供整个组织样本或其大部分的光谱信息而没有空间分辨率的成像数据。在另一个实施例中，组织样本的光谱学可以产生提供组织样本的几个位置的光谱信息的成像数据，这产生包括空间分辨率但被稀疏采样的成像数据。
46.如本文所用，成像模式可以包括例如在一个或多个特定光谱带(特别是在紫外、可见和/或红外范围内的光谱带(多光谱显微术))中对组织样本进行成像。图像模式还可以包括对组织样本的拉曼分析，特别是对组织样本的受激拉曼散射(srs)分析、对组织样本的相干反斯托克斯拉曼散射cars分析、对组织样本的表面增强拉曼散射sers分析。进一步地，图像模式可以包括对组织样本的荧光分析，特别是对组织样本的荧光寿命成像显微术flim分析。图像模式可以规定数字成像数据的相位敏感获取。图像模式还可以规定数字成像数据的偏振敏感获取。再进一步的示例是透射光显微镜，例如，用于观察细胞。一般而言，成像模式可以在体内或体外进行成像。内窥镜可以用于获取图像，例如共焦显微镜或使用内窥镜光学相干断层扫描(例如，扫描或全场)。可以使用共焦荧光扫描仪。内窥镜双光子显微镜是另一种成像模式。可以使用手术显微镜；手术显微镜本身可以提供多种成像模式，例如显微图像或荧光图像，例如在特定光谱带或两个或更多个波长的组合中，甚至是高光谱图像。
47.一般而言，可以使用一个或多个mll以提供描绘包括对应染色方案的不同着色的虚拟染色剂的组织样本的多个输出图像。例如，可以为每种着色使用专用的mll。即，对于每种着色，可能有相应的mll。在这种情况下，可以基于相应的训练成像数据和地面真值输出图像分别训练每个mll，这些输出图像描绘了包括使用(例如，从相应的染色过程(如染色实验室过程)中获得的)各种着色的相应化学染色剂(对应于所需虚拟染色剂)的组织样本。
48.在其他示例中，可以使用包括条件输入的单个mll。然后，通过设置条件输入，可以在与不同染色过程(如染色实验室过程)相关联的着色之间进行选择，从而从单个mll获得相应的输出图像。结合图1展示了这种情况。
49.图1示意性地展示了关于mll 500的各方面。mll 500可以通过例如具有u-net架构的深度神经网络来实施。参见ronneberger、olaf、philipp fischer和thomas brox的“u-net:convolutional networks for biomedical image segmentation[u-net：用于生物医学图像分割的卷积网络]”，医学图像计算和计算机辅助干预国际会议，springer，cham，2015年。
[0050]
更一般地，深度神经网络可以包括多个隐藏层。深度神经网络可以包括输入层和输出层。隐藏层布置在输入层与输出层之间。可以存在分别由一个或多个编码器分支和一个或多个解码器分支实施的空间收缩和空间扩展(但这是可选的：在其他情况下，空间尺寸可以不改变，可能排除边缘裁剪)。对于空间收缩(扩展)，成像数据和输出图像的相应表示的x-y-分辨率可以沿着一个或多个编码器分支(解码器分支)逐层减小(增大)；同时，特征通道可以沿着一个或多个编码器分支(一个或多个解码器分支)增大(减小)。在一个或多个输出层，深度神经网络可以包括解码器头，该解码器头可以包括激活函数，例如线性或非线性激活函数等。
[0051]
每一层都可以对输入成像数据或输出图像的相应表示提供一个或多个操作，比如：卷积、激活函数(例如，relu(整流线性单元)、s形函数、tanh、maxout、elu(指数线性单元)、缩放指数线性单元(selu)，softmax等)、下采样、上采样、批归一化、dropout等。
[0052]
mll 500处理成像数据：在图1中，mll 500处理多组成像数据501-503，例如，使用不同的成像模式获得的和/或具有不同空间分辨率的成像数据。多组成像数据501-503可以描绘不包括或包括化学染色剂的组织样本。成像数据501-503中的不同成像数据可以具有不同的染色特性，即，不同的化学染色剂或具有/不具有化学染色剂(即，一些组的成像数据
neural networks[使用条件可逆神经网络的引导图像生成]”，arxiv预印本arxiv:1907.02392(2019年)。
[0061]
图2是根据各个示例的方法的流程图。例如，图2的方法可以在从非易失性存储器加载程序代码时由至少一个处理器执行。该方法有助于组织样本的虚拟染色。即，提供描绘具有给定虚拟染色剂的组织样本的一个或多个输出图像。例如，给定虚拟染色剂可以与可通过相应染色实验室过程实现的相应化学染色剂相关联。因此，示例虚拟染色剂包括例如虚拟h&e、虚拟ki67、虚拟her2、虚拟er或虚拟pr。
[0062]
最初，在框5011处，获得描绘组织样本的成像数据501-503。成像数据501-503可以经由通信接口例如从远程节点获得。例如，可以获得多组成像数据501-503。可以使用不同的成像模式来获取不同的组。成像数据501-503可以包括空间分辨图像。不同的成像数据可以描绘具有不同化学染色剂的组织样本。例如，成像数据501-503可以描绘包括或不包括与虚拟染色剂相关联的给定化学染色剂的组织样本。例如，成像数据501-503可以——至少部分地——描绘包括h&e染色剂的组织样本。由成像数据501-503描绘的组织样本的化学染色剂可以不同于给定虚拟染色剂；这将对应于虚拟重新染色。由成像数据501-503描绘的组织样本的化学染色剂可以与给定虚拟染色剂相同；这将对应于虚拟重新着色；从而，基于第一实验室过程提供的化学染色，可以产生对应于第二实验室过程的对应虚拟染色。因此，例如，一个或多个输入图像可以描绘包括第一着色的组织样本；并且一个或多个输出图像可以描绘包括至少一种不同于第一着色的第二着色的组织样本。这有助于在不同的实验室过程之间进行协调。
[0063]
在可选框5012处，可以确定限定或选择着色的数据511。例如，数据511可以用于mll的条件输入531，或者可以用于在多个mll中进行选择。例如，可以确定指示符值，从而从例如表1中所示的一组预定义着色中选择适当的着色。还可以确定对着色进行参数化的目标颜色图。例如，目标颜色图可以指定使用哪种颜色突出显示哪种类型的结构或哪种几何形状的结构。
[0064]
一般而言，在框5012处，存在各种选项可用于确定数据511，包括目标颜色图。
[0065]
例如，可以基于对与相应的一个或多个进一步的染色实验室过程相关联的着色进行参数化的一个或多个预定义目标颜色图来确定该目标颜色图。换言之，这意味着在框5012处确定的目标颜色图可以从一个或多个预定义的目标颜色图得出。例如，可以通过递增地改变其值来改变给定的预定义目标颜色图，从而获得目标颜色图。在另一个示例中，可以使用两个或更多个预定义目标颜色图之间的插值来确定目标颜色图。因此，可以实施从一个或多个进一步的染色实验室过程的过渡，例如，在两个进一步的染色实验室过程之间的过渡。可以在多个进一步的实验室染色过程之间进行权衡。例如，可以实施从第一进一步的染色实验室过程的着色到第二进一步的染色实验室过程的着色混合的时间演变。即，随着时间的推移，可以实施从与第一进一步的染色实验室过程相关联的着色到与第二进一步的染色实验室过程相关联的着色的相应转变。在具体示例中，可能在第1周，向病理学家呈现描绘组织样本的输出图像，其包括与相应病理学家偏好的给定进一步染色实验室过程(过程a)相关联的着色。然后，随着时间的推移，可以改变着色，例如，在第2周，着色可以被确定为90％按照过程a以及10％按照另一个进一步的染色实验室过程(过程b)。混合可以朝着过程b继续进行，例如，在第3周达到80％-20％，依此类推。这种技术有助于缓慢但稳定地
获得可以在多个染色实验室或染色实验室过程之间共享的单一一致的染色。总之，概括地说，因此可能的是，包括目标颜色图的数据511的确定取决于与从一个或多个预定义目标颜色图到相应目标颜色图的过渡相关联的时间演变。目标颜色图因此可以包括两个或更多个目标颜色图，其中，目标颜色图是基于两个或更多个预定义目标颜色图中的至少两个的加权组合来确定的。
[0066]
在可选框5013处，然后可以例如基于框5012的数据来选择适当的机器学习逻辑。例如，不同的神经网络可以用于不同的目标颜色图。
[0067]
在其他示例中，同一个机器学习逻辑可以被配置为接收条件输入531处的数据511。这已经在上文结合图1进行了解释。然后，不需要框5013。
[0068]
接下来，在框5014处，对框5011的成像数据进行处理。这是使用例如框5013的所选机器学习逻辑来完成的；或者是使用并行地接收其条件输入531处的数据511的单个机器学习逻辑来完成的。
[0069]
然后，框5015，接收描绘具有与相关化学染色剂的相应染色实验室过程相关联的给定虚拟染色剂着色的组织样本的输出图像。例如，可以接收描绘包括具有由框5012的数据511限定的着色的虚拟染色剂的组织样本的单个输出图像。还可以在多个数据511的多次迭代中处理框5011的成像数据，从而获得描绘包括具有相应着色的虚拟染色剂的组织样本的多个输出图像。
[0070]
图2的方法涉及使用训练后的机器学习逻辑500进行推理。接下来，结合图3讨论关于机器学习逻辑500的训练的细节。
[0071]
图3是根据各个示例的方法的流程图。例如，图3的方法可以在从非易失性存储器加载程序代码时由至少一个处理器执行。
[0072]
图3的方法可以用于训练机器学习逻辑，该机器学习逻辑被配置为在由机器学习逻辑提供的一个或多个输出图像中提供组织样本的虚拟染色。
[0073]
通过图3的方法，可以训练单个机器学习逻辑，也可以训练多个机器学习逻辑。这与是单个机器学习逻辑包括条件输入531还是使用多个机器学习逻辑来提供描绘包括具有多种着色的虚拟染色剂的组织样本的输出图像相关，如上文结合图2的框5013所解释的。
[0074]
在框5101处，获得训练成像数据。该训练成像数据描绘了一个或多个组织样本。组织样本可能包括也可能不包括化学染色剂。例如，在训练成像数据描绘了包括化学染色剂的一个或多个组织样本的情况下，可以实施重新染色或重新着色的情况。可以使用一种或多种成像模式来获取训练成像数据。训练成像数据可以从数据库中获得。
[0075]
训练成像数据可以对应于在框5011处获得的成像数据，即，包括相似的化学染色剂或没有染色剂、具有对应的维度、已经用相同的对应成像模式获取等。
[0076]
接下来，在框5102处，获得多个参考输出图像。多个参考输出图像全都描绘了包括给定化学染色剂的一个或多个组织样本；即，一个或多个组织样本在多个参考输出图像中全都突出显示相同的生物标志物/具有相同的化学染色剂。
[0077]
因此，参考输出图像用作一个或多个机器学习逻辑的进一步训练的地面真值。
[0078]
在一些示例中，可以将训练成像数据配准到多个参考输出图像；更具体地，可以将训练成像数据中包括的训练图像配准到多个参考输出图像。这意味着训练图像中和参考输出图像中包括的对应部分彼此链接。因此，可以通过确定训练成像数据分别与由一个或多
个机器学习逻辑基于训练成像数据生成的训练输出图像之间和与参考输出图像之间的差异来确定训练中考虑的损失函数的值。例如，可以考虑对比度的差异。可以考虑结构差异或质地的不同。更一般地，可以考虑外观的差异。然而，并非在所有情况下都需要将训练成像数据配准到多个参考输出图像。例如，在其他情况下，可以使用未配准的训练成像数据和参考输出图像。在这里，例如，可以使用循环生成对抗网络(gan)。
[0079]
如本文所用的术语循环gan可以包括任何生成对抗网络，可以指代在训练期间利用某种循环一致性的任何生成对抗网络。特别地，术语循环生成对抗网络可以包括cyclegan、discogan、stargan、dualgan、cogan、unit。
[0080]
这种架构的示例如下所述：cyclegan：参见例如zhu,j.y.、park,t.、isola,p.和efros,a.a.(2017年)的“unpaired image-to-image translation using cycle-consistent adversarial networks[使用循环一致的对抗网络进行未配对的图像到图像转换]”，在ieee国际计算机视觉会议(cvpr)的论文集中。discogan：参见例如kim,t.、cha,m.、kim,h.、lee,j.k.和kim,j.(2017年8月)的“learning to discover cross-domain relations with generative adversarial networks[学习使用生成对抗网络发现跨域关系]”，在第34届机器学习国际会议论文集——第70卷(第1857-1865页)中，jmlr.org。stargan：参见例如choi,y.、choi,m.、kim,m.、ha,j.w.、kim,s.和choo,j.(2018年)的“stargan:unified generative adversarial networks for multi-domain image-to-image translation[stargan：用于多域图像到图像转换的统一生成对抗网络]”，在ieee国际计算机视觉与模式识别会议(cvpr)的论文集中。dualgan：参见例如yi,z.、zhang,h.、tan,p.和gong,m.(2017年)的“dualgan:unsupervised dual learning for image-to-image translation[dualgan：用于图像到图像转换的无监督双重学习]”，在ieee国际计算机视觉会议(iccv)的论文集中。cogan.参见例如m.-y.刘和o.tuzel的“coupled generative adversarial networks[耦合生成对抗网络]”，在神经信息处理系统(nips)的进展中，2016年。unit：参见例如liu、ming-yu、thomas breuel和jan kautz的“unsupervised image-to-image translation networks[无监督的图像到图像转换网络]”，在神经信息处理系统(nips)的进展中，2017年。
[0081]
然后，在框5103处，执行一个或多个mll的训练。这是基于在框5101处获得的训练成像数据，以及基于在框5102处获得的参考输出图像。例如，在训练多个机器学习逻辑的情况下，这可以基于损失函数针对多个机器学习逻辑中的每一个单独完成，所述损失函数是基于描绘具有相应着色的化学染色剂的一个或多个组织样本的参考输出图像的相应子集确定的。
[0082]
训练可以使用循环gan方法：这里，mll可以在前向循环和后向循环中的每一者中实施生成器逻辑；并且另一个神经网络可以用作判别器。
[0083]
如上文所解释的，训练可以考虑空间配准，以根据不同空间区域之间的对比度差异来确定损失函数。像素级的差异是可能的。在一些实施方式中，结构化相似性指数(https://www.ncbi.nlm.nih.giv/pubmed/28924574)可以用作损失函数。可以例如以加权方式组合多个损失函数。
[0084]
可以使用用于调整神经网络各个层的权重的后向传播。
[0085]
图4示意性地展示了根据各个示例的装置701。装置701包括处理器702和存储器
704。处理器702可以从存储器704加载程序代码。处理器702可以执行程序代码。在执行程序代码时，处理器702可以执行如在整个本披露中描述的以下逻辑操作中的一个或多个：获得成像数据，例如，经由装置701的接口703或通过从存储器704加载成像数据；对由成像数据描绘的组织样本进行虚拟染色；执行至少一个机器学习逻辑来处理成像数据(推理)，例如在多次迭代中；从机器学习逻辑/在执行机器学习逻辑时获得至少一个输出图像，例如以经由接口703输出至少一个输出图像；在训练机器学习逻辑时设置机器学习逻辑的参数或超参数；训练机器学习逻辑；等。例如，图2的方法、图3的方法可以在加载程序代码时由处理器702执行。
[0086]
尽管已经关于特定优选实施例示出和描述了本发明，但是本领域其他技术人员在阅读和理解说明书后将想到等同物和修改。本发明包括所有这样的等同物和修改，并且仅受所附权利要求的范围限制。
[0087]
为了说明，已经结合单个mll描述了各种示例，所述单个mll被配置为例如取决于mll的条件输入来输出多个输出图像。类似的技术也可以应用于使用多个mll的情况，每个mll都被配置为输出单个输出图像。然后，可以在多个mll之间实施适当的选择，而不是使用条件输入。更进一步地，可以设想其中(单个)mll被配置为仅提供单个输出图像的情况，例如，在与如下所述的重新着色有关的情况中。
[0088]
为了进一步说明，已经描述了可以重新着色的情况。一般而言，可以使用被配置为提供描绘包括虚拟染色剂的组织样本的输出图像的mll；这里，提供给mll的输入图像可以描绘包括与虚拟染色剂相关联的化学染色剂(即，两者都是h&e型或ki67染色剂等)的组织样本。输入图像和输出图像描绘了包括不同着色的相应染色剂的组织样本。
[0089]
为了进一步说明，上文已经披露了其中在输出图像中提供组织样本的虚拟染色剂的定制着色的各种情况，所述定制着色与名义上相同的基础化学染色剂的特定染色过程相关联。具体来说，染色实验室过程可以用于产生用于组织病理学的化学染色。在进一步的示例中，可以提供具有虚拟染色剂的定制着色的图像，所述定制着色与相同成像模式的不同配置相关联。例如，已经观察到取决于成像模式的特定配置，即使名义上相同的化学染色剂也可能具有不同的图形外观。通过提供定制的着色，可以模仿这种取决于成像模式的配置的不同图形外观。举例来说，已经观察到对于细胞样本的荧光成像，相应的透射光显微镜的配置可以改变突出显示的细胞器的外观。例如，用于激发荧光团的荧光光源的亮度水平可以改变相应图像中的荧光团的外观。