评估虚拟处理映射的一致性的方法、训练具有处理模型的机器学习系统的方法、机器学习系统、计算机程序产品和图像处理系统与流程

本发明涉及一种评估虚拟处理映射的一致性的方法，一种根据非注释数据集训练具有多层处理模型的机器学习系统的方法，一种具有处理模型的机器学习系统，一种计算机程序，以及一种计算机可读存储介质。

背景技术：

1、在现有技术中，由显微镜系统拍摄的显微镜图像是利用用于进行图像处理的处理模型来处理的，其中越来越多的处理模型(例如神经网络)被投入使用，其是根据训练数据进行学习的。在处理过程中会出现各种问题。在“deep learning achieves super-resolution in fluorescence microscopy(深度学习实现荧光显微镜的超级分辨率)”(biorxiv期刊309641；网络数字对象标识符：https://doiorg/10.1101/309641)中，hongdawang等人描述了一种生成式对抗网络(gan，英文：generative adversarial network)，其被训练用来计算高分辨率的荧光图像。对于这种方法，在所计算的结果图中观察到发明的/幻觉的对象，这是借助于在损失函数的惩罚或进一步的正则化来避免的。但是，新型输入图像是否存在错误的结果，则要由人来评估。

2、为了识别处理模型中的特定类型的错误结果，申请人开发了在de102019114012中描述的验证模型。该验证模型例如是根据训练数据学习的模型，其中，训练数据包含例如被标记为正确的或被标记为错误的图像处理结果。通过这样的训练，验证模型能够识别特定类型的有缺陷的图像处理结果。

3、在“content-aware image restoration:pushing the limits of fluorescencemicroscopy(内容感知图像恢复：推进荧光显微镜的极限)”(nature methods，2018年，第15卷，第12期，第1090页或biorxiv期刊预印本，网络数字对象标识符：https://doi.org/10.1101/236463)中，m.weigert等人描述了一种由多个相同类型的学习的处理模型所组成的集合，其中，在处理模型的结果中的差别被解释为结果的不确定性。这种类型的处理模型分析的问题在于，无法检测到由该集合的所有处理模型所造成的错误。

4、在德国专利申请第10 2021 10044.6号中(此处通过引用将其全部内容并入本技术中)，申请人描述了一种用于确定图像处理算法的一致性的方法，其中，图像处理结果的置信度度量根据在图像处理结果之间的一致性程度来确定，其中，图像处理结果由不同的显微镜图像计算得到。

5、在“unpaired image-to-image translation using cycle-consistentadversarial networks(使用周期一致性的对抗网络进行非成对的图像到图像的转换)”中，jun-yan zhu等人描述了一种用于图像到图像的转换的方法，其中使用了周期一致性的对抗性网络。对于该图像到图像的转换，注释训练数据往往不可用。因此，该公开文献提出了一种循环的一致性损失函数。其将输出图像与从结果图像获取的反向成像的结果图像进行比较。借助于该周期一致性的对抗性网络有可能的是，学习例如图像到图像的转换，通过其将照片转化为具有特定绘画风格的图像，例如将风景照片转化为莫奈、梵高、塞尚或其他人的风景画。可供选择地，例如在照片中的个别物体或部分能够借助于所学习到的图像到图像的转换来进行转化，例如将斑马转化成马，或者将夏季风景照片转化成冬季风景照片。

6、在“pixmatch：unsupervised domain adaption via pixelwise consistencytraining(通过像素一致性训练进行无监督域自适应训练)”中，luke melas-kyriazi等人描述了一种使用像素化一致性训练进行无监督域适配的方法。对于像素化一致性训练，在两个不同域(即源域和目标域)中进行训练。源域是基于模拟的注释数据，目标域是基于未注释数据。为每个域优化一个交叉熵损失函数。在源域中的损失函数检测在由网络输出的结果张量与在数据中预先给定的目标张量之间的差别。在目标域中，损失函数检测在基于无干扰的目标图像的网络输出以及基于有干扰的目标图像的网络输出之间的差别或者一致性。有干扰的目标图像借助于不同的干扰函数来确定。

7、现有技术已知的、用于评估或确定图像处理的质量的方法只能够非常受限地评价结果的质量。因此，有必要尽可能可靠地并且详细地评估图像处理的质量和一致性。

8、现有技术已知的、用于根据一致性条件进行机器学习的方法部分显示出在训练期间不稳定的行为，此外其容易过度拟合且仅能很慢地收敛。这意味着，这些方法在训练时会消耗大量的时间和相应的计算资源。

技术实现思路

1、本发明的目的在于提出一种方法，通过该方法能够尽可能详细地检查，输入张量(例如显微镜图像)是否能在处理模型中被可靠且一致地处理。

2、本发明的另一目的在于提出一种方法，该方法使得借助于未注释数据训练具有处理模型的机器学习系统变得更快且更可靠。此外，本发明对所述目的的解决是通过提出一种机器学习系统，一种计算机程序以及一种计算机可读存储介质，其使得对具有处理模型的机器学习系统的训练变得更快且更可靠。

3、一个或多个目的通过独立权利要求的主题对象得以解决。有利的进一步发展和优选实施方式构成了从属权利要求的主题对象。

4、本发明的一个方面涉及一种用于确定机器学习系统的处理模型的虚拟处理映射的一致性的方法。所述方法包括以下步骤：将第一输入张量输入处理模型；将第二输入张量输入处理模型，其中，该第一输入张量和第二输入张量由初始的输入张量确定或者该第一输入张量和第二输入张量检测对象的属性并且该第一输入张量和第二输入张量检测同一对象；以及，确定一致性函数，其中该一致性函数包括处理模型的特定层的至少一个层一致性函数，其中层一致性函数检测由第一输入张量和第二输入张量所生成的处理模型的层的输出张量之间的差别，其特征在于，特定层的输出张量是处理模型的另一层的输入张量。

5、优选地，第一输入张量和第二输入张量在随机噪声方面有所不同。

6、在用于检查或评估虚拟处理映射的质量或一致性的传统方法中，首要考虑的是输出层的行为。发明人认识到的是，处理模型的不期望出现的行为也可能出现在深层中，而这一点并没有被用于评价处理映射的质量或一致性的普遍已知的方法所认识或考虑到。

7、如果一虚拟处理映射以相同的方式处理显示同一对象的显微镜图像，则该虚拟处理映射是一致的。

8、本发明使得有可能确定处理模型在其整个深度中的行为，因此能够识别有缺陷的处理的起源，从而能够更加准确地评价虚拟处理映射处理输入张量的质量。

9、例如，如果考虑回归模型、分类模型或探测模型，则模型的输出数据的量仅仅是非常小的。然而，如果考虑模型的中间层，则会有大量的数据，根据这些数据能够评价虚拟处理映射的一致行为。也就是说，本发明使得还能够为回归模型、分类模型和探测模型详细地确定处理映射的一致性。

10、由于第一输入张量和第二输入张量表示同一对象或者基于相同的初始的输入张量，所以除了统计学上的变化，虚拟处理模型的不同层的输出应当一致。如果例如观察到在特定层中产生了结构，那么例如，借助于一致性函数监测这些层就足以检查处理映射的质量，从而检查虚拟处理映射是否可靠地并且以较高质量处理所输入的数据。

11、因此，借助于根据本发明的一致性函数，由处理模型生成的结构已经能够在中间层中识别出来。此种结果也能被称为幻觉结构。因此，本发明还使得能够在处理模型的中间层中识别出幻觉结构。因此，出现的幻觉结构越少，被评价的虚拟处理映射就越适合用于处理所输入的数据。

12、优选地，处理模型是完成训练的处理模型。

13、由于处理模型以及根据相应的训练数据被训练，则经训练的虚拟处理映射至少应当对训练数据进行充分的处理。如果现在确定的是，对于待处理的数据集，特定中间层的一致性函数或者层一致性函数的值高于一极限值，则该处理模型或者相应的中间层不适合用于处理该数据集。因此本发明还能够简单地识别出，处理模型及其层是否适合处理新的数据。

14、优选地，借助于一致性函数生成一致性卡，其中，在该一致性卡中，针对输出张量的不同部分区域检测出输出张量之间的差别。

15、基于输出张量能够生成一致性卡，这是通过为不同的张量条目或者输出张量的特定区域确定输出张量的差别。例如能够按条目形成或者在一区域上形成条目的差别。因此一致性函数给出了一个度量(也称为置信度)，其规定不同输出张量的与位置对应的张量条目或者张量区域的近似程度。由此，一致性卡规定了虚拟处理映射的结果对于相应层的输出张量的不同区域的可信度。

16、输入张量和输出张量例如为借助于图像到图像处理映射被相互转化的显微镜图像，则一致性卡的启发性的表示就是将输出图像与一致性卡相重叠。为此，例如结果图像的图像信息被表达为像素的亮度，并且一致性卡的值被表达为像素的色调或色彩饱和度。

17、优选地，根据一致性卡实现一评估，即评估虚拟处理映射是否适合用于所检测对象的输入张量的处理。

18、由于一致性函数生成一致性卡，则在一致性卡的部分区域中检测到的对象的结构能够被相应评价，即虚拟处理映射是否适合映射相应的结构。

19、在de 10 2021 100 444.6中，关于置信度描述了以下内容：

20、如果关于图像处理结果的置信度超过预定的可容许的极限值，则能够发出警告，能够开始对图像处理结果进行后续处理或者实现新的数据采集以生成更加适合的显微镜图像。

21、如果所获取的关于图像区域的置信度超过预定的极限值或者如果关于一图像区域中的多个像素的置信度超过预定的极限值，则可特别进行以下过程中的一个或多个：

22、-图像区域能够通过拍摄新的图像来检查。尤其是在此仅检查具有不足置信度的图像区域。

23、-图像区域能够被标记带有警告提示，例如通过在显微镜或结果图像中的一个上的视觉表示。

24、-图像区域可被设置人工噪声或者降低其图像分辨率，即像素化。由此一方面表明置信度有所降低。另一方面避免了在后续的图像分析中从受影响的图像区域的有问题信息得出不准确的结论。

25、-图像区域也可通过来自显微镜图像的图像信息或来自多个显微镜图像中的一个的图像信息来填充。例如，如果图像处理算法计算出被降噪的结果图像并且一个图像区域在结果图像之间差别太大，则该图像区域的内容能够基于一个或多个显微镜图像的相应图像内容来替换。

26、上述图像区域是指图像处理算法的结果图像中的一个，或者可供选择地是指由多个结果图像所构成的图像，其例如可为结果图像的平均数。

27、可供选择地，可根据置信度确定如何改变图像处理算法的一个或多个图像处理参数。最后，通过使用一个或多个经修改后的图像处理参数的图像处理算法来实现对显微镜图像的重新处理或者对多个显微镜图像中一个的重新处理。

28、额外地或可供选择地，能够根据置信度和所属的图像处理结果得出对图像处理算法的改变，以使其对于有噪声的输入数据更加鲁棒。如果图像处理算法包括机器学习模型，则其例如可被重新训练。特别地，后续训练涉及那些被确定为置信度不足的结构。此外，原始图像/显微镜图像也可被再次拍摄并且添加到训练数据中。在此，新拍摄的图像能够再次显示那些被确定为置信度不足的结构。可供选择地或额外地，首先可根据置信度卡进行评估，即评估图像处理算法是否适用于所拍摄的结构和/或是否应当对使用经训练的机器学习模型形成的图像处理算法进行后续训练。如果置信度卡例如指明某些图像区域有高置信度/高一致性，并且其他的图像区域有较低的置信度，则能够将图像处理算法评估为在原则上是适合的，其中建议具有较低置信度的图像区域进行后续训练。此类建议能够被发送给用户。相对地，如果置信度卡指明所有的图像区域(或置信度卡的预定最小部分)的置信度不足，则作为评估能够确定的是，所述图像处理算法不适用于所检查的结构。

29、类似于置信度，根据本技术，基于处理模型的中间输出计算一致性函数。如果一致性函数相应地超过一个极限值，则还能够相应地执行以上参考置信度所描述的过程。

30、本发明的另一方面涉及一种方法，该方法用于训练具有处理模型(尤其是多层神经网络)的机器学习系统，以便执行虚拟处理映射。方法包括上述方法的如下步骤：确定虚拟处理映射的一致性；以及，通过适配处理模型的模型参数来优化一致性函数。

31、在用于训练具有处理模型的机器学习系统的传统方法中，监测处理模型的输出层的输出，并且，通过基于处理模型的输出层的输出来适配处理模型的模型参数以便优化目标函数。

32、发明人已经认识到的是，在优化过程中，处理模型的单个中间层可能显示出不期望出现的行为。例如在单个层中可能出现拟合，或者出现在单个层中的单个模型参数的不适当的适配。单个层中的这种不期望出现的训练行为必须由处理模型的其他中间层来平衡。

33、例如处理模型(其解决分类问题)的中间层的输出从一特定层深度开始是变换不变的。如果不是这种情况，则在处理模型中的较深层必须建立变换不变性，尽管这种变换不变性实际上应该已经在在先层中得到了保证。

34、因此，发明人已经提出了一种一致性函数，其包括处理模型的至少一个中间层(英文：hidden layer)的层一致性函数。层一致性函数检测在由第一输入张量和由第二输入张量生成的层的输出张量之间的差别。因此，其给出了一个关于处理模型或者其单个层的学习成功与否的度量，其中该差别应当尽可能小，因为独立于借助其确定了第一或第二输入张量的变换，该第一和第二输入张量都应当以相同的方式进行处理。

35、因此，本发明使得能够有针对性地监控处理模型的中间层的行为。也就是说，一致性函数还能够借助于该方法识别出中间层可能不利的或者不希望的行为，并且在处理模型的模型参数的优化中加以考虑，并由此防止处理模型的中间层的此类不希望的行为。

36、将以上在处理模型中从一特定深度开始的、中间层的输出的期望的变换不变作为示例。变换不变能够借助于层(其应当是变换不变的)的层一致性函数在一致性函数中被监测，例如通过适当地选择在一致性函数的层一致性函数的层权重。由此，本发明允许借助于所提出的一致性函数来确保或者控制特定中间层的变换不变。也就是说，根据本发明的一致性函数允许沿着处理模型的整个深度对处理模型进行有针对性的优化。所提出的一致性函数由此确保的是，所有的层都显示出所希望的行为，因此根据一致性函数的处理模型的训练变得更可靠且更快速。

37、优选地，一致性函数包括至少一个其他层的层一致性函数，其中，该其他层特别为处理模型的输出层。

38、优选地，一致性函数为层一致性函数之和，其中，特别为一致性函数中的每个层一致性函数分配层权重。层权重可在训练中是固定的，或者也可以在训练中动态地选择或确定。

39、因此，将一致性函数设计为多个层一致性函数之和，一致性函数能够根据中间层的行为进行优化，也就是说，中间层的行为能够被监测，而传统的方式仅能够监测输出层的输出信号。在传统的学习中，单个层例如可能显示出不希望的行为，其能够通过其他层来补偿或者必须通过其他层来补偿。而这在使用特殊的一致性函数时不是必需的，因为处理模型的训练也在中间层中被监测。

40、特别地，在一致性函数中可包含在后层的层一致性函数。

41、在后层(也称为深层)在本发明的范畴中指的是一个离处理模型的输出层比离输入层更近的层。

42、在先层指的是离处理模型的输入层比离输出层更近的、处理模型的层。

43、特别地，希望的是，具有小的层权重的在先层的层一致性函数包括在一致性函数中，而具有大的层权重的在后层的层一致性函数包括在一致性函数中。

44、特别地，大的层权重例如为大于平均层权重的层权重，而小的层权重例如为小于平均层权重的层权重。

45、对于在先层可预期的是，由第二输入张量和由第一输入张量生成的输出张量相对于应用在输入张量上的变换而言的行为并非是不变的。相对地，对于在后层，预期多个可能的变换和待学习的处理映射是不变的。如果第二输入张量例如是借助于几何变换生成的，并且待学习的映射例如为一种分类，则该分类应当是与所执行的几何变换无关的，也就是说变换不变的。处理模型应当不仅对于输出层而且对于处理模型中的在后层具有此种变换不变性。

46、因此，仅具有小的层权重的在先层的层一致性函数包括在一致性函数中，则即使存在非变换不变的中间层，一致性函数仍然可被优化，因为仅具有小的层权重的非变换不变的中间层包括在一致性函数中，并由此不会对一致性函数的收敛行为产生负面影响。因此，层权重的适当选择还改善了一致性函数的收敛行为。

47、因此，为一致性函数的层一致性函数分配层权重，其例如在训练期间被动态地确定，而层权重可在训练期间被用作正则化参数(regularisierungsparameter)，借助于该正则化参数能够稳定处理模型的训练。此类正则化参数的作用是防止过度拟合。

48、因此，层权重被选择为，使得其从特定深度开始对一致性函数做出更大的贡献，由此可实现的是，从特定深度开始相对于特定变换有不变性。

49、优选地，该方法在优化一致性函数之前还包括计算至少一个经变换的输出张量。经变换的输出张量能够通过由第一输入张量生成的输出张量的逆变换来计算，或者通过由第二输入张量生成的输出张量的变换来计算，或者通过由第一输入张量生成的输出张量的部分逆变换和由第二输入张量生成的输出张量的部分变换来计算。经变换的输出张量在层一致性函数中使用，由此层一致性函数检测在经变换的输出张量和未经变换的输出张量之间的差别，或者检测每个经变换的输出张量(即经部分变换的和经部分逆变换的输出张量)之间的差别。

50、因此，层一致性函数检测在经变换的输出张量和未经变换的输出张量之间的差别，或者检测在经变换的输出张量之间的差别，通过输出张量的相应逆变换或者变换，用于训练机器学习系统的方法也能够被用于多种映射，这些映射关于输入张量的变换而言是非不变的。此外还可能的是，如果在先层的输出张量在输入张量变换的情况下是非不变的，则为在先层执行相应的逆变换，而不发生在后层的输出张量的逆变换，因为在后层的输出张量例如为变换不变的。

51、优选地，所述方法包括：将其他的输入张量输入处理模型中，其中，所述其他的输入张量借助于其他的变换由初始的输入张量计算得到，其中，层一致性函数分别成对地检测所有由初始的输入张量得出的层的输出张量之间的差别。

52、因此，大量输入张量由初始的输入张量被计算出来并且被输入处理模型，并且由此得出的输出张量分别成对地借助于层一致性函数彼此相互比较，训练能够被进一步优化，因为每种情况下生成的经变换的输入张量必须仅通过处理模型传播一次，但是与多个其他的输出张量(其也基于初始的输入张量)的差别借助于层一致性函数被检测，由此能够节省计算能力。

53、例如，机器学习系统借助于不被监测的学习进行训练，其中只有非注释数据集被用于训练。而处理模型例如可为自动编码器。

54、优选地，机器学习系统根据注释数据集和非注释数据集进行训练，并且该方法还包括借助于注释数据集通过适配模型参数来优化目标函数。

55、因此，目标函数借助于注释数据集训练，可学习对应于处理映射(借助其生成注释数据集)的虚拟处理映射。

56、注释数据集在本发明的范畴中为一个数据集，其既包括输入张量，也包括针对每个输入张量的相应的目标张量，其借助于处理映射由输入张量生成。处理映射对应于机器学习系统要学习的虚拟处理映射。在使用注释数据集训练处理模型时，目标张量被用作监测信号，这是通过将其与处理模型的输出层的输出张量平衡，例如借助于目标函数。

57、借助于处理映射来创建目标张量可能是成本非常高的。例如，处理映射可以为显微镜图像的语义分割，其手动创建是非常复杂的。

58、可供选择地，处理映射也可能是化学着色的。例如生物样本的着色可能是成本非常高的，而在着色时还可能导致被着色的或者待着色的组织的损坏，这就是为什么某些样本没有着色。此外有可能的是，在生成输入张量时根本没有伴随着生成相应的目标张量。因此，根据本发明，在注释数据集中的数据的量并不足以仅仅根据注释数据集来训练处理模型。

59、目标张量是可在虚拟处理映射的训练中使用的张量，处理模型的输出张量(例如虚拟着色的图像)应与之近似。这种近似是借助于目标函数(尤其是增益函数或损失函数)实现的，其规定了如何评估在处理模型的输出张量与目标张量之间的差别。该差别的评估能够根据张量的条目按条目来实现，或者通过比较更抽象的实体来实现。例如，在虚拟的图像处理映射时能够使用图像描述，例如边缘走势的图像描述。

60、例如，化学着色的图像能够被裁剪，或者改变图像属性，例如亮度、对比度或色调值，以形成目标图像。此外，其他的图像到图像映射(例如用于降噪、图像锐化、模糊或背景抑制)也有可能由化学着色的图像形成目标图像。

61、关于虚拟处理映射，其被理解为由处理模型机器学习的映射。在处理模型中输入输入张量(其例如为图像数据)，并且处理模型由输入张量计算出结果张量。结果张量例如为由处理模型借助于虚拟处理映射从输入图像计算出的输出图像，但其并不强制为是图像。虚拟处理映射能够借助于被监测的学习或者不被监测的学习来进行机器学习。

62、处理模型例如也可为探测模型。探测模型在输入数据中搜索预定的模式，并随后输出被找到的各预定的模式的定位列表。对于处理模型为探测模型的情况而言，则每个输入张量(也称为输入资料)的注释数据集包含目标资料，其例如给定在相应输入资料中的被找到的各模式的定位列表。例如输入资料为显微镜图像，并且探测模型识别在输入数据中的预定模式，其例如相应于某些预先给定的细胞类型或细胞。随后，输出带有探测到的模式(例如细胞)及其位置(也即其在显微镜图像中的定位)的列表作为结果资料。

63、优选地，处理模型为回归模型或分类模型。如果处理模型为回归模型，则结果张量是标量。如果处理模型是分类模型，则结果张量是向量。

64、处理模型使用一学习算法来训练，以执行虚拟处理映射。

65、虚拟处理映射例如借助于神经网络实现，也就是说，处理模型例如为神经网络。该神经网络例如可分别包括一个或多个卷积神经网络(英文：convolutional neuralnetwork，cnn)，其包含至少一个图像作为输入，该图像是显微镜图像或是从其推导出的图像。该神经网络例如可设计为完全卷积的(英文：fully-convolutional)，并且形成为图像到图像回归(bild-zu-bild-regression)。

66、特别地，处理模型也可为u形网络，其中该意义上，u形由连续的层形成，由这些层输出的输出张量(也称为特征图，英文“feature maps”)首先在其相应的空间维度上变得越来越小而在其深度上变得越来越大，并且最终在其相应的空间维度上变得越来越大而在其深度上变得越来越小。特别地，u形网络优选被使用于图像回归或图像分割。

67、自动编码器、变量自动编码器、残差神经网络(英文：residual neural network，resnet)、多层感知器(英文：multilayer perceptron，mlp)、密集神经网络(英文：densenetwork，densenet)、变换器网络和/或可逆网络(英文：invertible network，inn)也能够被用作处理模型。

68、在使用注释数据集的被监测的学习中，为每个输入张量预先给定相应的注释/标签，即目标张量。其例如可包括化学着色的图像或者由其推导得到。借助于学习算法，处理模型的模型参数根据训练数据来确定。除此之外，目标函数为此目的而被优化。目标函数例如是被最小化的损失函数。

69、在不被监测的学习中，例如在被用于训练的自动编码器中，训练数据仅包括非注释数据集，数据集也仅包括输入张量，并且处理模型根据一致性函数被优化。

70、损失函数例如可按像素检测在由处理模型计算的图像和预先给定的目标图像之间的差别。在l1损失函数中，按像素的差别能够按量(作为绝对值)相加。在l2损失函数中，形成按像素的差别的平方和。为了最小化损失函数，处理模型的模型参数的值改变，这例如通过梯度下降法和反向传播来计算。

71、代替损失函数，目标函数还可包括被最大化的增益函数。

72、在cnn的情况下，模型参数尤其可包括cnn的不同层的卷积矩阵的条目。可选地，不直接连续的层能够通过所谓的“跳过连接”或“剩余连接”进行连接，由此，层的输出不仅被传递至直接连续的层，而且额外地也被传递至其他的层。

73、深度神经网络(英文：deep neural network)的其他模型架构也是可能的。处理模型的输出例如可为其中每个像素由亮度值指定的图像。可供选择地，在输出的图像中为每个像素指定亮度分布。通过亮度分布，每个像素被指定最有可能的亮度值，但具有相关的不确定性。图像可包括一个或多个颜色通道，每个通道都以这种方式通过一亮度值或亮度分布来定义。

74、原则上，所有可能的处理映射都可被视为待学习的处理映射，但是本发明对于目标张量的生成成本非常高的此类处理映射而言是特别有意义的，原因在于注释数据集仅包括有限的数据量。

75、非注释数据集包含输入张量，但没有相应的目标张量。非注释数据集的输入张量来自于与注释数据集的输入张量类似的域。

76、层一致性函数也可能为损失函数或增益函数，其被相应地最小化或最大化。层一致性函数也根据当前模型参数由训练数据进行计算。与目标函数不同，层一致性函数检测在处理模型的相应层的输出张量之间的差别，其中，输出张量由第一输入张量并且由第二输入张量生成。

77、优选地，处理模型是生成式对抗网络，gan。该gan包括发生器和鉴别器，并且，第一和第二输入张量包括第一和第二发生器输入张量以及第一和第二鉴别器输入张量。该方法还包括以下步骤：由注释数据集和非注释数据集的初始的输入张量确定第一和第二发生器输入张量；和/或，由从发生器生成的结果张量以及由注释数据集的目标张量确定第一和第二鉴别器输入张量，其中，特定层包括发生器的至少一个层，或者鉴别器的层，或者发生器和鉴别器的至少一个层。

78、对于处理模型是gan的情况，发生器例如学习虚拟处理映射。鉴别器被训练成，正确地分类从注释数据集输入的目标张量和由发生器生成的结果张量，也就是说，识别出是否涉及注释数据集的目标张量或者由发生器生成的结果张量。

79、因此，在使用注释数据集以及非注释数据集进行训练期间，发生器和鉴别器的中间层借助于一致性函数进行监测，则gan的收敛行为能够被更加精确地控制，由此能够识别并且防止在中间层中不希望的适配，从而防止过度拟合，也能够确保更快的训练。

80、优选地，目标函数包括发生器目标函数和鉴别器目标函数，并且，模型参数包括发生器模型参数和鉴别器模型参数。目标函数是发生器目标函数和鉴别器目标函数的加权和，其中，发生器目标函数和鉴别器目标函数被分别分配目标权重。

81、处理模型为gan，因此发生器模型参数包括发生器的卷积矩阵的条目，并且鉴别器模型参数包括鉴别器的卷积矩阵。

82、因此，目标函数是发生器目标函数和鉴别器目标函数的加权和，各自带有目标权重的发生器目标函数和鉴别器目标函数包含在目标函数中，在训练中可适当地选择目标权重，以应对可能发生的对相应模型参数的不适合的适配。例如在gan中会出现发生器或鉴别器优于另一个的情况，也就是说一个网络的适配速度快于其他的网络。例如，鉴别器收敛速度快于发生器，这就是为什么鉴别器可正确分类所有由发生器生成的输出张量。借助于适当选择目标权重，能够相应地抑制或减慢例如鉴别器的进一步适配。

83、优选地，一致性函数的优化以及目标函数的优化包括通过适配模型参数来优化复合函数。该复合函数是目标函数和一致性函数之和。在复合函数中，目标函数以及一致性函数可分别分配有复合权重。

84、例如，目标函数以及一致性函数的复合权重在每个训练步骤中确定。可供选择地，对于整个训练而言，复合权重也可保持恒定不变。

85、因此，复合函数是一致性函数和目标函数之和，而一致性函数和目标函数分别根据其复合权重对复合函数做出贡献，在使用复合权重进行训练时，可使用其他的正则化参数，根据其能够控制复合函数的优化，从而使得能够防止过度拟合也可学报快速的训练。

86、例如，复合权重特别根据在训练步骤中所使用的注释数据集的输入张量的数量以及在训练步骤中所使用的非注释数据集的输入张量的数量来确定。

87、例如，如果使用随机梯度下降法，这是通过每次仅使用注释和/或非注释数据集的训练数据的一个小的子集，那么一致性函数和目标函数的复合权重能够根据所述子集中的相应训练数据的量来确定。例如，如果使用注释数据集的相对少量的输入张量，并且对于这种情况，具有相同复合权重的一致性函数和目标函数包括在复合函数中，则注释数据集对复合函数的影响将不成比例地大。相对地，如果复合权重根据来自注释数据集和非注释数据集的相应训练数据的量来确定，或者根据分别对目标函数或对复合函数做贡献的比较的张量的数量来确定，则能够更好地适配模型参数并且避免过度拟合。这进一步改善了训练方法的收敛行为。

88、优选地，一致性函数的优化包括从至少一个层的输出张量计算出压缩的输出张量，其中，该压缩的输出张量包括比非压缩的输出张量更少的信息，并且其中，一致性函数包括至少一个层一致性函数，其监测压缩的输出张量的差别。

89、压缩的输出张量例如为输出张量，其为输出张量的特定部分给定了均值、最大值、最小值或类似的值。最强的压缩是通过在压缩的输出张量仅取出单个值(例如最大值、均值或最小值)来获得的。

90、例如，通过使用压缩的输出张量能够压缩在先层的输出。因为在处理模型中的在先层通常是非变换不变的，则可通过适当的压缩(例如通过确定输出张量的最大值，其先前经过几何变换)提取出变换不变的信息，并因此，在先层也在计算一致性函数时被加以考虑。因此，这种压缩的输出张量使得即使在先前的非变换不变层中也能够监测神经网络或者处理模型的训练，并因此能够更加稳定地训练网络以及抵消过度拟合。

91、优选地，在计算目标函数或一致性函数时能够省略输出张量的单个条目，例如可为输出张量的特定条目设置标志，该标志表明在计算目标函数和/或一致性函数时并不使用该条目。

92、例如，如果已知的是，输出张量的特定条目包含不属于或不贡献于所学习的映射的元素，则能够在确定一致性函数或者目标函数时通过相应的标志忽略输出张量的元素或条目。由此能够避免的是，与要训练的数据不匹配的数据使得训练恶化。

93、优选地，输入张量是显微镜图像(2维张量)，尤其是高度偏移的显微镜图像的堆栈(3维张量)，显微镜图像的时间序列(3维张量)或者高度偏移的显微镜图像的堆栈的时间序列(4维张量)，其中，注释数据集包括输入张量和相应的目标张量，其中借助于和虚拟处理映射相应的处理映射从输入张量获得目标张量。处理映射是例如用于虚拟着色的映射，用于创建超高分辨率显微镜图像的映射，图像优化(尤其是降噪或去伪映射)，去卷积映射，用于格计数的格密度估计映射或者语义分割中的一个或多个。

94、优选地，变换包括镜像、旋转、缩放、借助于弹性网格的变形、变亮、变暗、调整伽马校正值、晕染、偏移、颜色反转、人工噪声、降噪、欠采样、遮蔽、模糊、任何使用线性或非线性过滤器的过滤、锐化、去伪映射、去卷积、降采样或者显微镜图像的修复中的一个或多个。例如，所述变换为来自注释或非注释数据集的初始的输入张量旋转90°并且第二输入张量是没有变换的初始的输入张量。可供选择地，第二输入张量可通过对变换的逆变换确定，在该情况下例如为旋转-90°。类似的逆变换也可用于其他可能的变换，以便由初始的输入张量生成第一和第二输入张量。

95、可供选择地，第一输入张量可借助于第一变换由初始的输入张量计算得出，并且，第二输入张量可借助于与第一变换完全不同的第二变换计算得出。

96、上述其他的输入张量也可借助于上述可能变换的任意组合计算得出。

97、例如，在计算层一致性函数之前，变换组合中的一个或多个变换必须被逆变换，而例如变换组合中的一个或多个其他变换则不必被逆变换。

98、一个变换是否必须被逆变换，取决于该变换以及待学习的虚拟处理映射。

99、优选地，变换借助于完成训练的预处理模型来执行。

100、例如一个完成训练的预处理模型可执行上述变换中的一个。可供选择地，预处理模型还可实现更复杂的变换，例如去伪映射、增强、降噪或者去卷积。

101、如果，如果变换借助于预处理模型执行，则该变换可以是降噪也可以是虚拟处理映射。借助于预处理模型执行的降噪与借助于虚拟处理映射执行的降噪的不同之处在于，借助于预处理模型的降噪并不像借助于虚拟处理映射的降噪那样好。这例如归因于，预处理映射并不是使用特定领域的显微镜图像进行训练，并因此，仅能去除显微镜图像的一般图像噪声，但不能去除在借助于处理映射进行处理的显微镜图像中越来越多地出现的噪声。

102、这同样适用于其他变换，比如去伪映射、增强和去卷积。如果这些借助于训练好的预处理模型来进行，那么借助于预处理模型的变换总是与要学习的虚拟处理映射不同，例如在实现的质量方面或者在降噪或去伪的类型方面。

103、优选地，注释数据集包括部分注释显微镜图像，其中，部分注释显微镜图像包括显微镜图像的注释的部分区域。例如，部分注释显微镜图像包括注释掩码。根据注释掩码，部分注释显微镜图像的注释的部分区域的每个像素可被分配第一掩码值，例如1，并且，部分注释显微镜图像的每个未注释的像素被分配第二掩码值，例如0。可供选择地，注释掩码还能够具有多于两个不同的值，例如第一值、第二值、第三值和第四值，其中，第一至第三值例如被分配给对应于显微镜图像的第一细胞类型、第二细胞类型和背景的像素，并且第四值被分配给未注释的像素。在第一和第三值之间的值域可称为注释值域。具有关于未注释的像素的注释值的值域例如称为初始化值域。相应地，注释的部分区域的每个像素可被分配在注释值域中的掩码值，并且，未注释的部分区域的每个像素可被分配在注释值域中的掩码值。具有在注释值域中的掩码值的像素属于注释的数据集，并且，具有在初始化值域中的掩码值的像素属于非注释数据集。

104、特别地，在计算经变换的输出张量时使用的变换是根据处理映射和用于计算第一输入张量的变换来选择的。

105、优选地，输入张量还包括背景信息，该背景信息被使用于虚拟处理映射中，或被使用于与虚拟处理映射相应的处理映射中。特别地，该背景信息可包括以下步骤的一个或多个：

106、-样本的类型，该样本要成像在显微镜图像中，

107、-样本载体的类型，该样本载体被用于拍摄样本图像，例如是否使用室载玻片、微孔板、带盖玻片的载玻片或培养皿，

108、-图像拍摄参数，例如关于照明强度、照明或探测波长、相机灵敏度、曝光时间、滤镜设置、荧光激发、对比度方法或试验台设置的信息，

109、-关于在相应的显微镜图像包含的对象的信息，

110、-应用信息，其表示显微镜图像被拍摄用于何种类型的应用，

111、-关于拍摄图像的用户的信息。

112、背景信息能够例如在拍摄图像期间被自动地单独添加到每个显微镜图像上，但是该背景信息还能够在拍摄显微镜图像之前为一组显微镜图像输入。可供选择地，其他完成训练的处理模型也可为显微镜图像生成背景信息，例如处理模型可生成并添加样本的类型、样本载体的类型或关于在显微镜图像中包含的对象的信息作为背景信息。

113、本发明的另一方面涉及一种机器学习系统，其包括执行用于训练机器学习系统的上述方法的装置。

114、本发明的另一方面涉及一种计算机程序，其包括在通过计算机执行程序时使得执行用于训练机器学习系统的前述方法的指令。

115、本发明的另一方面涉及一种计算机可读存储介质，其包括在通过计算机执行命令时使得执行用于训练机器学习系统的前述方法的指令。

116、图像处理系统包括评定设备，其中该评定设备包括处理模型，其根据用于训练机器学习系统的方法被训练，其中，评定设备被特别设计成，借助于由处理模型学习的虚拟处理映射对使用图像生成设备拍摄的图像进行处理。