弱监督语义分割方法、语义分割方法及可读存储介质与流程

1.本技术涉及人工智能技术领域，尤其是一种弱监督语义分割方法、语义分割方法及可读存储介质。


背景技术：

2.分类标签与分割任务之间有很大的鸿沟，在相关技术中，利用分类模型输出的类别激活图来定位特定类别的区域。然而，类别激活图是由卷积网络中深层次的特征图加权组合得来，而卷积网络由浅层特征到深层特征会有多次下采样操作，导致类别激活图只能提供一个粗糙的语义分割结果。


技术实现要素：

3.本技术实施例提供了一种弱监督语义分割方法、语义分割方法、数据处理装置及计算机可读存储介质，能够充分利用分类网络对分割网络进行优化，从而达到提高语义分割的准确性的目的。
4.第一方面，本技术实施例提供了一种弱监督语义分割方法，包括：获取输入的图像块，所述图像块均对应设置有图像分类标签；利用骨干分类网络对所述图像块进行分类处理，得到分类特征图，所述分类特征图的尺寸各不相同，所述分类特征图包括所述分类处理后输出的目标分类特征图和所述分类处理中不输出的中间分类特征图；根据所述目标分类特征图得到类别激活图，利用所述图像分类标签和所述类别激活图对所述骨干分类网络的分类参数进行调整；利用第一分割网络对所述中间分类特征图进行第一分割处理，得到分割特征图，其中，每一个所述中间分类特征图均对应有一个所述第一分割网络；利用所述类别激活图以及所述分割特征图，生成伪分割标签；根据所述伪分割标签对所述第一分割网络的第一分割参数进行调整；利用第二分割网络对所述图像块进行第二分割处理，得到目标特征图；利用所述分割特征图生成目标分割标签，根据所述目标分割标签和所述目标特征图对所述第二分割网络的第二分割参数进行调整；将训练完成后得到的所述目标特征图作为语义分割结果。
5.第二方面，本技术实施例还提供了一种语义分割方法，包括：获取组织病理图像数据集；对所述组织病理图像数据集进行切片处理，得到多个图像块；根据如上所述的弱监督语义分割方法对所述图像块进行训练，得到图像块的语义分割结果；将所述图像块的语义分割结果进行拼接处理，得到组织病理图像数据集的语义分割结果。
6.第三方面，本技术实施例还提供了一种数据处理装置，包括：存储器、处理器及存
储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的弱监督语义分割方法或者如上所述的语义分割方法。
7.第四方面，本技术实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上所述的弱监督语义分割方法或者如上所述的语义分割方法。
8.本技术实施例包括：获取输入的图像块，图像块均对应设置有图像分类标签；利用骨干分类网络对图像块进行分类处理，得到分类特征图，分类特征图的尺寸各不相同，分类特征图包括分类处理后输出的目标分类特征图和分类处理中不输出的中间分类特征图；根据目标分类特征图得到类别激活图，利用图像分类标签和类别激活图对骨干分类网络的分类参数进行调整；利用第一分割网络对中间分类特征图进行第一分割处理，得到分割特征图，其中，每一个中间分类特征图均对应有一个第一分割网络；利用类别激活图以及分割特征图，生成伪分割标签；根据伪分割标签对第一分割网络的第一分割参数进行调整；利用第二分割网络对图像块进行第二分割处理，得到目标特征图；利用分割特征图生成目标分割标签，根据目标分割标签和目标特征图对第二分割网络的第二分割参数进行调整；将训练完成后得到的目标特征图作为语义分割结果。根据本技术实施例的方案，将中间分类特征图作为第一分割网络的输入，根据由第一分割网络得到的分割特征图对第二分割网络进行调整，从而增强目标特征图的表征能力，能够达到提高语义分割的准确性的目的。
附图说明
9.图1是本技术一个实施例提供的弱监督语义分割方法的流程图；图2是图1中步骤s130的具体方法的流程图；图3是图1中步骤s130的另一具体方法的流程图；图4是图1中步骤s130的又一具体方法的流程图；图5是图1中步骤s140的具体方法的流程图；图6是图1中步骤s120的具体方法的流程图；图7是图1中步骤s120的另一具体方法的流程图；图8是本技术另一个实施例提供的弱监督语义分割方法的流程图。
具体实施方式
10.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
11.另外，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
12.本技术提供了一种弱监督语义分割方法、语义分割方法、数据处理装置及计算机可读存储介质，包括获取输入的图像块，图像块均对应设置有图像分类标签；利用骨干分类网络对图像块进行分类处理，得到分类特征图，分类特征图的尺寸各不相同，分类特征图包括分类处理后输出的目标分类特征图和分类处理中不输出的中间分类特征图；根据目标分
类特征图得到类别激活图，利用图像分类标签和类别激活图对骨干分类网络的分类参数进行调整；利用第一分割网络对中间分类特征图进行第一分割处理，得到分割特征图，其中，每一个中间分类特征图均对应有一个第一分割网络；利用类别激活图以及分割特征图，生成伪分割标签；根据伪分割标签对第一分割网络的第一分割参数进行调整；利用第二分割网络对图像块进行第二分割处理，得到目标特征图；利用分割特征图生成目标分割标签，根据目标分割标签和目标特征图对第二分割网络的第二分割参数进行调整；将训练完成后得到的目标特征图作为语义分割结果。根据本技术实施例的方案，将中间分类特征图作为第一分割网络的输入，根据由第一分割网络得到的分割特征图对第二分割网络进行调整，从而增强目标特征图的表征能力，能够达到提高语义分割的准确性的目的。
13.下面结合附图，对本技术实施例作进一步阐述。
14.如图1所示，图1是本技术一个实施例提供的弱监督语义分割方法的流程图，该弱监督语义分割方法可以包括但不限于有步骤s110、步骤s120、步骤s130、步骤s140和步骤s150。
15.步骤s110：获取输入的图像块，图像块均对应设置有图像分类标签。
16.本步骤中，进行语义分割操作的对象是数据集，因此需要先获取输入的图像块，图像块的数量可以是任意数量个，在此不作具体限定。图像块均对应设置有图像分类标签，可以理解的是，图像分类标签是用于分类的图像标签，与用于语义分割的像素级的分割标签不同，获取图像块是为了便于后续步骤中对网络进行训练。
17.本技术的另一实施例中，图像块指的是相关技术中的任意图像块，图像块可以是由具有多个标签的数据集中得到的图像块，在一个可选的实施方式中，将数据集中的图像进行切片处理，可以得到多个图像块。
18.步骤s120：利用骨干分类网络对图像块进行分类处理，得到分类特征图，分类特征图的尺寸各不相同，分类特征图包括分类处理后输出的目标分类特征图和分类处理中不输出的中间分类特征图；根据目标分类特征图得到类别激活图，利用图像分类标签和类别激活图对骨干分类网络的分类参数进行调整。
19.本步骤中，利用骨干分类网络对图像块进行分类处理，得到分类特征图，分类特征图包括分类处理后输出的目标分类特征图和分类处理中不输出的中间分类特征图，分类特征图的尺寸各不相同，分类特征图之间可以是经过下采样操作从而导致尺寸不同。根据骨干分类网络分类处理后输出的目标分类特征图得到类别激活图，减少了中间分类特征图对类别激活图产生影响的情况，能够使类别激活图聚焦于目标分类特征图，利用图像分类标签和类别激活图对骨干分类网络的分类参数进行调整，能够达到提高分类网络的计算效率的目的。
20.本技术的另一实施例中，骨干分类网络可以是相关技术中的任意骨干分类网络，骨干（backbone）又称主干，骨干分类网络可以是业界常用的主流网络结构，例如resnet，densenet，efficientnet等。在一个可选的实施方式中，参照图8，图像块的大小为3
×h×
w，h表示的是高度值，w表示的是宽度值，骨干分类网络可以是resnet50，中间分类特征图包括特征图f1和特征图f2，f1大小为，f2大小为，目标特征图f3的大小为，类别激活图f4的大小为。
21.本技术的另一实施例中，类别激活图（class activation mapping，cam）可以显示在对骨干分类网络进行训练的过程中，图像块的权重或重心在何处、如何转移，骨干分类网络是根据图像块的哪一部分的特征进行判别的。简而言之，就是模仿人类识别物体的过程，随着骨干分类网络的迭代，找到相关任务的关键部位。
22.步骤s130：利用第一分割网络对中间分类特征图进行第一分割处理，得到分割特征图，其中，每一个中间分类特征图均对应有一个第一分割网络；利用类别激活图以及分割特征图，生成伪分割标签；根据伪分割标签对第一分割网络的第一分割参数进行调整。
23.本步骤中，每一个中间分类特征图均对应有一个第一分割网络，利用第一分割网络对中间分类特征图进行第一分割处理，得到分割特征图，指的是将利用与中间分类特征图对应的第一分割网络对中间分类特征图进行进行第一分割处理，得到分割特征图。利用类别激活图以及分割特征图，生成伪分割标签，伪分割标签指的是像素级的分割标签，伪分割标签能够表征类别激活图以及分割特征图的分割标签，并且，根据伪分割标签对第一分割网络的第一分割参数进行调整，能够提高第一分割网络的准确性，从而能够达到提高语义分割的准确性的目的。
24.本技术另一实施例中，利用类别激活图以及分割特征图，生成伪分割标签，可以是将类别激活图以及分割特征图按照预设的规则投射到预设的范围值内，从而得到伪分割标签，在此不作具体限定。
25.本技术另一实施例中，根据伪分割标签对第一分割网络的第一分割参数进行调整，可以是生成伪分割标签的分割特征图根据该伪分割标签进行自我调整，也可以是先将类别激活图以及分割特征图进行上采样，之后生成的伪分割标签与尺寸对应的分割特征图，对该分割特征图对应的第一分割网络的第一分割参数进行调整，从而将中间分类特征图中的特征充分表征，提高第一分割网络的准确性，从而提高语义分割的准确性。得到分割特征图是为了便于后续步骤中得到目标特征图。
26.步骤s140：利用第二分割网络对图像块进行第二分割处理，得到目标特征图；利用分割特征图生成目标分割标签，根据目标分割标签和目标特征图对第二分割网络的第二分割参数进行调整。
27.本步骤中，第二分割网络指的是相关技术中的任意分割网络，例如hrnet或unet，利用第二分割网络对图像块进行第二分割处理，得到目标特征图。分割特征图指的是经由第一分割网络得到，分割特征图能够表征分类过程中的特征图对分割结果的影响，利用分割特征图生成目标分割标签，根据目标分割标签和目标特征图对第二分割网络的第二分割参数进行调整，从而达到提高第二分割网络的准确性的目的，并且，第二分割网络经由目标分割标签以及目标特征图进行优化，能够填补在弱标注情况下，图像分类标签与分割任务之间的鸿沟，最终能够输出准确的语义分割结果，并大大提高标注图像块的效率。
28.步骤s150：将训练完成后得到的目标特征图作为语义分割结果。
29.本步骤中，目标特征图指的是将图像块输入第二分割网络后得到的目标特征图，根据图像块对第二分割网络进行训练后，能够得到表征能力较强的骨干分类网络、第一分割网络以及第二分割网络，从而得到准确性更高的目标特征图。由于第二分割网络由目标分割标签进行优化，将第二分割网络输出的目标特征图作为目标特征图，能够根据具有图像分类标签的图像块得到目标分割标签，从而提高标注图像块的效率，并且能够达到提高
语义分割的准确性的目的。
30.本技术的另一实施例中，训练完成后得到的目标特征图指的是非训练过程中得到的目标特征图，该目标特征图可以是在预测阶段对图像块进行处理得到的目标特征图，在此不作具体限定。
31.本实施例中，通过采用包括有上述步骤s110至步骤s150的弱监督语义分割方法，获取输入的图像块，图像块均对应设置有图像分类标签；利用骨干分类网络对图像块进行分类处理，得到分类特征图，分类特征图的尺寸各不相同，分类特征图包括分类处理后输出的目标分类特征图和分类处理中不输出的中间分类特征图；根据目标分类特征图得到类别激活图，利用图像分类标签和类别激活图对骨干分类网络的分类参数进行调整；利用第一分割网络对中间分类特征图进行第一分割处理，得到分割特征图，其中，每一个中间分类特征图均对应有一个第一分割网络；利用类别激活图以及分割特征图，生成伪分割标签；根据伪分割标签对第一分割网络的第一分割参数进行调整；利用第二分割网络对图像块进行第二分割处理，得到目标特征图；利用分割特征图生成目标分割标签，根据目标分割标签和目标特征图对第二分割网络的第二分割参数进行调整；将训练完成后得到的目标特征图作为语义分割结果，能够根据骨干分类网络得到的特征图进行分割，从而目标分割标签用于第二分割网络，从而能够填补在弱标注情况下，图像分类标签与分割任务之间的鸿沟，最终能够输出准确的语义分割结果，并大大提高标注图像块的效率。
32.在一实施例中，如图2所示，对弱监督语义分割方法进行进一步的说明，步骤s130还可以包括但不限于有步骤s210、步骤s220、步骤s230、步骤s240和步骤s250。
33.步骤s210：将中间分类特征图输入第一卷积层，得到第一结果特征图，第一卷积层具有1
×
1的卷积核，第一卷积层的通道数为256，第一卷积层的填充值是0。
34.本步骤中，将中间分类特征图输入第一卷积层，得到第一结果特征图，由于第一卷积层具有1
×
1的卷积核，第一卷积层的通道数为256，第一卷积层的填充值是0，得到的第一结果特征图的通道数为256，第一结果特征图的尺寸不变。
35.本技术另一实施例中，由于设置有填充值，在经过第一卷积层之后，能够使得第一结果特征图的尺寸与中间分类特征图的尺寸保持一致，卷积层的填充可以是相关技术中的任意卷积层的填充方式，例如填充0或者255，在此不作具体限定，填充得到的像素值是伪像素值，能够达到将中间分类特征图进行抽象化的目的。
36.步骤s220：将第一结果特征图输入第二卷积层，得到第二结果特征图，第二卷积层具有3
×
3的卷积核，第二卷积层的通道数为256，第二卷积层的填充值是1。
37.本步骤中，将第一结果特征图输入第二卷积层，得到第二结果特征图，由于第二卷积层具有3
×
3的卷积核，第二卷积层的通道数为256，第二卷积层的填充值是1，得到的第二结果特征图的通道数为256，第二结果特征图的尺寸不变。
38.本技术另一实施例中，由于设置有填充值，在经过第二卷积层之后，能够使得第二结果特征图的尺寸与第一结果特征图的尺寸保持一致，卷积层的填充可以是相关技术中的任意卷积层的填充方式，例如填充0或者255，在此不作具体限定，填充得到的像素值是伪像素值，能够达到将第一结果特征图进行抽象化的目的。
39.步骤s230：将第二结果特征图输入第三卷积层，得到第三结果特征图，第三卷积层具有5
×
5的卷积核，第三卷积层的通道数为256，第三卷积层的填充值是2。
40.本步骤中，将第二结果特征图输入第三卷积层，得到第三结果特征图，由于第三卷积层具有5
×
5的卷积核，第三卷积层的通道数为256，第三卷积层的填充值是2，得到的第三结果特征图的通道数为256，第三结果特征图的尺寸不变。
41.本技术另一实施例中，由于设置有填充值，在经过第三卷积层之后，能够使得第三结果特征图的尺寸与第二结果特征图的尺寸保持一致，卷积层的填充可以是相关技术中的任意卷积层的填充方式，例如填充0或者255，在此不作具体限定，填充得到的像素值是伪像素值，能够达到将第二结果特征图进行抽象化的目的。
42.步骤s240：将第一结果特征图、第二结果特征图和第三结果特征图进行级联处理，得到通道扩展特征图。
43.本步骤中，将第一结果特征图、第二结果特征图和第三结果特征图进行级联处理，即是说，得到的通道扩展特征图的尺寸不变，通道数增大，在一个可选的实施方式中，第一结果特征图、第二结果特征图和第三结果特征图的通道数均是256，得到的通道扩展特征图的通道数变成768。得到通道扩展特征图是为了便于后续步骤中得到分割特征图。
44.步骤s250：对通道扩展特征图进行全连接激活处理，得到分割特征图，其中，分割特征图的通道数与图像分类标签中标签的数量相同。
45.本步骤中，全连接激活处理可以是使用相关技术中任意全连接层以及激活函数来对通道扩展特征图进行全连接激活处理，例如设置有卷积核为1
×
1，通道数等于图像分类标签中标签的数量的卷积层作为全连接层，激活函数使用的是softmax激活函数。
46.本实施例中，通过采用包括有上述步骤s210至步骤s250的弱监督语义分割方法，将中间分类特征图输入第一卷积层，得到第一结果特征图；将第一结果特征图输入第二卷积层，得到第二结果特征图；将第二结果特征图输入第三卷积层，得到第三结果特征图；将第一结果特征图、第二结果特征图和第三结果特征图进行级联处理，得到通道扩展特征图；对通道扩展特征图进行全连接激活处理，得到分割特征图，根据本技术的技术方案，得到经过激活的分割特征图，已经经过归一化，从而能够达到提高对第二分割网络的训练效率的目的。
47.值得注意的是，由于每一个中间分类特征图均对应设置有一个第一分割网络，利用第一分割网络对中间分类特征图进行第一分割处理，指的是利用中间分类特征图对应的第一分割网络对中间分类特征图进行第一分割处理，因此，每一个中间分类特征图均可以对应生成一个分割特征图。
48.在一实施例中，如图3所示，对弱监督语义分割方法进行进一步的说明，中间分类特征图包括相邻的第一分类特征图以及第二分类特征图，第一分类特征图的尺寸大于第二分类特征图的尺寸，中间分类特征图还包括与目标分类特征图相邻的第三分类特征图，伪分割标签包括第一分割标签和第二分割标签，步骤s130还可以包括但不限于有步骤s310、步骤s320、步骤s330和步骤s340。
49.步骤s310：对类别激活图进行上采样处理，得到类别分割特征图，其中，类别分割特征图的尺寸与第三分类特征图的尺寸相同。
50.本步骤中，中间分类特征图包括第三分类特征图,第三分类特征图与目标分类特征图相邻，对类别激活图进行上采样处理，得到尺寸与第三分类特征图的尺寸相同的类别分割特征图，得到类别分割特征图是为了便于后续步骤中生成第一分割标签。
51.步骤s320：将类别分割特征图以及将类别分割特征图归一化处理后得到的特征图投射在预设的第一阈值，生成第一分割标签。
52.本步骤中，第一分割标签是像素级的分割标签，将类别分割特征图以及将类别分割特征图归一化处理后得到的特征图投射在预设的第一阈值，即是说，将类别分割特征图的像素以及将类别分割特征图归一化处理后得到的特征图的像素进行标注以得到第一分割标签。
53.本技术的另一实施例中，参照图8，图像分类标签中标签的数量为4，将类别激活图上采样到，利用f4生成第一分割标签的公式如下：其中，threshold1表示的是经过相关技术中的threshold函数得到的阈值1，即预设的第一阈值，表示归一化后的类别激活图f4，将类别激活图f4以每通道的特征图为单位归一化的公式如下：当图像分类标签y
gt
在第j个类别标注为1，取f4中在第j通道获得最大值的坐标(u,v)，且大于预设的第一阈值，则在第一分割标签y
seg1
中标记该坐标为类别j。这样设计的原因是，当，表明图像块中存在类别为j的坐标，取类别激活图f4中预测为类别j的坐标，且预测值要大于第一阈值，这样该坐标是类别j的概率更大，则分配类别标签j给该坐标。其余坐标分配标签255，代表该坐标不属于4个类别中的任何类别，原因是类别激活图对该坐标的预测与y
gt
不符，或者预测值小于第一阈值。
54.步骤s330：将第二分类特征图得到的分割特征图进行上采样处理，得到第一分割特征图，其中，第一分割特征图的尺寸与第一分类特征图的尺寸相同。
55.本步骤中，第一分类特征图与第二分类特征图相邻，并且，第一分类特征图的尺寸大于第二分类特征图的尺寸，因此，将第二分类特征图得到的分割特征图进行上采样处理，能够得到尺寸与第一分类特征图的尺寸相同的第一分割特征图，得到第一分割特征图是为了便于后续步骤中生成第二分割标签。
56.步骤s340：将第一分割特征图投射在预设的第二阈值，生成第二分割标签。
57.本步骤中，第二分割标签是像素级的分割标签，将第一分割特征图投射在预设的第二阈值，即是说，将第一分割特征图投的像素进行标注以得到第二分割标签。
58.本技术另一个实施例中，参照图8，将第二分类特征图得到的分割特征图上采样到尺寸，利用s1生成第二分割标签的公式如下：其中，由于第二分类特征图得到的分割特征图s1是经过相关技术中的softmax激
活函数激活得到，由于s1的值在0到1范围内，不需要再对s1进行额外的归一化。
59.本实施例中，通过采用包括有上述步骤s310至步骤s340的弱监督语义分割方法，对类别激活图进行上采样处理，得到类别分割特征图，类别分割特征图的尺寸与第三分类特征图的尺寸相同；将类别分割特征图以及将类别分割特征图归一化处理后得到的特征图投射在预设的第一阈值，生成第一分割标签；将第二分类特征图得到的分割特征图进行上采样处理，得到第一分割特征图，第一分割特征图的尺寸与第一分类特征图的尺寸相同；将第一分割特征图投射在预设的第二阈值，生成第二分割标签，根据本技术的技术方案，通过将中间分类特征图以及类别激活图经过上采样操作后映射生成分割标签，从而便于对第一分割网络的训练，能够使用分类特征图生成伪分割标签，达到提高语义分割的准确性的目的。
60.在一实施例中，如图4所示，对弱监督语义分割方法进行进一步的说明，步骤s130还可以包括但不限于有步骤s410和步骤s420。
61.步骤s410：根据第一分割标签，对第三分类特征图对应的第一分割网络的第一分割参数进行调整。
62.本步骤中，第一分割标签是由类别激活图经过上采样后生成，第一分割标签的尺寸与第三分类特征图的尺寸相同，因此，可以根据第一分割标签，对第三分类特征图对应的第一分割网络的第一分割参数进行调整。
63.本技术另一实施例中，利用第一分割标签y
seg1
对第三分类特征图对应的第一分割网络的第一分割参数进行调整，分割损失函数l
seg1
的计算公式如下：在上式中，表示第一分割标签y
seg1
中取值不是255的像素数量。其中，对于标签为255的像素，通过类别激活图还不能较高置信地判定该像素的类别，所以，第一分割标签为255的像素不参与优化第一分割参数。而随着第一分割标签对第三分类特征图对应的第一分割网络的训练，该第一分割网络可以自动将标签为255的像素分类到与该像素语义最相似的一类，从而有助于后续生成更加准确的第二分割标签和目标分割标签。
64.步骤s420：根据第二分割标签，对第一分类特征图对应的第一分割网络的第一分割参数进行调整。
65.本步骤中，第二分割标签是由第二分类特征图对应的分割特征图经过上采样后生成，第二分割标签的尺寸与第一分类特征图的尺寸相同，因此，可以根据第二分割标签，对第一分类特征图对应的第一分割网络的第一分割参数进行调整。
66.本技术另一实施例中，利用第二分割标签y
seg2
优化由第一分类特征图得到的分割特征图，分割损失函数l
seg2
的计算公式如下：
在上式中，表示第二分割标签y
seg2
中取值不是255的像素数量。对于标签为255的像素，通过第二分类特征图得到的分割特征图s1还不能较高置信地判定该像素的类别，所以，第二分割标签为255的像素不参与优化第一分割参数，在一个可选的实施方式中，第二分割标签为255的像素可以是不处理或者设置为0。而随着第二分割标签对第一分类特征图对应的第一分割网络的训练，该第一分割网络可以自动将标签为255的像素分类到与该像素语义最相似的一类，从而有助于后续生成更加准确的目标分割标签。
67.本实施例中，通过采用包括有上述步骤s410至步骤s420的弱监督语义分割方法，根据第一分割标签，对第三分类特征图对应的第一分割网络的第一分割参数进行调整；根据第二分割标签，对第一分类特征图对应的第一分割网络的第一分割参数进行调整，能够使用分割标签以及对应分割特征图，从而实现优化第一分割网络的第一分割参数的目的。
68.值得注意的是，在训练过程中，根据分割损失函数能够对第一分割网络进行评估，从而便于后续对第一分割网络的第一分割参数进行调整，从而能够实现对第一分割网络进行训练的目的。
69.在一实施例中，如图5所示，对弱监督语义分割方法进行进一步的说明，步骤s140还可以包括但不限于有步骤s510和步骤s520。
70.步骤s510：对分割特征图进行上采样处理，得到第二分割特征图，其中，第二分割特征图的尺寸与图像块的尺寸相同。
71.本步骤中，第二分割特征图的尺寸与图像块的尺寸相同，即是说，对分割特征图进行上采样处理，直到输出的第二分割特征图的尺寸与图像块的尺寸相同。得到第二分割特征图是为了便于后续步骤中得到目标分割标签。
72.本技术另一实施例中，对分割特征图进行上采样处理，指的是对所有的分割特征图进行上采样处理，分割特征图的数量在此不做具体限定。
73.步骤s520：当只存在一个第二分割特征图，将第二分割特征图映射到预设的第三阈值，生成目标分割标签；或者，当存在多个第二分割特征图，将多个第二分割特征图相加后取平均，得到第三分割特征图，将第三分割特征图映射到预设的第三阈值，生成目标分割标签。
74.本步骤中，由第二分割特征图生成目标分割标签，当只存在一个第二分割特征图，将第二分割特征图映射到预设的第三阈值，生成目标分割标签；或者，当存在多个第二分割特征图，将多个第二分割特征图相加后取平均，得到第三分割特征图，将第三分割特征图映射到预设的第三阈值，生成目标分割标签，能够充分使用中间分类特征图生成的分割特征图来生成目标分割标签，从而提高生成的目标分割标签的准确性，能够达到提高语义分割的准确性的目的。
75.本技术另一实施例中，参照图8，图像块的尺寸为h
×
w，图像分类标签中标签的数量是4，存在两个第二分割特征图，分别是s1与s2。将s1与s2分别上采样到尺寸4
×h×
w，然后
s1与s2相加取平均。生成目标分割标签y
seg3
的公式如下：其中，threshold3表示的是经过相关技术中的threshold函数得到的阈值3，即是说，threshold3就是预设的第三阈值，当，表明图像块中存在类别j的坐标，取第三分割特征图中预测为类别j的坐标，且预测值要大于第三阈值，这样该坐标是类别j的概率更大，从而分配类别标签j给该坐标。
76.本实施例中，通过采用包括有上述步骤s510至步骤s520的弱监督语义分割方法，对分割特征图进行上采样处理，得到第二分割特征图，其中，第二分割特征图的尺寸与图像块的尺寸相同；当只存在一个第二分割特征图，将第二分割特征图映射到预设的第三阈值，生成目标分割标签；或者，当存在多个第二分割特征图，将多个第二分割特征图相加后取平均，得到第三分割特征图，将第三分割特征图映射到预设的第三阈值，生成目标分割标签，能够充分使用中间分类特征图生成的分割特征图来生成目标分割标签，从而提高生成的目标分割标签的准确性，能够达到提高语义分割的准确性的目的。
77.值得注意的是，利用目标分割标签y
seg3
优化由图像块得到的目标特征图，分割损失函数l
seg3
的计算公式如下：在上式中，表示目标分割标签y
seg3
中取值不是255的像素数量。其中，对于标签为255的像素，通过第二分割特征图还不能较高置信地判定该像素的类别，所以，目标分割标签为255的像素不参与优化第二分割网络的第二分割参数。而随着根据目标分割标签对第二分割网络的训练，该第二分割网络可以自动将标签为255的像素分类到与该像素语义最相似的一类。
78.在一实施例中，如图6所示，对弱监督语义分割方法进行进一步的说明，步骤s120还可以包括但不限于有步骤s610。
79.步骤s610：将目标分类特征图输入第四卷积层，得到类别激活图，其中，第四卷积层具有1
×
1的卷积核，第四卷积层的步长为1，第四卷积层的通道数等于图像分类标签中标签的数量。
80.本步骤中，第四卷积层具有1
×
1的卷积核，第四卷积层的通道数等于图像分类标签中标签的数量，将目标分类特征图输入第四卷积层后，得到的类别激活图尺寸与目标分类特征图的尺寸相同，类别激活图的通道数等于图像分类标签中标签的数量，第四卷积层的步长为1，从而能够对目标分类特征图的特征信心进行压缩再得到类别激活图，以使得类别激活图能够突出图像块中的关键部位的目的。
81.本实施例中，通过采用包括有上述步骤s610的弱监督语义分割方法，将目标分类特征图输入第四卷积层，得到类别激活图，其中，第四卷积层具有1
×
1的卷积核，第四卷积层的步长为1，第四卷积层的通道数等于图像分类标签中标签的数量，得到的类别激活图尺寸与目标分类特征图的尺寸相同，类别激活图的通道数等于图像分类标签中标签的数量，从而能够对目标分类特征图的特征信心进行压缩再得到类别激活图，以使得类别激活图能够突出图像块中的关键部位的目的。
82.在一实施例中，如图7所示，对弱监督语义分割方法进行进一步的说明，步骤s120还可以包括但不限于有步骤s710和步骤s720。
83.步骤s710：对类别激活图进行全局平均池化，得到分类输出结果。
84.本步骤中，全局平均池化（global average pooling， gap）指的是相关技术中的能够用于代替全连接层的全局平局池化，对类别激活图进行全局平均池化，得到分类输出结果，能够有效防止过拟合。得到分类输出结果是为了便于后续步骤中对骨干分类网络的分类参数进行调整。
85.步骤s720：对分类输出结果进行非线性激活处理，将激活后的分类输出结果输入损失函数，得到分类损失值，利用图像块的图像分类标签以及分类损失值，对骨干分类网络的分类参数进行调整。
86.本步骤中，对分类输出结果进行非线性激活处理，可以是将分类输出结果通过相关技术中的sigmoid函数进行非线性激活，将激活后的分类输出结果输入损失函数，得到分类损失值，从而再利用图像块的图像分类标签以及分类损失值，对骨干分类网络的分类参数进行调整，能够达到提高骨干分类网络的准确性的目的。
87.本技术另一实施例中，对于分类输出结果f5，激活函数可以是，表示f5的第i个元素。损失函数可以是二元交叉熵（binary cross entropy, bce）损失函数，图像分类标签中标签的数量为4，利用图像块的图像分类标签进行优化的公式如下：本实施例中，通过采用包括有上述步骤s710至步骤s720的弱监督语义分割方法，对类别激活图进行全局平均池化，得到分类输出结果；对分类输出结果进行激活处理，将激活后的分类输出结果输入损失函数，得到分类损失值，利用图像块的图像分类标签以及分类损失值，对骨干分类网络的分类参数进行调整，能够有效防止过拟合的情况，提高骨干分类网络的准确性，从而提高分类特征图以及类别激活图对图像分割标签的表征的准确性，达到提高语义分割的准确性的目的。
88.再次，本技术的一个实施例还提供了一种语义分割方法，包括：获取组织病理图像数据集，组织病理图像数据集指的是相关技术中的组织病理图像数据集，在组织病理图像数据集中具有多个组织病理图像。
89.对组织病理图像数据集进行切片处理，得到多个图像块，切片处理可以是先预设好需要得到的图像块的大小为3
×h×
w，再用滑窗从上到下，从左到右划过组织病理图像数据集进行全切片，得到图像块。
90.根据上述的弱监督语义分割方法对图像块进行训练，得到图像块的语义分割结果，上述实施例中的弱监督语义分割方法，例如，以上描述的图1中的方法步骤s110至s150、图2中的方法步骤s210至s250、图3中的方法步骤s310至s340、图4中的方法步骤s410至s420、图5中的方法步骤s510至s520、图6中的方法步骤s610、图7中的方法步骤s710至s720。
91.将图像块的语义分割结果进行拼接处理，得到组织病理图像数据集的语义分割结果，语义分割结果是图像块得到的目标特征图，将语义分割结果进行拼接，即是说，将多个图像块得到的目标特征图进行拼接，从而得到组织病理图像对应的语义分割结果。
92.另外，本技术的一个实施例还提供了一种数据处理装置，该数据处理装置包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。
93.处理器和存储器可以通过总线或者其他方式连接。
94.存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
95.实现上述实施例的弱监督语义分割方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的弱监督语义分割方法，例如，执行以上描述的图1中的方法步骤s110至s150、图2中的方法步骤s210至s250、图3中的方法步骤s310至s340、图4中的方法步骤s410至s420、图5中的方法步骤s510至s520、图6中的方法步骤s610、图7中的方法步骤s710至s720。
96.此外，本技术的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述装置实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的弱监督语义分割方法，例如，执行以上描述的图1中的方法步骤s110至s150、图2中的方法步骤s210至s250、图3中的方法步骤s310至s340、图4中的方法步骤s410至s420、图5中的方法步骤s510至s520、图6中的方法步骤s610、图7中的方法步骤s710至s720。
97.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘（dvd）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。