一种半监督图像分割方法、系统、电子设备及存储介质

本发明涉及图像分割，特别是涉及一种半监督图像分割方法、系统、电子设备及存储介质。

背景技术：

1、本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。

2、图像分割是计算机视觉中的一个基本问题，其目的是推断图像中所有像素的语义标签。在过去的十年中，随着大规模数据集的出现以及卷积神经网络和分割模型的快速发展，图像分割已经取得了显著的进步。

3、由于图像采集设备存在设备差异性及采集图像的环境条件不同，导致需要分割的部分图像存在特征纹理不清晰、特征差异性大等特点，影响图像分割的准确性。若一味对图像分割方法进行改进，则会导致图像分割模型过大，影响图像分割的实时性和可移植性。

4、全监督图像分割方法通过从大量的密集注释图像中进行归纳来学习如何分配像素级语义标签，尽管这类方法取得了迅速的进展，但是逐像素的手动标记是昂贵且费力的，阻碍了这类方法在诸如医学图像分析等场景下的部署。

5、为了降低图像标注的成本，人们进一步提出了半监督学习方法来利用少量的标注数据和大量的未标注数据训练图像分割模型。目前深度学习中占主导地位的半监督学习方法有自训练、一致性正则化、对抗学习等。虽然这些方法已具有一定的建设性，但如何更有效地利用未标注的数据仍然是这些半监督学习方法最关心的问题之一。

6、大多数现有的半监督学习方法利用未标注数据的预测来获取信息。然而，由于标注数据的匮乏，模型对未标注数据预测的质量是无法保证的。低质量的预测会使模型朝着错误的方向学习，进而阻碍模型性能的提升。难样本包含了大量有价值的信息，但这类样本通常会使模型产生低质量的预测。

7、为了解决难样本利用效率低的问题，目前主流的方法是进行样本的自适应加权，使得网络更加关注对难样本的学习。最典型的方法是利用熵值从不确定性的角度来衡量样本的难易，基于熵值的样本自适应加权方法，一方面，它引导网络在无监督学习中更多地关注预测不确定性低的样本；另一方面，它引导网络在有监督学习中更多地关注不确定性高的样本。

8、然而，熵值虽然可以从不确定性的角度去评估样本的难易，但是不能从预测准确性的角度去评估样本的难易。然而预测准确性也是考虑样本难易的一个角度，预测准确性低的样本通常也代表着网络学习不好的一类样本，也应被视作难样本。仅仅考虑预测不确定性而不考虑预测准确性，就会导致网络无法关注对不确定性低且预测准确性低的样本的学习。比如一个样本被非常确定的预测错了，那么该样本对网络来说是一个难样本。由于这个样本的预测不确定性是低的，如果仅仅从不确定性的角度计算样本权重就会赋予该样本一个比较小的权重，进而使得网络忽略了对这类难样本的学习。

9、在无监督训练场景下，网络对未标记样本的预测质量是无法保证的。如果仅仅从不确定性的角度去评估样本的难易，而忽略了从预测准确性的角度去评估样本的难易，就会在网络训练过程中出现对预测不确定性高且预测准确性低的样本赋予较大权重的情况，进而加剧了确认偏差的出现。比如，如果网络对某个未标记样本的预测是不准确的，那么就会针对该样本产生错误的伪标签。然而，如果网络对该未标记样本的预测是不确定的，也就意味着当从不确定性的角度去评估样本的难易时，会给该未标记样本赋予较大的权重，进而使得网络更加关注对该未标记样本的学习。但是该未标记样本对应的伪标签是不准确的，这就会使得网络加深对错误信息的学习，进而会加剧确认偏差的出现。

10、另外，对监督训练而言，预测不确定性低且预测准确性低的标记样本往往也包含大量有价值的信息；然而现有的基于熵值的样本自适应加权方法恰恰忽略了对这类样本的关注，降低了对难样本的利用效率，影响了图像分割模型的精度。

11、现有的基于阈值伪标记的半监督方法大多是用预测置信度高于阈值的伪标签来训练模型，而简单地忽略了对其他伪标签的利用。从网络学习的角度来说，不同的样本的学习难度是不同的。未标记数据集中具有可靠预测结果的难样本通常会由于其预测置信度低于阈值而被网络忽略。

技术实现思路

1、为了解决现有技术的不足，本发明提供了一种半监督图像分割方法、系统、电子设备及计算机可读存储介质，根据监督学习和无监督学习之间的差异性提出了两种不同的样本自适应加权策略，以迫使模型专注于学习有价值的区域，提高图像分割的预测精度。

2、第一方面，本发明提供了一种半监督图像分割方法；

3、一种半监督图像分割方法，包括：

4、获取待分割图像；

5、将待分割图像输入训练好的图像分割模型进行处理，获取图像分割结果；

6、其中，训练所述图像分割模型具体包括：

7、构建标注数据集，基于标注数据集，通过标注驱动的样本自适应加权方法对所述图像分割模型进行监督训练；

8、构建无标注数据集，基于无标注数据集，通过稳定性驱动的样本自适应加权方法对所述图像分割模型进行无监督训练。

9、进一步的，所述基于标注数据集，通过标注驱动的样本自适应加权方法对所述图像分割模型进行监督训练包括：

10、将标注数据集中的标记图像输入所述图像分割模型，获取图像分割预测结果；

11、根据图像分割预测结果，通过蒙塔卡洛dropout方法对标记图像进行不确定性估计，获取不确定性权重；

12、根据图像分割预测结果，计算交叉熵损失；根据交叉熵损失和不确定性权重，获取标记样本重要性权重；

13、根据标记样本重要性权重和交叉熵损失，获取监督损失函数，利用监督损失函数对所述图像分割模型进行监督训练。

14、优选的，所述监督损失函数表示为：

15、，其中，为监督损失函数，为标记图像最小批次的大小，(·)为交叉熵损失，为标记样本重要性权重，为第i幅标记图像对应的标签，为第i幅标记图像的预测结果。

16、进一步的，所述基于无标注数据集，通过稳定性驱动的样本自适应加权方法对所述图像分割模型进行无监督训练包括：

17、将无标注数据集中的无标记图像进行弱增强和强增强后，分别并行输入两个相同的图像分割模型，对应获取图像分割预测结果；

18、通过蒙特卡洛dropout方法计算每个无标记样本在随机场景下的预测熵值，根据历史训练轮次的图像分割预测结果与当前训练轮次的预测结果，通过kl散度计算每个未标记图像的预测稳定性得分，获取重要性权重；

19、根据重要性权重，自适应调整伪标签权重阈值，获取无监督损失函数，以利用无监督损失函数对所述图像分割模型进行无监督训练。

20、优选的，所述基于无标注数据集，通过稳定性驱动的样本自适应加权方法对所述图像分割模型进行无监督训练还包括：

21、将无标注数据集中的无标记图像进行弱增强和强增强后，分别并行输入两个相同的图像分割模型，对应获取第一图像分割预测结果和第二图像分割预测结果；

22、将第一图像分割预测结果映射为伪标签，并结合第二图像分割预测结果计算交叉熵损失，以作为初始的无监督损失。

23、优选的，利用每个训练轮次结束后保存的模型检查点获得样本的历史预测结果。

24、优选的，所述无监督损失函数表示为：

25、，其中，为无监督损失函数，为未标记数据的最小批次，(·)为条件函数，为未标记样本的重要性权重，为未标记图像的高度，为未标记图像的宽度，为未标记图像的不确定性估计结果中的第j个元素，为自适应阈值，为最大化函数，用于计算类别预测概率的最大值，为交叉熵损失，为对函数求参数的函数，用于获取预测概率最大的类别对应的索引，为预测概率，为弱增强操作，为第i幅未标记图像中的第j个像素值，为预测熵值。

26、第二方面，本发明提供了一种半监督图像分割系统；

27、一种半监督图像分割系统，包括：

28、获取模块，被配置为：获取待分割图像；

29、图像分割模块，被配置为：将待分割图像输入训练好的图像分割模型进行处理，获取图像分割结果；

30、其中，训练所述图像分割模型具体包括：

31、构建标注数据集，基于标注数据集，通过标注驱动的样本自适应加权方法对所述图像分割模型进行监督训练；

32、构建无标注数据集，基于无标注数据集，通过稳定性驱动的样本自适应加权方法对所述图像分割模型进行无监督训练。

33、第三方面，本发明提供了一种电子设备；

34、一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述半监督图像分割方法的步骤。

35、第四方面，本发明提供了一种计算机可读存储介质；

36、一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述半监督图像分割方法的步骤。

37、与现有技术相比，本发明的有益效果是：

38、1、本发明提供的技术方案，为了在提高图像分割的准确性和实时性同时，不影响图像分割模型的整体架构，依据监督训练和无监督训练之间的差异性提出了两种不同的样本重要性自适应加权方法，迫使模型专注于学习有价值的区域，在对样本加权过程中充分考虑了模型的训练场景以及预测结果的准确性和不确定性，实现了在不引入较大确认偏差的情况下对难样本的高效利用。

39、2、本发明提供的技术方案，针对监督训练过程，提出了一种标注驱动的样本自适应加权方法，针对监督训练场景的特点在样本的预测不确定性信息基础上进一步引入了标注信息实现了对标记样本的高效加权，解决了传统方法对预测不确定性低但是准确性低的标记样本中包含的有价值信息的利用率低的问题。

40、3、对于无监督训练而言，预测不确定性高且预测准确性高的无标记样本通常也包含大量有价值的信息；本发明提供的技术方案，针对无监督训练过程，提出一种稳定性驱动的样本自适应加权方法用于未标记样本的自适应加权，通过计算样本的预测稳定性得分来评估样本的预测准确性，并将预测准确性信息与不确定信息进行结合来计算未标记样本的重要性权重，进而在抑制确认偏差出现的同时提高了对难样本中包含的有价值信息的利用效率。

41、4、本发明提供的技术方案，提出了一种基于样本难易和预测可靠性的阈值自适应调整策略来进一步提高对未标记数据集中难样本的利用效率。