用于训练网络模型的方法和装置与流程

本技术实施例属于计算机视觉领域，特别涉及一种用于训练网络模型的方法和装置。

背景技术：

1、当前，使用全监督学习的方式训练目标检测和/或实例分割网络模型性能最好，但是需要大量标注的图像数据，其中包括目标位置和像素级的分割掩码。人工手动标注这些数据是一项费时费力的任务，特别是对于大规模数据集和复杂场景。

技术实现思路

1、有鉴于此，本技术实施例提供了一种用于训练网络模型的方法和装置，能够提高网络模型的鲁棒性和性能。

2、第一方面，提供了一种用于训练网络模型的方法，该网络模型包括教师网络模型和学生网络模型，该方法包括：基于第一图像训练得到教师网络模型和第一学生网络模型，第一图像具有人工掩码；将第二图像输入到教师网络模型中，获得第二图像的第一预测掩码和第一预测掩码的不确定性值，第二图像不具有人工掩码；基于第一预测掩码的不确定性值，对第二图像进行处理；基于第一图像和处理后的第二图像训练第一学生网络模型，以得到第二学生网络模型。

3、在该实施例中，通过教师网络模型指导学生网络模型，使得无人工掩码的第二图像可以使用来训练网络模型，可以实现对训练所需人工标注成本的压缩，能够在少量人工标注数据量下提高网络模型的性能和泛化性。此外，通过引入对预测掩码的不确定性值的估计，能够提高预测掩码的精度，从而提高了网络模型的鲁棒性和性能，扩大网络模型的使用场景，可以广泛应用于图像处理、计算机视觉和人工智能等领域。

4、在一种可能的实现方式中，方法还包括：将第二图像输入到第一学生网络模型中，获得第二图像的第二预测掩码和第二预测掩码的不确定性值；基于第一预测掩码的不确定性值，对第二图像进行处理，包括：在第一预测掩码的不确定性值小于第二预测掩码的不确定性值的情况下，确定将第二图像用于训练第一学生网络模型；基于第一图像和处理后的第二图像训练第一学生网络模型，以得到第二学生网络模型，包括：基于利用人工掩码标注的第一图像和利用第一预测掩码标注的第二图像训练第一学生网络模型，以得到第二学生网络模型。

5、在该实施例中，只有教师网络模型输出的不确定性值小于第一学生网络模型输出的不确定性值时，才进行教师网络模型输出的预测掩码的学习，能够降低由于引入半监督学习过程中自动化打伪标签的噪声被网络模型所学习的概率。

6、在一种可能的实现方式中，方法还包括：对第一预测掩码进行细化，得到第三预测掩码；基于第一预测掩码的不确定性值，对第二图像进行处理，包括：对采用第一预测掩码的不确定性值对第三预测掩码进行加权处理，得到第四预测掩码；基于第一图像和处理后的第二图像训练第一学生网络模型，以得到第二学生网络模型，包括：基于利用人工掩码标注的第一图像和利用第四预测掩码标注的第二图像训练第一学生网络模型，以得到第二学生网络模型。

7、在该实施例中，通过细化教师网络模型对无人工掩码批注的第二图像输出的预测掩码，并将细化后的预测掩码作为第二图像的预测掩码送入学生网络模型进行训练，能够提高学生网络模型的性能。

8、在一种可能的实现方式中，方法包括：利用第一图像训练网络模型时，获取第一图像的第五预测掩码；基于第一图像训练得到教师网络模型和学生网络模型，包括：基于第五预测掩码中每个位置的预测掩码、人工掩码图像中每个位置的人工掩码、网络模型预测每个位置为前景的概率以及第五预测掩码中的每个位置的不确定性值的约束关系，训练得到网络模型中的不确定性估计网络模型。

9、在该实施例中，基于由具有人工掩码的第一图像的预测掩码与该人工掩码、网络模型预测为前景的概率以及不确定性值的约束关系，训练得到网络模型中的不确定性估计网络模型，有利于减少由于引入半监督学习过程中对无人工掩码的第二图像预测的掩码不准所带来的干扰。

10、在一种可能的实现方式中，约束关系为：其中，dice为第五预测掩码和人工掩码图像的集合相似度度量函数；bce是第五预测掩码和人工掩码图像中每个位置的二值交叉熵；gx是人工掩码图像中每个位置的人工掩码，dx是网络模型预测每个位置为前景的概率，σx是每个位置的不确定性值。

11、在该实施例中，采用的约束关系训练不确定性估计网络模型，能够更好地减少噪声标签对网络训练的影响。

12、在一种可能的实现方式中，方法还包括：确定第一预测掩码中每个位置的自信息；基于每个位置的自信息，确定第一预测掩码中的边缘区域。

13、在该实施例中，通过自信息确定预测掩码中的边缘区域，自信息越大的位置它的高频信息越大，说明越靠近目标对象的边缘，以此促进网络模型对目标边缘高频信号的感知，从而优化边缘的分割效果。

14、在一种可能的实现方式中，确定第一预测掩码中每个位置的自信息，包括：基于第一预测掩码中当前位置的预测掩码的概率以及相邻位置的预测掩码的概率，确定第一预测掩码中每个位置的自信息。

15、在该实施例中，基于预测掩码中的当前位置的预测掩码的概率以及相邻位置的预测掩码的概率，确定预测掩码中每个位置的自信息，在得到每个位置的自信息之后，可以将其作为每个位置预测掩码损失的权重，从而驱使网络模型更加关注自信息越大的区域，即目标的边缘区域，从而可以优化边缘的分割效果。

16、在一种可能的实现方式中，基于第一预测掩码中当前位置的预测掩码的概率以及相邻位置的预测掩码的概率，确定第一预测掩码中每个位置的自信息，包括：基于以下公式，确定第一预测掩码中每个位置的自信息：其中，si为第i个位置的自信息，fi是第i个位置的预测掩码的概率，fj是第i个位置周围邻域n(i)的第j个位置的预测掩码的概率，ω和b是高斯核的权重系数和带宽。

17、在该实施例中，采用确定预测掩码中每个位置的自信息，有利于优化边缘的分割效果。

18、在一种可能的实现方式中，方法还包括：利用第二学生网络模型反馈的模型参数，更新教师网络模型的参数。

19、在该实施例中，利用第二学生网络模型反馈的模型参数，更新教师网络模型的参数，能够防止由于类别不平衡带来的偏置预测问题。

20、第二方面，提供了一种用于训练网络模型的装置，该网络模型包括教师网络模型和学生网络模型，装置包括：训练模块，用于基于第一图像训练得到教师网络模型和第一学生网络模型，第一图像具有人工掩码；获取模块，用于将第二图像输入到教师网络模型中，获得第二图像的第一预测掩码和第一预测掩码的不确定性值，第二图像不具有人工掩码；处理模块，用于基于第一预测掩码的不确定性值，对第二图像进行处理；训练模块还用于：基于第一图像和处理后的第二图像训练第一学生网络模型，以得到第二学生网络模型。

21、在一种可能的实现方式中，获取模块还用于：将第二图像输入到第一学生网络模型中，获得第二图像的第二预测掩码和第二预测掩码的不确定性值；处理模块具体用于：在第一预测掩码的不确定性值小于第二预测掩码的不确定性值的情况下，确定将第二图像用于训练第一学生网络模型；训练模块具体用于：基于利用人工掩码标注的第一图像和利用第一预测掩码标注的第二图像训练第一学生网络模型，以得到第二学生网络模型。

22、在一种可能的实现方式中，处理模块还用于：对第一预测掩码进行细化，得到第三预测掩码；处理模块具体用于：对采用第一预测掩码的不确定性值对第三预测掩码进行加权处理，得到第四预测掩码；训练模块具体用于：基于利用人工掩码标注的第一图像和利用第四预测掩码标注的第二图像训练第一学生网络模型，以得到第二学生网络模型。

23、在一种可能的实现方式中，获取模块还用于：利用第一图像训练网络模型时，获取第一图像的第五预测掩码；训练模块具体用于：基于第五预测掩码中每个位置的预测掩码、人工掩码图像中每个位置的人工掩码、网络模型预测每个位置为前景的概率以及第五预测掩码中的每个位置的不确定性值的约束关系，训练得到网络模型中的不确定性估计网络模型。

24、在一种可能的实现方式中，约束关系为：其中，dice为第五预测掩码和人工掩码图像的集合相似度度量函数；bce是第五预测掩码和人工掩码图像中每个位置的二值交叉熵；gx是人工掩码图像中每个位置的标注，dx是网络模型预测每个位置为前景的概率，σx是每个位置的不确定性值。

25、在一种可能的实现方式中，处理模块还用于：确定第一预测掩码中每个位置的自信息；基于每个位置的自信息，确定第一预测掩码中的边缘区域。

26、在一种可能的实现方式中，处理模块具体用于：基于第一预测掩码中当前位置的预测掩码的概率以及相邻位置的预测掩码的概率，确定第一预测掩码中每个位置的自信息。

27、在一种可能的实现方式中，处理模块具体用于：基于以下公式，确定第一预测掩码中每个位置的自信息：其中，si为第i个位置的自信息，fi是第i个位置的预测掩码的概率，fj是第i个位置周围邻域n(i)的第j个位置的预测掩码的概率，ω和b是高斯核的权重系数和带宽。

28、在一种可能的实现方式中，装置还包括：更新模块，用于利用第二学生网络模型反馈的模型参数，更新教师网络模型的参数。

29、第三方面，提供了一种目标检测和/或实例分割的方法，该方法利用如第一方面及其第一方面中任一种可能的实现方式中的方法训练得到的第二学生模型进行的。

30、第四方面，提供了一种电子设备，包括存储器和处理器，存储器用于存储指令，处理器用于读取指令并根据指令执行如第一方面及其第一方面中任一种可能的实现方式中的方法。

31、第五方面，提供了一种计算机可读存储介质，用于存储计算机程序，计算机程序使得计算机执行如第一方面及其第一方面中任一种可能的实现方式中的方法。

32、第六方面，提供了一种芯片，包括处理器，用于从存储器中调用并运行计算机程序，使得安装有芯片的设备执行如第一方面及其第一方面中任一种可能的实现方式中的方法。

33、第七方面，提供了一种计算机程序，计算机程序使得计算机执行如第一方面及其第一方面中任一种可能的实现方式中的方法。

34、第八方面，提供了一种程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行如第一方面及其第一方面中任一种可能的实现方式中的方法。