一种路面病害图像自动标注方法、系统、设备及存储介质

本发明涉及图像处理，特别是涉及一种路面病害图像自动标注方法、系统、设备及存储介质。

背景技术：

1、道路在长时间受天气和外力等因素的影响下，路面状况会遭受不同程度的破坏，从而衍生出各种路面病害状况，产生潜在的交通安全隐患。及时发现道路中存在的病害问题并进行检修，对于防止路面状况进一步恶化以及预防各类交通安全问题方面有着重要意义。

2、随着深度学习在计算机视觉领域的发展，提出的通过收集监测路段的路面病害数据，训练病害检测模型再用于后续路面病害检测的路面病害自动标注技术已取代了传统人工病害检测模式，在一定程度上能节约检测成本和提高检测效率。然而，现有自动标注技术的应用必须使用大量有标签数据对检测模型进行训练，无标签数据只能作为被检测对象未在模型训练方面提供价值，而实际应用场景中有标签数据的获取相对于无标签数据而言较为困难，检测模型的训练效果和标注精度会因参与训练的有标签数据量较小而有所欠缺。因此，亟需提供一种能够有效利用无标签数据训练模型的方法，以更好地提升检测模型训练效果和检测精度。

技术实现思路

1、本发明的目的是提供一种路面病害图像自动标注方法，通过基于病害图像生成模型和病害检测模型对有标注数据集进行样本扩充的交替协作训练方式，能够实现半监督模式下无标注数据的充分利用，有效提升病害检测模型的训练效果和检测精度。

2、为了实现上述目的，有必要针对上述技术问题，提供一种路面病害图像自动标注方法、系统、设备及存储介质。

3、第一方面，本发明实施例提供了一种路面病害图像自动标注方法，所述方法包括以下步骤：

4、构建包含多种病害类别的路面图像数据集；所述路面图像数据集包括有标注路面图像集和无标注路面图像集；

5、根据所述有标注路面图像集训练构建病害图像生成模型，以根据所述病害图像生成模型对所述有标注路面图像集进行第一次样本扩充更新；

6、根据扩充更新后的所述有标注路面图像集训练构建病害检测模型，以根据所述病害检测模型和所述无标注路面图像集对所述有标注路面图像集进行第二次样本扩充更新；

7、根据扩充更新后的所述有标注路面图像集对所述病害图像生成模型和所述病害检测模型进行循环交替迭代训练，以获取达到预设循环训练终止条件的所述病害检测模型作为路面病害标注模型；

8、根据所述路面病害标注模型对待标注路面病害图像进行病害识别标注，得到对应的病害标注图像。

9、进一步地，所述构建包含多种病害类别的路面图像数据集的步骤包括：

10、获取包含多种病害类别的原始路面图像数据集；所述原始路面图像数据集同时包括有标注路面病害数据集和无标注路面病害数据集；

11、分别对所述有标注路面病害数据集和所述无标注路面病害数据集进行数据增强处理，得到对应的有标注路面图像集和无标注路面图像集。

12、进一步地，所述根据所述有标注路面图像集训练构建病害图像生成模型的步骤包括：

13、将所述有标注路面图像集中各个有标注路面图像进行病害区域裁切，得到有标注病害图像集；

14、根据所述有标注病害图像集，对预设生成对抗网络进行训练，得到病害图像生成模型。

15、进一步地，所述预设生成对抗网络为wgan-gp网络。

16、进一步地，所述根据所述病害图像生成模型对所述有标注路面图像集进行第一次样本扩充更新的步骤包括

17、根据所述有标注病害图像集和所述病害图像生成模型，生成伪病害图像集；

18、根据所述伪病害图像集，对所述有标注路面图像集中的各个有标注路面图像中的病害区域进行随机替换，得到生成路面图像集；

19、将所述生成路面图像集并入所述有标注路面图像集进行第一次样本扩充更新。

20、进一步地，所述根据所述伪病害图像集，对所述有标注路面图像集中的各个有标注路面图像中的病害区域进行随机替换，得到生成路面图像集的步骤包括：

21、对所述伪病害图像集进行随机采样，得到多个待嵌入伪病害图像；

22、通过泊松融合法，将各个待嵌入伪病害图像覆盖至目标路面图像的病害区域，生成对应的生成路面图像；所述目标路面图像为从所述有标注路面图像集中随机选出的有标注路面图像。

23、进一步地，所述根据所述病害检测模型和所述无标注路面图像集对所述有标注路面图像集进行第二次样本扩充更新的步骤包括：

24、将所述无标注路面图像集输入所述路面病害标注模型进行病害识别检测，得到对应的路面病害检测结果集；

25、获取所述路面病害检测结果集中有路面病害标注的路面图像，并将所述路面图像并入所述有标注路面图像集进行第二次样本扩充更新。

26、第二方面，本发明实施例提供了一种路面病害图像自动标注系统，所述系统包括：

27、数据构建模块，用于构建包含多种病害类别的路面图像数据集；所述路面图像数据集包括有标注路面图像集和无标注路面图像集；

28、第一扩充模块，用于根据所述有标注路面图像集训练构建病害图像生成模型，以根据所述病害图像生成模型对所述有标注路面图像集进行第一次样本扩充更新；

29、第二扩充模块，用于根据扩充更新后的所述有标注路面图像集训练构建病害检测模型，以根据所述病害检测模型和所述无标注路面图像集对所述有标注路面图像集进行第二次样本扩充更新；

30、循环迭代模块，用于根据扩充更新后的所述有标注路面图像集对所述病害图像生成模型和所述病害检测模型进行循环交替迭代训练，以获取达到预设循环训练终止条件的所述病害检测模型作为路面病害标注模型；

31、病害标注模块，用于根据所述路面病害标注模型对待标注路面病害图像进行病害识别标注，得到对应的病害标注图像。

32、第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

33、第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

34、上述本技术提供了一种路面病害图像自动标注方法、系统、设备和存储介质，通过所述方法实现了构建包含多种病害类别的有标注路面图像集和无标注路面图像集，根据有标注路面图像集训练构建病害图像生成模型以根据病害图像生成模型对有标注路面图像集进行第一次样本扩充更新，根据扩充更新后的有标注路面图像集训练构建病害检测模型以根据路面病害标注模型和无标注路面图像集对有标注路面图像集进行第二次样本扩充更新，并根据扩充更新后的有标注路面图像集对病害图像生成模型和病害检测模型进行循环交替迭代训练，以获取达到预设循环训练终止条件的病害检测模型作为路面病害标注模型，以及根据路面病害标注模型对待标注路面病害图像进行病害识别标注得到对应的病害标注图像的技术方案。与现有技术相比，该路面病害图像自动标注方法，通过基于病害图像生成模型和病害检测模型对有标注数据集进行样本扩充的交替协作训练方式，能够实现半监督模式下无标注数据的充分利用，有效提升病害检测模型的训练效果和检测精度。