建立图像分析模型的系统及其数据增强方法与流程

本发明涉及机器学习(machine learning)技术，特别涉及一种建立图像分析模型的系统及其数据增强(data augmentation)方法。

背景技术：

1、自动驾驶的应用可涉及各式各样的机器学习模型，诸如物体检测(objectdetection)模型、物体识别(object recognition)模型，及距离(或深度)估计(distance/depth estimation)模型等。这些模型的建立，需要大量已标注(labeled)的样本图像作为训练数据。然而，某些特殊场景，例如低可见度的场景，或者含有罕见目标物体的场景，经常缺少适宜的样本图像，而使得模型在这些特殊场景下存在性能较差的问题。

2、以低可见度场景而言，包含夜间拍摄的场景、有限光源的场景(例如地下停车场中、隧道中或浓密树荫下)，以及特殊天候的场景(例如浓雾、暴雨、暴雪、沙尘暴或雾霾)，其图像本身不清晰、目标边界不明确，因此人工标注成本高、样本少，且难以保证标签的精确度。此外，低可见度场景下常见的曝光不平衡或运动模糊等干扰因素，又会使上述问题雪上加霜。目前的解决方案是采用某些影像处理技术，例如降躁(noise reduction)、模糊抑制(blur reduction)及亮度增强(brightness enhancement)等，先使图像清晰或者至少更贴近一般场景，然后再将经处理的图像输入模型。然而，这种作法需要耗用较多的运算资源及运算时间，在有限的成本下难以满足自动驾驶分秒必争的即时需求。

3、以含有罕见目标物体的场景而言，诸如三角锥、护柱、堆高机、压路机之类的目标物体在道路上较为罕见，其样本图像搜集相对不易，在模型的训练数据集中占比甚低，因而导致模型对这些目标物体的检测或识别效果不佳。典型的解决方案是采用过采样(oversampling)或欠采样(undersampling)的作法来调整含有罕见目标物体的样本图像在训练数据集中的比例，或者是采用影像处理的技术将同一样本图像中的罕见目标复制出多个。然而，上述这些作法会引入过多同质性高的样本或特征，导致模型出现过拟合(overfitting)现象，会干扰甚至阻碍模型学习其他目标物体的特征。

4、对于上述问题，还有一种已知的解决方案，是使用生成对抗网络(generativeadversarial network；gan)来生成更多与特殊场景的图像具有类似特征的样本图像，以扩大特殊场景的样本数。然而，该类作法仍存在一些挑战。举例来说，除了生成对抗网络本身性能不稳定、训练难收敛以外，其生成的样本在真实性和多样性方面的缺乏或者不平衡，还会使模型对于真实环境中的各种数据分布的适应性受限。此外，生成的样本图像还需要进行降躁及/或边缘平滑处理才能使样本更接近真实场景，无法略过此步骤而立即生成大量可用的样本图像。囿于生成对抗网络的本质，即使针对网络内部结构或者各种相关的超参数进行调校，仍然难以避免上述问题。

5、综上，上述现有技术普遍存在实现成本不斐、控制条件不灵活及/或生成样本不真实等问题。此外，上述现有技术也皆未涉及如何自动剔除无法满足实际应用场景的样本图像。因此，希望有一种建立图像分析模型的系统及其数据增强方法，能够解决上述问题。

技术实现思路

1、本发明的实施例提供一种建立图像分析模型的系统，其包含处理单元及储存单元。处理单元从储存单元载入程序，以执行样本生成程序、样本筛选程序及模型建立程序。样本生成程序包含将一组控制条件输入图像生成模型，以取得图像生成模型基于该组控制条件所生成的生成图像。样本生成程序更包含以模板图像相应的标签数据及生成图像组成生成样本。样本筛选程序包含基于一组筛选条件，选择性地剔除生成样本，以及将选择性剔除后所剩余的生成样本加入用于建立图像分析模型的训练数据集。模型建立程序包含使用训练数据集建立图像分析模型。

2、本发明的实施例还提供一种用于建立图像分析模型的数据增强方法，由计算机系统所实施。该方法包含将一组控制条件输入图像生成模型，以取得图像生成模型基于该组控制条件所生成的生成图像。该组控制条件包含模板图像及控制文本，控制文本包含关联于特殊场景的第一提示词(text prompt)。该方法更包含以模板图像相应的标签数据及生成图像组成生成样本。该方法更包含基于一组筛选条件，选择性地剔除生成样本，以及将选择性剔除后所剩余的生成样本加入用于建立图像分析模型的训练数据集的步骤。

3、本发明所提供的建立图像分析模型的系统及其数据增强方法，使得能以更低的实现成本及更灵活的控制条件生成多元丰富、贴近真实且具有品质保证的生成样本，由此提升图像分析模型对于真实世界的各种场景的适应性及整体性能。

技术特征：

1.一种建立图像分析模型的系统，其特征在于，包括处理单元及储存单元，其中该处理单元从该储存单元载入程序，以执行样本生成程序、样本筛选程序及模型建立程序；

2.根据权利要求1所述的系统，其特征在于，该特殊场景为低可见度场景；以及

3.根据权利要求2所述的系统，其特征在于，该组控制条件还包括第二指定区域参数组；

4.根据权利要求1所述的系统，其特征在于，该组控制条件还包括第三指定区域参数组；

5.根据权利要求1所述的系统，其特征在于，该特殊场景中含有罕见目标物体，及该第一提示词还关联于该罕见目标物体；以及

6.根据权利要求5所述的系统，其特征在于，该组控制条件还包括相应于该罕见目标物体的第四指定区域参数组；

7.根据权利要求6所述的系统，其特征在于，该控制文本还包括关联于该罕见目标物体的数量提示词；以及

8.根据权利要求5所述的系统，其特征在于，该控制文本还包括关联于该罕见目标物体的姿态提示词；以及

9.根据权利要求5所述的系统，其特征在于，该组筛选条件包括既有目标物体及相应的基准比例；以及

10.根据权利要求1所述的系统，其特征在于，该组筛选条件包括第一组真实样本、第二组真实样本及筛选模型；以及

11.一种用于建立图像分析模型的数据增强方法，由计算机系统所实施，其特征在于，该方法包括：

12.根据权利要求11所述的方法，其特征在于，该特殊场景为低可见度场景；以及

13.根据权利要求12所述的方法，其特征在于，该组控制条件还包括第二指定区域参数组；

14.根据权利要求11所述的方法，其特征在于，该组控制条件还包括第三指定区域参数组；

15.根据权利要求11所述的方法，其特征在于，该特殊场景中含有罕见目标物体，及该第一提示词还关联于该罕见目标物体；以及

16.根据权利要求15所述的方法，其特征在于，该组控制条件还包括相应于该罕见目标物体的第四指定区域参数组；

17.根据权利要求16所述的方法，其特征在于，该控制文本还包括关联于该罕见目标物体的数量提示词；以及

18.根据权利要求15所述的方法，其特征在于，该控制文本还包括关联于该罕见目标物体的姿态提示词；以及

19.根据权利要求15所述的方法，其特征在于，该组筛选条件包括既有目标物体及相应的基准比例；以及

20.根据权利要求11所述的方法，其特征在于，该组筛选条件包括第一组真实样本、第二组真实样本及筛选模型；以及

技术总结
本发明提供一种建立图像分析模型的系统及其数据增强方法。该方法包含第一步骤及第二步骤。第一步骤将一组控制条件输入图像生成模型，以取得图像生成模型基于该组控制条件所生成的生成图像。该组控制条件包括模板图像及控制文本，控制文本包括关联于特殊场景的第一提示词。第二步骤以模板图像相应的标签数据及生成图像组成生成样本。该方法还包括使用多组控制条件重复第一步骤及第二步骤，以取得多个生成样本。该方法还包含基于一组筛选条件，选择性地剔除生成样本，以及将选择性剔除后所剩余的生成样本加入用于建立图像分析模型的训练数据集。本发明能提升图像分析模型对于真实世界的各种场景的适应性及整体性能。

技术研发人员：王婷,方力,周子叶,李蛟,张朝晋
受保护的技术使用者：威盛电子股份有限公司
技术研发日：
技术公布日：2024/6/26