目标检测数据的自动标注系统及自动标注方法与流程

本发明涉及图像处理的，特别是指一种目标检测数据的自动标注系统及自动标注方法。

背景技术：

1、目标检测是计算机视觉中的重要技术，它的目的是在图像或视频中找出特定目标，并确定它们的位置和大小。该技术广泛应用于自动驾驶、视频监控与安防、物体识别与分类、医学影像分析等众多领域，给人们在生活和工作上带来了极大的便利和效益。但在实现一个目标检测算法过程中，数据集的数量和质量方面对其影响巨大，关乎到最终算法的表现。在目标检测算法中更大规模、高质量的数据集对其性能和鲁棒性有着正面影响，越多高质量数据会带来越好的目标检测算法效果，然而大量的高质量数据获取又非常难，用错误标注或缺少标注信息的低质量数据集训练，算法会学习到错误的信息或无法充分学习到目标的特征，导致在目标检测任务中的性能下降。例如coco、imagenet等知名的目标检测数据集都有着十万级、百万级的数量，同时经过严格筛选制作以保证质量。

2、因此数据集的标注制作需要极大的人力投入，而传统的人工标注存在以下的三个难题。第一，人工标注耗时长，人工标注目标检测数据需要消耗大量的时间和人力资源，标注人员需要逐个检测图像或视频中的目标，并绘制精确的边界框或进行像素级标注，标注过程通常是耗时耗力的，特别是对于大规模的数据集或复杂场景。第二。标注成本高昂，由于人工标注需要专业的标注人员进行耗时的工作，因此人力成本较高，标注人员需要接受培训和质量的控制，这进一步增加了成本，对于大规模数据集或长期任务，成本可能会显著增加。第三，标注质量难掌控，人工标注的准确性受到标注人员的主观判断和疲劳程度的影响，因此可能存在一定不稳定性。不同的标注人员会有不同的标注风格和标注，导致标注结果存在差异。此外，长时间的标注工作可能会导致疲劳和注意力的下降，从而影响标注质量。

3、这些缺点限制了人工标注方法在大规模目标检测任务中的可伸缩性和效率。为了克服这些缺点，研究人员和工程师们正在积极探索自动化标注技术，如半监督、弱监督的主动学习和迁移学习，以提高标注效率和准确性。这些技术可以减少对人工标注的依赖，降低成本，并提高标注的一致性和稳定性。所以部分企业或平台已经开始选择自动标注的方法。大多以主动学习或迁移学习的方法来实现自动标注。但这两种方法目前也存在以下两点缺陷：第一，主动学习方法对初始标注样本的依赖比较强，需要一些初始标注样本来启动学习过程，这就意味着在开始使用主动学习之前，我们需要进行一些人工标注工作，如果这些初始样标的质量不高或标准不准确，可能会对整个学习过程产生负面影响，导致自动标注的精度差，最终往往需要更多的人力投入去修正。第二，迁移学习中受领域差异的限制，迁移学习的前提是源领域和目标领域之间存在一定的相似性和相关性，两个领域之间的差异越大，迁移学习受影响程度也越大，导致自动标注的效果没有意义。

4、然而随着大模型的问世，现有部分公司已经开始接触并利用大模型进行辅助标注，例如一些集成sam模型的标注工具。但在实际使用中会发现存在以下不便之处：第一，从操作上来看，传统的人工标注对每个目标进行绘制边界框，而使用sam模型进行辅助标注也需要对每一张图的每一个目标进行鼠标点击或拖动交互，对比下来没有节省多少标注工作。第二，对设备性能条件有较高要求，通常无法在每个标注人员的电脑上部署大模型算法进行离线辅助标注。第三，在一些在线标注工具上，使用大模型辅助标注受网络以及模型推理耗时的限制，会发现交互出现延迟，反而严重影响标注效率。

5、有鉴于此，本发明人针对图像标注方法存在的诸多缺失及不便而深入构思，且积极研究改良试做而开发出本发明。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种可提高自动标注的效率与精度的目标检测数据的自动标注系统，可同时节省人力物力与时间，缩短数据集的制作周期可以加快目标检测算法的更新与迭代。

2、本发明的另一目的在于克服现有技术的不足，提供一种可提高自动标注的效率与精度的目标检测数据的自动标注方法，可同时节省人力物力与时间，缩短数据集的制作周期可以加快目标检测算法的更新与迭代。

3、为了达成上述目的，本发明的解决方案是：

4、一种目标检测数据的自动标注系统，其包括大模型模块、目标检测模块、匹配模块及修正工具；

5、大模型模块使用通用图像分割大模型，对输入到大模型模块的图像进行全图分割，输出任意不同对象的mask，全图分割结果称为语义图；

6、目标检测模块是基于待标注目标检测任务数据集下训练的粗目标检测模型，目标检测模块检测图像中的待测对象并输出粗标签，粗标签是用于确定语义图里符合条件的mask；

7、匹配模块将大模型模块输出的语义图和目标检测模块输出的粗标签进行匹配，将粗标签作为条件，在语义图上找出最符合的mask，求取符合条件的mask的最小外接矩形框，这个最小外接矩形框就是细标签，细标签紧贴待测对象；

8、修正工具接收匹配模块输出的少量细标签质量不好的图像进行修正。

9、进一步，所述修正工具是调整匹配模块输出的最小外接矩形框的四条边。

10、进一步，所述匹配模块采用面积计算方法进行匹配，循环遍历语义图中的每个mask，再循环遍历mask中每个像素，判断每个像素在哪个粗标签中，当某个mask的像素超过阈值都在某个粗标签中，则认为这个mask是粗标签所对应的对象，保留下来为下一步提取细标签做准备。

11、进一步，所述面积计算方法的伪代码为：

12、mask是语义图中的mask，pixel是mask中的像素；rough_bbox是粗标签(一个图里可能有多个粗标签，因此需要循环遍历所有bbox)；

13、is_in_rough_bbox()是判断像素是否在粗标签里的函数；

14、

15、一种目标检测数据的自动标注方法，其包括以下步骤：

16、s1：将同一图像分别输入大模型模块及目标检测模块；

17、s21：图像进入大模型模块后，通用图像分割大模型对输入到大模型模块的图像进行全图分割，输出带任意不同对象的mask的语义图；

18、s22图像进入目标检测模块，目标检测模块检测图像中的待测对象并输出粗标签，粗标签是用于确定语义图里符合条件的mask；

19、s3：s21输出的语义图与s22输出的粗标签分别输入到匹配模块中，匹配模块将大模型模块输出的语义图和目标检测模块输出的粗标签进行匹配，将粗标签作为条件，在语义图上找出最符合的mask；

20、s4：求取符合条件的mask的最小外接矩形框，最小外接矩形框就是用于训练的细标签，细标签紧贴待测对象；

21、s5：判断细标签是否需要修正，若需要修正则使用修正工具进行修正，若不需要修正，则完成图像的自动标注。

22、进一步，所述修正工具用以调整步骤s4中的最小外接矩形框的四条边。

23、进一步，所述匹配模块采用面积计算方法进行匹配，循环遍历语义图中的每个mask，再循环遍历mask中每个像素，判断每个像素在哪个粗标签中，当某个mask的像素超过阈值都在某个粗标签中，则认为这个mask是粗标签所对应的对象，保留下来为下一步提取细标签做准备。

24、进一步，所述面积计算方法的伪代码为：

25、mask是语义图中的mask，pixel是mask中的像素；rough_bbox是粗标签(一个图里可能有多个粗标签，因此需要循环遍历所有bbox)；

26、is_in_rough_bbox()是判断像素是否在粗标签里的函数；

27、

28、

29、采用上述方案后，本发明目标监测数据自动标注系统及方法和现有同类或近似技术相比，具有以下优点：

30、1、本发明采用通用图像分割大模型的全图分割功能可实现自动标注，取代人工标注，节省人力物力与时间，降低因标注人员标准不一致带来的风险，并且维持人工标注的精度的同时大幅降低标注周期，缩短时间和减少人力，加快目标检测算法的更新与迭代。

31、2、本发明采用通用图像分割大模型的全图分割功能，结合图像的粗标签(粗是指精度不高)，可有效的得到细标签(细是指精度达到目标检测训练任务的要求，能紧紧贴着待测对象)。由于细标签是通过对mask求取最小外接矩形框得到的，因此自动生成标签会有极高的精度，解决了主动学习和迁移学习的自动标注精度不高的问题。

32、3、本发明采用通用图像分割大模型的全图分割功能并不需要提前知道图像中有哪些对象，该功能会自动将图像中的所有对象分割出来，因此图像分割大模型的通用性极强，进一步大幅减少不同待标注数据集的前期准备工作，极大的降低了对初始数据的依赖性。

33、4、相对于现有的图像大模型辅助标注方法，例如人工用鼠标点击对象，图像大模型将此对象分割出来。本发明因为采用的是目标检测算法生成自动标注的粗标签，不再需要人工用鼠标点击或拖动等交互。因此，标注工具和图像分割大模型之间不需要有任何关联，直接的去除了标注人员在使用大模型辅助标注时必须的主动交互操作，解决交互过程中因网络和在线推理的瓶颈而影响标注效率的问题，可提升自动标注的效率，避免网络或人工所造成的影响。