一种基于视觉检测的特种作业操作识别方法与流程

本发明涉及实操考试识别，尤其涉及一种基于视觉检测的特种作业操作识别方法。

背景技术：

1、特种作业操作资格考试包括安全技术理论考试和实际操作考试两部分。在特种作业人员培训和资格考试中，实际操作（简称为实操）是不可或缺的内容。然而，传统的实操考试方式存在一些问题，其中包括仿真焊接作业实操等科目的模仿不够真实，实操考试内容和智能化评分不完全符合考试标准等，这些问题的存在可能导致考试结果的不准确性和缺乏客观性。

2、为了解决这些问题，基于图像处理和行为识别技术的特种作业ai识别算法被提上日程，旨在提供一种创新的方法来评估特种作业人员在项目实操中的表现。拿特种作业之一的科目熔化焊接举例：通过利用先进的算法和模式识别技术，能够准确地分析焊接过程中的图像数据和作业人员的行为，实现对焊接质量和操作规范的自动检测和评分。相较于传统的实操考试方式，熔化焊接ai评分系统具有更高的仿真度，能够更真实地模拟实际焊接场景。同时，系统的智能化评分能够根据事先设定的考试标准，快速、准确地评估特种作业人员的实操表现，提供更客观和可靠的考试结果。

3、受限于边缘端侧板载ai算力，目前在类似场景中往往采用以yolov1-v9、yolox、pp-picodet等为代表的轻量级目标检测算法，而这些算法往往由特征提取模块(backbone)，特征融合模块(neck)，检测头模块(head)三部分模块依次构成进行推理应用。

4、现有的轻量级检测算法在一些权威基准数据集（例如coco）上，尽管不断取得更好的表现，例如更高的ap值。但是在具体的特种作业业务场景下，例如在一些小目标检测，特征相近的目标检测上表现得依然不太理想。例如在人工搭建布置的考试场景下现有算法容易受到背景墙及不同操作动作及角度的干扰，同时也很难消除其他干扰物的影响，此外也存在对目标误检等问题，因此需要对算法的准确性提出更高的要求。

5、现有的检测算法中特征提取网络的设计是一种串行的单向设计，特征从底层到高层，不同层之间对特征的捕捉差异很大。在层层卷积之后，可能一些小目标的特征完全消失，导致检测不出来。

6、现有的算法权威对比测试以及设计优化主要基于coco数据集进行实现，而coco数据集的数据特点往往和现实场景中的业务数据有一定的偏差，单纯应用此模式下设计的算法，效果可能不尽人意。

技术实现思路

1、本发明主要解决现有的轻量级检测算法在具体的特种作业业务场景下，特征相近的目标检测结果不准确，存在目标误检的问题；提供一种基于视觉检测的特种作业操作识别方法，在标注过程中设计标注框定准则，通过算法自动获取合适的标注信息，针对轻量化特征提取网络的不同特征分支的多尺度融合，保有高分辨率表征的网络分支，可更多保留更细节的特征。

2、本发明的上述技术问题主要是通过下述技术方案得以解决的：

3、一种基于视觉检测的特种作业操作识别方法，包括以下步骤：

4、s1：采集特种作业实操视频，抽帧保存图片数据；

5、s2：根据图片数据质量进行筛选，根据设定的标注框定准则对图片数据中的目标自动标定，获取标注信息；

6、s3：设计含有不同尺度的并行分支的特征提取模块，各并行分支的特征图向下减小融合或向上变大融合；

7、s4：根据特征提取模块的输出分别以不同倍率融合特征图，基于融合后的特征图分别下采样生成不同的特征融合输出；

8、s5：将特征提取模块、特征融合模块和检测头模块整合构建特种作业检测算法模型；

9、s6：以步骤s2标定数据训练算法模型，部署训练好的算法模型。

10、本方案在标注过程中设计标注框定准则，通过算法自动获取合适的标注信息，针对轻量化特征提取网络的不同特征分支的多尺度融合，保有高分辨率表征的网络分支，可更多保留更细节的特征。整体网络设计方案，可以对分辨率像素低的目标物体更好地保留其特征，使网络能够对颜色光泽相近的干扰物体更好地区分，可以明显降低误检的概率，较好地解决对应目标识别错误导致的评分错误不合理的问题。另外根据特种作业的数据特点，sodet算法留有了三种不同大小的特征分支，不一味追求增加检测头来增强性能，减小了这部分计算开销。同时检测过程中，效果保持更加稳定。

11、作为优选，所述的特征提取模块包括三个分别捕获不同尺寸大小特征图的并行分支；所述的并行分支根据捕获的特征图尺寸由大到小依次包括第一分支，第二分支和第三分支。

12、第一分支的特征图大小为120*120；第二分支的特征图大小为60*60；第三分支的特征图大小为30*30。

13、作为优选，各并列分支在前向传播过程中，特征图大小不发生变化；捕获特征图尺寸大的分支将特征图降分辨率后传入到捕获特征图尺寸小的分支中融合；捕获特征图尺寸小的分支将特征图升分辨率后传送到捕获特征图尺寸大的分支进行融合。

14、低分辨率（low-resolution）即高层表示（high-level representation）和高分辨率表示（high-resolution representation）互相融合，其分支自始至终都保持高分辨率。

15、作为优选，特征提取模块将向前传播过程划分为三个阶段；降分辨率和升分辨率两个操作能够在同一个阶段同时进行。为了适应边缘端轻量化的需要，对特征提取模块的网络结构进一步精简，设计了三个阶段的来达到精度和效率的平衡。

16、作为优选，在第一阶段中，第一分支中特征图降分辨率后与第二分支中的特征图融合；

17、在第二阶段中，第一分支中的特征图分别降分辨率后与第二分支和第三分支中的特征图融合；第二分支中的特征图降分辨率后与第三分支的特征图融合，第二分支中的特征图升分辨率后与第一分支的特征图融合；

18、在第三阶段中，第一分支和第二分支中的特征图分别降分辨率后与第三分支中的特征图融合；第二分支中的特征图升分辨率后与第一分支中的特征图融合；第三分支中的特征图升分辨率后分别与第一分支和第二分支中的特征图融合。

19、不同尺度的分支之间通过特征图的降分辨率和上采样操作实现信息的交流融合。这种机制有助于不同尺度特征之间的互补，提升模型的表示能力。

20、作为优选，对于特征提取模块中第一分支的输出特征图，以1倍倍率融合；对于特征提取模块中的第二分支的输出特征图，以2倍倍率融合；对于特征提取模块中的第三分支的输出特征图，以4倍倍率融合；基于融合后的特征图分别下采样生成不同的特征融合输出送入检测头模块进行目标定位和分类。

21、经过特征融合导出后的不同尺度特征进一步融合后，输出高分辨率特征，基于此高分辨率特征进行下采样来构建对应不同大小物体的检测头。

22、作为优选，特种作业检测算法模型中的总损失函数包含了分类损失和回归定位损失；其中，检测头分类损失耦合分类预测。

23、检测头分类损失耦合分类预测loss和 quality，进而采用varifocal loss（vflloss）计算得到。在回归损失函数部分，采用giou loss 和distribution focal loss（dflloss），loss表现形式为：

24、loss=loss_vfl+θ1*loss_giou+θ2*loss_dfl

25、其中，θ1和θ2为配比系数，在本实施例中，θ1取2，θ2取0.2。

26、作为优选，所述的标注框定准则包括目标框内的不同物体面积保持在设定的误差范围内以及保留区分特征。

27、在标注的过程中，对一些难检测难分类的目标，为了确保最终效果，标注尺度做进一步地统一规范，包括目标框内的不同物体面积基本保持接近，尽可能保留更多可区分的特征等。

28、作为优选，实现标注框定准则的过程为：

29、对所有目标设置对应的最小的能够包括目标的识别框，得到目标识别框角坐标；在目标识别框重叠时，获得两个目标识别框的交叉框，对较小的目标识别框向重叠方向延伸扩展交叉框的高度与宽度，得到其最终的用于标注的目标识别框。

30、通过对重叠的较小的目标识别框延伸获得标注框，能够在多目标重叠时兼顾平衡不同目标的特征，保证识别的有效性。标注过程中的面积相近尺度准则，以及通过算法自动确定标注框位置，使其更有利于特征学习。

31、作为优选，筛选去除目标清晰度低于设定清晰度阈值或图片重复数量大于数量阈值的图片数据。

32、定义目标相对模糊或过多重复的图片数据为质量不高的图片数据。

33、本发明的有益效果是：

34、1. 轻量化高分辨率特征提取网络其中一个分支可以持续获得目标物体高分辨率表征，同时可将不同尺度的特征融入到高分辨率表征的分支，因此最终将一些不易被检测到小目标甚至漏检的类别也检测区分出来。

35、2.特征提取模块的网络结构设计三个阶段，适应边缘端轻量化的需要，达到精度和效率的平衡。

36、3. 不同尺度的分支之间通过特征图的降分辨率和上采样操作实现信息的交流融合。有助于不同尺度特征之间的互补，提升模型的表示能力。

37、4.设计统一的标准框定标准，对一些难检测难分类的目标，确保最终效果，便于特征学习。

38、5. 通过对重叠的较小的目标识别框延伸获得标注框，能够在多目标重叠时兼顾平衡不同目标的特征，保证识别的有效性。