一种输电多尺度目标检测方法及系统与流程

本发明属于目标检测，具体涉及一种输电多尺度目标检测方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、以人工智能技术为代表的数字化技术正快速推动构建新型电力系统。随着高清视频的广泛部署和无人机、机器人等智巡装备的应用，人工智能技术赋予了传统硬件智能分析、快速诊断和实时预警的能力，有效降低了人员成本和工作强度，提升了巡视效率和准确性。

3、目前人工智能技术已被广泛使用在电力行业的输电线路巡检、作业现场安全管控等场景中，现有的人工智能技术依赖特定场景下的海量标注数据，需要针对不同场景开发不同的模型，面临标注数据少、技术复用差、迁移能力弱的问题。近年来，以 chatgpt为代表的预训练大模型技术成为人工智能发展史的里程碑，得到了广泛的关注和研究。基于自监督学习的预训练大模型能够有效利用海量的无标注数据，具备强大的迁移学习能力，适用于不同业务场景下的多种下游任务。

4、在电力领域，目前常用的业务模型涉及人员、设备等多种目标的检测，而受拍摄角度、安装位置和目标尺寸等影响，对多尺度目标和多角度目标的识别还存在较大提升空间。强化学习技术通过智能体与图像的交互学习，能够有效提升特殊目标的检测识别精度。

5、因此，有必要结合预训练大模型和强化学习技术构建输电多尺度目标检测模型，基于预训练大模型的泛化性、迁移性、通用性显著减少输电巡检模型对标注数据、训练算力的要求；基于强化学习技术提升对多尺度、多角度目标的检测精度。

6、据发明人了解，目前常用的传统深度学习模型研发需要大量的有标注样本，极大的增加了基层员工的负担，并且部分检测目标类别存在缺陷、故障等样本稀缺情况，难以满足模型泛化性和精确性要求，导致故障检出率低和误检率高双重困难。

7、另一方面，当前电力视觉模型开发过程与具体的检测任务场景紧密相关，由于应用环境复杂多变、数据分布差异等原因，现有模型难以进行迁移复用，导致需要不断开发类似的模型，造成了大量人力、算力等资源的消耗。

8、同时，深度学习模型与实际应用之间存在较大差异，在复杂场景下通常存在边界框内冗余过多的情况，而冗余信息的增加也会对模型计算速度产生较大影响。对电力不同尺度和多角度旋转目标的检测精度较低。

技术实现思路

1、本发明为了解决上述问题，提出了一种输电多尺度目标检测方法及系统，本发明能够提升对输电线路不同尺度目标检测和缺陷识别能力，且对于巡视图像的处理精度上也有一定的提升。

2、根据一些实施例，本发明采用如下技术方案：

3、一种输电多尺度目标检测方法，包括以下步骤：

4、对已有的目标检测任务下的巡视图像进行质量评估，依据评估结果，将巡视图像分为不同质量等级的训练样本集；

5、在预训练的视觉大模型的输入空间中引入适配于所述检测任务的参数，形成微调后的预训练大模型；

6、利用所述微调后的预训练大模型作为特征提取网络，对不同质量等级的训练样本集进行特征提取；

7、提取后的特征通过 rpn网络得到初步的候选检测框，所述候选检测框经过 roi池化层筛选出感兴趣区域，根据所述感兴趣区域提取和拼接图像特征；

8、将得到的图像特征和历史动作向量相结合，得到融合特征，利用深度强化学习网络对融合特征进行学习，直至满足迭代要求，得到目标检测任务下最终的多尺度目标检测模型；

9、利用所述多尺度目标检测模型对目标检测任务下的巡视图像进行处理，得到图像处理结果。

10、作为可选择的实施方式，对已有的目标检测任务下的巡视图像进行质量评估的具体过程包括：

11、对已有的目标检测任务下的巡视图像进行预处理；

12、利用图像特征提取网络提取预处理后的图像的全局特征；

13、利用区域提取网络提取全局特征中的区域特征；

14、基于所述全局特征和区域特征，计算图像的清晰度，根据图像的清晰度，对图像进行质量评估和分级。

15、作为可选择的实施方式，所述预处理的过程包括：将图像由 rgb图像空间转换为 lab图像空间，计算转换后的图像的像素及均值，根据像素及均值，对转换后的图像进行去中心化处理，将像素归一化至指定区间范围。

16、作为可选择的实施方式，根据图像的清晰度，对图像进行质量评估和分级的具体过程包括：使用 softmax函数计算图像的清晰度，设定清晰度评价的阈值等级，依据各个图像的清晰度和阈值等级的关系，确定相应图像的所属等级，对图像质量分级。

17、作为可选择的实施方式，将巡视图像分为不同质量等级的训练样本集的具体过程包括：将巡视图像在质量方面，分为第一质量训练样本集、第二质量训练样本集，以及两种质量混合样本集，其中第一质量的质量高于第二质量；在数量方面，按照依次递增的比例增加样本数量，构建出不同的样本集合。

18、作为可选择的实施方式，在预训练的视觉大模型的输入空间中引入适配于所述检测任务的参数的具体过程包括：根据视觉大模型的 transformer层数量，使用视觉提示技术对视觉大模型中的第一个 transformer层或所有 transformer层的输入序列中预先添加提示符；

19、所述 transformer主干网络保持不变。

20、作为可选择的实施方式，利用微调后的预训练大模型提取不同尺度的特征图，提取的特征图进入 rpn网络生成包含目标的候选框，使用非极大值抑制方法减少冗余的候选框，再通过 roi池化层生成感兴趣区域。

21、作为可选择的实施方式，利用深度强化学习网络进行学习的具体过程包括当处理后的特征进入深度强化学习网络后，给定当前的状态,智能体以指定的概率 ε从动作集合中随机选取一个动作 a或以1- ε的概率选取最大 q值对应的动作，以进行检测框的搜索和调整；

22、执行动作后，根据环境反馈计算奖励 r，智能体根据奖励 r选取下一步动作，同时动作 a进入到历史动作向量，与当前的图像特征构成状态表示，随后对当前状态进行更新；

23、重复上述过程，直至动作结束或到达最大搜索步数。

24、作为可选择的实施方式，所述动作包含向上、向下、向左、向右、放大、缩小、拉伸、压缩、旋转和停止。

25、一种输电多尺度目标检测系统，包括：

26、样本构建模块，被配置为对已有的目标检测任务下的巡视图像进行质量评估，依据评估结果，将巡视图像分为不同质量等级的训练样本集；

27、大模型微调模块，被配置为在预训练的视觉大模型的输入空间中引入适配于所述检测任务的参数，形成微调后的预训练大模型；

28、特征提取模块，被配置为利用所述微调后的预训练大模型作为特征提取网络，对不同质量等级的训练样本集进行特征提取；

29、特征检测模块，被配置为提取后的特征通过 rpn网络得到初步的候选检测框，所述候选检测框经过 roi池化层筛选出感兴趣区域，根据所述感兴趣区域提取和拼接图像特征；

30、强化学习模块，被配置为将得到的图像特征和历史动作向量相结合，得到融合特征，利用深度强化学习网络对融合特征进行学习，直至满足迭代要求，得到目标检测任务下最终的多尺度目标检测模型；

31、图像处理模块，被配置为利用所述多尺度目标检测模型对目标检测任务下的巡视图像进行处理，得到图像处理结果。

32、一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法中的步骤。

33、一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法中的步骤。

34、与现有技术相比，本发明的有益效果为：

35、本发明创新性提供了一种输电多尺度目标检测方法，通过对视觉大模型进行针对于目标检测任务场景的微调，再配合特征提取、特征检测和强化学习，得到适配于目标检测任务场景的多尺度目标检测模型，利用最终的多尺度目标检测模型对相应检测任务场景获取的巡视图像进行处理，实现了能够构成电力系统多种输电多尺度目标检测模型，适配于相应的电力输电检测任务场景，且无需不断开发不同的模型，只需微调和对该场景下的图像数据训练学习即可，具有一定的通用性、灵活性，提升了各检测任务场景下的图像处理精度和速度。

36、本发明创新性提供一种输电多尺度目标检测系统，基于视觉大模型，利用其在预训练过程中学习到的海量电力业务知识，涵盖各种各样的检测任务，保证了整个处理方法可以在不同场景间迁移复用。且视觉大模型已经构建的基础上，输电多尺度目标检测模型的构建仅需要少量（几百至上千张）标注数据，无需海量数据人工标注，无需专业人工智能开发人员，无需大规模算力支撑，有效降低开发成本。

37、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。