基于无人机巡检的轻量化目标检测方法及装置与流程

本发明涉及无人机巡检、图像检测，具体而言，涉及一种基于无人机巡检的轻量化目标检测方法及装置。

背景技术：

1、在现代社会，基础设施的安全稳定运行是支撑经济发展的基石。电力线路、油气管道、铁路轨道、桥梁隧道等关键设施的定期巡检对于预防事故、保障公共安全至关重要。传统人工作业模式受限于人力成本、作业条件以及检测效率，难以达到理想的效果，尤其是在偏远地区或恶劣环境下，人工巡检的难度和风险显著增加。因此，采用高科技手段提升巡检效率和质量成为了行业发展的必然趋势。

2、无人机技术的迅猛发展为此开辟了新途径，无人机不仅能够克服地形限制，轻松抵达人难以接近的地方，而且利用搭载的高精度传感器和摄影设备，可以采集到丰富的视觉和非视觉数据。然而，随着无人机巡检规模的扩大，海量数据的管理和分析成为了一大瓶颈。原始数据往往需要经过复杂的后处理才能转化为可用信息，不仅耗时长，还可能因为数据传输延迟而错过最佳响应时机。

3、现有的无人机巡检系统大多依赖于通用的计算机视觉算法和重型神经网络模型，这些算法和模型虽然在某些领域表现优异，但在无人机应用场景下却显得笨重且资源消耗大，不仅加重了无人机的负担，影响飞行时间和稳定性，还可能导致实时性不足，无法满足即时分析与响应的需求。

4、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本发明实施例提供了一种基于无人机巡检的轻量化目标检测方法及装置，以至少解决相关技术中由于现有视觉算法和重型检测网络的检测实时性不足，无法满足即时分析响应需求的技术问题。

2、根据本发明实施例的一个方面，提供了一种基于无人机巡检的轻量化目标检测方法，包括：基于指定巡检需求获取目标无人机传回的图像数据集，其中，所述图像数据集中包含n个实时巡检图像，n为正整数；调用所述目标无人机搭载的轻量检测模型，其中，所述轻量检测模型是预先使用广义高效层聚合网络对目标检测模型进行架构改造后得到的轻量化目标检测模型；将所述图像数据集输入至所述轻量检测模型，输出目标检测结果。

3、进一步地，所述轻量检测模型是通过如下步骤得到的：使用所述广义高效层聚合网络替换所述目标检测模型的主干网络中的原有聚合网络；在所述广义高效层聚合网络中的每个网络层中部署可编程梯度信息模块；调整所述网络层的网络参数，直到所述目标检测模型的检测速度符合所述指定巡检需求的情况下，得到所述轻量检测模型。

4、进一步地，使用所述广义高效层聚合网络替换所述目标检测模型的主干网络中的原有聚合网络的步骤，包括：提取所述目标检测模型的模型部署目录，并在所述模型部署目录中查询模型配置文件；获取所述模型配置文件，并在所述配置文件中定位所述主干网络的配置语句；将所述配置语句中的聚合网络定义字段替换为指定字段，其中，所述指定字段是预先获取的所述广义高效层聚合网络的定义字段；更新所述模型配置文件中的所有网络层的所述网络参数，并保存更新后的所述模型配置文件。

5、进一步地，在调用所述目标无人机搭载的轻量检测模型之前，还包括：获取模型训练数据集，其中，所述模型训练数据集中包含r个训练图像，以及每个所述训练图像对应的标注数据，r为正整数；将所述模型训练数据集输入至所述轻量检测模型，由所述轻量检测模型对所述训练图像进行目标检测，并基于检测结果和所述标注数据生成模型评估结果；基于所述模型评估结果调整所述轻量检测模型的模型参数，直到所述模型评估结果指示的模型检测精度符合所述指定巡检需求的情况下，将该轻量检测模型搭载至所述目标无人机。

6、进一步地，在基于所述模型评估结果调整所述轻量检测模型的模型参数之前，还包括：在所述轻量检测模型对所述训练图像进行目标检测的过程中，确定所述轻量检测模型中每个检测通道对模型性能的贡献程度，得到贡献程度值；基于每个所述检测通道的所述贡献程度值计算该检测通道的通道权重；基于通道剪枝策略和所有所述通道权重，对所述轻量检测模型的颈部网络进行通道剪枝。

7、进一步地，基于指定巡检需求获取目标无人机传回的图像数据集的步骤，包括：解析所述指定巡检需求，得到解析结果，其中，所述解析结果用于记录本次巡检任务中对所述实时巡检图像的图像采集要求；基于所述解析结果指示的所述图像采集要求，生成所述目标无人机姿态控制策略，并基于所述姿态控制策略生成姿态控制指令；将所述姿态控制指令发送至所述目标无人机，并接收由所述目标无人机传回的所述图像数据集，其中，所述姿态控制指令用于控制所述目标无人机在图像采集过程中调整工作姿态，得到符合所述图像采集要求的所述实时巡检图像。

8、进一步地，在基于指定巡检需求获取目标无人机传回的图像数据集之后，还包括：对所述图像数据集中的每个所述实时巡检图像进行图像扩写处理，其中，所述图像扩写处理的具体操作至少包括下述之一：图像质量增强、图像拼接、图像旋转、图像裁剪和数据标注；对于扩写后的所述实时巡检图像，按照图像清晰度需求调整该实时巡检图像的亮度和对比度；对调整后的所有所述实时巡检图像进行归一化处理，得到所述图像数据集对应的归一化图像数据集，其中，所述归一化图像数据集中包含n个归一化图像。

9、根据本发明实施例的另一方面，还提供了一种基于无人机巡检的轻量化目标检测装置，包括：获取单元，用于基于指定巡检需求获取目标无人机传回的图像数据集，其中，所述图像数据集中包含n个实时巡检图像，n为正整数；调用单元，用于调用所述目标无人机搭载的轻量检测模型，其中，所述轻量检测模型是预先使用广义高效层聚合网络对目标检测模型进行架构改造后得到的轻量化目标检测模型；输入单元，用于将所述图像数据集输入至所述轻量检测模型，输出目标检测结果。

10、进一步地，所述基于无人机巡检的轻量化目标检测装置包括：替换模块，用于使用所述广义高效层聚合网络替换所述目标检测模型的主干网络中的原有聚合网络；部署模块，用于在所述广义高效层聚合网络中的每个网络层中部署可编程梯度信息模块；第一调整模块，用于调整所述网络层的网络参数，直到所述目标检测模型的检测速度符合所述指定巡检需求的情况下，得到所述轻量检测模型。

11、进一步地，所述替换模块包括：提取子模块，用于提取所述目标检测模型的模型部署目录，并在所述模型部署目录中查询模型配置文件；获取子模块，用于获取所述模型配置文件，并在所述配置文件中定位所述主干网络的配置语句；替换子模块，用于将所述配置语句中的聚合网络定义字段替换为指定字段，其中，所述指定字段是预先获取的所述广义高效层聚合网络的定义字段；更新子模块，用于更新所述模型配置文件中的所有网络层的所述网络参数，并保存更新后的所述模型配置文件。

12、进一步地，所述基于无人机巡检的轻量化目标检测装置还包括：获取模块，用于获取模型训练数据集，其中，所述模型训练数据集中包含r个训练图像，以及每个所述训练图像对应的标注数据，r为正整数；输入模块，用于将所述模型训练数据集输入至所述轻量检测模型，由所述轻量检测模型对所述训练图像进行目标检测，并基于检测结果和所述标注数据生成模型评估结果；第二调整模块，用于基于所述模型评估结果调整所述轻量检测模型的模型参数，直到所述模型评估结果指示的模型检测精度符合所述指定巡检需求的情况下，将该轻量检测模型搭载至所述目标无人机。

13、进一步地，所述基于无人机巡检的轻量化目标检测装置还包括：确定模块，用于在所述轻量检测模型对所述训练图像进行目标检测的过程中，确定所述轻量检测模型中每个检测通道对模型性能的贡献程度，得到贡献程度值；计算模块，用于基于每个所述检测通道的所述贡献程度值计算该检测通道的通道权重；剪枝模块，用于基于通道剪枝策略和所有所述通道权重，对所述轻量检测模型的颈部网络进行通道剪枝。

14、进一步地，所述获取单元包括：解析模块，用于解析所述指定巡检需求，得到解析结果，其中，所述解析结果用于记录本次巡检任务中对所述实时巡检图像的图像采集要求；生成模块，用于基于所述解析结果指示的所述图像采集要求，生成所述目标无人机姿态控制策略，并基于所述姿态控制策略生成姿态控制指令；发送模块，用于将所述姿态控制指令发送至所述目标无人机，并接收由所述目标无人机传回的所述图像数据集，其中，所述姿态控制指令用于控制所述目标无人机在图像采集过程中调整工作姿态，得到符合所述图像采集要求的所述实时巡检图像。

15、进一步地，所述基于无人机巡检的轻量化目标检测装置还包括：扩写模块，用于对所述图像数据集中的每个所述实时巡检图像进行图像扩写处理，其中，所述图像扩写处理的具体操作至少包括下述之一：图像质量增强、图像拼接、图像旋转、图像裁剪和数据标注；第三调整模块，用于对于扩写后的所述实时巡检图像，按照图像清晰度需求调整该实时巡检图像的亮度和对比度；归一化模块，用于对调整后的所有所述实时巡检图像进行归一化处理，得到所述图像数据集对应的归一化图像数据集，其中，所述归一化图像数据集中包含n个归一化图像。

16、根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项基于无人机巡检的轻量化目标检测方法。

17、根据本发明实施例的另一方面，还提供了一种电子设备，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述任意一项基于无人机巡检的轻量化目标检测方法。

18、本发明中，提出一种基于无人机巡检的轻量化目标检测方法，先基于指定巡检需求获取目标无人机传回的图像数据集，其中，图像数据集中包含n个实时巡检图像，n为正整数，再调用目标无人机搭载的轻量检测模型，其中，轻量检测模型是预先使用广义高效层聚合网络对目标检测模型进行架构改造后得到的轻量化目标检测模型，最后将图像数据集输入至轻量检测模型，输出目标检测结果。

19、本发明中，使用广义高效层聚合网络对目标检测模型中的原有聚合架构进行改造，可以实现提高模型检测速度和精度的同时，减少模型计算量和占用的资源数，达到轻量化和智能化的效果，再使用改造后的轻量检测模型对目标无人机实时传回的图像数据进行目标检测，输出目标检测结果，可以使无人机系统适应资源有限的环境，进行即时目标检测，提高了巡检工作的效率和实时性能，进而解决了相关技术中由于现有视觉算法和重型检测网络的检测实时性不足，无法满足即时分析响应需求的技术问题。