一种配电作业机器人的视觉系统的制作方法

本发明涉及电网施工机器人的，更具体地说，它涉及一种配电作业机器人的视觉系统。

背景技术：

1、配电系统末端是电力系统中至关重要的一环，直接影响到电力持续供给的稳定性和可靠性。为了降低配网停电时间、提高供电可靠性和服务水平，以及保障带电作业人员的人身安全，降低作业劳动强度，提高作业效率和自动化水平，配网带电作业机器人的应用具有重要意义。然而，目前现有的带电作业机器人的控制方式主要依赖于操作手柄进行远程控制，这在一定程度上限制了作业的灵活性和效率。

2、例如公告号：cn114758156a，一种配网带电作业机器人的视觉系统，该配网带电作业机器人的视觉系统，机器视觉主要研究利用计算机来模拟人的视觉功能，完成得到人的视觉系统所得到的信息，采用一个或多个摄像机抓拍客观事物的实际图像，经过数字化等一系列处理提取需要的特征信息，然后加以理解并通过逻辑运算最终实现工业生产和科学研究中的检测、测量和控制功能。

3、机器人的操作精准度由图像采集、分析和其算法控制来实现，上述的视觉系统的控制精细度不够，仍需要进一步优化。

技术实现思路

1、针对现有技术存在的不足，本发明的目的在于提供一种可以提高对采集的图像精细处理，从而提高机器人操作精度的配电作业机器人的视觉系统。

2、为实现上述目的，本发明提供了如下技术方案：

3、一种配电作业机器人的视觉系统，包括光源、图像采集单元、图像处理单元和控制平台，

4、图像采集单元在光源对施工区域照射下，通过摄像机实施采集施工区域的工况，图像处理单元收集图像采集单元的图像信号，通过图像预处理模块对图像信号预处理后，再通过图像精细处理模块对图像信号精准处理，最后通过深度学习模块学习优化采集的信息并且留档；

5、所述图像预处理模块中还包含采用fcos 模型的目标检测模型的训练。

6、本发明进一步设置为：所述目标检测模型具体为：

7、图像，其大小为,其中是图像的高度， 是图像的宽度,使用一个 cnn 作为特征提取器，将输入图像  映射到一个特征图,其大小为，其中和是特征图的高度和宽度，是通道数，

8、输出对每个空间位置 的预测，对于每个位置，模型输出一个向量，其长度为,其中是类别数量，这个向量包含了四个偏移量 ，表示目标框的中心点坐标和宽度、高度的偏移量，以及每个类别的概率得分，

9、对于每个空间位置，可以通过以下公式计算目标框的中心点坐标和宽度、高度：

10、目标框的中心点坐标：

11、

12、目标框的宽度和高度：

13、

14、其中stride是特征图相对原始图像的缩放因子，base_size 是在特征图上预设的基准框大小，

15、使用softmax函数对每个类别的得分进行归一化，得到每个类别的概率分布。

16、本发明进一步设置为：所述fcos 模型中位置偏移量的回归损失：

17、  是样本数量，是预测的位置偏移量，是真实的位置偏移量，那么位置偏移量的平滑 l1 损失函数可以表示为：

18、

19、其中，smoothl1 定义为：

20、

21、位置偏移量的平滑l1损失函数即对每个位置的预测偏移量与真实偏移量之间的smooth l1损失进行求和平均。

22、本发明进一步设置为：所述fcos 模型中类别概率的分类损失为：

23、假设是类别数量， 是预测的第个类别的概率， 是真实的第个类别的标签，那么类别概率的交叉熵损失函数可以表示为：

24、

25、类别概率的交叉熵损失函数即对每个位置的预测类别概率与真实类别标签之间的交叉熵损失进行求和平均。

26、本发明进一步设置为：所述图像预处理模块件图像调整为目标检测模型期望的输入尺寸，件图像进行归一化操作，将像素值缩放到一个固定的范围内，在将图像机裁剪、旋转、翻转、平移、亮度调整，最后图像从一个色彩空间转换为另一个色彩空间。

27、本发明进一步设置为：所述图像精细处理模块的处理步骤为：

28、图像数据集表示为,其中是第 张图像，是该图像对应的标签信息，包括目标框的位置和类别，数据集包含  个样本，

29、定义每个类别 的样本数量,以及总样本数量，则加权系数可以表示为：

30、

31、对于数据集  中每个样本 , 定义其加权损失  为：

32、

33、其中 loss 是模型预测  所得到的损失函数， 是样本  的真实类别，

34、通过样本权重向量 ,其中  是样本  的权重。 优化的损失函数为加权的损失函数：

35、

36、定义样本筛选条件 ,其中  是一个函数，根据图像  和标签  的特征来判断样本是否满足筛选条件，对于数据集中的每个样本 ,如果 不满足筛选条件，则将其权重设为零。

37、本发明进一步设置为：所述深度学习模块：

38、图像数据集包含个样本，定义一个数据增强函数, 用于对图像进行增强操作，对于数据集  中的每个样本 , 增强后的样本可以表示为 ，增强后的数据集为 

39、基于预训练的深度学习模型，在其基础上进行微调以适应任务和数据集，

40、设表示微调后的模型，为 finetune，其中 finetune是微调操作。

41、设超参数集合为，定义一个评估函数,用于评估模型在验证集上的性能，找到最优的超参数组合 使得模型在验证集上的性能最优，可以表示为：

42、

43、设个不同的模型,每个模型都可以给出对目标的预测结果，定义一个集成模型 ,通过对每个模型的预测结果进行组合来得到最终的预测结果，

44、设定实时反馈函数feedback，用于监测机器人在执行任务时的状态和表现，根据实时反馈信息，可以动态地调整模型的参数或者操作策略，以提高机器人的操作精准度和效率。

45、对比现有技术的不足，本发明的有益效果为：

46、采用fcos模型进行目标检测，提高了目标检测的效率和准确性，而且增加了精细的图像处理，进一步减少干扰，增大效果。位置偏移量的回归损失确保了检测框的准确度和精度，而类别概率的分类损失则有助于提高目标物体的分类准确度，从而增强了机器人对施工区域的理解能力。通过学习优化采集的信息，并进行留档，为配电作业提供数据支撑，实时反馈函数能够监测机器人在执行任务时的状态和表现，根据反馈信息动态调整模型参数或操作策略，以提高机器人的操作精准度和效率。

技术特征：

1.一种配电作业机器人的视觉系统，其特征在于：包括光源、图像采集单元、图像处理单元和控制平台，

2.根据权利要求1所述一种配电作业机器人的视觉系统，其特征在于：所述目标检测模型具体为：

3.根据权利要求2所述一种配电作业机器人的视觉系统，其特征在于：所述fcos 模型中位置偏移量的回归损失：

4.根据权利要求2所述一种配电作业机器人的视觉系统，其特征在于：所述fcos 模型中类别概率的分类损失为：

5.根据权利要求2所述一种配电作业机器人的视觉系统，其特征在于：所述图像预处理模块件图像调整为目标检测模型期望的输入尺寸，件图像进行归一化操作，将像素值缩放到一个固定的范围内，在将图像机裁剪、旋转、翻转、平移、亮度调整，最后图像从一个色彩空间转换为另一个色彩空间。

6.根据权利要求2所述一种配电作业机器人的视觉系统，其特征在于：所述图像精细处理模块的处理步骤为：

7.根据权利要求6所述一种配电作业机器人的视觉系统，其特征在于：所述深度学习模块：

技术总结
本发明涉及电网施工机器人的技术领域，它涉及一种配电作业机器人的视觉系统，包括光源、图像采集单元、图像处理单元和控制平台，图像采集单元在光源对施工区域照射下，通过摄像机实施采集施工区域的工况，图像处理单元收集图像采集单元的图像信号，通过图像预处理模块对图像信号预处理后，再通过图像精细处理模块对图像信号精准处理，最后通过深度学习模块学习优化采集的信息并且留档；图像预处理模块中还包含采用FCOS模型的目标检测模型的训练，本发明采用FCOS模型进行目标检测，提高了目标检测的效率和准确性，而且增加了精细的图像处理，进一步减少干扰，增大效果。

技术研发人员：包伟峰,刘强强,陈金刚,张以全,王冬林,陆伟,蒋宁,范炜杰,沈箐箐,沙佳励,周娴
受保护的技术使用者：浙江嘉恒科创有限公司
技术研发日：
技术公布日：2024/8/26