面向破拆机器人的5G多源信息融合远程控制系统的制作方法

本发明涉及破拆远程控制，具体是面向破拆机器人的5g多源信息融合远程控制系统。

背景技术：

1、破拆机器人在现代城市建设和灾害救援中发挥着越来越重要的作用。在城市建设中，破拆机器人被广泛应用于老旧建筑的拆除、道路施工、地下管线铺设等场景。它们可以在狭窄的空间内进行精确的破拆，大大提高了工作效率，降低了人工操作的风险。在灾害救援中，破拆机器人可以在地震、火灾等紧急情况下，快速地破拆障碍，为救援队伍开辟通道，挽救生命。此外，破拆机器人还可以应用于军事领域，如爆破敌方的防御工事、清除地雷等。

2、然而破拆机器人在执行任务时，往往面对复杂的环境和不同的破拆对象，因此，需要根据不同的破拆对象和环境条件，选择合适的钻速和破拆角度，但是目前的破拆机器人不具备灵活的应变能力，在钻头钻速或破拆角度不合适的情况下，导致机器人产生倾翻时，不能及时的调整，从而导致安全问题；

3、公开号为cn114434448a的中国专利公开了一种破拆机器人的工作臂控制方法及控制系统。工作臂控制方法包括获取工作臂末端在当前状态下在工作臂坐标系下的末端坐标；获取破拆目标点在工作臂坐标系下的破拆坐标；根据末端坐标和破拆坐标获取移动至目标点的运动路径，计算工作臂在运动路径上的多个时间点处的多个工作臂姿态；根据多个时间点处的多个工作臂姿态获取在多个时间点处的液压油缸的活塞杆的目标伸缩量；根据多个时间点处的液压油缸的活塞杆的目标伸缩量获取液压油缸在多个时间点处的液压油的目标流量，基于多个时间点处的液压油的目标流量控制液压油缸动作。该方法主要用于基于液压油的目标流量控制液压油缸动作，而未能针对破拆质量和机身稳定度来自适应的调节钻速和破拆角度；

4、为此，本发明提出面向破拆机器人的5g多源信息融合远程控制系统。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出面向破拆机器人的5g多源信息融合远程控制系统，在保证破拆机器人自身稳定性的前提下，智能自适应的提高破拆效率。

2、为实现上述目的，提出面向破拆机器人的5g多源信息融合远程控制系统，包括：多源实时破拆信息收集模块、破拆材料识别模块、破拆效率计算模块、破拆安全性计算模块以及远程控制模块；其中，各个模块之间通过5g无线网络方式连接；

3、多源实时破拆信息收集模块，用于在破拆机器人进行破拆操作时，通过各个物理传感器实时收集多源实时破拆信息；

4、所述在破拆机器人进行破拆操作时，通过各个物理传感器实时收集多源实时破拆信息的方式为：

5、为破拆机器人安装图像捕获装置，所述图像捕获装置安装的位置为能够拍摄到待破拆面的图像的位置；

6、为破拆机器人的机械臂安装第一倾角传感器；

7、为破拆机器人的机身安装第二倾角传感器；

8、为破拆机器人的机械臂安装位移传感器；

9、在破拆机器人对待破拆面进行破拆时，所述图像捕获装置实时捕获待破拆面的实时图像，所述第一倾角传感器实时采集机械臂的机械臂倾斜角，所述第二倾角传感器实时采集破拆机器人机身的机身倾斜角，所述位移传感器实时采集钻头从破拆开始移动的钻头移动距离；

10、所述实时图像、机械臂倾斜角、机身倾斜角以及钻头移动距离组成多源实时破拆信息；

11、所述多源实时破拆信息收集模块将多源实时破拆信息中的实时图像发送至破拆材料识别模块和破拆效率计算模块，将机械臂倾斜角发送至远程控制模块，将钻头移动距离发送至破拆效率计算模块，将机身倾斜角发送至破拆安全性计算模块；

12、破拆材料识别模块，用于基于实时图像识别待破拆面对应的建筑材料类型；

13、所述基于实时图像识别待破拆面对应的建筑材料类型的方式为：

14、预先为不同的建筑材料类型收集不同数量的建筑材料训练图片，并为每张建筑材料训练图片打上对应建筑材料类型的标签；

15、每种建筑材料类型收集的建筑材料训练图片的数量根据实际需求确定；

16、将所有建筑材料训练图片输入材料识别神经网络模型中进行训练，所述材料识别神经网络模型输出的是模型对建筑材料训练图片中的建筑材料类型的预测值，所述材料识别神经网络模型以建筑材料类型的预测值和建筑材料类型的标签之间的均方误差或交叉熵作为损失函数；

17、将实时图像输入材料识别神经网络模型中，获得材料识别神经网络模型输出的对实时图像中待爆破面的建筑材料类型的预测值；

18、所述破拆材料识别模块将实时图像和建筑材料类型的预测值发送至远程控制模块；

19、破拆效率计算模块，用于基于钻头移动距离获得破拆实时速度，并基于实时图像获得破拆实时质量；

20、所述基于钻头移动距离获得破拆实时速度的方式为：

21、将当前时间的钻头移动距离减去上一单位时间的钻头移动距离，获得钻头的移动距离差值，该钻头移动距离差值即为破拆实时速度；

22、所述基于实时图像获得破拆实时质量的方式为：

23、对实时图像进行预处理；

24、对实时图像使用边缘检测算法检测实时图像中破拆面的边缘，并使用图像处理技术分析边缘线的平均曲率，并将平均曲率标记为s；

25、对实时图像进行形状分析，计算出破拆面的边缘所组成的形状的圆形度，并将圆形度标记为r；

26、计算破拆面的破拆实时质量w，其中，破拆实时质量w的计算公式为：w＝a1×s+a2×r；其中，a1和a2分别为预设的比例系数；

27、所述破拆效率计算模块将破拆实时速度和破拆实时质量发送至远程控制模块；

28、破拆安全性计算模块，用于基于机身倾斜角，计算出破拆机器人的实时稳定度；

29、所述计算出破拆机器人的实时稳定度的方式为：

30、计算当前的机身倾斜角和上一单位时间的机身倾斜角之间的倾斜角差值，作为实时稳定度；可以理解的是，在机身稳定的情况下，机身倾斜角的变化应该是细微的，当机身的倾斜角出现大幅变化时，说明在当前的钻速和钻头角度的情况下，机身可能具有倾翻的危险；

31、所述破拆安全性计算模块将破拆机器人的实时稳定度发送至远程控制模块；

32、远程控制模块，用于基于建筑材料类型的预测值，获得预设的钻速范围和破拆夹角范围，使用actor-critic网络模型中的actor网络输出调整的目标钻速和目标破拆角度，并基于机械臂倾斜角、钻速范围和破拆夹角范围、破拆实时速度、破拆实时质量和实时稳定度，计算实际的奖励值，通过实际的奖励值对actor-critic网络模型进行训练；

33、所述获得预设的钻速范围和破拆夹角范围的方式为：

34、预先设计钻头参数控制表，所述钻头参数控制表中为每种建筑材料类型预设一个钻速范围和破拆夹角范围；

35、从钻头参数控制表中读取建筑材料类型的预测值所对应的钻速范围和破拆夹角范围；

36、所述使用actor-critic网络模型中的actor网络输出调整的目标钻速和目标破拆角度，并基于机械臂倾斜角、钻速范围和破拆夹角范围、破拆实时速度、破拆实时质量和实时稳定度，计算实际的奖励值，通过实际的奖励值对actor-critic网络模型进行训练的方式为：

37、初始化actor网络和critic网络的网络参数；

38、每当机身倾斜角大于预设的机身倾斜角阈值时，执行以下步骤：

39、步骤11：将当前时刻钻头的破拆实时速度、破拆实时质量以及实时稳定度作为当前状态；

40、步骤12：actor网络输出一个目标钻速和一个目标破拆角度，分别作为钻头后续的钻速和破拆角度；

41、以下一时刻的破拆实时速度、破拆实时质量以及实时稳定度作为下一个状态；

42、步骤13：计算实际的奖励值q；所述实际的奖励值q为每次在对钻速和破拆角度进行更新后获得的奖励；

43、所述实际的奖励值q的计算方式为：

44、若调整后的钻速不在钻速范围内，则将奖励值q设置为qmin；qmin为预设的最小奖励值；

45、基于实时图像，使用图像分析技术获得当前时刻钻头与破拆面的夹角，将该夹角减去机身倾斜角获得破拆面的倾角；

46、将破拆面的倾角与调整后的破拆角度相加，获得目标破拆夹角，若目标破拆夹角不在破拆夹角范围内，则将奖励值q设置为qmin；

47、若调整后的钻速在钻速范围内，且目标破拆夹角在破拆夹角范围内，则奖励值q的计算公式为：q＝a3×v+a4×w-a5×z；其中，a3、a4和a5分别为预设的比例系数，v为破拆实时速度，z为实时稳定度；

48、步骤14：使用critic网络的更新公式更新奖励值函数的值，以调整对决策结果的实际奖励值q的估计；

49、步骤15：使用actor网络的更新公式更新actor网络的参数，以提高在给定状态下选择高奖励决策结果的概率。

50、提出面向破拆机器人的5g多源信息融合远程控制方法，包括以下步骤：

51、在破拆机器人进行破拆操作时，通过各个物理传感器实时收集多源实时破拆信息；所述多源实时破拆信息包括实时图像、机械臂倾斜角、机身倾斜角以及钻头移动距离；

52、基于实时图像识别待破拆面对应的建筑材料类型；

53、基于钻头移动距离获得破拆实时速度，并基于实时图像获得破拆实时质量；

54、基于建筑材料类型的预测值，获得预设的钻速范围和破拆夹角范围，使用actor-critic网络模型中的actor网络输出下一单位时间的钻速和破拆角度，并基于机械臂倾斜角、钻速范围和破拆夹角范围、破拆实时速度和破拆实时质量，计算实际的奖励值，通过实际的奖励值对actor-critic网络模型进行训练。

55、提出一种电子设备，包括：处理器和存储器，其中，所述存储器中存储有可供处理器调用的计算机程序；

56、所述处理器通过调用所述存储器中存储的计算机程序，执行上述的面向破拆机器人的5g多源信息融合远程控制方法。

57、提出一种计算机可读存储介质，其上存储有可擦写的计算机程序；

58、当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行上述的面向破拆机器人的5g多源信息融合远程控制方法。

59、与现有技术相比，本发明的有益效果是：

60、本发明通过在破拆机器人进行破拆操作时，通过各个物理传感器实时收集多源实时破拆信息；所述多源实时破拆信息包括实时图像、机械臂倾斜角、机身倾斜角以及钻头移动距离，基于实时图像识别待破拆面对应的建筑材料类型，基于钻头移动距离获得破拆实时速度，并基于实时图像获得破拆实时质量，基于建筑材料类型的预测值，获得预设的钻速范围和破拆夹角范围，使用actor-critic网络模型中的actor网络输出下一单位时间的钻速和破拆角度，并基于机械臂倾斜角、钻速范围和破拆夹角范围、破拆实时速度和破拆实时质量，计算实际的奖励值，通过实际的奖励值对actor-critic网络模型进行训练；通过根据破拆时的实时破拆速度、破拆质量和破拆的安全性，自适应的调整破拆钻头的钻速和破拆角度，在保证破拆机器人自身稳定性的前提下，智能自适应的提高破拆效率。