一种提升无人机由训练到应用迁移性能方法和系统

本发明涉及无人机训练领域，尤其涉及一种提升无人机由训练到应用迁移性能方法。

背景技术：

1、drl(深度强化学习)取得的诸多突破为无人机自主导航提供了新思路。与传统的精确计算方法不同，drl使无人机通过与环境的不断试错交互，学习避开障碍物并导航至目标位置的策略。这意味着为了制定更好地无人机自主导航策略，需要在模拟环境中进行大量训练。考虑到无人机的训练成本和效率，首先需要在仿真平台中搭建模拟训练场景对深度强化学习算法进行训练以获得可靠的自主导航策略，然后将训练好的模型移植到真实无人机上。然而，仿真的训练场景通常是理想化的，这与无人机的应用场景存在较大的差距。例如，在仿真环境下通常假设传感器获取的信息是无损失的，而在实际应用场景中，由于环境的干扰以及传感器的自身特性，其获取的信息通常包含噪声成份。此外，无人机的仿真训练环境和应用场景中的障碍物密度、数量、形状等均不相同，因而存在严重的分布不匹配问题。这些因素导致在仿真训练场景中训练的无人机模型在真实应用场景下具有较差的适应性和鲁棒性。阻碍了深度强化学习技术在无人机自主导航和避障领域的应用。

技术实现思路

1、本发明针对当前无人机仿真场景和实际应用场景差异导致的迁移应用下无人机自主导航避障性能较差的问题，提出一种提升无人机由训练到应用迁移性能方法，所述方法：

2、s1：随机生成仿真场景障碍物坐标，构建智能体训练场景；

3、s2：无人机在训练场景进行训练；

4、s3：清除仿真场景障碍物，无人机返回起点位置，重新随机生成障碍物坐标，构建新的仿真训练场景；

5、s4：重复步骤s1至s3，直到完成训练，获得训练的无人机自主导航模型；

6、s5：在无人机自主导航模型的应用场景中，采用滤波器对激光雷达传感器获得的测量数据进行滤波；

7、s6：基于滤波后的测量数据构建无人机静态信息和动态信息，输入至无人机自主导航模型，完成无人机的自主导航。

8、进一步的，还提供一种优选方式，所述步骤s1包括：通过gazebo搭建无人机仿真训练场景。

9、进一步的，还提供一种优选方式，所述步骤s2包括：

10、采用雷达激光传感器感知状态空间信息；

11、根据所述状态空间信息输入至drl模型中，获取预测的无人机动作。

12、进一步的，还提供一种优选方式，所述状态空间信息包括：静态空间信息和动态空间信息，所述静态信息为原始激光测距数据，所述动态信息由当前时刻静态信息和前一时刻静态信息做差获得。

13、进一步的，还提供一种优选方式，所述状态空间信息具体为：

14、

15、其中，οt表示t时刻的状态空间信息，表示t时刻无人机的静态信息，dt表示t时刻无人机的动态信息，ξt表示无人机相对坐标信息，νt表示无人机速度信息，at表示无人机加速度信息。

16、进一步的，还提供一种优选方式，所述步骤s5包括：采用移动平均滤波器maf和巴特沃斯滤波器btf对测量数据进行去噪。

17、进一步的，还提供一种优选方式，所述障碍物为圆柱、方柱，所述障碍物坐标为均匀分布。

18、基于同一发明构思，本发明还提出一种提升无人机由训练到应用迁移性能系统，所述系统包括：

19、仿真单元，用于随机生成仿真场景障碍物坐标，构建智能体训练场景；

20、训练单元，用于无人机在训练场景进行训练；

21、重构单元，用于清除仿真场景障碍物，无人机返回起点位置，重新随机生成障碍物坐标，构建新的仿真训练场景；

22、循环单元，用于重复仿真单元至重构单元，直到完成训练，获得训练的无人机自主导航模型；

23、滤波单元，用于在无人机自主导航模型的应用场景中，采用滤波器对激光雷达传感器获得的测量数据进行滤波；

24、导航单元，用于基于滤波后的测量数据构建无人机静态信息和动态信息，输入至无人机自主导航模型，完成无人机的自主导航。

25、基于同一发明构思，本发明还提出一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据上述中任一项所述的一种提升无人机由训练到应用迁移性能方法。

26、基于同一发明构思，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质用于储存计算机程序，所述计算机程序执行上述中任一项所述的一种提升无人机由训练到应用迁移性能方法。

27、本发明的有益之处在于：

28、本发明解决了当前无人机仿真场景和实际应用场景差异导致的迁移应用下无人机自主导航避障性能较差的问题。

29、本发明提出的一种提升无人机由训练到应用迁移性能方法，通过在仿真场景中随机生成障碍物坐标，可以提供多样化的训练场景，从而让无人机在不同场景下进行训练。这可以帮助提升无人机对多样化环境的适应能力。通过在仿真训练场景中进行训练，可以尽量模拟实际应用场景，从而减小仿真与实际应用之间的差异，提高了训练的实用性。通过在每个训练阶段清除障碍物并重新生成，可以使得训练过程更具有挑战性和多样性，从而让无人机在更广泛的场景下获得训练。在实际应用中，通过滤波器对激光雷达传感器获得的测量数据进行滤波，可以有效减少噪声干扰，提高了感知数据的准确性。通过基于滤波后的测量数据构建无人机静态信息和动态信息，可以提供更准确的环境感知，使得无人机在导航时更加可靠和安全。

30、本发明提升了现有深度强化学习算法在仿真环境下训练的无人机自主导航避障模型在实际应用场景下的自主导航性能。

31、本发明提出的一种提升无人机由训练到应用迁移性能方法，通过动态生成仿真训练环境，增加训练模型遍历的场景分布类型，提升迁移应用下无人机的适应能力和鲁棒性。

32、本发明提出的一种提升无人机由训练到应用迁移性能方法，结合无人机静态信息和动态信息作为深度强化学习模型输入，补充了无人机与障碍物之间的相对运动关系，提升无人机自主决策能力。

33、本发明提出的一种提升无人机由训练到应用迁移性能方法，其独立于具体的深度强化学习算法，可将提方法应用于各类适合的深度强化学习算法，提升对应算法在无人机自主导航控制领域的性能，具有较高的通用性。

34、本发明应用于无人机自主导航及控制领域。

技术特征：

1.一种提升无人机由训练到应用迁移性能方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种提升无人机由训练到应用迁移性能方法，其特征在于，所述步骤s1包括：通过gazebo搭建无人机仿真训练场景。

3.根据权利要求1所述的一种提升无人机由训练到应用迁移性能方法，其特征在于，所述步骤s2包括：

4.根据权利要求3所述的一种提升无人机由训练到应用迁移性能方法，其特征在于，所述状态空间信息包括：静态空间信息和动态空间信息，所述静态信息为原始激光测距数据，所述动态信息由当前时刻静态信息和前一时刻静态信息做差获得。

5.根据权利要求4所述的一种提升无人机由训练到应用迁移性能方法，其特征在于，所述状态空间信息具体为：

6.根据权利要求3所述的一种提升无人机由训练到应用迁移性能方法，其特征在于，所述步骤s5包括：采用移动平均滤波器maf和巴特沃斯滤波器btf对测量数据进行去噪。

7.根据权利要求1所述的一种提升无人机由训练到应用迁移性能方法，其特征在于，所述障碍物为圆柱、方柱，所述障碍物坐标为均匀分布。

8.一种提升无人机由训练到应用迁移性能系统，其特征在于，所述系统包括：

9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据权利要求1-7中任一项所述的一种提升无人机由训练到应用迁移性能方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于储存计算机程序，所述计算机程序执行权利要求1-7中任一项所述的一种提升无人机由训练到应用迁移性能方法。

技术总结
一种提升无人机由训练到应用迁移性能方法和系统，涉及无人机训练领域。解决当前无人机仿真场景和实际应用场景差异导致的迁移应用下无人机自主导航避障性能较差的问题。所述方法：S1：随机生成仿真场景障碍物坐标，构建智能体训练场景；S2：无人机进行训练；S3：清除仿真场景障碍物，无人机返回起点，重新随机生成障碍物坐标，构建新的仿真训练场景；S4：重复上述步骤，直到完成训练，获得无人机自主导航模型；S5：在无人机自主导航模型的应用场景中，采用滤波器对激光雷达传感器获得的测量数据进行滤波；S6：基于滤波后的测量数据构建无人机信息，输入无人机自主导航模型，完成无人机的自主导航。应用于无人机自主导航及控制领域。

技术研发人员：刘环宇,绳远远,李君宝
受保护的技术使用者：哈尔滨工业大学
技术研发日：
技术公布日：2024/1/22