一种基于传感器数据新鲜度的无人机数据采集方法

本发明属于通信，具体涉及一种基于传感器数据新鲜度的无人机数据采集方法。

背景技术：

1、随着低空无人机技术的不断发展，利用单一无人机执行地面传感器数据的采集已成为少量机器取代大量人工的一种有效手段。然而，在对大尺度区域非均匀分布的地面传感器进行数据采集时，无人机巡航采集策略可能在能耗约束下难以保证数据采集的均衡性和公平性，从而导致部分传感器数据新鲜度恶化的问题。其中，数据新鲜度表示数据从产生到采集的平均时延，代表系统数据的有效性和可靠性。

2、针对上述问题，本发明提出一种基于传感器数据新鲜度的无人机数据采集方法。该方法采用双延时深度确定性策略梯度算法[1]建立深度强化学习模型，通过设立无人机能耗约束，对巡航采集过程中的目标传感器对象以及数据采集量进行动态平衡与优化，从而有效提高系统的数据新鲜度。

3、[1]f.scott,v.h.herke,m.david.addressing function approximation errorin actor-critic methods[c].proceedings of the 35th international conferenceon machine learning,stockholm,sweden,2018:2587-2601.

技术实现思路

1、本发明旨在解决以上现有技术的问题。提出了一种基于传感器数据新鲜度的无人机数据采集方法。本发明的技术方案如下：

2、一种基于传感器数据新鲜度的无人机数据采集方法，其包括以下步骤：

3、101、采用双延时深度确定性策略梯度算法构建深度强化学习模型，包括无人机动作策略发生器、无人机状态-动作值发生器、无人机数据采集策略发生器、经验样本存储区、随机样本集，将无人机的巡航采集时间划分为若干个长度为s的等长时隙，且任意时隙k内系统状态不变，建立系统状态向量[sk,ak,rk,sk+1]，其中，sk为k时隙的无人机状态向量，ak为k时隙的无人机动作向量，rk为k时隙的系统奖励，sk+1为k+1时隙的无人机状态向量，初始化k＝0；

4、102、令k＝k+1，无人机数据采集策略发生器根据状态向量sk，更新k时隙系统数据新鲜度集合其中，为k时隙传感器i数据新鲜度，数据新鲜度表示数据从产生到采集的平均时延；

5、103、通过无人机动作策略发生器获得sk状态下无人机动作向量ak，根据集合fk，获得系统奖励rk，根据sk与ak计算获得k+1时隙无人机状态向量sk+1，将系统状态向量[sk,ak,rk,sk+1]加入经验样本存储区；

6、104、从经验样本存储区随机抽样获得样本集，并将样本集分别导入无人机动作策略发生器与无人机状态-动作值发生器进行训练；

7、105、如果截止到k时隙的无人机能耗e达到能耗门限emax，跳转到步骤106，否则，跳转到步骤102；

8、106、采集工作结束。

9、进一步的，所述步骤101中建立系统状态向量[sk,ak,rk,sk+1]，其中，k时隙的无人机状态向量sk、无人机动作向量ak、系统奖励rk、无人机在sk状态下执行ak动作后，进入k+1时隙的无人机状态向量sk+1，分别如公式(1)、(2)、(3)、(4)所示：

10、

11、ak＝[(θk,φk,vk)]                        (2)

12、rk＝-α·μk-β·σk                       (3)

13、

14、公式(1)中，(x,y,z)k表示k时隙无人机的坐标向量，表示k时隙传感器i是否在无人机覆盖范围内，如果在无人机的覆盖范围内则否则i表示系统中所有传感器的集合；公式(2)中，θk∈[0,2π]表示k时隙无人机的水平飞行角度，φk∈[0,π]表示k时隙无人机的垂直飞行角度，vk表示k时隙无人机的飞行速度；公式(3)中，α、β表示权重因子，μk表示k时隙传感器数据新鲜度的均值，σk表示k时隙传感器数据新鲜度的标准差，其中μk，σk的计算方法，如公式(5)，(6)所示：

15、

16、

17、公式(5)中，fki表示k时隙传感器i的数据新鲜度。

18、进一步的，所述步骤102中通过无人机数据采集策略发生器更新k时隙系统数据新鲜度集合fk的方法如下：

19、1)根据状态向量sk，获得当前无人机覆盖范围内的所有传感器并将其加入临时集合i′，初始化无人机在k时隙内的数据采集时间tk＝0；

20、2)根据i′中每个传感器i的数据新鲜度对i′中元素降序排列，取出集合i′中第一个传感器i，采集i上的第一个数据包，令tk＝tk+δt，其中，δt为一个数据包的采集时长，更新k时隙传感器i的数据新鲜度

21、3)如果tk＜τ，跳转到步骤2)，否则跳转到步骤4)；

22、4)根据i′中每个传感器i的数据新鲜度更新系统数据新鲜度集合fk；

23、5)步骤结束。

24、进一步的，所述步骤103中获得k时隙系统奖励rk和k+1时隙无人机状态向量sk+1的方法如下：

25、6)初始化系统奖励rk＝0，二进制变量γ＝0；

26、7)根据k时隙无人机状态向量sk、无人机动作向量ak，获得k+1时隙的无人机坐标向量(x,y,z)k+1和无人机状态向量sk+1；

27、8)根据k+1时隙的无人机坐标向量(x,y,z)k+1判断无人机是否超出数据采集区域边界，如果超出，跳转到步骤9)，否则，跳转到步骤10)；

28、9)令k+1时隙的无人机状态向量sk+1＝sk，二进制变量γ＝1；

29、10)根据k时隙传感器的数据新鲜度集合fk，获得系统奖励rk，令rk＝rk-γ·p，其中，p为无人机超出数据采集区域边界的惩罚值；

30、11)返回k时隙系统奖励rk和k+1时隙的无人机状态向量sk+1；

31、12)步骤结束。

32、进一步的，所述步骤105中获得的无人机能耗e方法，具体如公式(7)所示：

33、

34、公式(7)中，c1和c2表示与无人机重量、机翼面积、空气密度相关的权重因子，τ表示时隙长度，vk表示k时隙无人机的速度。

35、进一步的，所述步骤4)中更新传感器的数据新鲜度集合fk时，计算单个传感器新鲜度的方法，如公式(8)所示：

36、

37、公式(8)中，表示截止到k时隙无人机采集到传感器i的数据包集合，d表示传感器生成的数据包大小，表示传感器i的第j个数据包的生成时间，ti,j表示基地收到传感器i的第j个数据包的接收时间。

38、进一步的，所述步骤7)中获得无人机在k+1时隙的无人机坐标向量(x,y,z)k+1的方法，如公式(9)所示：

39、

40、公式(9)中，τ表示时隙长度，θk∈[0,2π]表示k时隙无人机的水平飞行角度，φk∈[0,π]表示k时隙无人机的垂直飞行角度，vk表示k时隙无人机的飞行速度。

41、本发明的优点及有益效果如下：

42、本发明公开一种基于传感器数据新鲜度的无人机数据采集方法。在大尺度区域非均匀分布的传感器数据采集场景下，无人机巡航采集策略可能在能耗约束下难以保证数据采集的均衡性和公平性，进而导致数据新鲜度恶化的问题。针对上述问题，本发明提出一种基于传感器数据新鲜度的无人机数据采集方法。该方法采用双延时深度确定性策略梯度算法建立深度强化学习模型，根据地面传感器的位置分布，动态规划无人机的巡航轨迹，根据传感器数据新鲜度的实时分布，动态调整数据采集策略，通过设立无人机能耗约束，对巡航采集过程中的目标传感器对象以及数据采集量进行动态平衡与优化，从而有效提高系统的数据新鲜度。