一种基于DRL的WSN中单对多移动能量补充方法

一种基于drl的wsn中单对多移动能量补充方法
技术领域
1.本发明涉及一种基于drl的wsn中单对多移动能量补充方法，属于利用深度强化学习和无线充电技术延长无线传感器网络生存时长的研究领域。


背景技术：

2.无线传感器网络由随机部署到传感器节点、服务站、基站、移动无线充电智能体构成。其中，传感器节点是具有低成本、低功耗并具备感知、接收发送信息和无线通讯能力的优点，可以感知周围环境中的热、红外、火灾和地震等信号，可以探测环境的温度、湿度、噪声、光照强度以及土壤成分等。移动充电智能体有更强的通信和数据处理能力，同时还具有自主移动的能力，计算能力和通信能力，可以基于网络中所发生的事件做出决策并自主地完成任务。基站具有足够的能量和通信能力，与移动无线充电智能体和传感器节点直接进行消息数据的传输。无线传感器网络具有自组织性，动态性优点，目前在军事，工业，环境监测和医疗卫生方面有很好的使用前景，已经引起了国家、科学界和工业界的广泛关注和重视。
3.无线传感器网络的主要目标是感知环境并提高通信实时性，通过传感器节点之间的网络可以及时地传递消息，达到通信的实时性。传感器节点还可以对事件快速做出反应，如火灾、龙卷风、地震等事件可以及时得到处理，可以将灾难发生造成的损失降到最低，维护和保护国家的财产和人民的生命财产安全。因此实时性尤为重要。
4.liguangxie等人于2015年在ieee transactions on networking发表的“multi
‑
node wireless energy charging in sensor networks”首先基于传统方法实现在无线传感器网络中单对多的移动能量补充。文中利用多节点无线能量传输技术的最新进展，为无线传感器网络中传感器节点的电池充电。文中的方法是开发一个形式化的优化方法，通过联合优化每个六边形区域的移动路径、流量路由和充电时间。通过采用离散化和一种新的公式线性化技术，研究了一个可证明的近似最优解以达到任意期望的精度水平。利用数值结果，文中展示了多节点无线能量传输技术的优势，并说明了它如何解决密集无线传感器网络中的充电可扩展性问题。
5.从出版的文献中，尚无利用深度强化学习算法和单对多的无线充电技术来解决无线传感器网络的能量短缺问题。现有的利用深度强化学习来解决无线传感其网络能量短缺问题都是针对单对单充电，或者多对单充电，因此这些方案无法有效的发挥无线充电技术中的单对多充电的高效率优势，同时也无法解决密集无线传感器网络中充电可扩展性问题。


技术实现要素：

6.本发明要解决的技术问题是提供一种基于drl的wsn中单对多移动能量补充方法，提出一种otmdrl高效移动能量补充方法，与简单的设置更高的充电优先级不同，otmdrl是计算每个传感器节点的阈值，然后基于传感器阈值确定六边形区域是否发送充电请求，最
后通过深度强化学习算法确定充电六边形区域。本发明特别考虑了网络中的移动无线充电智能体的能量问题，通过确保移动无线充电智能能量是否充足的步骤来确保无线充电智能体能量供应。通过在网络中合理的使用移动无线充电智能体和深度强化学习算法来提高整个无线传感器网络的生存寿命。本发明中的mc为移动无线充电智能体。
7.本发明采用的技术方案是：基于深度强化学习的无线传感器网络中单对多移动能量补充方法，步骤如下：
8.step1：建立一个包括传感器节点，移动无线充电智能体，基站和服务站的无线传感器网络模型：在确定监测的区域内随机部署10个以上的传感器节点，按照移动无线充电智能体最大充电范围d为边长，将区域划分为若干长度的正六边形；n
s
表示传感器节点构成的集合，传感器节点总数为n；q
s
表示六边形区域的集合；六边形区域的总数为q；表示第k个六边形区域内传感器节点的集合；n
k
表示第k个六边形区域内传感器节点个数；e
i
表示节点i的电池容量；re
i
(t)表示节点i在时间t时的电池剩余能量；r
i
表示节点i的能量消耗率；c表示服务池中的六边形区域集合。
9.初始时n
i
表示传感器节点i，q
i
表示第i个六边形区域，表示第k个六边形区域内第i个节点，基站位于二维监测平面的中心位置：基站具有足够的电能和通信能力，用于收集传感器节点和移动无线充电智能体的信息，可以直接将数据传输到移动无线充电智能体。移动无线充电智能体时具有自主移动能力，计算能力，决策能力和通信能力的设备，它拥有远大于传感器节点最大能量的电池和无线能量传输装置，其能量可通过服务站提供，移动无线充电智能体对单个传感器节点的全部输出功率也是发射功率为u
full
，移动速度为v(m/s)；服务站位于监测区域左下方，初始时，移动无线充电智能体位于服务站内，即与服务站位置相同，服务站用于为移动无线充电智能体提供能量和维护的功能。服务站，基站，移动无线充电智能体和传感器节点之间通过网络相互通信，移动无线充电智能体可以通过gps或者其他非gps定位的方法来实时定位；
10.step2：基于避免移动无线充电智能体能量耗尽和降低传感器节点死亡率原则，设计一种称为otmdrl的高效移动能量补充方法。该方法的工作过程是：首先在含有传感器节点的六边形区域内设置一个汇聚节点，用于统一收集六边形区域内节点感知信息和剩余能量信息，并将收集的信息发送给基站，如果六边形区域内只有一个节点，那么该节点就是汇聚节点；其次每个节点实时监测自己的能量状态，并将状态信息发送到汇聚节点，当汇聚节点计算六边形区域内所有节点全部剩余能量低于一定阈值时，向移动无线充电智能体发送充电请求；移动无线充电智能体维护着一个服务池，它根据每个节点的剩余能量，能耗信息，地理位置，通过深度强化学习算法计算，基于避免移动无线充电智能体能量耗尽原则和降低传感器节点死亡率原则，从服务池中选择一个六边形区域进行充电；完成充电后，移动无线充电智能体更新一次服务池，如果服务池不为空，则继续以上步骤从服务池中选择下一个需要充电的六边形区域，如果为空，则返回服务站补充能量和维护；如此循环工作，以保证无线传感器网络的持续运行。
11.在无线传感器网络中，传感器用来感知环境，接收信息，发送信息到基站，移动无线充电智能体用来做出决策和执行任务，移动无线充电智能体是可移动单元，并配有大容量的电池，本身具有比较高的计算和通信能力，为范围内所有安装了能量接收装置的传感
器节点充电，因此得出移动无线充电智能体对于移动能量补充有以下方面：一是其可以自主移动，二是其电池容量大，足够支持移动和长时间充电的能量消耗；三是移动无线传感智能体在无线传感器网络中担任重要角色，必须保证其能量的充足。
12.具体地，所述step2所述的避免移动无线充电智能体能量耗尽原则指的是：确保移动无线充电智能体在执行充电任务，不会因为自身能量耗尽而无法返回服务站补充能量；降低传感器节点死亡原则指的是：在确保移动无线充电智能体有足够的能量补充情况下，通过智能体智能决策充电调度，进行对传感器节点进行高效的充电，尽可能地保证传感器节点不因能量耗尽而死亡。
13.具体地，所述step2中，otmdrl工作过程具体为：
14.为了达到基于深度强化学习的无线传感器网络中单对多高效移动能量补充，要求每个节点周期性检查自身剩余能量re
i
(t)，判断每个六边形区域所有传感器节点剩余能量是否小于预先设定的阈值，当小于时，即代表此六边形区域有充电需求，于是就发送这个六边形区域的充电请求。充电请求消息包括：六边形区域标识
‑
id、充电类型
‑
type、六边形区域中心位置
‑
p、六边形区域内所有传感器节点的剩余能量
‑
re、六边形区域内每个传感器节点的能量消耗率
‑
r、时间戳
‑
t；传感器节点的各种信息包括充电请求时通过多跳的方式转发给基站，六边形区域内所有节点剩余能量等信息先发送给六边形区域内选定的汇聚节点，汇聚节点再发送给基站，基站通过判断这个接收的信息是否为请求充电信息，决定该六边形区域是否需要充电；
15.对于移动无线充电智能体，存在四种状态：空闲，补充能量，移动和充电状态，初始时，移动无线充电智能体处于空闲状态，位于服务站内，即在二维平面的左下方于服务站位置相同，每经过一段相等间隔时间δt，移动无线充电智能体就会接收充电请求，如果有六边形区域的充电请求，则将该六边形区域标识添加服务池，并通过深度强化学习算法，从服务池中选择一个六边形区域前往充电，如果没有充电请求，且服务池为空，就继续位于在服务站内处于空闲状态；移动无线充电智能体在空闲、移动、补充能量状态时，每个相等间隔时间δt，就会接收充电请求信息，更新服务池，在一次充电完成后就立即接收充电请求信息，更新服务池，在充电状态时，则不能接收充电信息和更新服务池；
16.移动无线充电智能体收到充电请求信息并更新服务池后，根据深度强化学习算法从服务池确定一个前往充电的六边形区域，然后移动充电装置将其状态由空闲转换为移动状态，在到达六边形区域中心后，移动状态转换为充电状态，在充电状态时，移动无线充电智能体不接收充电请求信息，也不更新服务池，一旦六边形区域内的全部传感器节点完全充电后，就会将此六边形区域标识从服务池中删除，移动无线充电装置会再次接收充电请求更新服务池；如果服务池c不为空，移动无线充电智能体将再次通过深度强化学习算法，从服务池选择下一个需要充电的六边形区域，然后开始新的充电任务。在每次执行充电任务之前，移动无线充电智能体会计算在完成充电后是否有足够的能量返回服务站补充能量，根据能量是否充足决定是否前往充电，如果不足，则先返回服务站补充能量，到达服务站后移动无线充电智能体由移动状态转换为补充能量状态；补充完能量后，再由补充能量状态转换为空闲状态或移动状态，在补充能量状态时，无线充电智能体会接收充电请求信息并更新服务池，补充能量结束后通过深度强化学习算法，从服务池中选择一个六边形区域进行充电；本方案采用优先级方案，即优先保证移动无线充电智能体能量供应，如果深度
强化学习选择出的充电六边形区域不在服务池中，则优先选择深度强化学习算法选择的六边形区域。
17.具体地，所述step3中，整体步骤如下：
18.step3.1首先要对监测区域进行六边形区域划分，六边形区域是正六边形，所以边长设为移动无线充电智能体的充电范围是d，于是六边形区域中心位置l(x
i
,y
j
)的横坐标x
i
和纵坐标y
j
为：
[0019][0020]
上式的x
i
和y
j
的最大值都应与大于二维平面横坐标和纵坐标的最大值，这样才能保证六边形区域能覆盖全部监测区域，同时也能保证移动无线充电智能体为监测区域内的所有传感器节点补充能量。然后要判断区域内有哪些传感器节点，因为六边形区域不是圆形区域，六边形区域中心距离边缘最近的长度为所以传感器节点距离一个六边形区域中心长度小于则这个传感器节点属于此六边形区域；同理，六边形区域中心距离最大距离为d，所以传感器节点距离六边形区域中心长度大于d，则这个传感器节点不属于此六边形区域，对于距离六边形区域中心长度正好等于或者d的传感器节点，则属于六边形区域中心坐标横坐标和纵坐标较小的六边形区域；
[0021]
step3.2移动无线充电智能简称mc，mc从基站接收充电请求，更新服务池；六边形区域是否充电请求与六边形区域内的传感器节点阈值相关；对于单个传感器节点n
i
，只要在mc的充电范围内，其接收功率为：
[0022]
u
i
＝μ(d
i
)
·
u
full
ꢀꢀꢀꢀꢀ
(2)
[0023]
其中u
full
为mc对单个传感器节点的全部输出功率，d
i
为六边形区域内的传感器节点n
i
到其所在的六边形区域中心的距离，μ(d
i
)为无线功率传输效率,它满足以下公式：
[0024][0025]
单个传感器节点n
i
的能耗率为：
[0026][0027]
其中f
ij
表示δt时间内传感器节点i到传感器节点j的流量,f
ib
表示δt时间内传感器节点i到基站b的流量，ρ为接收一个单元数据的能量消耗率，表示节点i在δt时间内接收能量消耗，c
ib
是一个单位的数据在从节点i传输到基站b时的能耗，c
ij
是一个单位的数据在从节点i传输到节点j时的能耗，其表示为：
[0028][0029]
其中d
ij
表示节点i到节点j之间的距离，β1是数据传输所消耗的能量的常数，β2表示数据传输所消耗的能量系数，α是路径损失指数；
[0030]
待充电节点的剩余能量应该满足：mc以最短的时间到达节点所在的六边区域中心并为区域内的节点充电之前，节点不能因能量耗尽而死亡，否则，mc不能满足传感器节点的充电需求；mc运动到节点n
i
所在的六边形区域q
j
中心的时间为：
[0031][0032]
其中,v表示mc移动速度，distance(mc,q
j
)表示mc的当前位置到节点n
i
所在的六边形区域q
j
中心的距离，于是就有节点的阈值e
thred
满足以下公式：
[0033][0034]
当六边形区域内有超过一半数量的传感器节点剩余能量下降到阈值以下，或六边形区域内剩余电量的平均值低于阈值，则此六边形区域发送充电请求；
[0035]
step3.3由于六边形区域内传感器节点位置已知，mc到达需要充电六边形区域对六边形区域内的传感器节点进行完全充电，所以可以提前计算mc在六边形区域中心的充电时间，对于单个传感器节点n
i
在t时刻所需要的充电时间time
i
为：
[0036][0037][0038]
则mc在六边形区域q
j
内的充电时间为：
[0039][0040]
step3.4.1mc初始阶段位于服务站中处于空闲状态，每个相同的间隔时间就从基站中接收充电请求信息，并将发送请求充电信息的六边形区域标识放入服务池中；
[0041]
step3.4.2mc更新服务池，服务池可以描述如下：
[0042][0043]
当服务池为空时，转到step3.4.1，否则转到step3.4.3；
[0044]
step3.4.3mc通过深度强化学习算法选择下一个前往充电的六边形区域q
j
；
[0045]
step3.4.4选择下一个即将前往充电的六边形区域后，mc会在前往充电之前先检查自身的能量是否足够在补充完能量后，有足够的能量返回服务站为自身补充能量，mc从当前位置移动到选择的六边形区域q
j
中心的能量为：
[0046][0047]
其中speed
move
表示mc移动单位距离所消耗的能量，则mc到达六边形区域q
j
中心所花费的时间为：
[0048]
[0049]
则，六边形区域q
j
内传感器节点在mc到达时候的剩余能量为：
[0050][0051]
所以，mc为六边形区域q
j
内传感器节点充电所需要的能量为：
[0052][0053]
再计算从六边形区域q
j
中心返回服务站的能量为：
[0054][0055]
于是，从mc当前位置执行完一次充电任务后再返回服务站的所花费的总能量为：
[0056][0057]
如果e小于re
mc
(t),则继续接下来的步骤，否者mc返回服务站，此轮充电回合结束，步骤转到step3.4.1；
[0058]
step3.4.5mc前往选择的六边形区域q
j
为其内部的传感器节点充电；
[0059]
step3.4.6如果q
j
在服务池中，将六边形区域q
j
从服务池中移除；
[0060]
step3.4.7mc从基站中接收充电请求信息，并将发送请求充电信息的六边形区域标识放入服务池中，转到step3.4.2。
[0061]
本发明的有益效果是：本发明通过对无线传感器网络特征分析，对移动无线充电智能体的自主移动性、智能性、长时间充电等特性，对传感器节点电量的高维数据，动态的能量变化等特征进行深入分析考虑，来保证无线传感器网络中传感器节点的低死亡率。通过深度强化学习算法，将无线传感器网络中传感器节点电量、位置等高维数据进行处理，再通过移动无线充电智能进行选择和执行任务。从多个方面深入考虑，有效地解决了无线传感器网络的能量补充问题。
[0062]
总之，建立了一种基于深度强化学习的无线传感器网络中单对多移动能量补充方法，综合传感器和移动无线充电智能体的特征，考虑了移动无线充电智能体本身能量和充电调度问题。实现了对无线传感器网络的有效移动能量补充。该方法可以很好的适应移动无线充电智能体的自主移动、长时间持续充电以及传感器节点的能量的动态消耗等特征，同时降低了传感器节点的死亡问题，具有很好的拓展性。
附图说明
[0063]
图1为无线传感器网络模型；
[0064]
图2为状态转化图；
[0065]
图3为下一充电区域示意图；
[0066]
图4为充电方法流程图；
具体实施方式
[0067]
为了更详细的描述本发明和便于本领域人员的理解，下面结合附图以及实施例对本发明做进一步的描述，本部分的实施例用于解释说明本发明，便于理解的目的，不以此限制本发明
[0068]
实施例1：如图4所示，一种基于drl的wsn中单对多移动能量补充方法，步骤如下：
[0069]
step1：建立一个包括传感器节点，移动无线充电智能体，基站和服务站的无线传感器网络模型：在确定监测的区域内随机部署10个以上的传感器节点，按照移动无线充电智能体最大充电范围d为边长，将区域划分为若干长度的正六边形；n
s
表示传感器节点构成的集合，传感器节点总数为n；q
s
表示六边形区域的集合；六边形区域的总数为q；表示第k个六边形区域内传感器节点的集合；n
k
表示第k个六边形区域内传感器节点个数；e
i
表示节点i的电池容量；re
i
(t)表示节点i在时间t时的电池剩余能量；r
i
表示节点i的能量消耗率；c表示服务池中的六边形区域集合。
[0070]
初始时n
i
表示传感器节点i，q
i
表示第i个六边形区域，表示第k个六边形区域内第i个节点，基站位于二维监测平面的中心位置：基站具有足够的电能和通信能力，用于收集传感器节点和移动无线充电智能体的信息，可以直接将数据传输到移动无线充电智能体。移动无线充电智能体时具有自主移动能力，计算能力，决策能力和通信能力的设备，它拥有远大于传感器节点最大能量的电池和无线能量传输装置，其能量可通过服务站提供，移动无线充电智能体对单个传感器节点的全部输出功率也是发射功率为u
full
，移动速度为v(m/s)；服务站位于监测区域左下方，初始时，移动无线充电智能体位于服务站内，即与服务站位置相同，服务站用于为移动无线充电智能体提供能量和维护的功能。服务站，基站，移动无线充电智能体和传感器节点可以通过网络通信，移动无线充电智能体可以通过gps或者其他非gps定位的方法来实时定位；
[0071]
step2：基于避免移动无线充电智能体耗尽能量和降低传感器节点死亡率原则，设计一种称为otmdrl的高效移动能量补充方法。该方法的工作过程时：首先在含有传感器节点的六边形区域内设置一个汇聚节点，用于统一收集六边形区域内节点感知信息和剩余能量信息，并将收集的信息发送给基站，如果六边形区域内只有一个节点，那么一个节点就是汇聚节点；其次每个节点实时监测自己的能量状态，并将状态信息发送到汇聚节点，当汇聚节点计算六边形区域内所有节点全部剩余能量低于一定阈值时，向移动无线充电智能体发送充电请求；移动无线充电智能体维护着一个服务池，它根据每个节点的剩余能量，能耗信息，地理位置，通过深度强化学习算法计算，基于避免移动无线充电智能体能量耗尽原则和降低传感器节点死亡率原则，从服务池中选择一个六边形区域进行充电；完成充电后，移动无线充电智能体更新一次服务池，如果服务池不为空，则继续以上步骤从服务池中选择下一个需要充电的六边形区域，如果为空，则返回服务站补充能量和维护；如此循环工作，以保证无线传感器网络的持续运行；
[0072]
在无线传感器网络中，传感器用来感知环境，接收信息，发送信息到基站，移动无线充电智能体用来做出决策和执行任务，移动无线充电智能体是可移动单元，并配有大容
量的电池，本身具有比较高的计算和通信能力，为范围内所有安装了能量接收装置的传感器节点充电，因此得出移动无线充电智能体对于移动能量补充有以下方面：一是其可以自主移动，二是其电池容量大，足够支持移动和长时间充电的能量消耗；三是移动无线传感智能体在无线传感器网络中担任重要角色，必须保证其能量的充足。
[0073]
与传统网络相比，无线传感器网络有三个特征：(i)将移动无线充电智能体加入到网络中，使其能够作用并改变环境；(ii)移动无线充电智能体具有移动性，从而导致高动态的网络拓扑结构；(iii)移动无线充电智能体与传感器相比，配有更大能量的电池，可以支持移动和长时间充电等。
[0074]
现有的移动能量补充方案没有考虑将深度强化学习和一对多充电结合，以达到更高的充电效率和更好的拓展性。
[0075]
目前，大多数现有的移动充电方案属于离线能量补充和一对一的充电，其基于节点能耗消耗率相对恒定的情况下，可以提前设定移动充电装置的充电路径，对于预定的运动轨迹和充电机制，难以很好的适应节点能耗的动态变化，也无法范围性地为节点充电。
[0076]
当六边形区域内节点低于一定阈值时，本充电方案允许六边形区域主动及时发送充电请求，这使得本方案很好地适应周围环境的不确定性所造成的动态能量消耗。然而其他的在线充电方案没用考虑网络中移动无线充电智能体的重要性，也没有体现一对多充电的优势。
[0077]
进一步地，所述step3所述的避免移动无线充电智能体能量耗尽原则指的是：确保移动无线充电智能体在执行充电任务，不会因为自身能量耗尽而无法返回服务站补充能量；降低传感器节点死亡原则指的是：在确保移动无线充电智能体有足够的能量补充情况下，通过智能体智能决策充电调度，进行对传感器节点进行高效的充电，尽可能地保证传感器节点不因能量耗尽而死亡。虽然传感器节点的重要性要低于移动无线充电智能体，但是二者都是构成无线传感器网络的重要组成部分。传感器节点的死亡将导致数据丢失、链路断开甚至网络分割，因此要尽可能地避免传感器死亡。
[0078]
进一步地，所述step2中，otmdrl工作过程具体为：
[0079]
为了达到基于深度强化学习的无线传感器网络中单对多高效移动能量补充，要求每个节点周期性检查自身剩余能量re
i
(t)，判断每个六边形区域所有传感器节点剩余能量是否小于预先设定的阈值，当小于时，即代表此六边形区域有充电需求，于是就发送这个六边形区域的充电请求。充电请求消息包括：六边形区域标识
‑
id、充电类型
‑
type、六边形区域中心位置
‑
p、六边形区域内所有传感器节点的剩余能量
‑
re、六边形区域内每个传感器节点的能量消耗率
‑
r、时间戳
‑
t；传感器节点的各种信息包括充电请求时通过多跳的方式转发给基站，六边形区域内所有节点剩余能量等信息先发送给六边形区域内选定的汇聚节点，汇聚节点再发送给基站，基站通过判断这个接收的信息是否为请求充电信息，决定该六边形区域是否需要充电；
[0080]
对于移动无线充电智能体，存在四种状态：空闲，补充能量，移动和充电状态，初始时，移动无线充电智能体处于空闲状态，位于服务站内，即在二维平面的左下方于服务站位置相同，每经过一段相等间隔时间δt，移动无线充电智能体就会接收充电请求，如果有六边形区域的充电请求，则将该六边形区域标识添加服务池，并通过深度强化学习算法，从服务池中选择一个六边形区域前往充电，如果没有充电请求，且服务池为空，就继续位于在服
务站内处于空闲状态；移动无线充电智能体在空闲、移动、补充能量状态时，每个相等间隔时间δt，就会接收充电请求信息，更新服务池，在一次充电完成后就立即接收充电请求信息，更新服务池，在充电状态时，则不能接收充电信息和更新服务池；
[0081]
算法从服务池确定一个前往充电的六边形区域，然后移动充电装置将其状态由空闲转换为移动状态，在到达六边形区域中心后，移动状态转换为充电状态，在充电状态时，移动无线充电智能体不接收充电请求信息，也不更新服务池，一旦六边形区域内的全部传感器节点完全充电后，就会将此六边形区域标识从服务池中删除，移动无线充电装置会再次接收充电请求更新服务池；如果服务池c不为空，移动无线充电智能体将再次通过深度强化学习算法，从服务池选择下一个需要充电的六边形区域，然后开始新的充电任务。在每次执行充电任务之前，移动无线充电智能体会计算在完成充电后是否有足够的能量返回服务站补充能量，根据能量是否充足决定是否前往充电，如果不足，则先返回服务站补充能量，到达服务站后移动无线充电智能体由移动状态转换为补充能量状态；补充完能量后，再由补充能量状态转换为空闲状态或移动状态，在补充能量状态时，无线充电智能体会接收充电请求信息并更新服务池，补充能量结束后通过深度强化学习算法，从服务池中选择一个六边形区域进行充电；本方案采用优先级方案，即优先保证移动无线充电智能体能量供应，如果深度强化学习选择出的充电六边形区域不在服务池中，则优先选择深度强化学习算法选择的六边形区域。
[0082]
具体地，所述step2中，整体步骤如下：
[0083]
step3.1首先要对监测区域进行六边形区域划分，六边形区域是正六边形，所以边长设为移动无线充电智能体的充电范围是d，于是六边形区域中心位置l(x
i
,y
j
)的横坐标x
i
和纵坐标y
i
为：
[0084][0085]
上式的x
i
和y
i
的最大值都应与大于二维平面横坐标和纵坐标的最大值，这样才能保证六边形区域能覆盖全部监测区域，同时也能保证移动无线充电智能体为监测区域内的所有传感器节点补充能量。然后要判断区域内有哪些传感器节点，因为六边形区域不是圆形区域，六边形区域中心距离边缘最近的长度为所以传感器节点距离一个六边形区域中心长度小于则这个传感器节点属于此六边形区域；同理，六边形区域中心距离最大距离为d，所以传感器节点距离六边形区域中心长度大于d，则这个传感器节点不属于此六边形区域，对于距离六边形区域中心长度正好等于或者d的传感器节点，则属于六边形区域中心坐标横坐标和纵坐标较小的六边形区域；
[0086]
step3.2移动无线充电智能简称mc，mc从基站接收充电请求，更新服务池；六边形区域是否充电请求与六边形区域内的传感器节点阈值相关；对于单个传感器节点n
i
，只要在mc的充电范围内，其接收功率为：
[0087]
u
i
＝μ(d
i
)
·
u
full
ꢀꢀꢀꢀ
(2)
[0088]
其中u
full
为mc对单个传感器节点的全部输出功率，d
i
为六边形区域内的传感器节点n
i
到其所在的六边形区域中心的距离，μ(d
i
)为无线功率传输效率,它满足以下公式：
[0089][0090]
单个传感器节点n
i
的能耗率为：
[0091][0092]
其中f
ij
表示δt时间内传感器节点i到传感器节点j的流量,f
ib
表示δt时间内传感器节点i到基站b的流量，ρ为接收一个单元数据的能量消耗率，表示节点i在δt时间内接收能量消耗，c
ib
是一个单位的数据在从节点i传输到基站b时的能耗，c
ij
是一个单位的数据在从节点i传输到节点j时的能耗，其表示为：
[0093][0094]
其中d
ij
表示节点i到节点j之间的距离，β1是数据传输所消耗的能量的常数，β2表示数据传输所消耗的能量系数，α是路径损失指数；
[0095]
待充电节点的剩余能量应该满足：mc以最短的时间到达节点所在的六边区域中心并为区域内的节点充电之前，节点不能因能量耗尽而死亡，否则，mc不能满足传感器节点的充电需求；mc运动到节点n
i
所在的六边形区域q
j
中心的时间为：
[0096][0097]
其中,v表示mc移动速度，distance(mc,q
j
)表示mc的当前位置到节点n
i
所在的六边形区域q
j
中心的距离，于是就有节点的阈值e
thred
满足以下公式：
[0098][0099]
当六边形区域内有超过一半数量的传感器节点剩余能量下降到阈值以下，或六边形区域内剩余电量的平均值低于阈值，则此六边形区域发送充电请求；
[0100]
step3.3由于六边形区域内传感器节点位置已知，mc到达需要充电六边形区域对六边形区域内的传感器节点进行完全充电，所以可以提前计算mc在六边形区域中心的充电时间，对于单个传感器节点n
i
在t时刻所需要的充电时间time
i
为：
[0101][0102]
则mc在六边形区域q
j
内的充电时间为：
[0103][0104]
step3.4.1mc初始阶段位于服务站中处于空闲状态，每个相同的间隔时间就从基站中接收充电请求信息，并将发送请求充电信息的六边形区域标识放入服务池中；
[0105]
step3.4.2mc更新服务池，服务池可以描述如下：
[0106][0107]
当服务池为空时，转到step3.4.1，否则转到step3.4.3；
[0108]
step3.4.3mc通过深度强化学习算法选择下一个前往充电的六边形区域q
j
；
[0109]
step3.4.4选择下一个即将前往充电的六边形区域后，mc会在前往充电之前先检查自身的能量是否足够在补充完能量后，有足够的能量返回服务站为自身补充能量，mc从当前位置移动到选择的六边形区域中心的能量为：
[0110][0111]
其中speed
move
表示mc移动单位距离所消耗的能量，则mc到达六边形区域q
j
中心所花费的时间为：
[0112][0113]
则，六边形区域q
j
内传感器节点在mc到达时候的剩余能量为：
[0114][0115]
所以，mc为六边形区域q
j
内传感器节点充电所需要的能量为：
[0116][0117]
再计算从六边形区域q
j
中心返回服务站的能量为：
[0118][0119]
于是，从mc当前位置执行完一次充电任务后再返回服务站的所花费的总能量为：
[0120][0121]
如果e小于re
mc
(t),则继续接下来的步骤，否者mc返回服务站，此轮充电回合结束，步骤转到step3.4.1；
[0122]
step3.4.5mc前往选择的六边形区域q
j
为其内部的传感器节点充电；
[0123]
step3.4.6如果q
j
在服务池中，将六边形区域q
j
从服务池中移除；
[0124]
step3.4.7mc从基站中接收充电请求信息，并将发送请求充电信息的六边形区域标识放入服务池中，转到step3.4.2。
[0125]
下面结合附图和具体例子对下一充电六边形区域的选择进行具体的描述：
[0126]
为了方便描述，移动无线充电智能体简称为mc。如图1所示，无线传感器网络被等边的正六边形划分为若干个区域，每个六边形区域内有若干个传感器节点，基站位于监测区域的中心，服务站位于监测区域的左下，初始时，mc位于服务站内，即mc位置与服务站位置相同。
[0127]
step3.1首先要对监测区域进行六边形区域划分，六边形区域是正六边形，所以边长设为移动无线充电智能体的充电范围是d，于是六边形区域中心位置l(x
i
,y
j
)的横坐标x
i
和纵坐标y
j
为：
[0128][0129]
上式的x
i
和y
i
的最大值都应与大于二维平面横坐标和纵坐标的最大值，这样才能保证六边形区域能覆盖全部监测区域，同时也能保证移动无线充电智能体为监测区域内的所有传感器节点补充能量。然后要判断区域内有哪些传感器节点，因为六边形区域不是圆形区域，六边形区域中心距离边缘最近的长度为所以传感器节点距离一个六边形区域中心长度小于则这个传感器节点属于此六边形区域；同理，六边形区域中心距离最大距离为d，所以传感器节点距离六边形区域中心长度大于d，则这个传感器节点不属于此六边形区域，对于距离六边形区域中心长度正好等于或者d的传感器节点，则属于六边形区域中心坐标横坐标和纵坐标较小的六边形区域；
[0130]
step3.2移动无线充电智能简称mc，mc从基站接收充电请求，更新服务池；六边形区域是否充电请求与六边形区域内的传感器节点阈值相关；对于单个传感器节点n
i
，只要在mc的充电范围内，其接收功率为：
[0131]
u
i
＝μ(d
i
)
·
u
full (2)
[0132]
其中u
full
为mc对单个传感器节点的全部输出功率，d
i
为六边形区域内的传感器节点n
i
到其所在的六边形区域中心的距离，μ(d
i
)为无线功率传输效率,它满足以下公式：
[0133][0134]
单个传感器节点n
i
的能耗率为：
[0135][0136]
其中f
ij
表示δt时间内传感器节点i到传感器节点j的流量,f
ib
表示δt时间内传感器节点i到基站b的流量，ρ为接收一个单元数据的能量消耗率，表示节点i在δt时间内接收能量消耗，c
ib
是一个单位的数据在从节点i传输到基站b时的能耗，c
ij
是一个单位的数据在从节点i传输到节点j时的能耗，其表示为：
[0137][0138]
其中d
i
j表示节点i到节点j之间的距离，β1是数据传输所消耗的能量的常数，β2表
示数据传输所消耗的能量系数，α是路径损失指数；
[0139]
待充电节点的剩余能量应该满足：mc以最短的时间到达节点所在的六边区域中心并为区域内的节点充电之前，节点不能因能量耗尽而死亡，否则，mc不能满足传感器节点的充电需求；mc运动到节点n
i
所在的六边形区域q
j
中心的时间为：
[0140][0141]
其中,v表示mc移动速度，distance(mc,q
j
)表示mc的当前位置到节点n
i
所在的六边形区域q
j
中心的距离，于是就有节点的阈值e
thred
满足以下公式：
[0142][0143]
当六边形区域内有超过一半数量的传感器节点剩余能量下降到阈值以下，或六边形区域内剩余电量的平均值低于阈值，则此六边形区域发送充电请求；
[0144]
step3.3由于六边形区域内传感器节点位置已知，mc到达需要充电六边形区域对六边形区域内的传感器节点进行完全充电，所以可以提前计算mc在六边形区域中心的充电时间，对于单个传感器节点n
i
在t时刻所需要的充电时间time
i
为：
[0145][0146]
则mc在六边形区域q
j
内的充电时间为：
[0147][0148]
step3.4.1mc初始阶段位于服务站中处于空闲状态，每个相同的间隔时间就从基站中接收充电请求信息，并将发送请求充电信息的六边形区域标识放入服务池中；
[0149]
step3.4.2mc更新服务池，服务池可以描述如下：
[0150][0151][0152]
当服务池为空时，转到step3.4.1，否则转到step3.4.3；
[0153]
step3.4.3mc通过深度强化学习算法选择下一个前往充电的六边形区域q
j
；
[0154]
step3.4.4选择下一个即将前往充电的六边形区域后，mc会在前往充电之前先检查自身的能量是否足够在补充完能量后，有足够的能量返回服务站为自身补充能量，mc从当前位置移动到选择的六边形区域中心的能量为：
[0155][0156]
其中speed
move
表示mc移动单位距离所消耗的能量，则mc到达六边形区域q
j
中心所花费的时间为：
[0157][0158]
则，六边形区域q
j
内传感器节点在mc到达时候的剩余能量为：
[0159][0160]
所以，mc为六边形区域q
j
内传感器节点充电所需要的能量为：
[0161][0162]
再计算从六边形区域q
j
中心返回服务站的能量为：
[0163][0164]
于是，从mc当前位置执行完一次充电任务后再返回服务站的所花费的总能量为：
[0165][0166]
如果e小于re
mc
(t),则继续接下来的步骤，否者mc返回服务站，此轮充电回合结束，步骤转到step3.4.1；
[0167]
step3.4.5mc前往选择的六边形区域q
j
为其内部的传感器节点充电；
[0168]
step3.4.6如果q
j
在服务池中，将六边形区域q
j
从服务池中移除；
[0169]
step3.4.7mc从基站中接收充电请求信息，并将发送请求充电信息的六边形区域标识放入服务池中，转到step3.4.2。
[0170]
例如图3，图中六边形区域内的数字代表六边形标识，如1代表六边形区域q1。mc在服务站时初始阶段t0,mc接收带六边形区域q1,q2,q3,q8的充电请求，并将其标识放入服务池中，更新服务池；此时服务池的六边形区域标识为{q1,q2,q3,q8},通过深度强化学习算法，mc决定前往六边形区域q1进行充电，mc在六边形区域q1充完电后，就将六边形区域q1标识移除服务池；此时进入阶段t1，mc的服务池为{q2,q3,q8}，同样的，mc前往六边形区域q2,q3进行充电，充电完成后，进入步骤t3，此时mc的收到了六边形区域q5的充电请求，于是就更新服务池，此时mc的服务池为{q5,q8}。然后，mc通过深度强化学习选择的下一充电六边形区域是q6，尽管此六边形区域不在服务池中，但是根据深度强化学习选择的六边形区域优先级高的原则，所以，mc前往六边形区域q6进行充电，通过完成后，mc本应前往六边形区域q4进行充电，但是经过step3.4.4得出mc前往充电后将无法有足够的能量返回服务站补充能量，由于避免mc能量耗尽原则，mc将返回服务站补充能量，此轮充电结束，mc补充完能量后再继续进行充电任务。
[0171]
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述
实施方案，在本领域普通技术人员具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。