一种采用Q学习MAC协议收敛性判定方法与流程

本发明涉及一种采用q学习mac协议收敛性判定方法，特别是一种利用q学习结合基于随机访问方式实现无碰撞传输技术中节点周期帧时隙数与网络收敛性判定方法，属于无线传感器网络、介质访问控制协议技术领域。

背景技术：

无线传感器网络(wirelesssensornetworks,wsns)由部署在监测区域内的大量节点组成，通过无线通信的方式形成一个多跳自组织网络，其目的是协作感知、采集以及处理网络覆盖区域中感知对象的信息，并以多跳中继的方式将所感知到的信息传送到用户终端，从而实现计算机网络世界、现实世界以及人类社会的连通。wsns已被广泛应用于包括环境监测、气候分析、国土安全保护以及地震监测等陆地上的各种领域。

介质访问控制(mediumaccesscontrol，mac)协议处于wsns通信协议的底层，决定节点访问信道的方式，负责网络中无线通信资源的分配，对网络的性能有直接的影响。由于节点通常是依靠电池供电，电池能量难以补充，所以在mac协议开发中需节约能量以延长网络生命周期。

不依赖于模型且通过不断与环境试错交互进而获取经验的q学习算法已被应用于mac协议中，在现有的基于q学习的mac协议中，采用预先设定网络环境与节点周期帧时隙时隙数方式，无法通过节点周期帧时隙数与节点所处网络环境判定网络收敛性，影响网络的扩展以及性能的提升。

技术实现要素：

针对上述现有技术，本发明要解决的技术问题是提供一种采用q学习mac协议收敛性判定方法，通过理论分析节点的周期帧时隙数与邻居节点个数之间的(不同)关系，判定网络收敛性，进而对网络中动态设定周期帧时隙数提供依据，扩展网络应用，提升网络性能。

为解决上述技术问题，本发明的一种采用q学习mac协议收敛性判定方法，包括以下步骤：

s1：传感器网络初始化；

s2：节点通过网络初始化或者广播探测包获得邻居节点数m；

s3:节点获取自身周期帧时隙数n；

s4:判断采用q学习的mac协议在所处网络环境中是否收敛，具体为：

当m+1≤n时，任一帧时隙的节点选择数小于等于1，最终每个时隙至多被1个节点选择，所述采用q学习mac协议收敛；

当m+1≥2n时，任一帧时隙的节点选择数为大于等于2，最终每个时隙至少被2个节点选择，所述采用q学习mac协议不收敛；

当n＜m+1＜2n时，协议有条件收敛：当(m+1)与n比值在(1，1.5)时，采用q学习mac协议收敛；(m+1)与n比值在[1.5，2)时，即使放宽收敛条件，采用q学习mac协议不收敛。

本发明的有益效果：本发明通过分析节点的周期帧时隙数与邻居节点个数之间的(不同)关系，判定采用q学习mac协议是否可用，避免了网络不收敛时节点无法正常通信、节点由于不断尝试通信而消耗能量、使网络过早死亡；该方法可用作周期帧时隙数预先设定以及周期性调整的判定条件，有效指导周期帧时隙数的设定。该判定方法同时可作为动态设定周期帧时隙数的理论依据，能够扩展基于q学习mac协议的应用并提升网络性能。

附图说明

图1是网络中无线传感器网络分布示意图。

图2是本发明实施例提供的一种采用q学习mac协议网络收敛性判定方法的流程图。

具体实施方式

下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部实施例。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于发明的实施例，本领域技术人员没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明中，节点根据其周期帧时隙数与邻居节点数的关系，判断协议在该网络环境中是否可以收敛，从而判断其可用性。具体包含以下步骤：

(1)节点获取其一跳范围内邻居节点数并与其自身周期帧时隙数进行比较。

(2)节点根据其一跳范围内邻居节点数与其自身周期帧时隙数的关系判断该基于q学习的mac协议在所处网络环境中是否可以收敛，即可用。若邻居节点数加1小于等于其自身周期帧时隙数时，该协议在所处网络中一定可以收敛，即每个节点都能通过试错找到专属帧时隙，网络可以正常通信；若邻居节点数加1大于等于2倍的周期帧时隙数时，该协议所处网络一定不能收敛，即所有节点都找不到专属帧时隙，网络无法通信；若邻居节点数加1处在开区间(n，2n)时，该网络有条件收敛，即存在一部分节点找不到专属帧时隙，但网络可以通信，通信性能差。

步骤(2)中，节点通过动态获得邻居节点数并与自身周期帧数进行比较，可以得到该协议在当前网络环境中是否收敛的判断准则。

结合图1和图2，本发明的一种采用q学习mac协议收敛性判定方法，包括以下步骤：

(1)传感器网络初始化；

(2)节点通过网络初始化或者广播探测包获得邻居节点数m

(3)节点获取自身周期帧时隙数n；

(4)当m+1≤n时，通过计算可得任一帧时隙的节点选择数的概率分布，进而求得其数学期望一定小于等于1，即任一帧时隙的节点选择数为小于等于1，即最终每个时隙最多被1个节点选择，那么该协议一定能够收敛，可以应用；

(5)若m+1≥2n时，通过计算可得任一帧时隙的节点选择数的概率分布，进而求得其数学期望一定大于等于2，即任一帧时隙的节点选择数为大于等于2，即最终每个时隙最少被2个节点选择，那么该协议一定不能够收敛，无法应用；

(6)若n＜m+1＜2n时，网络有条件收敛：(a)(m+1)与n比值在开区间(1，1.5)时，放宽q学习收敛条件可认为网络在一定条件下收敛，比值越小网络通信能力越强；(m+1)与n比值在[1.5，2)时，即使放宽收敛条件，也认为网络不能收敛。

结合具体参数给出本发明实施例：

结合图1，以节点a为例，节点a通信范围内有邻居节点b、c、d、e。

结合图2，按此流程图执行步骤如下：

(1)节点a通过广播探测包获得邻居节点数目4，并与自身周期帧时隙数n进行比较；

(2)若其周期帧时隙数n≥5时，网络一定能够收敛；

(3)若其周期帧时隙数n≤2.5时(n取1,2)，网络一定不能收敛；

(4)若2.5＜n＜5时，网络有条件收敛：(a)5与n比值在开区间(1，1.5)时，即3.3<n<5(n取4)，可认为网络在一定条件下收,；5与n比值在[1.5，2)时，即2.5<n≤3.3(n取3)，可认为网络不能收敛。

技术特征：

1.一种采用q学习mac协议收敛性判定方法，其特征在于，包括以下步骤：

s1：传感器网络初始化；

s2：节点通过网络初始化或者广播探测包获得邻居节点数m；

s3:节点获取自身周期帧时隙数n；

s4:判断采用q学习的mac协议在所处网络环境中是否收敛，具体为：

当m+1≤n时，任一帧时隙的节点选择数小于等于1，最终每个时隙至多被1个节点选择，所述采用q学习mac协议收敛；

当m+1≥2n时，任一帧时隙的节点选择数为大于等于2，最终每个时隙至少被2个节点选择，所述采用q学习mac协议不收敛；

当n＜m+1＜2n时，协议有条件收敛：当(m+1)与n比值在(1，1.5)时，认定采用q学习mac协议收敛；(m+1)与n比值在[1.5，2)时，采用q学习mac协议不收敛。

技术总结
本发明公开了一种采用Q学习MAC协议收敛性判定方法，包括S1：传感器网络初始化；S2：节点通过网络初始化或者广播探测包获得邻居节点数M；S3:节点获取自身周期帧时隙数N；S4:判断采用Q学习的MAC协议在所处网络环境中是否收敛，当M+1≤N时，采用Q学习MAC协议收敛；当M+1≥2N时，采用Q学习MAC协议不收敛；当N＜M+1＜2N时，协议有条件收敛：当(M+1)与N比值在(1，1.5)时，认定采用Q学习MAC协议收敛；(M+1)与N比值在[1.5，2)时，采用Q学习MAC协议不收敛。本发明节点根据周期帧时隙数与邻居节点数的关系，判定所处网络是否可用，可作为动态设定周期帧时隙数的理论依据，能够扩展基于Q学习MAC协议的应用并提升网络性能。

技术研发人员：冯晓宁;陈阿康;王卓
受保护的技术使用者：哈尔滨工程大学
技术研发日：2020.05.19
技术公布日：2020.09.04