一种基于雾计算的泵阀站数据处理任务分发方法及系统与流程

1.本发明属于水文测量技术领域，尤其涉及一种基于雾计算的泵阀站数据处理任务分发方法及系统。


背景技术：

2.目前泵闸站型号多种多样，测量设备的测量方式差异等，从而造成泵站（群）运行监控数据的取值频率、尺度和时间上存在较大差异。泵站自动化监控系统收集了大量泵站运行时的工况、测控信息，各泵站平均采集指标多达上千种。除少量数据以非实时方式被同步至管理调度系统外，大量数据只能保留在泵站现场，无法得到有效利用。
3.随着大量传感器在泵闸站的部署及应用，大量实时及非实时数据呈爆发性增长，若采用传统的端-云（服务器）信息传输及处理体系则易造成网络堵塞及时延激增，甚至信息系统崩溃的危情。因此，如何设计优化的信息传输体系及任务分发机制，及时处理泵闸站的实时、非实时等大量异构数据则尤显重要。


技术实现要素：

4.针对现有技术中的缺陷，本发明提供了一种基于雾计算的泵阀站数据处理任务分发方法，旨在解决现有技术中随着大量传感器在泵闸站的部署及应用，大量实时及非实时数据呈爆发性增长，若采用传统的端-云（服务器）信息传输及处理体系则易造成网络堵塞及时延激增，甚至信息系统崩溃的危情的问题。
5.本发明所提供的技术方案是：一种基于雾计算的泵阀站数据处理任务分发方法，所述方法包括下述步骤：对预先构建的泵阀站系统进行模型参数的初始化操作，其中，所述模型参数包括区域半径y、泵闸雾节点通信覆盖范围r、泵闸雾节点个数n、泵闸站传感器数量m、噪声功率谱密度、系统传输带宽b、泵闸雾节点cpu最大计算资源、任务i的数据量大小以及任务i所需计算资源，樽海鞘算法中种群大小np、最大迭代次数l、上边界ub、下边界lb以及樽海鞘种群初始位置x；当泵阀站系统的模型参数初始化操作完成时，计算所述泵阀站系统的数据任务处理总时延；当泵阀站传感器产生的任务分发决策确定时，利用拉格朗日乘子法计算泵阀站雾节点服务器计算资源的最优值；当最优的计算资源分配策略确定时，利用樽海鞘群算法获取泵阀站传感器所对应的最优任务分发策略。
6.作为一种改进的方案，所述泵阀站系统包括系统架构模型、通信模型以及计算模型；在所述通信模型中，泵阀站传感器与泵阀雾节点之间的距离小于泵阀雾
节点的通信范围r，即：，；泵阀站传感器与泵阀雾节点之间的上行通信链路的传输速率为：，其中，b为泵闸站传感器的信道带宽，为泵闸站传感器的发射功率，为噪声功率谱密度；在所述计算模型中，所述泵阀站传感器的数据任务处理方式包含本地计算和完全分发给泵阀雾节点计算两种方式；在本地计算时，泵阀站传感器的数据任务处理时延为本地计算时延，记为，其中，；当将数据处理任务完全分发给泵阀雾节点结算时，泵阀站传感器的数据任务处理总时延为分发计算时延和分发传输时延之和，记为，其中，，表示泵闸雾节点的计算服务器分配给对应任务i时的计算资源。
7.作为一种改进的方案，所述泵阀站系统的数据任务处理总时延的计算公式为：；其中，二进制决策变量和分别表示对应任务是否在本地计算和是否将任务分发到泵闸雾节点。
8.作为一种改进的方案，所述泵阀站雾节点服务器计算资源的最优值记为，其中，，其中，h为所有任务的集合，为是雾节点j分配给任务i的最佳计算能力。
9.作为一种改进的方案，所述当最优的计算资源分配策略确定时，利用樽海鞘群算法获取泵阀站传感器所对应的最优任务分发策略的步骤具体包括下述步骤：计算泵阀站系统的传感器下发任务的所有个体的适应度函数值，并按照适应度函数值进行排序，找到当前种群最优个体，记为食物源f；控制更新樽海鞘群算法的收敛因子，并随机生成随机数和，其中，和在区间[0，1]内，且决定移动的长度，决定移动方向的正反；根据樽海鞘算法中种群大小np的数值大小，更新领导者位置以及追随者位置；对当前种群位置进行进行后，判断种群内领导者位置以及追随者位置的更新迭代
次数是否以达到最大迭代次数l；当到达最大迭代次数l时，根据种群内领导者以及追随者的最新更新位置，得到最优分发策略。
[0010]
本发明的另一目的在于提供一种基于雾计算的泵阀站数据处理任务分发系统，所述系统包括：初始化操作模块，用于对预先构建的泵阀站系统进行模型参数的初始化操作，其中，所述模型参数包括区域半径y、泵闸雾节点通信覆盖范围r、泵闸雾节点个数n、泵闸站传感器数量m、噪声功率谱密度、系统传输带宽b、泵闸雾节点cpu最大计算资源、任务i的数据量大小以及任务i所需计算资源，樽海鞘算法中种群大小np、最大迭代次数l、上边界ub、下边界lb以及樽海鞘种群初始位置x；数据任务处理总延时计算模块，用于当泵阀站系统的模型参数初始化操作完成时，计算所述泵阀站系统的数据任务处理总时延；计算资源最优值计算模块，用于当泵阀站传感器产生的任务分发决策确定时，利用拉格朗日乘子法计算泵阀站雾节点服务器计算资源的最优值；最优任务分发策略获取模块，用于当最优的计算资源分配策略确定时，利用樽海鞘群算法获取泵阀站传感器所对应的最优任务分发策略。
[0011]
作为一种改进的方案，所述泵阀站系统包括系统架构模型、通信模型以及计算模型；在所述通信模型中，泵阀站传感器与泵阀雾节点之间的距离小于泵阀雾节点的通信范围r，即：，；泵阀站传感器与泵阀雾节点之间的上行通信链路的传输速率为：，其中，b为泵闸站传感器的信道带宽，为泵闸站传感器的发射功率，为噪声功率谱密度；在所述计算模型中，所述泵阀站传感器的数据任务处理方式包含本地计算和完全分发给泵阀雾节点计算两种方式；在本地计算时，泵阀站传感器的数据任务处理时延为本地计算时延，记为，其中，；当将数据处理任务完全分发给泵阀雾节点结算时，泵阀站传感器的数据任务处理总时延为分发计算时延和分发传输时延之和，记为，其中，，表示泵闸雾节点的计算服务器分配给对应任务i时的计算资源。
[0012]
作为一种改进的方案，所述泵阀站系统的数据任务处理总时延的计算公式为：；其中，二进制决策变量和分别表示对应任务是否在本地计算和是否将任务分发到泵闸雾节点。
[0013]
作为一种改进的方案，所述泵阀站雾节点服务器计算资源的最优值记为，其中，，其中，h为所有任务的集合，为是雾节点j分配给任务i的最佳计算能力。
[0014]
作为一种改进的方案，所述最优任务分发策略获取模块具体包括：适应度函数值计算模块，用于计算泵阀站系统的传感器下发任务的所有个体的适应度函数值；当前种群最优个体查找模块，用于按照适应度函数值进行排序，找到当前种群最优个体，记为食物源f；计算参数生成模块，用于控制更新樽海鞘群算法的收敛因子，并随机生成随机数和，其中，和在区间[0，1]内，且决定移动的长度，决定移动方向的正反；位置更新模块，用于根据樽海鞘算法中种群大小np的数值大小，更新领导者位置以及追随者位置；迭代次数判断模块，用于对当前种群位置进行进行后，判断种群内领导者位置以及追随者位置的更新迭代次数是否以达到最大迭代次数l；最优分发策略生成模块，用于当到达最大迭代次数l时，根据种群内领导者以及追随者的最新更新位置，得到最优分发策略。
[0015]
在本发明实施例中，对预先构建的泵阀站系统进行模型参数的初始化操作，当泵阀站系统的模型参数初始化操作完成时，计算所述泵阀站系统的数据任务处理总时延；当泵阀站传感器产生的任务分发决策确定时，利用拉格朗日乘子法计算泵阀站雾节点服务器计算资源的最优值；当最优的计算资源分配策略确定时，利用樽海鞘群算法获取泵阀站传感器所对应的最优任务分发策略，从而实现对需要及时处理的传感器的任务数据在对应终端上即时处理，或将任务数据迁移至雾节点进行处理，从而整体上提升系统性能。
附图说明
[0016]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
[0017]
图1是本发明提供的基于雾计算的泵阀站数据处理任务分发方法的实现流程图；图2是本发明提供的当最优的计算资源分配策略确定时，利用樽海鞘群算法获取泵阀站传感器所对应的最优任务分发策略的实现流程图；图3是本发明提供的基于迭代次数的matlab仿真实验下数据处理任务总时延曲线
图；图4是本发明提供的cdf曲线图；图5是本发明提供的基于泵阀站传感器的数据处理任务总时延曲线图；图6是本发明提供的基于平均资源分配和最优资源分配下的系统中所有任务处理总时延的仿真曲线图；图7是本发明提供的基于雾计算的泵阀站数据处理任务分发系统的结构框图；图8是本发明提供的最优任务分发策略获取模块的结构框图。
具体实施方式
[0018]
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的、技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
[0019]
图1是本发明提供的基于雾计算的泵阀站数据处理任务分发方法的实现流程图，其具体包括下述步骤：在步骤s101中，对预先构建的泵阀站系统进行模型参数的初始化操作，其中，所述模型参数包括区域半径y、泵闸雾节点通信覆盖范围r、泵闸雾节点个数n、泵闸站传感器数量m、噪声功率谱密度、系统传输带宽b、泵闸雾节点cpu最大计算资源、任务i的数据量大小以及任务i所需计算资源，樽海鞘算法中种群大小np、最大迭代次数l、上边界ub、下边界lb以及樽海鞘种群初始位置x；在步骤s102中，当泵阀站系统的模型参数初始化操作完成时，计算所述泵阀站系统的数据任务处理总时延；在步骤s103中，当泵阀站传感器产生的任务分发决策确定时，利用拉格朗日乘子法计算泵阀站雾节点服务器计算资源的最优值；在步骤s104中，当最优的计算资源分配策略确定时，利用樽海鞘群算法获取泵阀站传感器所对应的最优任务分发策略。
[0020]
在该实施例中，泵阀站系统包括系统架构模型、通信模型以及计算模型，其中：（1）系统架构模型随着泵阀站群的智能化发展，布置的大量传感器产生大量实时数据，需要及时准确地处理，如果传输到总控服务器则有较大的时延，对一些时延敏感的控制等信息的处理的滞后会严重影响设备运行的效能及安全性。目前很多传感器节点都具有一定的运算与处理能力，利用雾计算的分散式运算架构，将泵阀站的实时数据资料与服务的运算，由传统的网络主站向网络的边缘或末端节点来处理，即将传感器产生的任务分发给泵闸雾节点计算，可有效降低信息时延，提高泵阀站的效能及运行安全性。
[0021]
在基于雾计算的泵闸站系统中，假设有m个泵闸站传感器，n个泵闸雾节点，传感器的数量多于泵闸雾节点的数量。泵闸站传感器的集合表示为，泵闸雾节点的集合表示为。每个泵闸站传感器在某一时刻均产生一个计算任务。任务的数据量大小为，其计算需要的计算资源，即cpu总的周期数为
。第个泵闸站传感器 的坐标可以表示为，第个泵闸雾节点的坐标可以表示为。
[0022]
在该系统架构模型中，泵闸站传感器的任务可以在本地计算或者利用泵闸雾节点的计算能力将任务完全分发给泵闸雾节点。通过泵闸站传感器与泵闸雾节点之间的协作进一步提升泵闸站通信及控制系统的任务分发的性能。针对本文所考虑的场景，泵闸站传感器与泵闸雾节点的通信链路占据独立的且信道资源相互正交的子信道，因此不考虑链路间的同频干扰。
[0023]
（2）通信模型在上述系统架构模型中，将泵闸站传感器与泵闸雾节点的信道建模为自由空间传播信道模型。使用表示泵闸站传感器与泵闸雾节点之间的距离：；假设泵闸站传感器只有在泵闸雾节点的通信范围之内，才可以与泵闸雾节点建立可靠的通信链路，则泵阀站传感器与泵阀雾节点之间的距离需满足以下约束：；其中，泵阀站传感器与泵阀雾节点之间的上行通信链路的传输速率为：，其中，b为泵闸站传感器的信道带宽，为泵闸站传感器的发射功率，为噪声功率谱密度。
[0024]
（3）计算模型在上述系统架构模型中，泵闸站传感器的任务处理方式有两种：本地计算和完全分发给泵闸雾节点计算；
①
本地计算在本地计算时，泵阀站传感器的数据任务处理时延为本地计算时延，记为，其中，；
②
完全分发给泵阀雾节点计算当将数据处理任务完全分发给泵阀雾节点结算时，泵阀站传感器的数据任务处理总时延为分发计算时延和分发传输时延之和，记为，其中，，表示泵闸雾节点的计算服务器分配给对应任务i时的计算资源。
[0025]
在该实施例中，在系统架构模型中，多个泵闸站传感器有计算任务需求，这些泵闸站传感器产生的任务大小通常是不同的。同时，泵闸站传感器可能在多个泵闸雾节点的通
信覆盖范围内。因此，根据任务是否在本地计算或者任务是否分发到泵闸雾节点计算，定义二进制决策变量和。其中， 表示任务是否在本地计算，表示是否将任务分发到泵闸雾节点计算。具体定义如下：计算。具体定义如下：根据上述分析，泵闸站传感器产生的任务的处理时延可以表示为：因此，在该系统架构模型中，所有泵阀站传感器产生的数据处理任务的处理时延之和，即所有数据处理任务的总时延为：，。
[0026]
在本发明实施例中，为了满足泵阀站传感器对时延敏感型任务的计算需求，该实施例最小化系统架构模型中所有数据处理任务总延时，并根据上述分析将优化问题建模如下：；在上述式中，约束c1表示泵闸雾节点的通信覆盖约束；约束c2用于约束二进制决策变量和，表示任务只能在本地或泵闸雾节点一个地方进行计算；约束c3和c4用于约束线性变量，表示泵闸站雾节点给分发到其上的任务分配的计算资源不能超过计算服务器自身资源。其中为泵闸站雾节点所搭载的计算服务器具有的最大资源量，即cpu的计算能力。
[0027]
在本发明实施例中，当泵阀站传感器产生的任务分发决策确定时，利用拉格朗日乘子法计算泵阀站雾节点服务器计算资源的最优值，具体为：根据拉格朗日乘子法，将有约束的最优化问题转化为一个无约束的极值问题，使得目标函数保持线性关系进行求解。根据凸优化相关理论，使用拉格朗日乘子法和kkt
（karush-kuhn-tucher）条件以求得子问题的最优解。引入拉格朗日乘子且，可将计算资源分配的凸优化问题构建目标函数的拉格朗日函数为：。
[0028]
进一步的可计算得到泵阀站雾节点服务器计算资源的最优值记为，其中， ，其中，h为所有任务的集合，为是雾节点j分配给任务i的最佳计算能力。
[0029]
在本发明实施例中，如图2所示，当最优的计算资源分配策略确定时，利用樽海鞘群算法获取泵阀站传感器所对应的最优任务分发策略的步骤具体包括下述步骤：在步骤s201中，计算泵阀站系统的传感器下发任务的所有个体的适应度函数值，并按照适应度函数值进行排序，找到当前种群最优个体，记为食物源f；在该步骤中，适应度函数值的计算公式是：；在步骤s202中，控制更新樽海鞘群算法的收敛因子，并随机生成随机数和，其中，和在区间[0，1]内，且决定移动的长度，决定移动方向的正反；在该步骤中，根据公式更新樽海鞘群算法的收敛因子，其主要控制整个种群的探索能力和开发能力。
[0030]
在步骤s203中，根据樽海鞘算法中种群大小np的数值大小，更新领导者位置以及追随者位置；在该步骤中，如果，根据公式：更新领导者位置；如果 ，根据公式更新追随者位置；其中上述领导者和追随者的位置的更新通过公式进行；在步骤s204中，对当前种群位置进行进行后，判断种群内领导者位置以及追随者位置的更新迭代次数是否以达到最大迭代次数l；在步骤s205中，当到达最大迭代次数l时，根据种群内领导者以及追随者的最新更新位置，得到最优分发策略。
[0031]
其中，上述樽海鞘群算法为已经成熟的算法，在此利用到本技术中，在此不再赘述。
[0032]
在本发明实施例中，为验证本发明提出的一种基于雾计算的泵闸站数据处理任务分发方法的可行性，分别对迭代次数、泵闸站传感器数量和资源分配方法这三个性能指标进行matlab仿真实验，在遗传算法和随机算法这两种经典的算法进行比较。
[0033]
图3描述了不同算法下随着迭代次数的增加，最佳任务处理总时延的变化情况。实验结果表明，樽海鞘群算法不仅收敛速度最快，并且性能表现最优。在收敛速度方面，樽海鞘群算法在第21代就开始收敛，而遗传算法在第28代开始收敛到一个可行解。在性能表现方面，遗传算法收敛到的最佳任务处理总时延比樽海鞘群算法高，随机算法性能表现最差。樽海鞘群算法中由于种群中存在领导者，领导者在全局范围内进行寻优，算法在刚开始迭代时就在靠近最优解的方向寻优，因此樽海鞘群算法的收敛速度更快。该结果证明了樽海鞘群算法在全局搜索能力和寻优速度方面的优越性。
[0034]
图4增加了蒙特卡洛仿真实验次数并进行统计，描述了不同算法下最低任务处理总时延的cdf曲线，展示了最低任务处理总时延的分布情况。由于每次仿真时泵闸站传感器产生的任务的数据量大小都会重新初始化，同时泵闸雾节点相对于泵闸站传感器的分布具有随机性，因此最低任务处理总时延在一定范围内波动。从图4中cdf曲线的走势可以看出，随机算法的性能最劣，基于樽海鞘群算法的性能最优。在樽海鞘群算法下，系统中任务处理总时延低于45s的概率为0.76，而遗传算法和随机算法下相应的概率分别只有0.67和0.42。该实验结果进一步体现了樽海鞘群算法可以有效的提高时延敏感型任务的处理性能。
[0035]
图5中，在樽海鞘群算法、遗传算法和随机算法三种不同算法下，优化所得的最低任务处理总时延与泵闸站传感器数量的变化情况。从图中可以直观的看出，在泵闸站传感器数量较少时，樽海鞘群算法和另外两种算法的最低任务处理总时延仿真结果差异并不明显。随着泵闸站传感器数量的增加，三种算法下的系统中所有任务处理总时延呈上升趋势。在泵闸站传感器数量大于20时，樽海鞘群算法优化所得的系统中所有任务处理总时延明显低于遗传算法和随机算法所得到的所有任务处理总时延。当泵闸站传感器数量大于100时，樽海鞘群算法下得到最低任务处理总时延依旧是最优的，但三种算法下的最低任务处理总时延差异较小。这是由于泵闸站传感器较多时，网络中泵闸站传感器和泵闸雾节点资源有限，不能满足大规模泵闸站传感器的计算需求导致的。
[0036]
图6展示了平均资源分配和最优资源分配下的系统中所有任务处理总时延。图中分别对比了随机算法、遗传算法和樽海鞘群算法下的两种计算资源分配情况。从仿真结果可以看出，随着泵闸站传感器数量的增多，两种资源分配方案下得到的任务处理总时延也随之增加。此外，对于相同数量的泵闸站传感器，三种算法下的基于拉格朗日乘子法的最优资源分配得到的任务处理总时延总是低于平均资源分配，进一步体现了基于拉格朗日乘子法的最优资源分配在所研究问题中的重要作用。
[0037]
图7是本发明实施例提供的基于雾计算的泵阀站数据处理任务分发系统的结构框图，为了便于说明，图中仅给出了与本发明实施例相关的部分。
[0038]
基于雾计算的泵阀站数据处理任务分发系统包括：初始化操作模块11，用于对预先构建的泵阀站系统进行模型参数的初始化操作，其中，所述模型参数包括区域半径y、泵闸雾节点通信覆盖范围r、泵闸雾节点个数n、泵闸站传感器数量m、噪声功率谱密度、系统传输带宽b、泵闸雾节点cpu最大计算资源、任
务i的数据量大小以及任务i所需计算资源，樽海鞘算法中种群大小np、最大迭代次数l、上边界ub、下边界lb以及樽海鞘种群初始位置x；数据任务处理总延时计算模块12，用于当泵阀站系统的模型参数初始化操作完成时，计算所述泵阀站系统的数据任务处理总时延；计算资源最优值计算模块13，用于当泵阀站传感器产生的任务分发决策确定时，利用拉格朗日乘子法计算泵阀站雾节点服务器计算资源的最优值；最优任务分发策略获取模块14，用于当最优的计算资源分配策略确定时，利用樽海鞘群算法获取泵阀站传感器所对应的最优任务分发策略。
[0039]
其中，泵阀站系统包括系统架构模型、通信模型以及计算模型；在所述通信模型中，泵阀站传感器与泵阀雾节点之间的距离小于泵阀雾节点的通信范围r，即：，；泵阀站传感器与泵阀雾节点之间的上行通信链路的传输速率为：，其中，b为泵闸站传感器的信道带宽，为泵闸站传感器的发射功率，为噪声功率谱密度；在所述计算模型中，所述泵阀站传感器的数据任务处理方式包含本地计算和完全分发给泵阀雾节点计算两种方式；在本地计算时，泵阀站传感器的数据任务处理时延为本地计算时延，记为，其中，；当将数据处理任务完全分发给泵阀雾节点结算时，泵阀站传感器的数据任务处理总时延为分发计算时延和分发传输时延之和，记为，其中，，表示泵闸雾节点的计算服务器分配给对应任务i时的计算资源；其中，所述泵阀站系统的数据任务处理总时延的计算公式为：；其中，二进制决策变量和分别表示对应任务是否在本地计算和是否将任务分发到泵闸雾节点；所述泵阀站雾节点服务器计算资源的最优值记为，其中，
，其中，h为所有任务的集合，为是雾节点j分配给任务i的最佳计算能力。
[0040]
如图8所示，所述最优任务分发策略获取模块14具体包括：适应度函数值计算模块15，用于计算泵阀站系统的传感器下发任务的所有个体的适应度函数值；当前种群最优个体查找模块16，用于按照适应度函数值进行排序，找到当前种群最优个体，记为食物源f；计算参数生成模块17，用于控制更新樽海鞘群算法的收敛因子，并随机生成随机数和，其中，和在区间[0，1]内，且决定移动的长度，决定移动方向的正反；位置更新模块18，用于根据樽海鞘算法中种群大小np的数值大小，更新领导者位置以及追随者位置；迭代次数判断模块19，用于对当前种群位置进行进行后，判断种群内领导者位置以及追随者位置的更新迭代次数是否以达到最大迭代次数l；最优分发策略生成模块20，用于当到达最大迭代次数l时，根据种群内领导者以及追随者的最新更新位置，得到最优分发策略。
[0041]
其中，上述各个模块的功能如上述方法实施例所记载，在此不再赘述。
[0042]
在本发明实施例中，对预先构建的泵阀站系统进行模型参数的初始化操作，当泵阀站系统的模型参数初始化操作完成时，计算所述泵阀站系统的数据任务处理总时延；当泵阀站传感器产生的任务分发决策确定时，利用拉格朗日乘子法计算泵阀站雾节点服务器计算资源的最优值；当最优的计算资源分配策略确定时，利用樽海鞘群算法获取泵阀站传感器所对应的最优任务分发策略，从而实现对需要及时处理的传感器的任务数据在对应终端上即时处理，或将任务数据迁移至雾节点进行处理，从而整体上提升系统性能以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。