一种基于边缘计算的智能量测终端的数据处理方法及装置与流程

本发明涉及电力物联网技术领域，特别是涉及一种基于边缘计算的智能量测终端的数据处理方法、装置、设备以及计算机可读存储介质。

背景技术：

为应对经济高速发展所带来的资源枯竭和环境污染问题，全球电网市场中出现了一些大型数据集管理系统，国内也提出了泛在电力物联网的建设要求。国家电网公司以客户侧海量设备泛在接入为出发点，基于边缘计算体系和云计算协同理念，提升终端本地化实时处理水平与决策能力，并能与云端和接入设备进行实时互动及协调控制，这对现有系统的海量数据处理能力提出了较大的挑战。

其中大数据和云计算处理解决了分布式并行环境下的大规模数据集管理挑战，而新技术在泛在电力物联网中的应用，要求系统中的终端必须具备强大的数据处理能力、友好的用户互动能力和大容量的数据存储能力。在泛在电力物联网背景下，计量自动化系统中智能测量终端作为边缘计算节点在处理多归属网络i/o操作，访问大型数据集时会存在边缘计算节点与云化主站之间的网络拥塞和操作延迟等问题，难以满足未来泛在电力物联网的应用需求。

现有研究在电网数据分析方面已经有了一定程度的基础和贡献：有文献研究了在分布式大数据环境中处理大规模电网数据集的方法。集中分析与处理实时大规模数据流。虽然在大数据处理方面有一定的成果，但关于在泛在电力物联网的边缘计算节点上处理大规模数据块的研究还没有得到深入的探索。

综上所述可以看出，如何避免基于大型数据集的访问造成的边缘计算节点与云化主站之间的网络拥塞问题是目前有待解决的问题。

技术实现要素：

本发明的目的是提供一种基于边缘计算的智能量测终端的数据处理方法、装置、设备以及计算机可读存储介质，以解决现有技术中基于mapreduce的大型数据集的访问造成的边缘计算节点与云化主站之间的网络拥塞问题。

为解决上述技术问题，本发明提供一种基于边缘计算的智能量测终端的数据处理方法，包括：预先完成智能量测终端的云端、网络通信层、边缘计算应用层及感知设备层的功能与特征的整合后，对所述边缘计算应用层内的边缘计算节点服务器进行配置；完成所述边缘计算节点服务器的配置后，利用分布式本地复制管理方法、分区边缘节点副本管理方法及多归属块副本管理方法，将所述边缘计算节点服务器获取到的下层设备数据的副本数据存储至多个边缘计算节点中；完成所述下层设备数据在所述边缘计算服务器中的数据备份后，当所述边缘计算节点服务器接收到所述云端发送的数据处理量请求帧时，判断所述数据处理量请求是否符合安全防护机制；若所述数据处理量请求符合所述安全防护机制，则依据所述边缘计算服务器配置分发数据，生成加密报文后，对所述加密报文进行解密及验证；判断所述加密报文是否验证正确，若所述加密报文验证正确，则向所述云端分发数据明文。

优选地，所述智能量测终端包括：

所述云端、所述网络通信层、所述边缘计算应用层、所述感知设备层；其中，所述云端包括元化主站、智慧能源服务平台与电力物联网基础平台；所述网络通信层包括电力骨干光纤网、无线公网、电力无线专网与卫星通信；所述边缘计算应用层包括智慧能源服务、营销大数据应用、信息采集与监控以及能源计量；所述感知设备层包括台边侧设备与用户侧设备。

优选地，所述对所述边缘计算应用层内的边缘计算节点服务器进行配置包括：

获取配置所述边缘计算节点服务器的第一目标约束优化问题与第二目标约束优化问题；其中，所述第一目标约束优化问题为任意两个边缘计算服务器之间负载差异最小化，所述第二目标约束优化问题为基站与各个边缘计算服务器之间的平均距离最小化；

利用加权法将所述第一目标约束优化问题与所述第二目标约束优化问题转换为单目标优化问题，并确定所述单目标优化问题的目标函数；

利用所述目标函数，确定所述各个边缘计算服务器的放置位置。

优选地，所述判断所述数据处理量请求是否符合安全防护机制后还包括：

若所述数据请求量不符合安全防护机制，则判断所述数据处理量请求是否启用安全模式参数；

若启用所述安全模式参数，则显示所述安全模式参数，判断所述安全模式参数中是否存在定义；

若所述安全模式参数中不存在定义，则查找默认安全模式参数，获取所述默认安全模式参数中所述数据处理量请求的安全级别；

判断所述安全级别是否低于系统定义级别，若所述安全级别不低于所述系统定义级别，则处理所述数据处理量请求。

优选地，所述判断所述加密报文是否验证正确后还包括：

若所述加密报文验证失败后，通过应答帧的dar参数进行响应，向所述云端返回异常应答的信息。

本发明还提供了一种基于边缘计算的智能量测终端的数据处理装置，包括：

配置模块，用于预先完成智能量测终端的云端、网络通信层、边缘计算应用层及感知设备层的功能与特征的整合后，对所述边缘计算应用层内的边缘计算节点服务器进行配置；

备份模块，用于完成所述边缘计算节点服务器的配置后，利用分布式本地复制管理方法、分区边缘节点副本管理方法及多归属块副本管理方法，将所述边缘计算节点服务器获取到的下层设备数据的副本数据存储至多个边缘计算节点中；

第一判断模块，用于完成所述下层设备数据在所述边缘计算服务器中的数据备份后，当所述边缘计算节点服务器接收到所述云端发送的数据处理量请求帧时，判断所述数据处理量请求是否符合安全防护机制；

生成模块，应用若所述数据处理量请求符合所述安全防护机制，则依据所述边缘计算服务器配置分发数据，生成加密报文后，对所述加密报文进行解密及验证；

分发模块，用于判断所述加密报文是否验证正确，若所述加密报文验证正确，则向所述云端分发数据明文。

优选地，所述配置模块包括：

获取单元，用于获取配置所述边缘计算节点服务器的第一目标约束优化问题与第二目标约束优化问题；其中，所述第一目标约束优化问题为任意两个边缘计算服务器之间负载差异最小化，所述第二目标约束优化问题为基站与各个边缘计算服务器之间的平均距离最小化；

转换单元，用于利用加权法将所述第一目标约束优化问题与所述第二目标约束优化问题转换为单目标优化问题，并确定所述单目标优化问题的目标函数；

确定单元，用于利用所述目标函数，确定所述各个边缘计算服务器的放置位置。

优选地，所述第一判断模块后还包括：

第二判断模块，用于若所述数据请求量不符合安全防护机制，则判断所述数据处理量请求是否启用安全模式参数；

显示模块，用于若启用所述安全模式参数，则显示所述安全模式参数，判断所述安全模式参数中是否存在定义；

查找模块，用于若所述安全模式参数中不存在定义，则查找默认安全模式参数，获取所述默认安全模式参数中所述数据处理量请求的安全级别；

处理模块，用于判断所述安全级别是否低于系统定义级别，若所述安全级别不低于所述系统定义级别，则处理所述数据处理量请求。

本发明还提供了一种基于边缘计算的智能量测终端的数据处理设备，包括：

存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于边缘计算的智能量测终端的数据处理方法的步骤。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于边缘计算的智能量测终端的数据处理方法的步骤。

本发明所提供的基于边缘计算的智能量测终端的数据处理方法，对智能量测终端的云端、网络通信层、边缘计算应用层及感知设备层的功能与特征进行整合后，对所述边缘计算应用层中的边缘计算节点服务器进行了合理配置，以便减少边缘计算节点服务器之间的访问延迟。本发明利用边缘计算支持块复制方法，将本地、基于分区和多归属块副本存储到各自的边缘计算节点，以便所述边缘计算节点服务器在进行数据处理时，可以在所述边缘计算节点所存储的副本数据中获取所需数据，不需要重新向下层设备获取数据，有效优化了数据处理的效率。本发明还提供了数据块处理安全防护机制，保证云端与所述边缘计算节点服务器的数据交互安全。本发明所提供的方法，解决了基于大型数据集的访问造成的边缘计算节点与云化主站之间的网络拥塞问题并减少了操作延迟，提升了泛在电力物联网中边缘计算节点对数据块处理能力。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的基于边缘计算的智能量测终端的数据处理方法的第一种具体实施例的流程图；

图2为智能量测终端的结构示意图；

图3为本发明所提供的基于边缘计算的智能量测终端的数据处理方法的第二种具体实施例的流程图；

图4为本发明所提供的数据块处理安全防护机制的工作流程图；

图5为本发明实施例提供的一种基于边缘计算的智能量测终端的数据处理装置的结构框图。

具体实施方式

本发明的核心是提供一种基于边缘计算的智能量测终端的数据处理方法、装置、设备及计算机可读存储介质，解决了基于大型数据集的访问导致边缘计算节点与云端间的网络拥塞问题，减少了操作延迟，提升了边缘计算节点对数据块的处理能力。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明所提供的基于边缘计算的智能量测终端的数据处理方法的第一种具体实施例的流程图；具体操作步骤如下：

步骤s101：预先完成智能量测终端的云端、网络通信层、边缘计算应用层及感知设备层的功能与特征的整合后，对所述边缘计算应用层内的边缘计算节点服务器进行配置；

如图2所示，所述智能量测终端为云-管-边-端的架构。其中，云即为云端，所述云端主要包括云化主站、智慧能源服务平台和电力物联网基础平台等。管即为网络通信层，所述网络通信层涵盖电力骨干光纤网、无线公网、电力无线专网和卫星通信等渠道。边为边缘计算应用层，所述边缘计算应用层包括智慧能源服务、营销大数据应用、信息采集与监控以及能源计量等计算服务等。端即为感知设备层，所述感知设备层主要包括台变侧和用户侧量部分设备运行数据信息的采集和通信。

在本实施例中，可以将泛在电力物联网下的边缘服务器放置问题可以抽象为两个目标约束优化问题；其中，第一目标约束优化问题为任意两个边缘计算服务器之间负载差异最小化问题；第二目标约束优化问题为基站与各个边缘计算服务器之间的平均距离最小化问题。所述第一目标约束化问题与所述第二目标约束化问题的目标函数分别为：

t(l)＝minmax(ti-tj)i,j∈s

d(l)＝minmaxd(lb-ls)s∈sb∈es

其中，l为一个包含k个边缘计算节点服务器放置位置的组合l∈l，l为所有可能的边缘放置位置的解集合。ti表示边缘计算节点服务器i的工作负载。t(l)的值表示边缘计算节点服务器之间负载均衡的程度，数值越小表示边缘计算节点服务器之间的负载差异越小，整体负载越均衡。d(l)为移动边缘设备访问边缘计算节点服务器的平均延迟时间，采用基站与边缘计算节点服务器之间的距离来衡量，其数值越小，基站与边缘计算节点服务器之间的平局距离越短，那么边缘计算节点服务器的访问延迟则越小。

在本实施例中，使用加权法(w1+w2＝1)将多目标约束优化问题转换为单目标预设优化问题。其中，假设两个权重系数分别为实数w1与w2，并且满足w1·w2≥0，w1+w2＝1。通常情况下，假设两个权重系数已经进行归一化处理，然后则可将多目标约束优化问题转换为单目标约束优化问题，从从得到所述单目标约束优化问题的目标函数：

以便利用所述单目标约束优化问题的目标函数，确定所述边缘计算节点服务器的放置位置。其中，l为决策变量中的一个k维向量，t(l)和d(l)分别为约束l的两个函数；ei为边缘服务器i覆盖的基站集合；ej为边缘服务器j覆盖的基站集合；b为所有基站的集合；s为边缘服务器集合，边缘服务器s的工作负载用ts表示，es为边缘服务器s覆盖的基站集合；经由基站b转发的工作负载用tb表示。

步骤s102：完成所述边缘计算节点服务器的配置后，利用分布式本地复制管理方法、分区边缘节点副本管理方法及多归属块副本管理方法，将所述边缘计算节点服务器获取到的下层设备数据的副本数据存储至多个边缘计算节点中；

分布式本地复制管理的具体操作包括：当边缘计算节点处理聚合mapreduce作业时，根据边缘数生成程序的内部输入分块，并执行映射操作；边缘计算节点产生映射结果，并将所述映射结果返回组合器任务，以减少操作；然后将约简操作分配给相同的边缘计算节点，并输出至存储介质中。

分区边缘节点副本管理的具体操作包括：分区将同一块副本的存储和可访问性数据分离到一组边缘计算节点中，以支持聚合mapreduce作业处理。当边缘计算节点产生一个就地复制副本地点时，分区则接收到它的副本并与同一分区的其他边缘计算节点交换该副本，获得基于分区的副本的数量。基于分区的副本管理中的异构存储介质简化了副本存储的复杂性，在各自的边缘计算节点中将块副本交换到多个存储介质中。

多归属块副本管理的具体操作包括：当就地边缘计算节点生成副本时，它与两个或两个以上能够处理副本分区的多归属w网络交换；因此，多归属网络就可以处理副本：

replicamulti-homing＝replicapartition×2(w)

其中，w为集群中可用的多归属网络的数目，replicamulti-homing为多归属副本数量，replicapartition为基于分区的副本数量。考虑到多归属可能属于多个ip类，本实施例将块副本交换到各自边缘计算节点的可信存储介质上：

replicamulti-homing＝replicapartition×[2(w×(et))]

其中，e为具有可信标记t的多归属网络的边缘计算节点。

步骤s103：完成所述下层设备数据在所述边缘计算服务器中的数据备份后，当所述边缘计算节点服务器接收到所述云端发送的数据处理量请求帧时，判断所述数据处理量请求是否符合安全防护机制；

步骤s104：若所述数据处理量请求符合所述安全防护机制，则依据所述边缘计算服务器配置分发数据，生成加密报文后，对所述加密报文进行解密及验证；

步骤s105：判断所述加密报文是否验证正确，若所述加密报文验证正确，则向所述云端分发数据明文。

本实施例提供了一种面向智能量测终端的边缘计算结合mapreduce的数据块处理方法，解决了边缘计算节点访问聚合mapreduce大型数据集的网络拥塞的问题以及操作延迟的问题。本实施例所提供的方法中，对所述智能量测终端的各层功能与特征进行了整合；将多个目标约束优化问题转换为单目标约束优化问题后，确定边缘计算节点的合理放置位置，从而有效减少了边缘计算节点服务器之间的访问延迟。本实施例中还提供了利用边缘计算节点结合mapreduce进行本地、基于分区和基于多归属的数据块复制管理，以便提高数据处理的效率；同时，增加了数据块处理的安全防护机制，有效确保云端与边缘计算服务器之间数据访问的安全性。

基于上述实施例，在本实施例中，若云端向边缘计算节点服务器发送的数据处理量请求不符合安全防护机制，则利用数据处理量请求的安全模式参数中的安全级别确定，该请求是否可以正常处理。

请参考图3，图3为本发明所提供的基于边缘计算的智能量测终端的数据处理方法的第二种具体实施例的流程图；具体操作步骤如下：

步骤s301：预先完成智能量测终端的云端、网络通信层、边缘计算应用层及感知设备层的功能与特征的整合后，对所述边缘计算应用层内的边缘计算节点服务器进行配置；

步骤s302：完成所述边缘计算节点服务器的配置后，利用分布式本地复制管理方法、分区边缘节点副本管理方法及多归属块副本管理方法，将所述边缘计算节点服务器获取到的下层设备数据的副本数据存储至多个边缘计算节点中；

步骤s303：完成所述下层设备数据在所述边缘计算服务器中的数据备份后，当所述边缘计算节点服务器接收到所述云端发送的数据处理量请求帧时，判断所述数据处理量请求是否符合安全防护机制；

步骤s304：若所述数据请求量不符合安全防护机制，则判断所述数据处理量请求是否启用安全模式参数；

步骤s305：若启用所述安全模式参数，则显示所述安全模式参数，判断所述安全模式参数中是否存在定义；

步骤s306：若所述安全模式参数中不存在定义，则查找默认安全模式参数，获取所述默认安全模式参数中所述数据处理量请求的安全级别；

步骤s307：判断所述安全级别是否低于系统定义级别，若所述安全级别不低于所述系统定义级别，则处理所述数据处理量请求；

步骤s308：若所述数据处理量请求符合所述安全防护机制，则依据所述边缘计算服务器配置分发数据，生成加密报文后，对所述加密报文进行解密及验证；

步骤s309：判断所述加密报文是否验证正确，若所述加密报文验证正确，则向所述云端分发数据明文。

在本实施例中，当终端执行主动上报时，如果启用安全模式参数，则需使用security-request服务，云化主站使用security-response进行响应；否则，使用纯明文上报，即使用上报服务进行逐层上报。当security-request应用协议数据单元，按照esam规则组织数据，经esam解密或验证失败后，通过应答帧的dar参数进行响应，dar＝esam验证失败。如果security-request请求经解密/验证正确后，则请求为list类型，如果多个对象请求的安全级别不一致；分别处理安全级别复合要求的请求，不具备操作权限的对象返回错误码“安全认证不匹配”。

如图4所示，当所述边缘计算节点服务器接收到所述云端发送的数据处理量请求帧时，判断所述数据处理量请求是否符合security-request；若符合，则按照所述边缘计算节点服务器配置分发数据，并判断得到的加密报文是否解密且验证正确；若验证正确，则将解密后得到的数据明文发送至所述云端；若验证错误，则返回异常答应的信息。

若所述数据处理量请求不符合security-request，则判断所述数据处理量请求是否启用安全参数模式；若未启用安全参数模式，则处理所述数据处理量请求后，正常应答；若启用安全参数模式，则判断显示的安全模式参数是否存在定义；若存在定义，则判断所述数据处理量请求定义后的安全级别是否低于系统定义级别，若低于系统定义级别，则返回异常应答的信息，若不低于系统定义级别，则处理所述数据处理量请求后，正常应答；若所述安全模式参数中没有定义，则查找默认安全模式参数，判断所述默认安全模式参数中的默认安全级别是否低于系统定义级别，若默认安全级别低于系统定义级别，则返回异常应答的信息，若默认安全级别不低于系统定义级别，则处理所述数据处理量请求后，正常应答。

请参考图5，图5为本发明实施例提供的一种基于边缘计算的智能量测终端的数据处理装置的结构框图；具体装置可以包括：

配置模块100，用于预先完成智能量测终端的云端、网络通信层、边缘计算应用层及感知设备层的功能与特征的整合后，对所述边缘计算应用层内的边缘计算节点服务器进行配置；

备份模块200，用于完成所述边缘计算节点服务器的配置后，利用分布式本地复制管理方法、分区边缘节点副本管理方法及多归属块副本管理方法，将所述边缘计算节点服务器获取到的下层设备数据的副本数据存储至多个边缘计算节点中；

第一判断模块300，用于完成所述下层设备数据在所述边缘计算服务器中的数据备份后，当所述边缘计算节点服务器接收到所述云端发送的数据处理量请求帧时，判断所述数据处理量请求是否符合安全防护机制；

生成模块400，应用若所述数据处理量请求符合所述安全防护机制，则依据所述边缘计算服务器配置分发数据，生成加密报文后，对所述加密报文进行解密及验证；

分发模块500，用于判断所述加密报文是否验证正确，若所述加密报文验证正确，则向所述云端分发数据明文。

本实施例的基于边缘计算的智能量测终端的数据处理装置用于实现前述的基于边缘计算的智能量测终端的数据处理方法，因此基于边缘计算的智能量测终端的数据处理装置中的具体实施方式可见前文中的基于边缘计算的智能量测终端的数据处理方法的实施例部分，例如，配置模块100，备选模块200，第一判断模块300，生成模块400，分发模块500，分别用于实现上述基于边缘计算的智能量测终端的数据处理方法中步骤s101，s102，s103，s104和s105，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

本发明具体实施例还提供了一种基于边缘计算的智能量测终端的数据处理设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于边缘计算的智能量测终端的数据处理方法的步骤。

本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于边缘计算的智能量测终端的数据处理方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的基于边缘计算的智能量测终端的数据处理方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。