一种边缘计算节点、边缘计算方法和边云协同系统与流程

本技术涉及物联网，特别涉及一种边缘计算节点、边缘计算方法和边云协同系统。

背景技术：

1、随着5g、物联网、云计算等技术的快速发展，传统的云计算模式已经无法满足实时性、低延迟等要求，导致其存在多种问题，例如：由于云计算系统完全依赖于互联网，没有有效的互联网连接，企业无法访问托管在云中的数据或应用程序；可能导致高额的云服务费用，其中用户需要支付的云服务费用取决于使用的资源量、服务等级协议(service-levelagreement sla)和技术架构等因素；在云环境中，应用程序的执行速度可能受到网络延迟、带宽限制和服务质量(quality of service，qos)等因素的影响；云计算存储和处理大量数据，成为黑客攻击和数据泄露的主要目标。

2、边缘计算作为一种新兴的计算模式，受到了广泛的关注和研究。它通过将计算和数据存储放在网络边缘，降低了延迟和带宽成本，提高了数据处理效率。但随着物联网和5g时代对数据处理能力的需求日益增加，边缘设备通常具有有限的计算资源、存储资源和能源供应，这限制了边缘计算的能力和应用范围。因此，如何在资源受限的情况下提高边缘计算的效率成为本领域技术人员的一重要研究方向。

技术实现思路

1、本技术实施例要达到的技术目的是提供一种边缘计算节点、边缘计算方法和边云协同系统，用以解决当前云计算无法满足实时性、低延迟等要求，且边缘计算在资源受限时效率低等问题。

2、为解决上述技术问题，本技术实施例提供了一种边缘计算节点，包括：

3、数据采集模块，用于获取至少一个边缘设备的第一数据，并将所述第一数据预存储至消息队列集群；

4、流式计算引擎，用于对所述消息队列集群中的所述第一数据进行消费，得到目标数据，所述流式计算引擎基于预先根据接收到的可执行文件进行部署，所述可执行文件中包括流式作业的所有依赖；

5、数据输出模块，用于将所述目标数据输出至离线数据湖和实时数据湖，并将所述目标数据中的业务数据输出至数据存储与传输模块；

6、所述数据存储与传输模块，用于根据用户需求对所述业务数据进行存储与传输，所述存储的方式包括本地存储和云存储，所述传输的方式包括有线传输、无线传输、流式化编码、云计算附带光盘中的至少一种。

7、具体地，如上所述的边缘计算节点，所述流式计算引擎包括：

8、预处理模块，用于对消费的所述第一数据进行预处理，得到第二数据，所述预处理包括数据清洗、数据过滤、数据集合、数据压缩和数据校验中的至少一项；

9、规则处理模块，用于对所述第二数据进行规则处理，得到所述目标数据。

10、优选地，如上所述的边缘计算节点，还包括：

11、依赖管理模块，用于接收云计算中心下发的所述可执行文件；

12、一体化部署模块，用于根据所述可执行文件对所述流式计算引擎进行部署。

13、优选地，如上所述的边缘计算节点，还包括：

14、异常处理模块，用于对数据状态和处理过程进行监控；

15、反控模块，用于当根据所述数据状态和/或所述处理过程，确定存在异常时，执行与所述异常对应的反控措施。

16、具体地，如上所述的边缘计算节点，还包括：

17、消息队列管理模块，用于根据接收到的所述第一数据的数据量，调整所述消息队列集群中消息队列的数量。

18、具体地，如上所述的边缘计算节点，还包括：服务安全模块、流计算管理模块、协议解析模块、基础数据模块、边缘协同管理模块、数据湖管理模块中的至少一项。

19、本技术的另一实施例还提供了一种边缘计算节点的边缘计算方法，应用于边缘计算节点，包括：

20、获取至少一个边缘设备的第一数据，并将所述第一数据预存储至消息队列集群；

21、对所述消息队列集群中的所述第一数据进行消费，得到目标数据，所述流式计算引擎基于预先根据接收到的可执行文件进行部署，所述可执行文件中包括流式作业的所有依赖；

22、将所述目标数据输出至离线数据湖和实时数据湖，并将所述目标数据中的业务数据输出至数据存储与传输模块，其中，所述数据存储与传输模块，用于根据用户需求对所述业务数据进行存储与传输，所述存储的方式包括本地存储和云存储，所述传输的方式包括有线传输、无线传输、流式化编码、云计算附带光盘中的至少一种。

23、本技术的再一实施例还提供了一种边云协同系统，包括：边缘设备、云计算中心以及如上所述的边缘计算节点；

24、其中，所述云计算中心与至少一个所述边缘计算节点连接，所述边缘计算节点与至少一个边缘设备连接；

25、所述边缘计算节点用于获取至少一个所述边缘设备的第一数据，并将所述第一数据预存储至消息队列集群后，通过流式计算引擎对所述第一数据进行消费，得到目标数据，且将所述目标数据输出至离线数据湖和实时数据湖，并将所述目标数据中的业务数据输出至数据存储与传输模块，其中，所述数据存储与传输模块，用于根据用户需求对所述业务数据进行存储与传输，所述存储的方式包括本地存储和云存储，所述传输的方式包括有线传输、无线传输、流式化编码、云计算附带光盘中的至少一种。

26、具体地，如上所述的边云协同系统，所述云计算中心包括以下至少一项：

27、边缘节点管理模块，用于对所述边缘节点进行管理，至少包括注册功能、注销功能和状态查询功能；

28、任务调度模块，用于基于用户请求以及所述边缘计算节点的状态进行作业调度；

29、监控告警模块，用于获取所述边缘计算节点的运行数据，并进行可视化展示和/或告警通知；

30、系统配置模块，用于为所述边缘计算节点提供配置管理功能；

31、联合监管模块，用于监管接入所述云计算中心的至少一个计算云的任务状态；

32、应用运营管理模块，用于构建目标应用对应的孵化技术，为所述目标应用提供应用服务。

33、进一步的，如上所述的边云协同系统，所述系统配置模块还包括：

34、自定义配置单元，用于根据用户输入自定义规则和/或反控策略。

35、本技术的又一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的边缘计算节点的边缘计算方法的步骤。

36、本技术的另一实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现如上所述的边缘计算节点的边缘计算方法的步骤。

37、与现有技术相比，本技术实施例提供的一种边缘计算节点、边缘计算方法和边云协同系统，至少具有以下有益效果：

38、本技术与传统流式计算框架相比，通过采用消息队列集群以及数据湖优化内存管理算法，可将流式作业的内存消耗降低到10m以内，实现了两个数量级的下降使得计算能力受限的边缘设备也能运行流式作业。通过采用高效的并行计算技术，轻量级的流式计算引擎在有限的资源下达到了较高的计算效率，满足了边缘设备对实时数据处理的需求。通过将流式作业的所有依赖编译成一个静态编译的可执行文件，实现了对运行环境的零依赖。这种部署方式省去了jvm、master、worker等依赖的安装和部署，大大简化了作业部署流程。