一种基于物联网的分布式数据采集汇总方法与流程

本发明涉及数据采集汇总技术领域，尤其涉及一种基于物联网的分布式数据采集汇总方法。

背景技术：

随着网络的迅速发展，互联网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。在第五代移动通信(5thgeneration，5g)系统中，引入了网络数据分析功能(networkdataanalyticsfunction，nwdaf)。nwdaf能够从网络管理功能(operationsadministrationandmaintenance，oam)、应用功能(applicationfunction，af)和5g网络功能(networkfunction，nf)中采集网络数据，并对网络数据进行分析后反馈网络数据分析结果。然而，现有的数据采集汇总过程较为繁琐，网络数据管理复杂，不便于对数据进行过滤除杂。数据之间不互通，不共享。

技术实现要素：

基于背景技术存在的技术问题，本发明提出了一种基于物联网的分布式数据采集汇总方法。

本发明提出的一种基于物联网的分布式数据采集汇总方法，包括如下步骤：

s1建立分布式数据采集汇总系统，分布式数据采集汇总系统包括分布式服务器集群、数据采集设备和客户端，分布式服务器集群中建立数据库、数据分析模块、数据处理模块；

s2数据采集设备接收网络数据发送的数据采集请求，并识别数据采集请求是否在采集任务中；

当所要采集的目标数据不在已采集的任务中，向采集对象发起数据采集请求，重新进行数据采集；

当所要采集的目标数据在已采集的任务中，将采集到的数据发送至分布式服务器集群中；

s3分布式服务器集群接收采集到的目标数据，并将目标数据发送至数据分析模块中进行数据分析，数据分析模块分析后的数据发送至数据处理模块中进行数据处理，处理后的数据发送至数据库中，数据库对发送的数据进行汇总处理；

s4用户通过客户端在汇总后的数据库中查询所需数据信息。

优选的，所述数据库连接有数据交换模块，所述数据交换模块包括基础数据库、交换工具和中间库，所述基础数据库是历史数据形成的历史数据库，所述交换工具用于将基础数据库中的存储数据按照标准进行清洗转换，并发送至中间库中，所述中间库将数据转换成满足要求是规范格式，并发送至汇总数据库中。

优选的，所述汇总数据库上设置有数据管理模块，所述数据管理模块用于对数据进行新增、删除、修改、查询、导入和导出操作。

优选的，所述数据采集设备上设置有数据审核模块，数据审核模块用于审核数据是否正确，且数据审核模块包括补录数据审核子单元和纠错数据审核子单元。

优选的，所述补录数据审核子模块中，补录数据来源网络传输数据，补录数据审核子模块审核补录数据，并录入审核结果，审核结果包括通过、不通过：若审核通过，数据则发送至数据库；若审核不通过，数据则发送至无效数据库。

优选的，所述纠错数据审核子模块中，纠错数据来源网络传输数据纠错；纠错数据审核子模块审核纠错数据，并录入审核结果，审核结果包括通过和不通过：若审核通过，则该纠错字段自动纠错并录入的正确数据覆盖原数据；若审核不通过，则该纠错字段仍采用原数据，不做变更。

优选的，所述数据采集设备的数据采集请求反馈信息为数据采集任务创建失败消息时，销毁数据采集任务。

优选的，所述步骤s3中数据分析模块对数据进行分类处理，并将分类处理后的数据分类发送至数据处理模块，数据处理模块剔除无用数据，并将有用数据转换成所需数据格式。

本发明中，所述一种基于物联网的分布式数据采集汇总方法，在保证数据准确性的同时，能够减少数据采集的工作量，进一步提高数据的准确性及完整性，一次采集即可重复使用，降低了网络通信复杂度，提高了网络通信和数据存储效率。

附图说明

图1为本发明提出的一种基于物联网的分布式数据采集汇总方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

参照图1，一种基于物联网的分布式数据采集汇总方法，包括如下步骤：

s1建立分布式数据采集汇总系统，分布式数据采集汇总系统包括分布式服务器集群、数据采集设备和客户端，分布式服务器集群中建立数据库、数据分析模块、数据处理模块；

s2数据采集设备接收网络数据发送的数据采集请求，并识别数据采集请求是否在采集任务中；

当所要采集的目标数据不在已采集的任务中，向采集对象发起数据采集请求，重新进行数据采集；

当所要采集的目标数据在已采集的任务中，将采集到的数据发送至分布式服务器集群中；

s3分布式服务器集群接收采集到的目标数据，并将目标数据发送至数据分析模块中进行数据分析，数据分析模块分析后的数据发送至数据处理模块中进行数据处理，处理后的数据发送至数据库中，数据库对发送的数据进行汇总处理；

s4用户通过客户端在汇总后的数据库中查询所需数据信息。

本发明中，数据库连接有数据交换模块，数据交换模块包括基础数据库、交换工具和中间库，基础数据库是历史数据形成的历史数据库，交换工具用于将基础数据库中的存储数据按照标准进行清洗转换，并发送至中间库中，中间库将数据转换成满足要求是规范格式，并发送至汇总数据库中。

本发明中，汇总数据库上设置有数据管理模块，数据管理模块用于对数据进行新增、删除、修改、查询、导入和导出操作。

本发明中，数据采集设备上设置有数据审核模块，数据审核模块用于审核数据是否正确，且数据审核模块包括补录数据审核子单元和纠错数据审核子单元。

本发明中，补录数据审核子模块中，补录数据来源网络传输数据，补录数据审核子模块审核补录数据，并录入审核结果，审核结果包括通过、不通过：若审核通过，数据则发送至数据库；若审核不通过，数据则发送至无效数据库。

本发明中，纠错数据审核子模块中，纠错数据来源网络传输数据纠错；纠错数据审核子模块审核纠错数据，并录入审核结果，审核结果包括通过和不通过：若审核通过，则该纠错字段自动纠错并录入的正确数据覆盖原数据；若审核不通过，则该纠错字段仍采用原数据，不做变更。

本发明中，数据采集设备的数据采集请求反馈信息为数据采集任务创建失败消息时，销毁数据采集任务。

本发明中，步骤s3中数据分析模块对数据进行分类处理，并将分类处理后的数据分类发送至数据处理模块，数据处理模块剔除无用数据，并将有用数据转换成所需数据格式。

本发明：建立分布式数据采集汇总系统，分布式数据采集汇总系统包括分布式服务器集群、数据采集设备和客户端，分布式服务器集群中建立数据库、数据分析模块、数据处理模块；数据采集设备接收网络数据发送的数据采集请求，并识别数据采集请求是否在采集任务中；当所要采集的目标数据不在已采集的任务中，向采集对象发起数据采集请求，重新进行数据采集；当所要采集的目标数据在已采集的任务中，将采集到的数据发送至分布式服务器集群中；分布式服务器集群接收采集到的目标数据，并将目标数据发送至数据分析模块中进行数据分析，数据分析模块分析后的数据发送至数据处理模块中进行数据处理，处理后的数据发送至数据库中，数据库对发送的数据进行汇总处理；用户通过客户端在汇总后的数据库中查询所需数据信息。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。