一种分布式多设备数据采集方法及系统与流程

本发明属于物联网领域，尤其涉及一种分布式多设备数据采集方法及系统。

背景技术：

1、基于物联网设备采集监测数据，通过数据分析可以得到目标状态。在传统的设备数据采集过程，多是采用单机方式，利用脚本进行数据采集、处理，数据上报多是在一台服务器上操作，接入设备的多少取决于服务器资源。随着接入设备越来越多，通常需要对服务器资源扩容，比如增加内存、cpu等。但服务器可扩充的硬件容量都有上限，达到一定程度服务器就无法增加接入设备，导致服务器扩展性差。并且，单机部署模式的设备脚本一旦出现异常，会使服务引擎无法继续工作，也导致服务器可用性差。

技术实现思路

1、有鉴于此，本发明实施例提供了一种分布式多设备数据采集方法及系统，用于解决现有采集服务器扩展性及可用性差的问题。

2、在本发明实施例的第一方面，提供了一种分布式多设备数据采集方法，包括：

3、创建采集设备虚拟模型，并设置虚拟模型参数，安装设备驱动后，设置设备ip、端口及可接入数据key，生成配置文件；

4、启动服务引擎主控制台，获取注册设备配置信息；

5、对已注册设备进行初始化后，解析注册设备配置信息，并建立注册设备的握手连接；

6、其中，基于keepalived和虚ip方式部署haproxy服务，并根据采集任务分配多进程同时进行数据采集；

7、启动采集调度策略后，对设备采集数据进行解析，基于key值抽取采集数据上报至应用方并存储至数据库；

8、其中，所述调度策略至少包括采集周期、key读写属性、路由策略、阻塞处理、失败重试次数和超时时间，采集数据解析过程中采用异常数据识别算法标识异常数据。

9、在本发明实施例的第二方面，提供了一种分布式多设备数据采集系统，包括：

10、引擎注册模块，用于创建采集设备虚拟模型，并设置虚拟模型参数，安装设备驱动后，设置设备ip、端口及可接入数据key，生成配置文件；

11、引擎主控制台，用于向引擎发现模块发送指令，获取注册设备配置信息；

12、数据解析模块，用于在对已注册设备进行初始化后，解析注册设备配置信息，并建立注册设备的握手连接，基于keepalived和虚ip方式部署haproxy服务，并根据采集任务分配进程进行数据采集，启动采集调度策略后，对设备采集数据进行解析，基于key值抽取采集数据上报至应用方并存储至数据库。

13、其中，所述调度策略至少包括采集周期、key读写属性、路由策略、阻塞处理、失败重试次数和超时时间，采集数据解析过程中采用异常数据识别算法标识异常数据。

14、在本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。

15、在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。

16、本发明实施例中，基于分布式的服务部署及设备注册，可以提升数据采集服务器的扩展性，并能满足大规模的数据采集需求，基于预设的调度策略，可以减小单个设备或服务器的故障对整个采集服务的影响，保障采集系统的可用性，实现来电续传、异常处理等功能。同时，基于虚拟模型注册、key数据接入，可以有效降低设备数据接入的管理、开发成本，降低设备编码的工作量。

技术特征：

1.一种分布式多设备数据采集方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述启动服务引擎主控制台，获取注册设备配置信息还包括：

3.根据权利要求1所述的方法，其特征在于，所述建立注册设备的握手连接包括：

4.根据权利要求1所述的方法，其特征在于，所述异常数据识别算法包括：

5.根据权利要求1所述的方法，其特征在于，所述基于key值抽取采集数据上报至应用方并存储至数据库包括：

6.一种分布式多设备数据采集系统，其特征在于，包括：

7.根据权利要求6所述的系统，其特征在于，所述向引擎发现模块发送指令，获取注册设备配置信息包括：

8.根据权利要求6所述的系统，其特征在于，所述异常数据识别算法包括：

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的一种分布式多设备数据采集方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至5任一项所述的一种分布式多设备数据采集方法的步骤。

技术总结
本发明提供一种分布式多设备数据采集方法及系统，该方法包括：创建采集设备虚拟模型，并设置虚拟模型参数，安装设备驱动后，生成配置文件；启动服务引擎主控制台，获取注册设备配置信息；对已注册设备进行初始化后，解析注册设备配置信息，并建立注册设备的握手连接；基于Keepalived和虚IP方式部署haproxy服务，并根据采集任务分配多进程同时进行数据采集；启动采集调度策略后，对设备采集数据进行解析，基于key值抽取采集数据上报至应用方并存储至数据库。通过该方案不仅可以有效提升数据采集服务器的扩展性和可用性，降低采集设备接入成本。

技术研发人员：段柯柯,朱亚琴,明伟
受保护的技术使用者：武汉天业数智信息技术有限公司
技术研发日：
技术公布日：2024/1/15