基于Json数据片的智能网关数据采集系统及方法与流程

本发明涉及数据信息采集技术领域，具体涉及一种基于json数据片的智能网关数据采集系统及方法。

背景技术：

在城市重大工程的建设中，基于物联网的传感器监测技术被越来越广泛的使用。比如：各种微小型的拉裂缝传感器、振弦式传感器等。在目前的工程实践中，利用传感器监测技术进行数据采集时，需要依托特别定制的专业采集设备以及定制化系统进行数据的采集和预处理。在这种模式下，对特大工程开展大规模、实时智能化监测工作时，所投入的采集设备及专业系统数量巨大；而各个传感器厂商之间的系统不兼容，指令协议不通用，更换传感器后重新接入网络时设置变更方式复杂，采集方式单一、效率较低。

技术实现要素：

针对现有技术中的缺陷，本发明提供一种基于json数据片的智能网关数据采集系统及方法，以解决现有技术中存在的物联网传感器进行数据采集时，更换传感器后重新接入网络时设置变更方式复杂，采集方式单一、效率较低的技术问题。

本发明采用的技术方案是：

第一方面，本发明提供一种基于json数据片的智能网关数据采集系统，包括任务控制模块、指令控制模块、数据采集模块、数据计算模块、数据存储模块、数据传输模块；

任务控制模块用于根据智能网关的设备通讯通道构建独立的数据采集任务，对各个数据通讯通道进行任务执行的配置与管理；

指令控制模块用于根据设计配置的传感器指令规则集，对传感器进行控制指令进行标准化封装后编码发送；还用于对传感器采集回传的数据进行自适应解码并提取相应的数据信息；

数据采集模块包括数据初始学习模块和周期性采集模块；数据初始学习模块用于对传感器的初始配置数据进行采集，周期性采集模块根据数据采集规则配置对所述数据采集通道进行周期性的数据采集；

数据计算模块根据数据计算规则集将采集到的传感器数据进行参数化计算和数据质量检校；

数据存储模块用于根据数据存储规则集将采集到的传感器数据转换成json数据序列后存储在本地数据库中；

数据传输模块根据数据存储规则集将数据存储模块中存储的json数据序列分别转换成json数据包和xml文件包，上传给大数据平台。

第二方面，本发明还提供一种基于json数据片的智能网关数据采集系统的数据采集方法，其特征在于，包括以下步骤：

s1.通过任务控制模块建立数据采集任务，对接入的多类型传感设备按照通讯通道进行任务参数的配置及任务调度；

s2.通过指令控制模块，根据设计配置的传感器指令规则集对传感器控制指令进行标准化封装后编码发送，采集传感器的初始数据；

s3.使用数据采集模块中的周期性采集模块，对数据采集通道进行周期性的数据采集；

s4.通过指令控制模块对传感器采集回传的数据进行自适应解码；

s5.通过数据计算模块进行数据参数化计算和数据质量检校；

s6.通过数据存储模块根据数据存储规则集将经过质量检校的数据转换成json数据序列，存储在本地数据库中，并通过数据传输模块上传到大数据平台。

进一步的，任务控制模块具体按以下步骤进行工作：

根据智能网关的设备通讯通道进行数据采集任务的管理；

配置当前通讯通道数据采集的任务参数，参数包括采集方法、起始时间、采样间隔、协同通道和协同模式；

对当前通讯通道的传感器进行配置，设定传感器的采样限差；

根据采集任务配置对数据采集通道进行维护，维护包括启用、停止和重置。

进一步的，指令控制模块具体按以下步骤进行工作：

预加载传感器指令规则集文件，规则集文件以json格式进行组织；

根据数据采集模块的任务调度参数，搜索匹配的传感器类型并加载对应的指令集合；

根据当前执行的指令名称，抓取对应的标准指令集配置；

根据当前匹配的指令配置提取编码信息进行指令封装，发送给对应通讯通道下的传感器；

监听当前通讯通道的数据回传信息，当接收到满足停止标识符号的数据串时，停止数据接收；

根据当前指令配置的解码及数据提取规则，进行数据串的自解码；根据匹配的传感器类型，加载对应的计算规则及计算模型，利用数据计算模块进行数据的规则化计算；

根据当前指令配置的数据标识信息，结合数据存储规则集进行数据块的存储标识匹配，并封装成json数据片。

进一步的，传感器指令规则集构成如下：

单个设备控制指令包括指令名称、起始符、指令编码、指令解码、指令分类、设备地址、指令状态、数据提取、数据位标识和计算模型；

传感器的控制与接入由上述一个至多个标准指令构成，实现对传感器的驱动控制与数据获取。

进一步的，数据初始学习模块具体按以下步骤进行工作：

在选定的通讯通道下，新增传感器节点，加载该节点所对应的传感器指令规则集；

调用控制指令对传感设备工作状态进行检校，调用测量指令获取传感器的初始配置数据及初始观测数据；

将获取的初始配置和观测数据存储在本地数据库；

进一步的，周期性采集模块具体按以下步骤进行工作：

启动任务定时器，加载匹配通道的参数配置、传感器配置、采集规则配置，执行当前周期的数据采集工作；数据采集工作模式包括轮询数据采集、分组数据采集；

当前周期的数据采集完成后由数据计算模块进行数据质量检校，检校合格后进行本地数据存储并上传到大数据平台。

进一步的，周期性采集模块对多台传感器的采集规则进行编排，协同控制数据采集；协同控制数据采集包括跨通道的传感器协同控制和相同通道下的多类型传感设备协同监测。

进一步的，数据存储规则集包括数据名称、数据标签、数据类型、数据索引和数据关联；数据存储规则集用于不同类型传感器在进行数据存储时的变更配置。

由上述技术方案可知，本发明的有益技术效果如下：

1.设计不同类型传感器的标准指令规则集，实现对指令的封装、发送、编码、解码、存储过程进行流程化处理，并通过指令执行过程的串行配置实现对单台传感设备的定制化数据采集解析工作，最后以网关通道为工作单元，实现不同类型传感器的同时在线数据获取，有效提高数据采集效率。

2.设计传感器指令规则集，不同类型传感器对应多个指令序列的集合，每一种类型的传感器对应的集合都各不相同，并且在不同工程项目进行指令系统的定制化设计，确保在既有工作参数不变的情况下，可以通过改变传感器对应多个指令序列的集合，实现在不调整智能网关设置的情况下，动态扩容接入不同类型所述传感器。

3.通过轮询数据采集、分组数据采集及规则化采集配置，使数据采集方式多样化。

4.通过多台传感设备采集规则的编排，实现协同控制数据采集，可以节约数据采集的时间，同时减少错误，进一步提升数据采集效率。

5.数据存储规则集用于不同类型传感器在进行数据存储时的变更配置。通过将传感器指令规则集、数据存储规则集、数据计算规则进行匹配使用，极大扩展了智能网关的传感器接入能力。通过规则集的设计将数据采集、存储、计算、传输等过程进行解耦，在需要时进行动态匹配加载，提高网关设备的兼容能力。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明的系统工作流程图。

图2为本发明的系统架构示意图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

实施例1

如图1所示，本发明提供一种基于json数据片的智能网关数据采集系统，包括任务控制模块、指令控制模块、数据采集模块、数据计算模块、数据存储模块、数据传输模块；

任务控制模块用于根据智能网关的设备通讯通道构建独立的数据采集任务，对各个数据通讯通道进行任务执行的配置与管理；

指令控制模块用于根据设计配置的传感器指令规则集，对传感器进行控制指令进行标准化封装后编码发送；还用于对传感器采集回传的数据进行自适应解码并提取相应的数据信息；

数据采集模块包括数据初始学习模块和周期性采集模块；数据初始学习模块用于对传感器的初始配置数据进行采集，周期性采集模块根据数据采集规则配置对所述数据采集通道进行周期性的数据采集；

数据计算模块根据数据计算规则集将采集到的传感器数据进行参数化计算和数据质量检校；

数据存储模块用于根据数据存储规则集将采集到的传感器数据转换成json数据序列后存储在本地数据库中；

数据传输模块根据数据存储规则集将数据存储模块中存储的json数据序列分别转换成json数据包和xml文件包，上传给大数据平台。

以下对实施例1工作原理进行详细说明：

本实施例的技术方案，是一个在智能网关上加载运行的软件系统。在本实施例中对于物联网传感器的数据采集，是通过智能网关来实施的。智能网关将各类型传感器和远程服务器通过有线或者无线的方式，进行组网连接；再根据不同传感器的通信协议，利用协议允许的接口进行软件连接，实现对各类传感器的控制、数据采集和数据传输。

对于控制传感器进行数据采集，在本实施例中按以下步骤进行：

1.通过任务控制模块建立数据采集任务，对数据采集任务进行任务执行的配置及任务调度

本实施例的软件系统在智能网关上加载后，首先是任务控制模块开始工作。任务控制模块先根据智能网关的设备通讯通道新增数据采集任务；然后配置数据采集任务参数，参数包括采集方法、起始时间、采样间隔、协同通道和协同模式；再对当前通讯通道的传感器进行配置，设定传感器的采样限差。

在本实施例中，网关通讯通道类型包括rs232、rs485、wifi、蓝牙、lora、网线、光纤等。在控制传感器进行数据采集的过程中，任务控制模块还根据采集任务参数进行维护，维护包括数据采集任务的启用、停止和重置。

2.通过指令控制模块，根据设计配置的传感器指令规则集对传感器测量控制指令进行标准化封装后编码发送，采集传感器的初始配置数据

首先，通过传感器指令控制模块预加载传感器指令规则集文件；在选定网关通讯通道下，根据数据采集模块的任务调度参数，搜索匹配的传感器类型，新增传感器节点，加载该节点的传感器指令规则集。传感器指令规则集包括指令名称、起始符、指令编码、指令解码、指令分类、设备地址、指令状态、数据提取、数据位标识、计算模型等在内的多个指令序列。同一类传感器对应多个指令序列中的某一个或某几个，执行动态指令逻辑，包括有反馈指令和无反馈指令。不同类型传感器对应多个指令序列的集合，每一种类型的传感器对应的集合都各不相同。在其他工作参数不变的情况下，可以通过改变传感器对应多个指令序列的集合，实现传感器的动态切换，而不需要调整智能网关系统的设置。这样，通过改变多个指令序列的集合，可以实现在不调整所述智能网关设置的情况下，动态接入不同类型所述传感器。指令规则集的集成应用包括ascii、十六进制等不同类型的指令编码解码，适配能力更强。对于不同类型传感器的采集控制通过传感器指令规则集的变更即可实现。

根据当前执行的指令名称，抓取对应的标准指令集配置；再根据指令编码信息进行指令封装，发送给对应网关通讯通道下的传感器。根据上述规则，当新型传感设备接入网关时，在不改变既有智能网关工作参数的情况下，通过指令规则集文件的编辑与配置即可开展数据采集工作。

然后通过使用数据采集模块中的数据初始学习模块，调用指令集下面的测量指令，获取传感器的初始数据，将获取的初始配置数据存储在本地数据库。同时，对当前类型的传感器其他指令进行测试，检校传感器的工作状态。

在本实施例中，采集到的初始数据包括初始角度数据、初始坐标数据、初始频率数据、初始形变数据、初始环境数据，等等。

3.使用数据采集模块中的周期性采集模块，对数据采集通道进行周期性的数据采集

首先根据数据采集任务，启动任务定时器，执行周期性数据采集；然后加载网关通讯通道的参数配置、传感器配置、采集规则配置；再执行当期的规则化数据采集工作，包括轮询数据采集、和分组数据采集。在对传感器进行了初始化配置后，数据采集模块可以交替进行初始配置数据采集工作和周期性采集工作。

对于轮询数据采集，是以通道下各个传感器的采集序号为依据，进行顺序化采集。采集过程中调用传感器指令规则模块，驱动传感器进行数据获取。

对于分组数据采集，以监测点分组为参照，一个组为一个批次。当前组内采集以监测点序号为依据进行数据采集。

对于配置化数据采集，根据配置文件的采集顺序，对传感器进行动态观测。

在进行数据采集的过程中，周期性采集模块监听网关通讯通道的数据回传信息，当接收到满足停止标识符号的数据串时，停止数据接收。

在本实施例中，采集到的数据包括角度数据、坐标数据、频率数据、形变数据、环境数据，等等。

4.通过指令控制模块对传感器采集回传的数据进行自适应解码

使用传感器指令控制模块，根据指令的解码配置，对传感器采集回传的数据进行自适应解码。

5.通过数据计算模块进行数据参数化计算和数据质量检校

采集完成后进行数据质量检校，数据质量合格后存储到数据库，不合格则进行数据修测。通过数据计算模块，使用正则表达式和公式表达式，根据匹配传感器的预配置数据计算规则，进行数据的参数化计算。数据质量检校包括对数据的重复值检查、缺失值检查、异常值检查，等等。

6.通过数据存储模块根据数据存储规则集将经过质量检校的数据转换成json数据序列并存储在本地数据库中，再通过数据传输模块上传到大数据平台

首先通过数据存储模块，根据指令的存储规则配置，进行数据串的存储标识与规则集匹配；预加载数据模型规则集，创建并更新sqlite数据库表；再根据数据模型名称匹配对应的数据列集合；将共享交换的json数据源与数据列进行融合匹配，生成sqlite数据库的sql操作语句；然后进行查询、编辑、删除等，得到json数据片；最后将json数据片存储在本地数据库中。在本实施例中，本地数据库装载于智能网关中。

一个数据项的存储定义包括数据名称、数据标识、数据类型、数据索引、数据关联等，一类传感数据由一个至多个数据项组成，一个智能网关采集系统的存储规则集包括一个至多个传感数据的存储定义。当数据采集模块接收到传感器的原始数据以后，通过数据存储模块进行数据序列的转码，实时存储到本地数据库系统。当配置了网络在线接口以后，数据传输模块通过数据序列可进行数据的打包封装，再上传至大数据平台，也可以作为标准化数据共享交换接口来提供服务。不同类型传感器的数据存储通过存储规则集的变更即可实现。

json是一种数据交换格式。它采用完全独立于编程语言的文本格式来存储和表示数据，层次简洁、清晰，易于编程人员阅读和编写，同时也易于机器解析和生成，能够有效地提升网络传输效率。在本实施例中，传感器指令规则集、数据采集规则集、数据计算规则集、数据存储规则集都是以json数据片的形式进行组织。

同样的，将json数据片上传到大数据平台时，通过数据传输模块先加载数据模型规则文件；再利用数据库存储模块，查询对应的数据库表成果，根据数据模型将数据表成果分别转换成json数据包和xml文件包，再上报至大数据平台。

按照实施例1中的技术方案，通过设计不同传感器的指令、计算、存储等规则集对指令的封装、发送、编码、解码、存储过程进行标准化处理，并通过指令执行顺序编码实现对单台传感设备的定制化数据采集解析工作，最后以网关通道为工作单元，实现不同类型传感器的同时在线数据获取；通过轮询数据采集、多测回数据采集和配置化数据采集，使得数据采集方式多样化，有效提高数据采集效率。通过上述多个规则集的匹配使用，极大扩展了智能网关的传感器接入能力。

实施例2

本发明还提供一种基于json数据片的智能网关数据采集系统的数据采集方法，其特征在于，包括以下步骤：

s1.通过任务控制模块建立数据采集任务，对接入的多类型传感设备按照通讯通道进行任务参数的配置及任务调度；

s2.通过指令模块对传感器控制指令进行标准化封装后编码发送，采集传感器的初始数据；

s3.使用数据采集模块中的周期性采集模块，对数据采集通道进行周期性的数据采集；

s4.通过传感器指令模块对传感器采集回传的数据进行自适应解码；

s5.通过数据计算模块进行数据参数化计算和数据质量检校；

s6.通过数据存储模块根据数据存储规则集将经过质量检校的数据转换成json数据序列，存储在本地数据库中，并通过数据传输模块上传到大数据平台。

实施例3

在数据采集的实际过程中，根据实际情况的需要，有时会出现需要多个传感器同时进行数据采集的情况。为了解决上述技术问题，在实施例1的基础上进一步优化，采取以下技术方案：

通过周期性采集模块对多台传感器的采集规则进行编排，实现协同控制数据采集；协同控制数据采集包括跨通道的传感器协同控制和相同通道下的多类型传感设备协同监测。

以下对实施例3的工作原理作详细说明：

1.跨通道的传感器协同控制

比如，在测量机器人工作过程中，需要控制保护装置的防护门开关、环境传感器进行环境参数获取，该种模式下就需要以测量机器人通道作为主通道，以防护门设备为第二通道，环境传感器为第三通道，当运行到指定的工作节点时，调用配置的协同通道设备进行工作，实现跨通道的设备工作。

2.多类型传感设备协同监测

在相同通道下的多类型传感设备协同数据采集，在采集过程中当发现某个传感设备数据存在异常，处于预警控制值范围外时，立即触发同分组下其他传感设备的协同加密数据观测，对当前加密观测组的数据进行质量分析、成果研判，对当前超出预警阈值的传感数据的准确性进行评估。

通过多台传感设备采集规则的编排，实现协同控制数据采集，可以节约数据采集的时间，同时减少错误，进一步提升数据采集效率。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。