一种数据采集方法、系统、装置及存储介质与流程

1.本发明涉及工业物联网数据采集技术领域，尤其涉及一种能够扩展和适配多 种工业通信协议的工业物联网数据采集方法、系统、装置及存储介质。


背景技术：

2.随着企业自动化和信息化发展，企业生产数据上云、上平台大势所趋，数据 采集、存储和计算都将呈指数级增长，生产数据上云和共享也将驱动企业朝着数 字化生产方向迈进，传统制造业正面临着数字化转型的机遇和挑战。企业在实现 数字化生产的进程中，首先要解决的是如何收集生产现场人、机、料、法、环等 数据，生产现场的复杂性往往超过预期，不同厂商的生产设备、不同的控制系统 等数据源采用不同的数据采集协议使得数据采集变得困难和复杂。现有的工业物 联网数据采集系统在需要扩展新的工业通信协议时，通常需要通过对原数据采集 系统程序进行修改使数据采集系统适配新的工业通信协议，在需要新增、更新或 删除与数据采集系统连接的数据源时，也需要通过修改数据采集系统程序来实 现，因此，现有的数据采集系统可扩展性和适配性较差。
3.因此，亟需要一种能够在工业生产中快速扩展新的工业通信协议，适配多种 工业通信协议的数据采集系统架构。


技术实现要素：

4.本发明旨在至少解决现有技术中存在的技术问题之一，特别创新地提出了一 种数据采集方法、系统、装置及存储介质，能够在工业生产中快速扩展新的工业 通信协议，适配多种工业通信协议。
5.为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种 数据采集方法，所述方法包括：
6.获取各个数据源的数据采集配置信息，其中，所述数据采集配置信息包括数 据源的连接配置信息、通信协议配置信息和点位配置信息，每份数据采集配置信 息对应一个数据源；
7.基于各个数据源的数据采集配置信息中的连接配置信息和通信协议配置信 息创建对应数据源的数据采集连接，其中，每一份数据采集配置信息对应一个数 据采集连接；
8.基于各个数据源的数据采集配置信息中的点位配置信息对对应的数据采集 连接下需要采集数据的点位按照频率和数量进行分组得到对应的点位组；
9.采用多线程基于已创建的数据采集连接按照特定的频率读取该数据采集连 接下各个点位组中各点位的现场数据。
10.优选地，所述方法还包括：
11.在数据采集过程中，监听各数据源的数据采集配置信息是否有变更，当监听 到数据采集配置信息有变更时，及时发送变更消息。
12.优选地，所述方法还包括：
13.根据所述变更消息对对应数据源的数据采集连接进行变更。
14.优选地，所述变更消息包括如下三种类型：
15.配置新增消息、配置更新消息和配置删除消息；
16.相应地，所述根据所述变更消息对对应数据源的数据采集连接进行变更包 括：
17.当所述变更消息为配置新增消息时，根据新增的数据采集配置信息新建该数 据采集配置信息对应数据源的数据采集连接；
18.当所述变更消息为配置更新消息时，根据更新后的数据采集配置信息对该数 据采集配置信息对应的数据采集连接和/或该数据采集连接下的点位组进行更 新；
19.当所述变更消息为配置删除消息时，根据该配置删除消息删除对应的数据采 集连接。
20.优选地，所述基于各个数据源的数据采集配置信息中的点位配置信息对对应 的数据采集连接下需要采集数据的点位按照频率和数量进行分组得到对应的点 位组包括：
21.获取各个数据源的数据采集配置信息中的点位配置信息中各点位的数据采 集频率；
22.对对应的数据采集连接下需要采集数据的点位按照各点位的数据采集频率 进行分组得到对应的点位组，其中，每个点位组中的各个点位的数据采集频率相 同，且每个点位组中的点位数量不超过预设数量。
23.优选地，所述方法还包括：
24.按照预设的数据处理规则对读取到的数据进行预处理；
25.将按照预设的数据处理规则进行预处理后的数据发送至数据消费平台。
26.根据本发明的第二个方面，本发明提供了一种数据采集系统，所述系统包括：
27.配置管理模块，用于获取各个数据源的数据采集配置信息，其中，所述数据 采集配置信息包括数据源的连接配置信息、通信协议配置信息和点位配置信息， 每份数据采集配置信息对应一个数据源；
28.连接管理模块，用于基于各个数据源的数据采集配置信息中的连接配置信息 和通信协议配置信息创建对应数据源的数据采集连接，其中，每一份数据采集配 置信息对应一个数据采集连接；
29.点位分组模块，用于基于各个数据源的数据采集配置信息中的点位配置信息 对对应的数据采集连接下需要采集数据的点位按照频率和数量进行分组得到对 应的点位组；
30.数据读取模块，用于采用多线程基于已创建的数据采集连接按照特定的频率 读取该数据采集连接下各个点位组中各点位的现场数据。
31.优选地，所述配置管理模块还用于在数据采集过程中，监听各数据源的数据 采集配置信息是否有变更，当监听到数据采集配置信息有变更时，及时发送变更 消息。
32.优选地，所述连接管理模块还用于根据所述变更消息对对应数据源的数据采 集连接进行变更。
33.优选地，所述变更消息包括如下三种类型：
34.配置新增消息、配置更新消息和配置删除消息；
35.相应地，所述根据所述变更消息对对应数据源的数据采集连接进行变更包 括：
36.当所述变更消息为配置新增消息时，根据新增的数据采集配置信息新建该数 据采集配置信息对应数据源的数据采集连接；
37.当所述变更消息为配置更新消息时，根据更新后的数据采集配置信息对该数 据采集配置信息对应的数据采集连接和/或该数据采集连接下的点位组进行更 新；
38.当所述变更消息为配置删除消息时，根据该配置删除消息删除对应的数据采 集连接。
39.优选地，所述点位分组模块具体用于：
40.获取各个数据源的数据采集配置信息中的点位配置信息中各点位的数据采 集频率；
41.对对应的数据采集连接下需要采集数据的点位按照各点位的数据采集频率 进行分组得到对应的点位组，其中，每个点位组中的各个点位的数据采集频率相 同，且每个点位组中的点位数量不超过预设数量。
42.优选地，所述系统还包括：
43.数据处理模块，用于按照预设的数据处理规则对读取到的数据进行预处理；
44.数据发送模块，用于将按照预设的数据处理规则进行预处理后的数据发送至 数据消费平台。
45.根据本发明的第三个方面，本发明提供了一种数据采集装置，所述装置包括 至少一个处理器以及与所述处理器连接的至少一个存储器，其中，所述处理器、 所述存储器通过总线完成相互间的通信；所述处理器用于调用所述存储器中的程 序指令，以执行上述第一个方面任一种数据采集方法。
46.根据本发明的第四个方面，本发明提供了计算机存储介质，所述存储介质中 存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现 如上述第一个方面任一种数据采集方法。
47.由以上方案可知，本技术提供了一种数据采集方法、系统、装置及存储介质， 通过获取数据采集配置信息来对对应数据源的数据采集连接的全生命周期进行 管理，并通过对各个数据采集连接下点位按照频率和数量进行点位分组，采用多 线程读取各数据采集连接下的各个点位组的现场数据，实现了适配工厂现场不同 设备、不同控制系统等数据源提供的不同工业通信协议的目的，在需要扩展新的 工业通信协议，以及需要新增、更新或删除与数据采集系统连接的数据源时无需 对数据采集系统程序进行修改，达到了根据现场条件快速扩展新的通信协议的效 果，为数据采集平台系统屏蔽了生产现场数据获取的复杂性，同时保障了数据采 集的实时性、高效性、开放性、可靠性和安全性，有效解决了现有技术中工业物 联网数据采集系统可扩展性和适配性较差的问题。
48.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述 中变得明显，或通过本发明的实践了解到。
附图说明
49.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将 变得明显和容易理解，其中：
50.图1是本发明的一种优选实施方式中数据采集方法的流程图；
51.图2是本发明的一种优选实施方式中数据采集系统的结构示意图；
52.图3是本发明的一具体实例中数据采集系统的系统架构示意图；
53.图4是本发明的一种优选实施方式中数据采集装置的结构示意图。
具体实施方式
54.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本 公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里 阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开， 并且能够将本公开的范围完整的传达给本领域的技术人员。
55.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括 技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相 同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具 有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用 理想化或过于正式的含义来解释。
56.本发明的目的在于提供一种可以快速扩展新的工业通信协议、适配多种工业 通信协议进行数据采集的软件系统架构，旨在为解决工厂数字化过程中数据采集 难点。数据采集作为边缘端汇聚生产现场数据的节点，直接跟工厂的plc、dcs 控制系统、智能设备等连接，生产现场控制系统、智能设备多，制造厂家不一， 通信协议多样化，数据采集节点作为直接跟这些设备连接获取数据的系统，因此 就需要有解析不同的工业通信协议获取现场数据的能力。生产现场的工业通信协 议有标准的也有不标准的，每次数据采集不可能囊括到所有的通信协议，因此数 据采集系统架构也必须要具有可扩展性，针对新的通信协议能够快速扩展，满足 生产现场数据采集的需求。因此，亟需一种能够在工业生产中快速扩展新的工业 通信协议，适配多种工业通信协议的数据采集系统架构。
57.如图1所示，本发明实施例提供了一种数据采集方法，该方法可以包括如下 步骤：
58.s101，获取各个数据源的数据采集配置信息，其中，数据采集配置信息包 括数据源的连接配置信息、通信协议配置信息和点位配置信息，每份数据采集配 置信息对应一个数据源；
59.为了实现对生产现场的设备和控制系统等各数据源进行数据采集，在系统启 动时，首先需要获取各个数据源的数据采集配置信息。数据采集配置信息具体可 以是从本地预先存储的配置文件中读取，也可以是通过远程接收的方式接收由云 平台等管理平台统一管理分发的配置文件，再从接收的到的配置文件中读取，这 样统一了数据采集配置信息，对后续处理屏蔽了数据采集配置信息的来源。生产 现场的设备和控制系统往往来自不同的生产厂商，不同的厂商提供的数据协议也 往往不同，因此，在系统启动时，每个数据源都需要加载和管理一份数据采集配 置信息，常见的数据源有提供opc通信协议的opc server、提供modbus协议 的modbus slave。
60.具体地，每个数据源对应的数据采集配置信息中包括该数据源的连接配置信 息、该数据源的通信协议配置信息和该数据源的点位配置信息。连接配置信息主 要包括该数据源的端口配置数据、ip地址和用于连接校验的用户名、密码等校 验数据；通信协议配置信息是用于表征数据源通过何种工业通信协议来传输数 据；点位配置信息主要包括该数
据源的各点位的地址、标识、数据采集频率、数 据类型等。
61.s102，基于各个数据源的数据采集配置信息中的连接配置信息和通信协议 配置信息创建对应数据源的数据采集连接，其中，每一份数据采集配置信息对应 一个数据采集连接；
62.获取各个数据源的数据采集配置信息后，需要根据各个数据源的数据采集配 置信息中的连接配置信息和通信协议配置信息来创建数据采集系统与对应数据 源之间的数据采集连接。需要说明的是，不同的数据采集配置信息是独立的，各 数据采集配置信息与数据采集连接是一一对应的关系，即每一份数据采集配置信 息对应一个数据采集连接。
63.s103，基于各个数据源的数据采集配置信息中的点位配置信息对对应的数 据采集连接下需要采集数据的点位按照频率和数量进行分组得到对应的点位组；
64.在数据采集系统与数据源建立好数据采集连接后，接着需要根据各个数据源 的数据采集配置信息中的点位配置信息来对对应的数据采集连接下需要采集数 据的点位按照频率和数量进行点位分组，得到各个数据采集连接下对应的点位 组，通过点位分组来提高数据采集的性能和效率。
65.s104，采用多线程基于已创建的数据采集连接按照特定的频率读取该数据 采集连接下各个点位组中各点位的现场数据。
66.最后，采用多线程按照各个点位组对应的数据采集频率来读取已创建的数据 采集连接下的各个点位组中各点位的现场数据，实现对数据源下各点位的现场数 据的采集。具体地，每个线程只读取与其对应的点位组中的点位数据，读取到的 各个点位组中各点位的现场数据可以按照通信协议标准中定义的点位信息进行 处理，转换成后续节点中上层平台(例如云平台、物联网平台等需要应用该数据 的数据消费平台)要求的统一的点位数据格式发送给下一个节点进行处理。
67.综上所述，本实施例提供了一种数据采集方法，首先获取各个数据源的数据 采集配置信息，然后基于各个数据源的数据采集配置信息中的连接配置信息和通 信协议配置信息创建对应数据源的数据采集连接，接着基于各个数据源的数据采 集配置信息中的点位配置信息对对应的数据采集连接下需要采集数据的点位按 照频率和数量进行分组得到对应的点位组，最后采用多线程基于已创建的数据采 集连接按照特定的频率读取该数据采集连接下各个点位组中各点位的现场数据。 本实施例中的数据采集方法根据数据采集配置信息来对对应数据源的数据采集 连接进行管理，并通过对各个数据采集连接下点位按照频率和数量进行点位分 组，采用多线程读取各数据采集连接下的各个点位组的现场数据，实现了适配工 厂现场不同设备、不同控制系统等数据源提供的不同工业通信协议的目的，在需 要扩展新的工业通信协议，以及需要新增、更新或删除与数据采集系统连接的数 据源时无需对数据采集系统程序进行修改，只需要根据协议标准对数据采集配置 信息进行开发扩展，达到了根据现场条件快速扩展新的通信协议的效果，为数据 采集平台系统屏蔽了生产现场数据获取的复杂性，同时保障了数据采集的实时 性、高效性、开放性、可靠性和安全性，有效解决了现有技术中工业物联网数据 采集系统可扩展性和适配性较差的问题。
68.作为优选，在一个实施例中，该方法在上一实施例的基础上还可以包括如下 步骤：
69.在数据采集过程中，监听各数据源的数据采集配置信息是否有变更，当监听 到数据采集配置信息有变更时，及时发送变更消息，从而保证后续数据采集的正 确性。
70.作为优选，在一个实施例中，该方法在上一实施例的基础上还可以包括如下 步骤：
71.根据变更消息对对应数据源的数据采集连接进行变更，从而实现对各数据源 的数据采集连接的全生命周期进行管理，实现动态管理数据采集连接，并更好地 实现数据采集系统中新的工业通信协议的快速扩展，使得该数据采集系统方便地 适配对多种工业通信协议的数据源的数据采集。
72.具体地，在一个实施例中，变更消息包括如下三种类型：
73.配置新增消息、配置更新消息和配置删除消息；
74.相应地，根据变更消息对对应数据源的数据采集连接进行变更具体包括如下 步骤：
75.当变更消息为配置新增消息时，根据新增的数据采集配置信息新建该数据采 集配置信息对应数据源的数据采集连接；
76.当变更消息为配置更新消息时，根据更新后的数据采集配置信息对该数据采 集配置信息对应的数据采集连接和/或该数据采集连接下的点位组进行更新，使 得该数据采集连接对应的根据新的数据采集需求更新后的数据采集配置信息立 即生效，保证后续采集的该数据采集连接下各点位的现场数据的准确性；
77.当变更消息为配置删除消息时，根据该配置删除消息删除对应的数据采集连 接，通过删除对应的数据连接，不仅可以保证在后续的数据采集过程中不再采集 该数据采集连接对应的数据源的数据，而且可以释放该数据源的数据连接下的各 个点位组相应的线程使相应的内存得到释放，为后续新增数据采集连接留出内存 空间，提高内存利用率，避免内存溢出。
78.作为优选，在一个实施例中，步骤s103(基于各个数据源的数据采集配置 信息中的点位配置信息对对应的数据采集连接下需要采集数据的点位按照频率 和数量进行分组得到对应的点位组)具体可以包括如下步骤：
79.获取各个数据源的数据采集配置信息中的点位配置信息中各点位的数据采 集频率；
80.对对应的数据采集连接下需要采集数据的点位按照各点位的数据采集频率 进行分组得到对应的点位组，其中，每个点位组中的各个点位的数据采集频率相 同，且每个点位组中的点位数量不超过预设数量。这样便于充分利用多线程读取 数据的优势，保证数据采集的高效性和实时性。
81.一个数据采集连接可能包含成千上万的点位，根据业务需求和生产实际情 况，对于各不同的点位的数据采集可能有不同的数据采集频率，有些生产数据实 时性要求高则数据采集频率高，有些生产数据可能变化周期很长则数据采集频率 可以降低，按数据采集频率对各点位的数据进行分组采集能极大的提高采集效 率。但分组得到的点位组中的点位不是越多越好，受网络带宽、服务器性能等影 响，当超过一定量时，其采集性能反而会下降，因此相同数据采集频率的点位可 以再次按照数量进行分组，保证一个点位组完成一次数据读取的效率最优化。
82.作为优选，在一个实施例中，该方法在上述实施例的基础上还可以包括如下 步骤：
83.按照预设的数据处理规则对读取到的数据进行预处理，以便采集得到数据能 够更好地满足后续的使用需求；
84.将按照预设的数据处理规则进行预处理后的数据发送至数据消费平台。
85.具体地，所述预处理可以是数据过滤、数据清洗等，例如，可以使用责任链 模式添加自定义处理节点，如设备在某一特点时间段内不生产或者是调试，则可 以添加一个节点过滤该设备在这一特定时间节点的数据不上传到数据消费平台 端；又如某个点位数据我们只想要其发生变化时的数据，则可以添加一个节点处 理这种情况，记录上一次采集的数据，跟本次采集的数据值作比较，只有二者不 相等时才放行数据继续流转下去。数据的预处理功能作为数据采集系统中边缘采 集端的功能，可以承担边缘计算任务，分担后续数据消费平台的计算压力。
86.具体地，上述数据发送的方式具体根据数据消费平台而定，可以使用mqtt (message queuing telemetry transport，消息队列遥测传输)及时通信协议进行 数据发送或kafka分布式发布订阅消息系统以消息的形式发送，也可以直接使 用http(hypertext transfer protocol，超文本传输协议)协议进行数据传输。 数据发送可以添加缓存，当数据发送失败的时候将数据缓存起来，待可正常发送 数据之后再将缓存的数据发送给数据消费平台，当缓存达到某一设定的条件之后 也可以将数据持久化到本地，通过数据缓存能够提高数据传输的安全性、可靠性。
87.如图2所示，本发明实施例还提供了一种数据采集系统，该系统可以包括：
88.配置管理模块201，用于获取各个数据源的数据采集配置信息，其中，数据 采集配置信息包括数据源的连接配置信息、通信协议配置信息和点位配置信息， 每份数据采集配置信息对应一个数据源；
89.为了实现对生产现场的设备和控制系统等各数据源进行数据采集，在系统启 动时，首先需要获取各个数据源的数据采集配置信息。数据采集配置信息具体可 以是从本地预先存储的配置文件中读取，也可以是通过远程接收的方式接收由云 平台等管理平台统一管理分发的配置文件，再从接收的到的配置文件中读取。生 产现场的设备和控制系统往往来自不同的生产厂商，不同的厂商提供的数据协议 也往往不同，因此，在系统启动时，每个数据源都需要加载和管理一份数据采集 配置信息，常见的数据源有提供opc通信协议的opc server、提供modbus协 议的modbus slave。
90.具体地，每个数据源对应的数据采集配置信息中包括该数据源的连接配置信 息、该数据源的通信协议配置信息和该数据源的点位配置信息。连接配置信息主 要包括该数据源的端口配置数据、ip地址和用于连接校验的用户名、密码等校 验数据；通信协议配置信息是用于表征数据源通过何种工业通信协议来传输数 据；点位配置信息主要包括该数据源的各点位的地址、标识、数据采集频率、数 据类型等。
91.连接管理模块202，用于基于各个数据源的数据采集配置信息中的连接配置 信息和通信协议配置信息创建对应数据源的数据采集连接，其中，每一份数据采 集配置信息对应一个数据采集连接；
92.获取各个数据源的数据采集配置信息后，需要根据各个数据源的数据采集配 置
信息中的连接配置信息和通信协议配置信息来创建数据采集系统与对应数据 源之间的数据采集连接。需要说明的是，不同的数据采集配置信息是独立的，各 数据采集配置信息与数据采集连接是一一对应的关系，即每一份数据采集配置信 息对应一个数据采集连接。
93.点位分组模块203，用于基于各个数据源的数据采集配置信息中的点位配置 信息对对应的数据采集连接下需要采集数据的点位按照频率和数量进行分组得 到对应的点位组；
94.在数据采集系统与数据源建立好数据采集连接后，接着需要根据各个数据源 的数据采集配置信息中的点位配置信息来对对应的数据采集连接下需要采集数 据的点位按照频率和数量进行点位分组，得到各个数据采集连接下对应的点位 组，通过点位分组来提高数据采集的性能和效率。
95.数据读取模块204，用于采用多线程基于已创建的数据采集连接按照特定的 频率读取该数据采集连接下各个点位组中各点位的现场数据。
96.最后，采用多线程按照各个点位组对应的数据采集频率来读取已创建的数据 采集连接下的各个点位组中各点位的现场数据，实现对数据源下各点位的现场数 据的采集。具体地，读取到的各个点位组中各点位的现场数据可以按照通信协议 标准中定义的点位信息进行处理，转换成后续节点中上层平台(例如云平台、物 联网平台等需要应用该数据的数据消费平台)要求的统一的点位数据格式发送给 下一个节点进行处理。
97.综上所述，本实施例提供了一种数据采集系统，通过配置管理模块获取各个 数据源的数据采集配置信息，通过连接管理模块基于各个数据源的数据采集配置 信息中的连接配置信息和通信协议配置信息创建对应数据源的数据采集连接，通 过点位分组模块基于各个数据源的数据采集配置信息中的点位配置信息对对应 的数据采集连接下需要采集数据的点位按照频率和数量进行分组得到对应的点 位组，通过数据读取模块采用多线程基于已创建的数据采集连接按照特定的频率 读取该数据采集连接下各个点位组中各点位的现场数据。本实施例中的数据采集 系统根据数据采集配置信息来对对应数据源的数据采集连接进行管理，并通过对 各个数据采集连接下点位按照频率和数量进行点位分组，采用多线程读取各数据 采集连接下的各个点位组的现场数据，实现了适配工厂现场不同设备、不同控制 系统等数据源提供的不同工业通信协议的目的，在需要扩展新的工业通信协议， 以及需要新增、更新或删除与数据采集系统连接的数据源时无需对数据采集系统 程序进行修改，达到了根据现场条件快速扩展新的通信协议的效果，为数据采集 平台系统屏蔽了生产现场数据获取的复杂性，同时保障了数据采集的实时性、高 效性、开放性、可靠性和安全性，有效解决了现有技术中工业物联网数据采集系 统可扩展性和适配性较差的问题。
98.在一个实施例中，配置管理模块201还用于在数据采集过程中，监听各数据 源的数据采集配置信息是否有变更，当监听到数据采集配置信息有变更时，及时 发送变更消息。
99.在一个实施例中，连接管理模块202还用于根据变更消息对对应数据源的数 据采集连接进行变更。
100.在一个实施例中，变更消息包括如下三种类型：
101.配置新增消息、配置更新消息和配置删除消息；
102.相应地，根据变更消息对对应数据源的数据采集连接进行变更包括：
103.当变更消息为配置新增消息时，根据新增的数据采集配置信息新建该数据采 集配置信息对应数据源的数据采集连接；
104.当变更消息为配置更新消息时，根据更新后的数据采集配置信息对该数据采 集配置信息对应的数据采集连接和/或该数据采集连接下的点位组进行更新；
105.当变更消息为配置删除消息时，根据该配置删除消息删除对应的数据采集连 接。
106.在一个实施例中，点位分组模块203具体用于：
107.获取各个数据源的数据采集配置信息中的点位配置信息中各点位的数据采 集频率；
108.对对应的数据采集连接下需要采集数据的点位按照各点位的数据采集频率 进行分组得到对应的点位组，其中，每个点位组中的各个点位的数据采集频率相 同，且每个点位组中的点位数量不超过预设数量。
109.在一个实施例中，该系统还包括：
110.数据处理模块，用于按照预设的数据处理规则对读取到的数据进行预处理；
111.数据发送模块，用于将按照预设的数据处理规则进行预处理后的数据发送至 数据消费平台。
112.具体地，所述数据采集系统包括处理器和存储器，上述配置管理模块、连接 管理模块、点位分组模块和数据读取模块等均作为程序单元存储在存储器中，由 处理器执行存储在存储器中的上述程序单元来实现相应的功能。
113.处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置 一个或以上，通过调整内核参数来进行数据采集。
114.如图3所示，是本发明一具体实例中数据采集系统的系统架构示意图，该数 据采集系统的系统架构主要包括配置管理模块2、连接管理模块7、点位分组模 块10、数据读取模块13、数据处理模块16和数据发送模块17，该数据采集系 统的工作原理如下：
115.系统启动时配置管理模块2对本地配置文件1进行读取，将读取到的本地配 置文件1中的数据采集配置信息通过消息3发送给连接管理模块7，系统运行中， 配置管理模块2对本地配置文件1进行监听，当本地配置文件1有变更时也会向 连接管理模块7发送消息3。
116.连接管理模块7接收配置管理模块2发送过来的消息3，根据消息3对应的 数据采集配置信息创建或更新第一数据采集连接8和第二数据采集连接9。第一 数据采集连接8为opc连接，通过opc通信协议5与工厂生产线设备、控制系 统4的某台提供opc server服务的设备建立数据采集连接；第二数据采集连接 9为modbus连接，通过modbus通信协议6与工厂生产线设备、控制系统 4的某台提供modbus slave服务的设备建立连接。
117.点位分组模块10对每个数据采集连接下的采集点位进行分组，将按照采集 频率和数量进行分组得到多个点位组，此实施例每个点位组最大点位数量为 1000。点位组11-1、11-2、11-3为opc第一数据采集连接8下面的三个点位组， 点位组11-1为高频采集点位组，采集频率为5秒，该点位组的点位数据变化频 繁，实时性要求高；点位组11-2、11-3为低频采集的两个点位组，采集频率为1 分钟，低频采集点位数量有1000多个，因此分成了两个点位组，这两个点位组 的点位数据变化缓慢，实时性要求低。点位组12-1、12-2为modbus第二数据 采集连接9下面的两个点位组，12-1为高频采集点位组，采集频率为5秒；12-2 位低
频采集点位组，采集频率为1分钟。
118.数据读取模块13将按照每个点位组采集频率通过对应的数据采集连接读取 数据，opc点位组数据读取子模块14-1为opc点位组11-1按照5秒的频率读 取现场数据；opc点位组数据读取子模块14-2为opc点位组11-2按照1分钟 的频率读取现场数据；opc点位组数据读取子模块14-3为opc点位组11-3按 照1分钟的频率读取现场数据；modbus点位组数据读取子模块15-1为 modbus点位组12-1按照5秒的频率读取现场数据；modbus点位组数据读 取子模块15-2为modbus点位组12-2按照1分钟的频率读取现场数据。
119.数据处理模块16对读取的数据进行统一处理，包括过滤、计算等操作，此 实施例配置了对部分点位数据进行过滤，过滤没有发生变化的数据，最终将发生 了变化的数据发送到数据消费平台。
120.数据发送模块17将通过数据处理模块16之后的数据发送给iot平台20， 在此实施例中，数据传输19使用的是kafka，本地数据缓存18使用的是内存 +本地文件两级缓存，将发送失败的数据进行缓存。
121.本发明实施例还提供了一种数据采集装置30，包括至少一个处理器301以 及与处理器301连接的至少一个存储器302，其中，处理器301、存储器302通 过总线303完成相互间的通信；处理器301用于调用存储器302中的程序指令， 以执行上述数据采集方法。该实施例中的数据采集装置可以是但不限于数据采集 器或服务器。
122.本发明实施例还提供了计算机存储介质，存储介质中存储有计算机可执行指 令，计算机可执行指令被处理器加载并执行时，实现上述数据采集方法。
123.本发明实现上述实施例数据采集方法中的全部或部分流程，可以通过执行计 算机程序指令的相关硬件来完成，所述的计算机程序可存储于一计算机可读存储 介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。 其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码 形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以 包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动 硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随 机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件 分发介质等。
124.本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包 括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明 的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护 的实施例的任意之一都可以以任意的组合方式来使用。
125.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制； 尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理 解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技 术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本 发明各实施例技术方案的精神和范围。