数据采集系统及方法与流程

本发明涉及大数据通信领域，尤其涉及一种数据采集系统及方法。

背景技术：

1、数字化转型核心是数据治理，数据治理的基础是数据采集；各企业在进行数据治理时，首先需要将企业业务相关的各类数据安全、平稳、持续的采集上来，再进行后续计算，企业的数据存在数据种类多、数据量大的特点，集团型大企业在数据种类和数据量上的特点更显著；数据被国家定义为新的生产要素，每个企业的核心机密在数据中都能体现，所以数据采集时务必要保证数据安全；目前，领域内数据采集存在多种方式，每种方式对应有独特的应用场景，这些采集方式主要注重了功能实现，在鲁棒性、通用性和安全性上有疏忽。

2、现在常用的数据采集平台面对繁杂的业务场景，需要开通多个网络端口应对，被网络扫描攻击风险大，且采集的数据在网络传输时容易被截取破解或数据被篡改，数据安全没保障，另外，当同时上传数据的终端或平台较多时，数据采集平台会产生管理不便的问题。

技术实现思路

1、本发明的主要目的在于提供一种数据采集系统及方法，旨在解决现有技术中数据采集平台面对繁杂的业务场景，被网络扫描攻击风险大，且采集的数据在网络传输时容易被截取破解或数据被篡改，数据安全没保障，管理不便的技术问题。

2、第一方面，本发明提供一种数据采集系统，所述数据采集系统包括：调度服务器、终端设备及数据采集平台；其中，

3、所述调度服务器，用于动态记录所述终端设备与所述数据采集平台的通信状态，获得网络通信信息；

4、所述调度服务器，还用于根据所述网络通信信息生成数据上传指令，将所述数据上传指令发送至所述终端设备；

5、所述终端设备，用于根据所述数据上传指令对待上传数据进行加密和封装，获得封装数据，并将所述封装数据发送至所述数据采集平台；

6、所述调度服务器，还用于周期性巡检所述数据采集平台接收上传数据的运行状态，根据所述运行状态下发控制指令至所述终端设备；

7、所述终端设备，还用于根据所述控制指令上传目标数据至所述数据采集平台；

8、所述数据采集平台，用于对所述目标数据校验解析存储。

9、可选地，所述调度服务器，还用于获取与所述终端设备对应的唯一标识信息，根据所述唯一标识信息筛选出终端网络信息，根据所述终端网络信息下发数据上传指令至所述终端设备；

10、所述调度服务器，还用于与所述终端设备进行加密方式协商，获得目标加密方式，并将所述目标加密方式发送至所述终端设备；

11、所述终端设备，还用于根据所述目标加密方式和所述数据上传指令对待上传数据中的核心内容进行加密和封装，获得封装数据，并将所述封装数据发送至所述数据采集平台，其中，不同终端设备间的加密方式相互独立。

12、可选地，所述调度服务器，还用于获取当前数据要求、随机封装标志和车联网数据类型标志，根据所述当前数据要求、随机封装标志和车联网数据类型标志生成数据上传指令。

13、可选地，所述终端设备，还用于对所述数据上传指令进行解析，获得待传数据要求和本次上传任务的校验信息；

14、所述终端设备，还用于根据预设协商数据协议对待上传数据进行封装，在所述待上传数据中每条数据的所有字段内容全部封装完后，在所述每条数据的首字段前添加所述随机封装标志和车联网数据类型标志；

15、所述终端设备，还用于根据所述目标加密方式对所述每条数据中的核心内容进行加密，并将加密后的数据包发送给所述数据采集平台；

16、所述终端设备，还用于在所述每条数据中存在数据量大于预设数据量阈值的目标数据时，对所述目标数据进行分包，并对所述分包数据进行加密，将机密后的数据包发送给所述数据采集平台。

17、可选地，所述数据采集平台包括对应各分布节点的节点服务器，所述数据采集平台，还用于只对外公开一组网络地址和地址端口，根据所述地址端口接收所述终端设备上传的任意封装数据；

18、所述节点服务器，用于从所述封装数据中获取发送终端网络地址，从所述调度服务器中获取所述发送终端使用的封装标志、数据类型标志和加密方式；

19、所述节点服务器，还用于根据所述封装标志、所述数据类型标志和所述加密方式对所述封装数据进行校验和解密，获得解析数据，并存储所述解析数据。

20、可选地，所述节点服务器，还用于在接收到所述封装数据为多类型数据时，根据所述发送终端网络地址和本节点服务内网地址在所述调度服务器中查找对应的解密信息，根据所述解密信息逐一轮训所述封装数据的合理性，在所述封装数据合理时，对所述封装数据进行解密，获得解析数据。

21、可选地，所述节点服务器，还用于从所述调度服务器中获取当前终端采用的加密方式和解密密钥，获取所述封装数据的封装协议和标注的核心敏感数据字段，根据所述封装协议、所述核心敏感数据字段和所述解密密钥解密获得核心敏感数据；

22、所述节点服务器，还用于从所述核心敏感数据中获取解析封装标志、解析数据类型标志和解析数据字段内容，从所述调度服务器中获取标准封装标志和标准数据类型标志，将所述解析封装标志和所述标准封装标志解析对比，将所述解析数据类型标志和所述标准数据类型标志进行对比；

23、所述节点服务器，还用于在所述解析封装标志和所述标准封装标志相同，且所述解析数据类型标志和所述标准数据类型标志相同时，判定所述封装数据正常；

24、所述节点服务器，还用于在所述解析封装标志和所述标准封装标志不相同，或所述解析数据类型标志和所述标准数据类型标志不相同时，判定所述封装数据异常，丢弃所述封装数据对应的数据包，获取所述封装数据的当前网络地址，在所述封装数据持续校验不通过时，通知所述调度服务器对应的当前终端异常，以使所述调度服务器向用户发出预警告知。

25、可选地，所述调度服务器，还用于周期性巡检各数据上传任务的状态，筛选出状态为上传中止的中止任务；

26、所述调度服务器，还用于获取所述中止任务对应的目标终端网络地址，检测所述目标终端网络地址对应的目标终端是否注册在线；

27、所述调度服务器，还用于在所述目标终端在线时，自主下发数据上传指令，通知所述终端设备继续上传所述待上传数据，同时将断点信息发送给所述终端设备；

28、所述调度服务器，还用于在所述目标终端不在线时，向用户推送数据上传任务失败信息，并采集当前已采集数据量信息，并标记所述中止任务已处理；

29、所述调度服务器，还用于在所述目标终端网络地址没有注册记录时，将所述目标终端网络地址设置为黑名单地址，并通知所述数据采集平台过滤所述黑名单地址的数据包。

30、可选地，所述数据采集平台，还用于在所述数据采集平台成功校验终端上传的第一包数据包后，将所述调度服务器对应所述终端设备的当前数据上传任务的状态由等待上传状态更新为正在上传状态；

31、所述数据采集平台，还用于在所述终端设备中断上传或上传数据校验不通过时，将所述当前数据上传任务的状态由正在上传状态更新为中止上传状态；

32、所述数据采集平台，还用于收到所述终端设备发送的数据上传结束包后，将所述当前数据上传任务的状态由正在上传状态更新为上传完成状态；

33、所述调度服务器，还用于在与指定终端的所有握手工作和所述协商工作完成后，将当前终端设备的当前数据类型标志、当前封装标志、当前加密信息、当前终端ip保存进所述指定终端，将所述指定终端对应的数据采集任务状态设置为等待上传状态；

34、所述调度服务器，还用于对满足预设重新下发数据条件的目标数据采集任务，直接向对应终端设备下发重新上传指令。

35、第二方面，为实现上述目的，本发明还提出一种数据采集方法，所述数据采集方法包括以下步骤：

36、动态记录终端设备与数据采集平台的通信状态，获得网络通信信息；

37、根据所述网络通信信息生成数据上传指令，将所述数据上传指令发送至所述终端设备，以使所述终端设备对待上传数据进行加密和封装，获得封装数据，并将所述封装数据发送至所述数据采集平台；

38、周期性巡检所述数据采集平台接收上传数据的运行状态，根据所述运行状态下发控制指令至所述终端设备，以使所述终端设备根据所述控制指令上传目标数据至所述数据采集平台，并使所述数据采集平台对所述目标数据校验解析存储。

39、本发明提出的数据采集系统，通过调度服务器动态记录所述终端设备与所述数据采集平台的通信状态，获得网络通信信息；调度服务器根据所述网络通信信息生成数据上传指令，将所述数据上传指令发送至所述终端设备；终端设备根据所述数据上传指令对待上传数据进行加密和封装，获得封装数据，并将所述封装数据发送至所述数据采集平台；调度服务器周期性巡检所述数据采集平台接收上传数据的运行状态，根据所述运行状态下发控制指令至所述终端设备；终端设备根据所述控制指令上传目标数据至所述数据采集平台；数据采集平台对所述目标数据校验解析存储，能够一定程度上降低网络扫描攻击、网络截取、网络篡改对数据采集平台的威胁，增加了数据安全系数，兼顾了加解密双方的性能消耗，提升了数据采集平台运行稳定性，能方便的避开网络恶意扫描攻击，保障了采集平台数据获取的平稳性，极大提升了数据采集平台可靠性与鲁棒性。