一种可配置化定时采集数据、调度数据、加密传输、可视化的方法与流程

一种可配置化定时采集数据、调度数据、加密传输、可视化的方法
1.技术领域：本发明属于数据传输、数据调度领域，更具体地说，涉及一种可配置化定时采集数据、调度数据、加密传输、可视化的方法。
2.

背景技术：
在大数据背景下，数据作为最重要的组成部分，指导着企业的生产和经营，如何运用和分析数据已经成为了不可或缺的一部分，而对于数据安全、数据共享、数据应用和数据分析在大数据的背景下是一个至关重要的一个环节。
3.然而，传统的软件行业中，数据一般存储在多种异构型的第三方数据服务中，只满足自身应用使用。这就产生了以下劣势：由于数据服务内部闭塞，形成数据孤岛，导致数据无法共享和分析；由于异构型的数据服务的多样性，导致不同数据服务在对接中出现数据类型和数据规则不匹配问题；在实际生产中，我们需要对这里面的数据进行抽取、转化和加载操作，形成数据集市、业务库和数据仓库，提供数据分析和使用，而原有的数据服务模式则不支持这一操作。
4.与此同时，多行业多业务场景下，总是会出现资源竞争的情况。例如：共享仓储、共享用工、协同运输、打车等等。当资源有限的情况下，如何及时获取多目标终端数据，统一进行采集、分析、调度。这即是本发明要解决的核心问题。
5.综上所述，如何让不同类型的异构化数据服务共享在同一个类型的数据服务平台中，并且打通数据内部关系以提供数据共享、应用和分析，用于企业的管理、调度、生产指导等，已经成为目前本领域技术人员亟待解决的问题。
6.

技术实现要素：
本发明为了解决上述现有技术中存在的缺陷和不足，提供了一种可配置化定时采集数据、调度数据、加密传输、可视化的方法，其能够通过配置实现大批量的定时任务采集数据、间隔性的提取数据源的数据并清洗到目标源中，并且根据配置规则进行间隔性调度与下发任务。
7.为了实现上述目的，本申请提供如下技术方案：一种可配置化定时采集数据、调度数据、加密传输、可视化的方法，应用于多种类型异构型数据源和异构型目标源数据的传输、采集，针对采集数据进行清洗、解析、建模、分析从而生成调度任务，对资源进行调配优化，包括：核心数据采集引擎采集数据，清洗数据，将数据落入目标数据源；可视化指挥中心读取经过核心数据采集引擎沉淀的数据源，根据数据进行智能建模、智能分析，生成智能报表；核心调度引擎同样也会读取经过核心数据采集引擎沉淀的数据源，规则引擎，对已经配置的规则进行解析，生成调度任务，最后再下发给每一个采集端/用户端，此过程通过mysql进行二次数据沉淀、redis实现热点数据高性能缓存、influxdb进行时序数据存储。
8.优选地，对当前多异质设备进行数据采集，包括：
针对多异质设备数据进行采集，基于不同的系统，甚至不同的编程语言，采用统一的方式采集上报数据；插件式采集实现；采集后，核心采集引擎会根据清洗规则对采集数据进行入库；且上报频率、上报内容、清洗规则可配置化，一切基于配置文件驱动；为复杂的业务场景与需求提供了拓展性与灵活性。
9.优选地，多内容、多规则可配置化，包括：通过统一的配置中心，对维护多种类、多方式的配置文件，而且统一由配置中心进行加密，应用端统一访问配置中心，从配置中心拉取并解密配置。
10.优选地，可视化指挥中心对目标数据源的处理与展示，包括：针对目标数据源进行智能建模、数据分析；数据分析的结果进行定时沉淀，生成智能报表，从而对调度决策者进行反馈。
11.优选地，可视化指挥中心中的数据模型提供智能建模、数据规则且都为统一配置，配置的方式为从配置中心拉取。
12.优选地，核心调度引擎对清洗数据的解析并生成调度任务，包括：根据规则引擎所配置的规则执行对应解析任务，对解析完成的数据进行再次沉淀，一部分落入mysql关系型数据库，一部分落入时序数据库influxdb；再根据规则引擎中所配置的调度规则，针对调度引擎沉淀的实时数据，生成调度任务；调度任务执行完毕后，会将调度任务通过加密请求，重新下发/返回给采集端/用户端。
13.优选地，规则引擎提供了强大的规则配置与任务生成，包括：通过规则引擎所定义的规则模板配置规则；通过规则引擎所定义的任务模板定义任务；通过规则引擎关联规则与任务；解析规则、生成任务。
14.本发明的有益效果如下：按照本发明设计的数据采集调度方法，采集多设备提交上来的位置数据、状态数据等，再通过本发明设计的数据上传方法设备需要提交、调度的数据上传到云端服务器进行存储，通过构建数据流处理、数据模型分析、规则引擎分析、调度引擎调度等全面优化产业中的调度，适用于多场景下的资源调配优化，同时构建了完善强大的可视化指挥中心，对资源预期、调整、效率等，提供了强大的基石与力量。
附图说明
15.图1是本发明的原理示意图；图2是核心调度引擎的内部原理示意图。
具体实施方式
16.下面结合附图对本发明作进一步详细的说明，但并不是对本发明保护范围的限制。
17.如图1和2所示，一种可配置化定时采集数据、调度数据、加密传输、可视化的方法，包括核心采集引擎、核心调度引擎、规则引擎、可视化指挥中心等联合作业，完成数据的采集与调度，具体步骤如下：1.核心采集引擎定时从多终端采集数据，并将数据进行清洗，录入目标数据源。
18.2.可视化指挥中心读取目标数据源进行智能建模、智能分析，生成智能报表。
19.3.调度引擎读取目标数据源，根据规则引擎下发的规则与任务进行调度任务的执行。执行完成后，下把调度结果至采集端（用户端）。
20.4.规则引擎配置规则、任务。根据规则生成任务。
21.本发明应用于多种类型异构型数据源和异构型目标源数据的传输、采集，针对采集数据进行清洗、解析、建模、分析从而生成调度任务，对资源进行调配优化，包括：核心数据采集引擎采集数据，清洗数据，将数据落入目标数据源；可视化指挥中心读取经过核心数据采集引擎沉淀的数据源，根据数据进行智能建模、智能分析，生成智能报表；核心调度引擎同样也会读取经过核心数据采集引擎沉淀的数据源，规则引擎，对已经配置的规则进行解析，生成调度任务，最后再下发给每一个采集端/用户端，此过程通过mysql进行二次数据沉淀、redis实现热点数据高性能缓存、influxdb进行时序数据存储。


技术特征：
1.一种可配置化定时采集数据、调度数据、加密传输、可视化的方法，其特征在于，应用于多种类型异构型数据源和异构型目标源数据的传输、采集，针对采集数据进行清洗、解析、建模、分析从而生成调度任务，对资源进行调配优化，包括：核心数据采集引擎采集数据，清洗数据，将数据落入目标数据源；可视化指挥中心读取经过核心数据采集引擎沉淀的数据源，根据数据进行智能建模、智能分析，生成智能报表；核心调度引擎同样也会读取经过核心数据采集引擎沉淀的数据源，规则引擎，对已经配置的规则进行解析，生成调度任务，最后再下发给每一个采集端/用户端，此过程通过mysql进行二次数据沉淀、redis实现热点数据高性能缓存、influxdb进行时序数据存储。2.根据权利要求1所述的可配置化定时采集数据、调度数据、加密传输、可视化的方法，其特征在于，对当前多异质设备进行数据采集，包括：针对多异质设备数据进行采集，基于不同的系统，甚至不同的编程语言，采用统一的方式采集上报数据；插件式采集实现；采集后，核心采集引擎会根据清洗规则对采集数据进行入库；且上报频率、上报内容、清洗规则可配置化，一切基于配置文件驱动；为复杂的业务场景与需求提供了拓展性与灵活性。3.根据权利要求2所述的可配置化定时采集数据、调度数据、加密传输、可视化的方法，其特征在于，多内容、多规则可配置化，包括：通过统一的配置中心，对维护多种类、多方式的配置文件，而且统一由配置中心进行加密，应用端统一访问配置中心，从配置中心拉取并解密配置。4.根据权利要求1所述的可配置化定时采集数据、调度数据、加密传输、可视化的方法，其特征在于，可视化指挥中心对目标数据源的处理与展示，包括：针对目标数据源进行智能建模、数据分析；数据分析的结果进行定时沉淀，生成智能报表，从而对调度决策者进行反馈。5.根据权利要求4所述的可配置化定时采集数据、调度数据、加密传输、可视化的方法，其特征在于，可视化指挥中心中的数据模型提供智能建模、数据规则且都为统一配置，配置的方式为从配置中心拉取。6.根据权利要求1所述的可配置化定时采集数据、调度数据、加密传输、可视化的方法，其特征在于，核心调度引擎对清洗数据的解析并生成调度任务，包括：根据规则引擎所配置的规则执行对应解析任务，对解析完成的数据进行再次沉淀，一部分落入mysql关系型数据库，一部分落入时序数据库influxdb；再根据规则引擎中所配置的调度规则，针对调度引擎沉淀的实时数据，生成调度任务；调度任务执行完毕后，会将调度任务通过加密请求，重新下发/返回给采集端/用户端。7.根据权利要求6所述的可配置化定时采集数据、调度数据、加密传输、可视化的方法，其特征在于，规则引擎提供了强大的规则配置与任务生成，包括：通过规则引擎所定义的规则模板配置规则；通过规则引擎所定义的任务模板定义任务；通过规则引擎关联规则与任务；
解析规则、生成任务。

技术总结
本发明公开了一种可配置化定时采集数据、调度数据、加密传输、可视化的方法，包括：核心数据采集引擎采集数据，清洗数据，将数据落入目标数据源；可视化指挥中心读取经过核心数据采集引擎沉淀的数据源，根据数据进行智能建模、智能分析，生成智能报表；核心调度引擎同样也会读取经过核心数据采集引擎沉淀的数据源，规则引擎，对已经配置的规则进行解析，生成调度任务，最后再下发给每一个采集端/用户端，此过程通过MySql进行二次数据沉淀、Redis实现热点数据高性能缓存、InfluxDB进行时序数据存储。本发明适用于多场景下的资源调配优化，构建了完善强大的可视化指挥中心，对资源预期、调整、效率等，提供了强大的基石与力量。提供了强大的基石与力量。提供了强大的基石与力量。


技术研发人员：闫安 赵梦怡
受保护的技术使用者：杭州雷数科技有限公司
技术研发日：2021.11.19
技术公布日：2022/2/18