一种基于国产自主可控环境的数据服务方法及系统

本发明涉及企业数据管理，尤其涉及一种基于国产自主可控环境的数据服务方法及系统。

背景技术：

1、近年来，我国数字经济进入快速发展阶段，加快推进企业数字化转型，有利于构建全链条数字化生态，增强产业链、供应链的自主可控能力，为社会经济高质量发展、提高生产效率注入新动能。在此过程中，国产软件、硬件等企业作为数字化转型的先行代表，正在实现核心技术突破。

2、在国产自主可控软硬件环境下，打造一体化数字平台，全面整合企业内部信息系统，强化全流程数据贯通，形成数据驱动的决策能力，提升企业整体运行效率，越来越成为各企业迫切需要解决的问题。

3、当前的数据服务平台存在一些明显的缺点与局限性，比如：

4、1.对国产自主可控环境支持不足，要同时适配国产自主可控操作系统、部署服务器、数据库、消息处理等中间件环境下需要做大量的适配与开发工作，如业界知名的数据处理框架kettle就无法直接运行。

5、2.部署流程复杂、依赖的中间件过于庞大，如业界常见的hadoop框架，需要部署大量与之关联的中间件，如分布式资源调度平台yarn，分布式运算编程框架mr，分布式文件系统hdfs等。

6、3.数据的接入流程繁琐、数据处理功能单一等，一般需要做大量的配置，并且大多数系统偏重于数据采集，无法直接具备综合数据服务能力。

7、综上所述，以上原因使得企业处理数据的效率不高。

技术实现思路

1、为克服现有技术产品的上述缺点，本发明提出了一种基于国产自主可控环境的数据服务方法及系统，通过构建多源异构数据汇聚与治理、数据建模与分析、全域元数据地图、无代码数据共享等核心能力底座，缩短数据到业务的距离，满足业务的多样性需求，帮助用户便捷、充分的使用数据，让数据产生业务价值，从而解决了国产自主可控环境下企业数据孤岛问题。

2、为实现上述发明目的，本发明采用下述技术方案：

3、一种基于国产自主可控环境的数据服务方法，所述方法包括：

4、基于插件化的架构设计，从不同的业务系统中汇聚数据；

5、通过对已汇聚的贴源数据的分析和处理，实现数据的标准化治理；

6、基于已汇聚的贴源数据，结合业务需求进行指标加工，得到指标库；

7、将已治理的标准数据封装发布为规范化api接口数据，并结合所述指标库提供数据共享服务。

8、进一步地，所述基于插件化的架构设计，从不同的业务系统中汇聚数据，包括：

9、对不同的业务系统建立数据源，所述数据源包括：数据库、消息队列或者文件系统；

10、生成通用数据处理底座，所述通用数据处理底座包含一个用于屏蔽数据源处理协议差异的统一处理接口；

11、在所述通用数据处理底座上配置采集端插件，所述采集端插件通过适配不同通信接口、协议来实现统一读取，并根据数据类型映射关系转换，将采集到的数据转换为标准的json格式数据；其中，每一采集端插件匹配一种数据源，采集任务运行时，数据处理底座会根据数据源信息如驱动信息智能识别并读取数据；

12、在所述通用数据处理底座上配置消费端插件，所述消费端插件用于读取标准的json数据，并对该标准的json数据进行数据的清洗、加工和转换后，写入系统数据库。

13、进一步地，所述将采集到的数据转换为标准的json格式数据之后，还包括：

14、将所述标准的json格式数据写入自定义数据库。

15、进一步地，所述基于插件化的架构设计，从不同的业务系统中汇聚数据的同时，还包括：

16、对汇聚任务的执行和运行情况进行监控，所述汇聚任务的执行和运行情况包括：任务总数、执行详情、正运行任务、任务耗时和吞吐量的统计，以及异常任务执行状态的监控；

17、基于汇聚任务的执行和运行情况进行源端数据库健康探测和表结构异动监测；

18、根据源端数据库健康探测结果和表结构异动监测结果，调整所述汇聚任务的汇聚策略。

19、进一步地，所述基于插件化的架构设计，从不同的业务系统中汇聚数据的同时，还包括：

20、基于菜单管理服务组件、用户管理服务组件、角色管理服务组件、任务管理服务组件和数据查询服务组件来实现对汇聚任务的管理；其中，

21、所述菜单管理服务组件，用于对功能页面的名称、地址和图标进行维护管理；

22、所述用户管理服务组件，用于对系统用户、部门、登录名和密码进行维护管理；

23、所述角色管理服务组件，用于进行角色的维护管理；

24、所述任务管理服务组件，用于提供可视化的任务管理界面对定时的汇聚任务进行配置、删除、禁用、启用和查看运行日志操作；

25、所述数据查询服务组件，用于对已汇聚的贴源数据按照多种条件进行检索。

26、进一步地，所述通过对已汇聚的贴源数据的分析和处理，实现数据的标准化治理，包括：

27、对数据库、数据表及流程管控进行规范设计，并根据业务需求以及所述数据库与所述表的规范设计，创建逻辑模型；其中，所述逻辑模型包括：概念模型中的业务对象所对应的维度表、事实表、原子指标、派生指标和汇总表；

28、抽取并组织管理所述已汇聚的贴源数据的元数据；

29、运行所述逻辑模型，创建数据库和数据表；

30、基于数据模型、处理算法和处理顺序建立执行模型，并在所述执行模型的基础上，获取所述已汇聚的贴源数据的标准化数据；其中，所述处理算法包括：转换、加密、脱敏和筛选；

31、基于已设置的质检规则和/或质量模型，对所述标准化数据进行数据巡检。

32、进一步地，所述基于已汇聚的贴源数据，结合业务需求进行指标加工，得到指标库，包括：

33、基于已汇聚的贴源数据，生成帖源表；

34、对指标进行业务维度与业务过程的定义，生成原始逻辑表；

35、分别对业务维度与业务条件进行统计和分析，得到维度逻辑表和事实逻辑表；

36、基于维度逻辑表和事实逻辑表，获取原子指标、逻辑粒度和业务条件；

37、根据指标通用的业务字段对原始逻辑表进行汇总，并结合所述原子指标、所述逻辑粒度和所述业务条件，得到汇总逻辑表；

38、基于所述帖源表和所述汇总逻辑表，建立汇总物理表。

39、进一步地，所述方法还包括：

40、对主数据进行统一标准、统一规则的定义；其中，所述主数据从所述已治理的标准数据中获取的关键数据；

41、对所述主数据进行全生命周期管理。

42、一种基于国产自主可控环境的数据服务系统，以插件方式支持数据采集、治理与数据共享，所述系统包括：

43、数据汇聚引擎，用于基于插件化的架构设计，从不同的业务系统中汇聚数据；

44、数据治理模块，用于通过对已汇聚的贴源数据的分析和处理，实现数据的标准化治理；

45、指标库生成模块，用于基于已治理的标准数据，结合业务需求进行指标加工，得到指标库；

46、数据共享模块，用于将已治理的标准数据封装发布为规范化api接口数据，并结合所述指标库提供数据共享服务。

47、进一步地，所述系统还包括：

48、主数据管理模块，用于实现主数据统一标准、统一规则的定义，以及对主数据全生命周期管理；其中，所述主数据从所述已治理的标准数据中获取的关键数据。

49、与现有技术相比，本发明具有如下优点或有益效果：

50、1.本发明通过数据服务系统构建一个能够将企业多源异构数据进行采集、清洗、加工、汇总，利用统一的方法和统一的标准对企业数据进行处理，提高企业的数据质量，实现企业数据价值最大化和统一数据资产运营，持续赋能数字化；

51、2.本发明适配多种国产自主可控软硬件环境，兼容多种国产处理器、操作系统、数据库及中间件产品，每个架构层均以可扩展插件的架构形式来实现，系统运行时会智能识别各个插件并调用处理。具体如下:

52、b)可扩展式系统底层处理插件，用于统一处理系统级底层差异；

53、b)可扩展式消息处理插件，用于消息的统一接入与发送；

54、c)可扩展式数据库产品处理插件，用于不同数据库的统一接入。

55、3.本发明通过可视化的任务编排组件及数据处理组件实现各类指标的定时、实时加工生产。

56、4.本发明依赖较少的中间件、简易的数据接入流程、简单易操作的部署流程，轻松实现系统上线与使用。