数据血缘生成的方法、系统、设备及存储介质与流程

本发明涉及数据分析，具体涉及一种数据血缘生成的方法、系统、设备及存储介质。

背景技术：

1、互联网全球化、移动设备普及化、云计算存储低成本化、物质世界网络化，都在为“数据大爆发”储蓄能量，大数据已成为继云计算、物联网之后it产业又一次颠覆性的技术变革。

2、可视化数据建模通过降低技术门槛、提升建模效率和模型解释程度，优化了数据建模的流程和投入成本。传统数据建模的技术门槛较高，需要大量的建模专业人员，具备包括统计学、算法和编程能力等，以便在具体场景下选择合适的数据预处理规则，并使用编程软件实现数据建模和数据分析。

3、随着软件的复杂程度日益增加，软件的需求建模的重要性也日益凸显。对于相当复杂而又难于理解、难以用言语表达的系统，需求可视化技术提供了一种更加直观和易于理解的方式.可视化是指使用图形、图像或者图片等技术，使一些不可见的对象、表达或者抽象概念变成可见的符号。可视化技术和需求建模的结合，给软件的需求工程领域带来了新的机遇和光明的前景。

4、但随着大数据、人工智能等技术的飞速发展，如今的大屏显示系统不仅要负责对海量数据信息进行高效率的分析，还要将分析结果展现出来，帮助用户发现挖掘数据背后的逻辑和规律，为用户决策行为提供依据。

5、鉴于以上背景，迫切的需要一种数据血缘生成的方法及系统。

技术实现思路

1、本发明提出的一种数据血缘生成的方法、设备及存储介质，可至少解决背景技术中的技术问题之一。

2、为实现上述目的，本发明采用了以下技术方案：

3、一种数据血缘生成的方法，包括以下步骤，

4、通过数据同步的方式，将业务数据源的数据引入平台系统,过程中允许对多数据源、异构数据进行数据轻度处理、调优；

5、从上而下，顶层开始设计，对业务数据进行区域、分层管理；

6、基于目标数据采取可视化方式完成模型创建，可沉淀模型模板，针对业务目标数据分类结果，调用不同的模型模板实现目标数据的采集与分析；

7、基于目标数据以及模型模板的业务数据、元数据进行分类、分组管理；

8、基于目标数据各加工流转过程可视化配置，自动化适配传统或大数据etl系统规则，完成任务生成；

9、基于目标应用进行各层数据全链路追踪、标签管理以达到数据溯源分析。

10、进一步地，所述调用不同的模型模板实现目标数据的采集与分析，包括采用kimball维度建模、孤岛算法、kohonen网络神经算法模型。

11、进一步地，所述目标数据包括贴源层、明细层、汇总汇层、业务应用。

12、另一方面，本发明还公开一种数据血缘生成系统，包括以下单元，

13、系统基础架构平台用于为平台所有服务提供基础技术支持，是平台应用运行骨架；

14、数据采集模块，用于通过各种技术手段对目标业务数据进行离线或实时采集，确保数据流入平台；

15、数据资产模块，用于对平台数据以及业务数据的全局资产管理；

16、数据地图模块，用于数据在平台各业务系统之间流转的全链路追踪和溯源；

17、规范建模模块，用于通过维度建模方式灵活建立数据模型；

18、数仓规划模块，用于根据业务对对数据进行统一规划配置；

19、任务组件模块，用于数据采集和加工过程中的任务配置组件；

20、数据源模块，用于业务原始业务数据源以及目标端业务数据统一管理；

21、元数据模块，用于各业务系统以及应用、分析系统结构化或非结构化的，描述数据的数据进行管理；

22、可视化建模模块，是一种基于神经深度算法的方式，进行快速便捷的方式建模；

23、分层分域模块，用于对数据基于层级或域级按照一定规范进行分类管理。

24、进一步地，还包括以下单元，

25、任务执行分析模块，用于任务组件进行数据任务运行的一种监控和管理，便于定位追踪；

26、全域数据分析模块，用于元数据、业务数据多维度分析，汇总；

27、数据血缘分析模块，用于对数据流转链路进行分析；

28、数据预处理分析模块，用于对数据流转详细过程进行分析；

29、数据标签分析模块，用于可对数据进行自定义标签管理，便于对数据进行分类、追踪、汇总。

30、进一步地，还包括应用数据平台可视化模块，用于对处理好的数据进行消费，以可视化的界面方式呈现。

31、又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。

32、再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。

33、由上述技术方案可知，本发明公开了一种针对数据血缘生成的处理方法，包括如下步骤：数据引入：通过数据同步的方式，将业务数据源的数据引入平台,过程中允许对多数据源、异构数据进行数据轻度处理、调优。数据规划：从上而下，顶层开始设计，对业务数据进行区域、分层管理。数据建模：基于目标数据采取可视化方式完成模型创建，可沉淀模型模板，针对业务目标数据分类结果，调用不同的模型模板实现目标数据的采集与分析。数据管理：基于目标数据以及模型模板的业务数据、元数据进行分类、分组管理。数据可视化加工：基于目标数据(贴源层、明细层、汇总汇层、业务应用)各加工流转过程可视化配置，自动化适配传统或大数据etl系统规则，完成任务生成。数据血缘：基于目标应用进行各层数据全链路追踪、标签管理以达到数据溯源分析。本发明可提高用户分析数据的效率，从而挖掘数据背后的逻辑和规律，为用户决策行为提供依据。

34、综上所述，本发明的数据血缘分析是一种用于追踪数据流动和变换过程的技术，可以帮助数据管理人员和分析师了解数据在整个生命周期中的使用情况，包括数据来源、etl转换过程和目标数据集。数据血缘分析在现代数据管理中扮演着重要的角色，其重要性主要体现在以下几个方面：

35、1.数据质量保证：通过数据血缘分析，数据管理人员可以追踪数据的来源和变换过程，及时发现和纠正数据质量问题，从而保证数据的准确性、一致性和可信度。

36、2.合规性管理：随着数据保护和隐私安全法规的越来越严格，数据血缘分析也成为了保障数据合规性的重要手段。数据血缘分析可以帮助企业管理者了解数据使用的合规性，保护敏感数据的安全和隐私。

37、3.优化数据流程：数据血缘分析可以帮助企业管理者了解数据资产情况，识别数据流程中的瓶颈和优化空间，提高数据处理的效率和精度。

38、4.提高数据价值：数据血缘分析可以帮助分析师了解数据的来源和变换过程，从而更好地理解数据背后的含义和价值，发现数据之间的关联和规律，为企业可视化决策提供更准确的支持。

技术特征：

1.一种数据血缘生成的方法，其特征在于，包括以下步骤，

2.根据权利要求1所述的数据血缘生成的方法，其特征在于：所述调用不同的模型模板实现目标数据的采集与分析，包括采用kimball维度建模、孤岛算法、kohonen网络神经算法模型。

3.根据权利要求1所述的数据血缘生成的方法，其特征在于：所述目标数据包括贴源层、明细层、汇总汇层、业务应用。

4.一种数据血缘生成系统，其特征在于：包括以下单元，

5.根据权利要求4所述的数据血缘生成系统，其特征在于：还包括以下单元，

6.根据权利要求5所述的数据血缘生成系统，其特征在于：还包括应用数据平台可视化模块，用于对处理好的数据进行消费，以可视化的界面方式呈现。

7.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至3中任一项所述方法的步骤。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至3中任一项所述方法的步骤。

技术总结
本发明的一种数据血缘生成的方法、系统、设备及存储介质，包括通过数据同步的方式，将业务数据源的数据引入平台；从上而下，顶层开始设计，对业务数据进行区域、分层管理；基于目标数据采取可视化方式完成模型创建，可沉淀模型模板，针对业务目标数据分类结果，调用不同的模型模板实现目标数据的采集与分析；基于目标数据以及模型模板的业务数据、元数据进行分类、分组管理。基于目标数据各加工流转过程可视化配置，自动化适配传统或大数据ETL系统规则，完成任务生成。数据血缘：基于目标应用进行各层数据全链路追踪、标签管理以达到数据溯源分析。本发明可提高用户分析数据的效率，从而挖掘数据背后的逻辑和规律，为用户决策行为提供依据。

技术研发人员：冯小锋,赵文政,刘林平
受保护的技术使用者：合肥喆塔科技有限公司
技术研发日：
技术公布日：2024/5/19