客流数仓数据朔源的方法、装置、系统和存储介质与流程

本申请涉及表级别、字段级别的数仓血缘关系的解析，尤其是涉及一种客流数仓数据朔源的方法、装置、系统和存储介质。

背景技术：

1、数字经济是以数据资源为关键要素，以现代信息网络为主要载体，以信息通信技术融合应用、全要素数字化转型为重要推动力，促进公平与效率更加统一的新经济形态，可见数字化时代已成必然趋势。

2、当前数据安全已成为事关国家安全与经济社会发展的重大问题，与此同时国家相继出台了《数据安全法(草案)》和《个人信息保护法》，旨在为落实数据安全保护责任。可见数据对于个人、企业乃至国家的重要性是不言而喻的。

3、现有公司数仓体系数据朔源难,一旦出现了数据问题,需要开发人员逐一去开发脚本里一个一个去找关联关系,使得数仓运维及数据追责变得极为困难。问题体现在如下方面：

4、1、客流系统的客流日志数据的采集和汇总、解析、注入大数据系统的问题；2、没有有效的利用客流的客流日志数据；

5、3、不方便客流数仓数据价值的挖掘及客流数仓数据质量的评估。

技术实现思路

1、为了解决上述技术缺陷之一，本申请实施例中提供了一种客流数仓数据朔源的方法、装置、系统和存储介质。

2、根据本申请实施例的第一个方面，提供了一种客流数仓数据朔源的方法，包括：

3、获取轨道交通客流日志数据；包括车站客流、换乘客流、途经客流、列车运力数据源的数据，实现不同数据源的数据采集；

4、将客流日志数据进行格式化入库解析；

5、将解析后的客流日志数据导入大数据平台,基于hadoop大数据技术，实现存储实时和离线精细数据，在大数据存储之上建立ods层、dwd层、dws层、ads层的设计和建模开发工作；

6、对每层的客流日志数据进行字段级血缘解析，得到客流数据仓库的血缘元数据信息，所述血缘元数据为用于解释所述血缘关系数据的数据；

7、将获取的血缘元数据信息存入元数据管理平台数据库。

8、根据本申请实施例的第二个方面，提供了一种客流数仓数据朔源的装置，包括；

9、获取单元，用于获取轨道交通客流日志数据；包括车站客流、换乘客流、途经客流、列车运力数据源的数据，实现不同数据源的数据采集；

10、格式化入库解析单元，用于将客流日志数据进行格式化入库解析；

11、导入单元，用于将解析后的客流日志数据导入大数据平台,基于hadoop大数据技术，实现存储实时和离线精细数据，在大数据存储之上建立ods层、dwd层、dws层、ads层的设计和建模开发工作；

12、生成单元，用于通过对于客流日志数据进行维度建模与分析生成客流数仓；

13、构建单元，用于构建ods,dwd,dws,ads层；

14、字段级血缘解析单元，用于对每层的客流日志数据进行字段级血缘解析，得到客流数仓的血缘元数据信息；

15、储存单元，用于将获取的血缘元数据信息存入元数据管理平台数据库。

16、根据本申请实施例的第三个方面，提供了一种系统，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上所述方法。

17、根据本申请实施例的第四个方面，提供了一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如上所述方法。

18、本申请的有益效果主要在于：

19、1、解决客流系统的客流日志数据的采集和汇总、解析、注入大数据系统的问题；

20、2、通过在多维度建模和大数据技术支持，实现客流日志数据的采集，建立相应的数据模型，以更加有效的利用客流的客流日志数据；

21、3、通过对建模的客流日志数据进行表级别、字段级的血缘解析,实现对于客流数仓数据的朔源及血缘关系的可视化展示。方便客流数仓数据价值的进一步挖掘及客流数仓数据质量的评估。

技术特征：

1.一种客流数仓数据朔源的方法，其特征在于，包括：

2.根据权利要求1所述的客流数仓数据朔源的方法，其特征在于：

3.根据权利要求1所述的客流数仓数据朔源的方法，其特征在于：获取轨道交通客流日志数据包括：

4.根据权利要求1所述的客流数仓数据朔源的方法，其特征在于：将解析后的客流日志数据导入大数据平台,通过对于客流日志数据进行维度建模与分析生成客流数仓,构建ods,dwd,dws,ads层包括：将解析好的客流日志数据导入到大数据平台,基于大数据技术，实现存储实时和离线精细数据，在大数据存储之上建立ods层、dwd层、dws层、ads层；

5.根据权利要求1所述的客流数仓数据朔源的方法，其特征在于：对每层的客流日志数据进行字段级血缘解析，得到客流数仓的血缘元数据信息包括：

6.一种客流数仓数据朔源的装置，其特征在于，包括；

7.根据权利要求6所述的客流数仓数据朔源的装置，其特征在于，还包括：

8.根据权利要求6所述的客流数仓数据朔源的装置，其特征在于，所述字段级血缘解析单元包括：

9.一种系统，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-5任一所述方法中的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-5任一所述方法中的步骤。

技术总结
本申请实施例提供一种客流数仓数据朔源的方法、装置、系统和存储介质，其中，方法包括：获取轨道交通客流日志数据；将客流日志数据进行格式化入库解析；将解析后的客流日志数据导入大数据平台,通过对于客流日志数据进行维度建模与分析生成客流数仓,构建ODS,DWD,DWS,ADS层；对每层的客流日志数据进行字段级血缘解析，得到客流数仓的血缘元数据信息；将获取的血缘元数据信息存入元数据管理平台数据库。本申请实施例提供的客流数仓数据朔源方法实现了客流数仓数据可朔源,提高了数仓数据质量可评估性,便于对客流数仓的数据价值进行进一步的挖掘，为数据安全提供了有力的保障。

技术研发人员：张诣元,简锐锋
受保护的技术使用者：交控科技股份有限公司
技术研发日：
技术公布日：2024/1/13