数据处理方法、系统、电子设备和存储介质与流程

本公开涉及数据处理领域，尤其涉及大数据、自动驾驶等领域，提供了一种数据处理方法、系统、电子设备和存储介质。

背景技术：

1、数据平台面向的用户和角色较多，包括管理层、产品、运营和研发等；目前，数据平台一般将各种需求糅合一起，导致各类需求和用户相互影响，在现有的数据平台的整体架构下普遍存在如下问题：(1)数据统计结果可信度不高：整体上各类需求和用户没有做隔离，导致对质量要求不高的指标迭代频繁影响重要指标；数据源数据不稳定、脏数据、业务数据波动影响数据统计准确性；没有有效的校验机制和流程，无法判断统计结果是否准确；(2)需求交付压力大：缺少有效的bi(商业智能)产品、工具和数据仓库，导致需求迭代依赖强依赖研发；没有为用户提供高效的自助化分析工具，导致各类需求挤压到数据平台；没有整体规划数据指标体系，导致很多需求重复开发、频繁修改；(3)用户体验差：用户界面缺少产品和交互介入，整体设计风格较随意、用户使用困惑较多，不能较好的理解和使用产品；缺少用户文档和指标解释，很多指标的统计结果比较黑盒、用户无法有效理解指标的真正含义。

技术实现思路

1、本公开要解决的技术问题是为了克服现有技术中数据管理方式普遍存在数据统计结果可信度不高、需求交付压力大、用户体验感差等的缺陷，提供一种数据处理方法、系统、电子设备和存储介质。

2、本公开是通过下述技术方案来解决上述技术问题：

3、根据本公开的一方面，提供一种数据管理方法，所述数据管理方法包括：

4、基于数据获取需求从数据运营层ods中获取初始数据；

5、其中，所述初始数据包括离线数据和实时数据；

6、基于所述初始数据，获取所述数据明细层dwd中当前时刻下第一数据调度级别对应的第一全量数据，以及所述当前时刻前的最近n天内第二数据调度级别对应的第一增量数据，n取正整数；

7、其中，所述第一数据调度级别和所述第二数据调度用于分别调用属于对应时间跨度内的数据，且所述第二数据调度级别的时间跨度小于所述第一数据调度级别的时间跨度；

8、根据所述第一全量数据、所述第一增量数据以及预设增量生成规则，获取数据服务层dws中所述最近n天内所述第二数据调度级别对应的第一目标全量数据；

9、控制应用数据层ads从所述数据服务层dws调用并输出所述第一目标全量数据。

10、根据本公开的另一方面，提供一种数据管理装置，所述数据管理装置包括：

11、初始数据获取模块，用于基于数据获取需求从数据运营层ods中获取初始数据；

12、其中，所述初始数据包括离线数据和实时数据；

13、第一全量数据获取模块，用于基于所述初始数据，获取所述数据明细层dwd中当前时刻下第一数据调度级别对应的第一全量数据；

14、第一增量数据获取模块，用于基于所述初始数据，生成所述数据明细层dwd中所述当前时刻前的最近n天内第二数据调度级别对应的第一增量数据，n取正整数；

15、其中，所述第一数据调度级别和所述第二数据调度用于分别调用属于对应时间跨度内的数据，且所述第二数据调度级别的时间跨度小于所述第一数据调度级别的时间跨度；

16、第一目标全量获取模块，用于根据所述第一全量数据、所述第一增量数据以及预设增量生成规则，获取数据服务层dws中所述最近n天内所述第二数据调度级别对应的第一目标全量数据；

17、数据输出模块，用于控制应用数据层ads从所述数据服务层dws调用并输出所述第一目标全量数据。

18、根据本公开的另一方面，提供一种电子设备，包括：

19、至少一个处理器；以及

20、与所述至少一个处理器通信连接的存储器；其中，

21、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的方法。

22、根据本公开的另一方面，提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述的方法。

23、根据本公开的另一方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述的方法。

24、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种数据管理方法，所述数据管理方法包括：

2.如权利要求1所述的数据管理方法，所述控制应用数据层ads从所述数据服务层dws调用并输出所述第一目标全量数据的步骤，包括：

3.如权利要求2所述的数据管理方法，所述根据所述第一全量数据、所述第一增量数据以及预设增量生成规则，获取数据服务层dws下中所述最近n天内所述第二数据调度级别对应的第一目标全量数据的步骤，包括：

4.如权利要求3所述的数据管理方法，所述基于所述第二全量数据和所述第三全量数据，获取所述数据服务层dws中所述最近n天内所述第二数据调度级别对应的所述第一目标全量数据的步骤，包括：

5.如权利要求4所述的数据管理方法，所述比较所述第二全量数据和所述第三全量数据，以得到比较结果的步骤，包括：

6.如权利要求5所述的数据管理方法，所述数据管理方法还包括：

7.如权利要求1-6中任一项所述的数据管理方法，所述第一数据调度级别对应以天为单位进行数据调度，所述第二数据调度级别对应以刻钟为单位进行数据调度。

8.如权利要求1所述的数据管理方法，所述基于数据获取需求从数据运营层ods中获取初始数据的步骤之前，还包括：

9.如权利要求8所述的数据管理方法，所述基于数据获取需求从数据运营层ods中获取初始数据的步骤，包括：

10.如权利要求8所述的数据管理方法，所述预设统一处理工具包括依次处理的预设二进制解析工具和预设传输服务工具。

11.如权利要求2所述的数据管理方法，所述数据管理方法还包括：

12.如权利要求1所述的数据管理方法，所述离线数据和所述实时数据在数据仓库中采用分层建模且满足预设分层调用规范。

13.如权利要求1所述的数据管理方法，所述数据管理方法还包括：

14.一种数据管理装置，所述数据管理装置包括：

15.如权利要求14所述的数据管理装置，所述数据管理装置还包括：

16.如权利要求15所述的数据管理装置，所述第一目标全量获取模块包括：

17.如权利要求16所述的数据管理装置，所述第一目标全量数据获取单元包括：

18.如权利要求17所述的数据管理装置，所述比较结果获取子单元用于在存在所述第二全量数据且不存在所述第三全量数据的第一数据时，则生成所述第一数据为已删除数据的第一标记信息；

19.如权利要求18所述的数据管理装置，所述数据管理装置还包括：

20.如权利要求14-19中任一项所述的数据管理装置，所述第一数据调度级别对应以天为单位进行数据调度，所述第二数据调度级别对应以刻钟为单位进行数据调度。

21.如权利要求14所述的数据管理装置，所述数据管理装置还包括：

22.如权利要求21所述的数据管理装置，所述初始数据获取模块用于从所述数据运营层ods中的所述原始数据中提取出满足所述数据获取需求的所述初始数据。

23.如权利要求21所述的数据管理装置，所述预设统一处理工具包括依次处理的预设二进制解析工具和预设传输服务工具。

24.如权利要求15所述的数据管理装置，所述数据管理装置还包括：

25.如权利要求14所述的数据管理装置，所述离线数据和所述实时数据在数据仓库中采用分层建模且满足预设分层调用规范。

26.如权利要求14所述的数据管理装置，所述数据管理装置还包括：

27.一种电子设备，包括：

28.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-13中任一项所述的方法。

29.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-13中任一项所述的方法。

技术总结
本公开提供一种数据管理方法、装置、电子设备和存储介质，涉及数据处理领域，尤其涉及大数据、自动驾驶等领域；该方法包括：基于数据获取需求从数据运营层ODS中获取初始数据；初始数据包括离线数据和实时数据；基于初始数据，获取数据明细层DWD中当前时刻下第一数据调度级别对应的第一全量数据，以及当前时刻前的最近N天内第二数据调度级别对应的第一增量数据；第二数据调度级别的时间跨度小于第一数据调度级别的时间跨度；根据第一全量数据、第一增量数据以及预设增量生成规则，获取数据服务层DWS中最近N天内第二数据调度级别对应的第一目标全量数据；控制应用数据层ADS从数据服务层DWS调用并输出第一目标全量数据。

技术研发人员：邹静,张榕霄,胡坚升,曾祥远,尹彦涛,王峰,李锦文,张博
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：
技术公布日：2024/1/12