一种增量数据处理方法、装置、设备及存储介质与流程

本发明涉及数据处理，特别涉及一种增量数据处理方法、装置、设备及存储介质。

背景技术：

1、在企业的实时或准实时的场景中，往往涉及到有状态的计算需求，无法直接通过增量计算获得结果。许多场景需要结合历史数据才能进行完整和准确的计算，这给增量计算带来了相当大的挑战。而通过定时调度任务以跑批方式(批量处理)执行效率又不够。不管通过基于增量流计算方式、还是定时调度跑批方式，会面临以下问题：1)批式处理和流式处理过程不一致；2)数据量大；3)实时性要求高。具体的，在实际应用中，很多项目的批式逻辑是一套逻辑，流式处理是另外一套逻辑。无法保证逻辑的一致，这使得维护上线迁移成本大大提升。很多场景下，编写批式处理的开发人员和流式处理的开发人员不是同一个人，所以，这期间的沟通转换成本巨大。复杂sql(structured query language，结构化查询语言)逻辑通常需要处理大规模的数据，全量计算需要占用大量的内存、存储和计算能力，这可能超出系统的承载能力，导致资源消耗过大，影响整体系统的性能和稳定性。某些场景，例如金融交易、实时监控等，对数据处理的实时性要求非常高。在这些场景下，需要尽快地获取并处理最新的数据，以便做出及时的决策和响应。然而，如果每次都要对历史全量数据进行计算，耗时将会非常长，无法满足实时性要求，可能会导致信息滞后、延迟等问题。随着时间的推移，数据量会不断增长，历史全量数据的计算时间也会随之增加。如果每次都需要处理全部历史数据，计算时间会呈现指数级增长，这对实时性要求高的场景来说是不可接受的。

2、由此可见，如何提高增量数据处理的效率，并且降低成本，是本领域要解决的问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种增量数据处理方法、装置、设备及存储介质，可以复用批量处理的业务逻辑，减少开发测试时间，降低了维护成本。其具体方案如下：

2、第一方面，本申请提供了一种增量数据处理方法，包括：

3、从业务场景的变更日志中获取相应的增量数据，并利用所述增量数据对初始全局状态进行更新，得到当前全局状态；

4、基于目标sql业务逻辑和所述增量数据的主键，从所述当前全局状态中获取相应的待计算数据；所述目标sql业务逻辑为与所述增量数据对应的批量处理的业务逻辑；

5、利用所述待计算数据，并以流式处理的方式执行所述目标sql业务逻辑，以得到与所述待计算数据对应的业务处理结果；

6、将所述业务处理结果更新至所述当前全局状态，以完成所述增量数据的处理过程。

7、可选的，所述从业务场景的变更日志中获取相应的增量数据，包括：

8、查看业务场景对应的消息队列，以从所述消息队列中获取变更日志；

9、对所述变更日志进行分流计算，以得到相应的增量数据。

10、可选的，所述利用所述增量数据对初始全局状态进行更新，得到当前全局状态，包括：

11、根据预设全局状态数据格式对所述增量数据进行结构化处理，得到待更新数据；

12、利用所述待更新数据对初始全局状态进行更新，得到当前全局状态。

13、可选的，所述基于目标sql业务逻辑和所述增量数据的主键，从所述当前全局状态中获取相应的待计算数据，包括：

14、从批量处理的业务逻辑中确定出与所述增量数据对应的目标sql业务逻辑；

15、根据所述增量数据的主键从所述当前全局状态中获取与所述目标sql业务逻辑对应的待计算数据。

16、可选的，所述根据所述增量数据的主键从所述当前全局状态中获取与所述目标sql业务逻辑对应的待计算数据，包括：

17、根据所述增量数据的主键从所述当前全局状态中获取与所述目标sql业务逻辑对应的初始数据；

18、基于预设数据格式转换规则对所述初始数据进行格式转换，以得到与所述目标sql业务逻辑的数据格式相匹配的待计算数据。

19、可选的，所述将所述业务处理结果更新至所述当前全局状态之后，还包括：

20、将所述业务处理结果从所述当前全局状态推送至下游业务，以便所述下游业务利用所述业务处理处理结果进行相应的计算操作。

21、第二方面，本申请提供了一种增量数据处理装置，包括：

22、第一更新模块，用于从业务场景的变更日志中获取相应的增量数据，并利用所述增量数据对初始全局状态进行更新，得到当前全局状态；

23、数据获取模块，用于基于目标sql业务逻辑和所述增量数据的主键，从所述当前全局状态中获取相应的待计算数据；所述目标sql业务逻辑为与所述增量数据对应的批量处理的业务逻辑；

24、业务逻辑执行模块，用于利用所述待计算数据，并以流式处理的方式执行所述目标sql业务逻辑，以得到与所述待计算数据对应的业务处理结果；

25、第二更新模块，用于将所述业务处理结果更新至所述当前全局状态，以完成所述增量数据的处理过程。

26、可选的，所述数据获取模块，包括：

27、业务逻辑确定单元，用于从批量处理的业务逻辑中确定出与所述增量数据对应的目标sql业务逻辑；

28、数据获取单元，用于根据所述增量数据的主键从所述当前全局状态中获取与所述目标sql业务逻辑对应的待计算数据。

29、第三方面，本申请提供了一种电子设备，包括：

30、存储器，用于保存计算机程序；

31、处理器，用于执行所述计算机程序以实现如上述的增量数据处理方法。

32、第四方面，本申请提供了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现如上述的增量数据处理方法。

33、由此可见，本申请可以从业务场景的变更日志中获取相应的增量数据，并利用所述增量数据对初始全局状态进行更新，得到当前全局状态；然后基于目标sql业务逻辑和所述增量数据的主键，从所述当前全局状态中获取相应的待计算数据；所述目标sql业务逻辑为与所述增量数据对应的批量处理的业务逻辑；再利用所述待计算数据，并以流式处理的方式执行所述目标sql业务逻辑，以得到与所述待计算数据对应的业务处理结果；再将所述业务处理结果更新至所述当前全局状态，以完成所述增量数据的处理过程。这样一来，本申请可以复用批量处理对应的业务逻辑，可以减少开发测试工作量，降低出错风险；同时降低了维护成本，并且获取与目标sql业务逻辑对应的待计算数据，再进行相应业务逻辑的处理，可以提高数据计算和响应速度，提高了数据处理效率。

技术特征：

1.一种增量数据处理方法，其特征在于，包括：

2.根据权利要求1所述的增量数据处理方法，其特征在于，所述从业务场景的变更日志中获取相应的增量数据，包括：

3.根据权利要求1所述的增量数据处理方法，其特征在于，所述利用所述增量数据对初始全局状态进行更新，得到当前全局状态，包括：

4.根据权利要求1所述的增量数据处理方法，其特征在于，所述基于目标sql业务逻辑和所述增量数据的主键，从所述当前全局状态中获取相应的待计算数据，包括：

5.根据权利要求4所述的增量数据处理方法，其特征在于，所述根据所述增量数据的主键从所述当前全局状态中获取与所述目标sql业务逻辑对应的待计算数据，包括：

6.根据权利要求1至5任一项所述的增量数据处理方法，其特征在于，所述将所述业务处理结果更新至所述当前全局状态之后，还包括：

7.一种增量数据处理装置，其特征在于，包括：

8.根据权利要求7所述的增量数据处理装置，其特征在于，所述数据获取模块，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的增量数据处理方法。

技术总结
本申请公开了一种增量数据处理方法、装置、设备及存储介质，涉及数据处理技术领域，包括：从业务场景的变更日志中获取相应的增量数据，并利用增量数据对初始全局状态进行更新，得到当前全局状态；基于目标SQL业务逻辑和增量数据的主键，从当前全局状态中获取相应的待计算数据；目标SQL业务逻辑为与增量数据对应的批量处理的业务逻辑；利用待计算数据，并以流式处理的方式执行目标SQL业务逻辑，以得到与待计算数据对应的业务处理结果；将业务处理结果更新至当前全局状态，以完成增量数据的处理过程。这样一来，本申请可以复用批量处理对应的业务逻辑，节省了开发测试时间，降低了维护成本；并且仅获取待计算数据进行处理，提高了效率。

技术研发人员：周锋,杨晨,李杨,曹闯,杨得力
受保护的技术使用者：河南中原消费金融股份有限公司
技术研发日：
技术公布日：2024/1/15