一种高性能分布式批处理方法及系统与流程

本发明涉及计算机应用系统批处理，具体涉及一种高性能分布式批处理方法及系统。

背景技术：

1、当前，云计算技术已成为主流的it基础设施，越来越多的企业选择将其应用程序部署在云环境中。kubernetes作为容器编排技术的佼佼者，在生产环境中得到了广泛应用，在kubernetes容器云环境中，如何高效地处理批处理任务是一个重要的挑战。在现有的技术中，为了提高批处理性能，通常会采用并行处理策略，然而，现有的负载均衡器在处理少量小并发场景时表现欠佳，无法实现精准的负载均衡，导致并行跑批容器资源不足跑批性能下降甚至失败的问题，从而影响了批处理的性能和成功率，此外，当并发任务增加时，如果所有节点共享同一数据库资源，数据库的锁冲突概率也会随之上升，从而导致性能下降。

技术实现思路

1、本申请通过提供一种高性能分布式批处理方法及系统，有效解决了现有技术中存在的并行跑批容器资源不足跑批性能下降甚至失败，以及并发跑批数据库资源不足的技术问题，达到了通过pod和数据库的双重并发提高批处理的性能的技术效果。

2、本申请提供了一种高性能分布式批处理方法及系统，所述技术方案如下：

3、第一方面，本申请实施例提供了一种高性能分布式批处理方法，所述方法包括：

4、entegor调度平台将批处理请求发送到kubernetes；

5、所述kubernetes通过loadbalancer接收所述批处理请求；

6、所述loadbalancer将所述批处理请求转发至nginx；

7、当所述nginx接收所述批处理请求后，激活所述nginx的zone空间，并启动reloader；

8、所述nginx根据所述zone空间和所述reloader，结合分布式数据库将所述批处理请求分发至pod。

9、第二方面，本申请实施例提供了一种高性能分布式批处理系统，所述系统包括：

10、请求发送模块，所述请求发送模块用于entegor调度平台将批处理请求发送到kubernetes；

11、请求接收模块，所述请求接收模块用于所述kubernetes通过loadbalancer接收所述批处理请求；

12、请求转发模块，所述请求转发模块用于所述loadbalancer将所述批处理请求转发至nginx；

13、请求执行模块，所述请求执行模块用于当所述nginx接收所述批处理请求后，激活所述nginx的zone空间，并启动reloader；

14、请求分发模块，所述请求分发模块用于所述nginx根据所述zone空间和所述reloader，结合分布式数据库将所述批处理请求分发至pod。

15、第三方面，本申请实施例提供了一种电子设备，包括：处理器，所述处理器与存储器耦合，所述存储器用于存储程序，当所述程序被所述处理器执行时，使系统以执行第一方面任一项所述的方法。

16、第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行第一方面任一项所述方法的步骤。

17、本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

18、本申请通过entegor调度平台将批处理请求发送到kubernetes，然后所述kubernetes通过loadbalancer接收所述批处理请求，进而所述loadbalancer将所述批处理请求转发至nginx，当所述nginx接收所述批处理请求后，激活所述nginx的zone空间，并启动reloader，所述nginx再根据所述zone空间和所述reloader，结合分布式数据库将所述批处理请求分发至pod。有效解决了现有技术中存在的并行跑批容器资源不足跑批性能下降甚至失败，以及并发跑批数据库资源不足的技术问题，达到了通过pod和数据库的双重并发提高批处理的性能的技术效果。

技术特征：

1.一种高性能分布式批处理方法，其特征在于，所述方法包括：

2.如权利要求1所述的一种高性能分布式批处理方法，其特征在于，所述方法包括：

3.如权利要求1所述的一种高性能分布式批处理方法，其特征在于，所述loadbalancer由cvs集群组成，每个cvs节点独立轮询分发请求。

4.如权利要求1所述的一种高性能分布式批处理方法，其特征在于，所述zone空间是独立于worker之外的共享内存空间，zone空间用于对worker之间共享计数数据。

5.如权利要求1所述的一种高性能分布式批处理方法，其特征在于，所述方法包括：

6.如权利要求1所述的一种高性能分布式批处理方法，其特征在于，所述分布式数据库包括proxy节点、db节点和gtm节点，proxy节点将sql路由分发到多个db节点，db节点是存储业务数据的组件，gtm节点用于分布式事务控制。

7.一种高性能分布式批处理系统，其特征在于，所述系统包括：

8.一种电子设备，其特征在于，包括：处理器，所述处理器与存储器耦合，所述存储器用于存储程序，当所述程序被所述处理器执行时，使系统以执行如权利要求1-6任一项所述方法的步骤。

9.一种可读存储介质，其中，所述可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行权利要求1-6任一项所述方法的步骤。

技术总结
本发明公开了一种高性能分布式批处理方法及系统，涉及计算机应用系统批处理技术领域，包括：Entegor调度平台将批处理请求发送到Kubernetes；Kubernetes通过LoadBalancer接收批处理请求；LoadBalancer将批处理请求转发至Nginx；Nginx接收批处理请求后，激活Nginx的Zone空间，启动Reloader；Nginx根据Zone空间和Reloader，结合分布式数据库将批处理请求分发至Pod。本发明解决了现有技术中并行跑批容器资源不足跑批性能下降甚至失败，以及并发跑批数据库资源不足的技术问题，达到了通过Pod和数据库的双重并发提高批处理的性能的技术效果。

技术研发人员：罗盖,李扬
受保护的技术使用者：中信银行股份有限公司
技术研发日：
技术公布日：2024/8/20