一种多业务系统数据处理方法和装置与流程

本申请涉及计算机，尤其涉及一种多业务在线的数据处理方法和装置。

背景技术：

1、通过互联网对客户提供在线服务时，为满足用户不同的需求，运行多种的服务功能，对应地，在服务器端存在多种业务处理软硬件模块构成的复杂计算机系统。当业务系统工作时，不但需要满足客户指令提供服务内容，还需要对用户享有服务功能的执行情况进行统计，以评估服务效能或实现计费等功能，相关的指标处理过程和处理结果是由业务系统工作状态决定的。

2、例如一种在线学习的系统，对于学员学习情况的统计，一般都是t+1离线定时脚本的统计方式（即数据结果延时1天），或者将计算处理逻辑高度耦合在主线业务中，给主线业务带来一定影响，提高了系统的复杂度，如学员在某个班级下看课、做题的排名，在某个科目下的学习情况，总的累计学习情况等等统计相关的数据，并且这些数据的生成，遍布了各个业务系统，造成业务系统难以维护。

3、当业务系统提供服务的同时，在线对相关指标进行处理时，增加了业务系统的处理负担，有的时候，在一个业务处理模块中的指标处理还要基于另一业务处理模块的工作参数，因此，业务模块之间相互调取数据的过程将频繁地占用接口资源导致系统响应能力下降。

4、但是，当采用离线方式进行指标处理时，不能及时地响应客户需求，例如，当一个阶段的在线学习过程中，实时评估学习质量、预测下一阶段的学习内容等。因此，如何实现高效率的实时处理也是需要解决的问题。

技术实现思路

1、本申请提出一种度业务系统数据处理方法和装置，解决在线服务系统的指标处理导致业务处理效率下降的问题。

2、第一方面，本申请实施例提出一种多业务系统数据处理方法，所述多业务系统包含多个独立运行的业务模块，所述业务模块响应于来自网络侧的指示信息，运行设定服务功能，所述方法包括以下步骤：

3、在所述多业务系统的网络侧采集所述指示信息，生成第一消息队列；

4、采集至少一个业务模块的响应信息，进入所述第一消息队列；

5、读取所述第一消息队列，响应于所述指示信息中的第一类指示信息，在线生成第一类统计数据，进入第二消息队列；响应于所述响应信息中的第一类响应信息，在线生成第三类统计数据，进入第二消息队列；

6、任一所述业务模块，从第二消息队列获取第一类统计数据中的至少一部分数据和/或第三类统计数据中的至少一部分数据，向网络侧输出响应。

7、优选地，还包含以下步骤：读取所述第一消息队列，存入第一数据库；读取所述第一数据库，响应于设定的第一类指示信息，离线生成第一类统计数据；和/或，读取所述第一数据库，响应于设定的第一类响应信息，离线生成第三类统计数据。进一步优选地，还包含以下步骤：读取所述第二消息队列，存入第二数据库；比较第二数据库和离线处理结果，生成对比结果。

8、优选地，还包含以下步骤：读取所述第二消息队列，存入第二数据库；任一所述业务模块，从第二数据库获取第一类统计数据中的至少一部分数据和/或第三类统计数据中的至少一部分数据，向网络侧输出响应。

9、优选地，还包含以下步骤：读取所述第一消息队列，存入第一数据库；读取所述第一数据库，响应于设定的第二类指示信息，离线生成第二类统计数据；和/或，读取所述第一数据库，响应于设定的第二类响应信息，离线生成第四类统计数据；任一所述业务模块，从本地读取第二类统计数据中的至少一部分数据和/或第四类统计数据中的至少一部分数据，向网络侧输出响应。

10、进一步优选地，对根据第一类指示信息在线生成第一类统计数据的过程进行计时，响应于某第一类指示信息所用时长超过设定阈值，将所述某第一类指示信息改作第二类指示信息；和/或，对根据第一类响应信息在线生成第三类统计数据的过程进行计时，响应于某第一类响应信息所用时长超过设定阈值，将所述某第一类响应信息改作第二类响应信息。

11、第二方面，本申请还提出一种多业务系统数据处理装置，用于实现本申请第一方面任意一项实施例所述的方法，包含：

12、第一消息模块，用于采集所述指示信息和至少一个业务模块的响应信息，生成第一消息队列并发布；

13、实时处理模块，响应于第一类指示信息，在线生成第一类统计数据，和/或，响应于第一类响应信息，在线生成第三类统计数据。

14、第二消息模块，用于采集所述第一类统计数据和第三类统计数据，生成第二消息队列并发布，供任一所述业务模块订阅。

15、进一步地，所述多业务系统数据处理装置还包含：

16、第一数据库，用于存储第一消息队列；

17、离线处理模块，用于读取所述第一数据库，离线生成第一类统计数据和/或第三类统计数据；

18、第二数据库，用于例行导入第二消息队列，构成大规模并行处理计算引擎，供任一所述业务模块读取。

19、第三方面，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请第一方面的实施例中任一所述的方法。

20、第四方面，本申请还提出一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请第一方面的实施例中任一所述的方法。

21、本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

22、本申请提供可以独立于业务系统的数据处理模型，既可以解决业务系统的复杂度，又可以进行实时的数据指标处理，提高用户体验。

23、解耦了主线业务和指标统计业务，避免了统计服务对主线业务服务带来的负面影响。

24、统一了统计指标的计算模型，不在是分散到各个业务线，并且不同业务的处理方式不同的情况，简化开发、节省运营成本。

25、可以进行实时的数据指标统计，提高用户体验。

26、多链路监控，保证数据质量和指标的正确性，避免了现有技术产生脏数据、异常数据，数据丢失等问题总是后知后觉的情况。

技术特征：

1.一种多业务系统数据处理方法，所述多业务系统包含多个独立运行的业务模块，所述业务模块响应于来自网络侧的指示信息，运行设定服务功能，其特征在于，包括以下步骤：

2.如权利要求1所述多业务系统数据处理方法，其特征在于，还包含以下步骤：

3.如权利要求1所述多业务系统数据处理方法，其特征在于，还包含以下步骤：

4.如权利要求1所述多业务系统数据处理方法，其特征在于，还包含以下步骤：

5.如权利要求2所述多业务系统数据处理方法，其特征在于，还包含以下步骤：

6.如权利要求3所述多业务系统数据处理方法，其特征在于，还包含以下步骤：

7.一种多业务系统数据处理装置，用于实现权利要求1~6任意一项所述多业务系统数据处理方法，其特征在于，包含：

8.如权利要求7所述多业务系统数据处理装置，其特征在于，进一步包含：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。

10.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6中任一所述的方法。

技术总结
本申请公开了一种多业务系统数据处理方法和装置。所述多业务系统包含多个独立运行的业务模块，所述业务模块响应于来自网络侧的指示信息，运行设定服务功能，所述方法包括以下步骤：在所述多业务系统的网络侧采集所述指示信息，生成第一消息队列；采集至少一个业务模块的响应信息，进入所述第一消息队列；读取所述第一消息队列，响应于所述指示信息中的第一类指示信息，在线生成第一类统计数据，进入第二消息队列；响应于所述响应信息中的第一类响应信息，在线生成第三类统计数据，进入第二消息队列。本申请解决在线服务系统的指标处理导致业务处理效率下降的问题。

技术研发人员：祝敏,刘磊,郝牛牛,罗洋洋,胡江龙
受保护的技术使用者：北京东大正保科技有限公司
技术研发日：
技术公布日：2024/1/12