一种数据处理的方法和装置与流程

本发明涉及大数据，尤其涉及一种数据处理的方法和装置。

背景技术：

1、将业务系统的业务数据上报至与业务系统对应的业务平台，能够实现业务平台对业务数据的监控。例如，维修资金系统的核心业务流程数据需要上报至对应的政务平台，以使政务平台对数据进行监管。

2、相关技术中，一种是采用在业务系统与业务平台之间增设中间数据库，通过在中间数据库中写入需要上报的监管数据，以使政务平台从中间数据库中获取数据；另一种是在业务系统新增定时任务，定时扫描查询数据，并调用政务平台推送监管上报数据。然而上述两种方案实时性较差，难以实现数据的实时上报。

技术实现思路

1、有鉴于此，本发明实施例提供一种数据处理的方法和装置，能够通过将业务系统产生的数据消息发送至分布式消息队列，然后从分布式消息队列消费数据消息，组装待上报数据上报至业务平台，实现业务系统与业务平台之间的解耦，保证了数据上报的准确性、一致性和实时性。

2、为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理的方法，包括：

3、响应于监听到业务系统产生的业务数据，生成与所述业务数据对应的数据消息；

4、将所述数据消息发送至分布式消息队列，以将所述数据消息写入所述分布式消息队列；

5、从所述分布式消息队列中消费所述数据消息，以获取所述业务数据；

6、将所述业务数据组装为待上报数据，将所待上报数据上报至与所述业务系统对应的业务平台。

7、可选地，生成与所述业务数据对应的数据消息，包括：

8、获取所述业务数据对应的业务标识和处理节点标识；

9、根据所述业务标识和处理节点标识生成所述数据消息。

10、可选地，所述分布式消息队列包括以集群模式部署的多台消息服务器；将所述数据消息发送至分布式消息队列之后，还包括：

11、获取所述消息队列对应的确认参数，根据所述确认参数确定写入所述数据消息的消息服务器的数量。

12、可选地，以集群模式部署的多台消息服务器包括作为主节点的消息服务器，所述方法还包括：

13、响应于监听到作为主节点的消息服务器的宕机，根据分布式共识算法重新选择一台消息服务器作为主节点。

14、可选地，将所述数据消息发送至分布式消息队列之后，还包括：

15、在所述数据消息写入所述分布式消息队列失败的情况下，将所述数据消息重试写入所述分布式消息队列。

16、可选地，将所述数据消息重试写入所述分布式消息队列之后，还包括：

17、记录重试次数；

18、在重试次数超过预设阈值的情况下，将所述数据消息发送至延迟队列，以从所述延迟队列获取所述业务数据。

19、可选地，从所述分布式消息队列中消费所述数据消息之前，还包括：

20、设置消息位移量，以利用所述消息位移量确定消费成功的数据消息的数量。

21、可选地，将所待上报数据上报至与所述业务系统对应的业务平台之后，还包括：

22、响应于监听到所述待上报数据成功上报至所述业务平台，接收提交的所述消息位移量。

23、可选地，将所待上报数据上报至与所述业务系统对应的业务平台之后，还包括：

24、响应于监听到所述待上传数据未成功上报至所述业务平台，将与所述待上传数据对应的所述数据消息重新发送至所述分布式消息队列中。

25、可选地，所述方法还包括：

26、将所待上报数据上报至与所述业务系统对应的业务平台之后，监控所述业务平台针对待上报数据的指标值，在指标值不满足预设条件的情况下，生成报警信息。

27、可选地，所述指标值为成功率、接口响应时间和流量中的至少一种。

28、根据本发明实施例的再一个方面，提供了一种数据处理的装置，包括：

29、生成模块，响应于监听到业务系统产生的业务数据，生成与所述业务数据对应的数据消息；

30、发送模块，将所述数据消息发送至分布式消息队列，以将所述数据消息写入所述分布式消息队列；

31、获取模块，从所述分布式消息队列中消费所述数据消息，以获取所述业务数据；

32、上报模块，将所述业务数据组装为待上报数据，将所待上报数据上报至与所述业务系统对应的业务平台。

33、可选地，生成模块，进一步用于：

34、获取所述业务数据对应的业务标识和处理节点标识；

35、根据所述业务标识和处理节点标识生成所述数据消息。

36、可选地，所述分布式消息队列包括以集群模式部署的多台消息服务器；发送模块，还用于：将所述数据消息发送至分布式消息队列之后，

37、获取所述消息队列对应的确认参数，根据所述确认参数确定写入所述数据消息的消息服务器的数量。

38、可选地，发送模块，还用于，将所述数据消息发送至分布式消息队列之后，

39、在所述数据消息写入所述分布式消息队列失败的情况下，将所述数据消息重试写入所述分布式消息队列。

40、可选地，发送模块，还用于：将所述数据消息重试写入所述分布式消息队列之后，

41、记录重试次数；

42、在重试次数超过预设阈值的情况下，将所述数据消息发送至延迟队列，以从所述延迟队列获取所述业务数据。

43、可选地，获取模块，还用于：从所述分布式消息队列中消费所述数据消息之前，

44、设置消息位移量，以利用所述消息位移量确定消费成功的数据消息的数量。

45、可选地，上报模块，还用于：将所待上报数据上报至与所述业务系统对应的业务平台之后，

46、响应于监听到所述待上报数据成功上报至所述业务平台，接收提交的所述消息位移量。

47、根据本发明实施例的另一个方面，提供了一种电子设备，包括：

48、一个或多个处理器；

49、存储装置，用于存储一个或多个程序，

50、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明提供的数据处理的方法。

51、根据本发明实施例的还一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明提供的数据处理的方法。

52、根据本发明实施例的又一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本发明提供的数据处理的方法。

53、上述发明中的一个实施例具有如下优点或有益效果：本发明实施例的数据处理的方法，在监听到业务系统产生的业务数据之后，生成对应的数据消息，将数据消息发送至分布式消息队列，以将数据消息写入分布式消息队列；然后从分布式消息队列中消费数据消息，获取业务数据，并组装为待上报数据，上报至业务系统对应的业务平台。该方法通过分布式消息队列实现了业务系统与业务平台的解耦，同时保证了数据上报的实时性、一致性、准确性和稳定性。

54、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。