一种上下游自动对数方法和装置与流程

本申请实施例涉及数据中转技术，尤指一种上下游自动对数方法和装置。

背景技术：

1、cdp(customer data platform，客户数据平台)是企业获取、管理、应用私域数据的系统平台，目的是为了帮助企业更好地利用数据，实现更高水平的数字化营销和运营。相比于dmp(data management platform，数据管理平台)偏重于在企业的数字化营销中发挥作用，cdp则偏向于在企业的客户和潜在客户的转化与维系领域发挥价值。

2、cdp作为“小数据中台”，承接上游们各种多元异构数据的中转和沉淀，是接入和存储客户第一方的数据仓库，提供数据服务能力，它是“数据的搬运工/清洁工/仓库管理员，原则上不生产数据”。

技术实现思路

1、本申请实施例提供了一种上下游自动对数方法和装置，能够自动化地进行上下游对数，降低人工核对成本，且有效的减少数据传输过程中的丢失。

2、本申请实施例提供了一种上下游自动对数方法，可以应用于客户数据平台cdp端，所述cdp设置有服务总线sb，所述方法可以包括：

3、基于预先在所述sb上订阅的会员系统am建立的对数请求主题，接收所述am发起的对数请求；所述对数请求包括：需对数数据的数据发送业务标识、数据发送时间、数据源和发送数据总量；

4、根据所述数据发送业务标识和所述数据发送时间获取所接收到的所述数据源发送数据的数据信息；所述数据信息包括接收数据总量；

5、将所述接收数据总量与所述发送数据总量相比较，并向预先在所述sb上建立的对数结果主题中发送本次对数结果。

6、在本申请的示例性实施例中，当所述本次对数结果为所述接收数据总量小于所述发送数据总量时，所述向预先在所述sb上建立的对数结果主题中发送本次对数结果，包括：发送以下任意一种或多种反馈信息：

7、数据发送业务标识、数据发送时间、数据源、发送数据总量、接收数据总量以及丢失数据编号。

8、在本申请的示例性实施例中，所述方法还可以包括：预先在所述sb上订阅死信队列主题dlq topic，并通过死信队列查阅和处理所述am向所述cdp传递失败的数据。

9、在本申请的示例性实施例中，所述需对数数据是预设时段内所述am向所述cdp发送的任意一个主题资源的数据。

10、在本申请的示例性实施例中，所述方法还可以包括：

11、通过分布式文件系统hdfs接收并清洗所述sb传递成功的数据，并将清洗后的数据存入预设的gp数据库。

12、本申请实施例还提供了一种上下游自动对数装置，设置于客户数据平台cdp端，所述cdp设置有服务总线sb，所述装置包括：第一处理器和第一计算机可读存储介质，所述第一计算机可读存储介质中存储有第一指令，当所述第一指令被所述第一处理器执行时，实现所述的上下游自动对数方法。

13、本申请实施例还提供了一种上下游自动对数方法，应用于会员系统am端，所述方法可以包括：

14、基于预先在服务总线sb上建立的对数请求主题，向客户数据平台cdp发起的对数请求；所述对数请求包括：需对数数据的数据发送业务标识、数据发送时间、数据源和发送数据总量；

15、获取预先在所述sb上订阅的所述cdp创建的对数结果主题中所述cdp发送的本次对数结果。

16、在本申请的示例性实施例中，所述方法还可以包括：

17、预先申请所述sb上的多个主题资源；

18、每日对每个所述主题资源的数据进行编号并通过所述sb发送至所述cdp，并且隔日重置所述编号。

19、在本申请的示例性实施例中，当所述本次对数结果为所述接收数据总量小于所述发送数据总量时，所述本次对数结果至少包括以下反馈信息：发送数据总量、接收数据总量以及丢失数据编号；

20、所述方法还可以包括：根据所述丢失数据编号从数据库中调取相应的丢失数据，并在预设时长内向所述cdp重发所述丢失数据。

21、在本申请的示例性实施例中，所述方法还包括：

22、在发出所述对数请求以后的预设时长内未在所述对数结果主题中获取到所述本次对数结果时，确定本次对数未检测到丢失数据。

23、本申请实施例提供了一种上下游自动对数装置，可以设置于会员系统am端，所述装置可以包括：第二处理器和第二计算机可读存储介质，所述第二计算机可读存储介质中存储有第二指令，当所述第二指令被所述第二处理器执行时，实现所述的上下游自动对数方法。

24、与相关技术相比，本申请实施例可以应用于客户数据平台cdp端，所述cdp设置有服务总线sb，所述方法可以包括：基于预先在所述sb上订阅的会员系统am建立的对数请求主题，接收所述am发起的对数请求；所述对数请求包括：需对数数据的数据发送业务标识、数据发送时间、数据源和发送数据总量；根据所述数据发送业务标识和所述数据发送时间获取所接收到的所述数据源发送数据的数据信息；所述数据信息包括接收数据总量；将所述接收数据总量与所述发送数据总量相比较，并向预先在所述sb上建立的对数结果主题中发送本次对数结果。通过该实施例方案，实现了自动化地进行上下游对数，降低了人工核对成本，且有效的减少了数据传输过程中的丢失。

25、本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。

技术特征：

1.一种上下游自动对数方法，其特征在于，应用于客户数据平台cdp端，所述cdp设置有服务总线sb，所述方法包括：

2.根据权利要求1所述的上下游自动对数方法，其特征在于，当所述本次对数结果为所述接收数据总量小于所述发送数据总量时，所述向预先在所述sb上建立的对数结果主题中发送本次对数结果，包括：发送以下任意一种或多种反馈信息：

3.根据权利要求1或2所述的上下游自动对数方法，其特征在于，所述方法还包括：预先在所述sb上订阅死信队列主题dlq topic，并通过死信队列查阅和处理所述am向所述cdp传递失败的数据。

4.根据权利要求1或2所述的上下游自动对数方法，其特征在于，所述需对数数据是预设时段内所述am向所述cdp发送的任意一个主题资源的数据。

5.一种上下游自动对数装置，其特征在于，设置于客户数据平台cdp端，所述cdp设置有服务总线sb，所述装置包括：第一处理器和第一计算机可读存储介质，所述第一计算机可读存储介质中存储有第一指令，当所述第一指令被所述第一处理器执行时，实现如权利要求1-4任意一项所述的上下游自动对数方法。

6.一种上下游自动对数方法，其特征在于，应用于会员系统am端，所述方法包括：

7.根据权利要求6所述的上下游自动对数方法，其特征在于，所述方法还包括：

8.根据权利要求6或7所述的上下游自动对数方法，其特征在于，当所述本次对数结果为所述接收数据总量小于所述发送数据总量时，所述本次对数结果至少包括以下反馈信息：发送数据总量、接收数据总量以及丢失数据编号；

9.根据权利要求6或7所述的上下游自动对数方法，其特征在于，所述方法还包括：

10.一种上下游自动对数装置，其特征在于，设置于会员系统am端，所述装置包括：第二处理器和第二计算机可读存储介质，所述第二计算机可读存储介质中存储有第二指令，当所述第二指令被所述第二处理器执行时，实现如权利要求6-9任意一项所述的上下游自动对数方法。

技术总结
本申请实施例公开了一种上下游自动对数方法和装置，应用于客户数据平台CDP端的包括：基于预先在SB上订阅的AM建立的对数请求主题，接收AM发起的对数请求；对数请求包括：需对数数据的数据发送业务标识、数据发送时间、数据源和发送数据总量；根据数据发送业务标识和数据发送时间获取数据源发送数据的数据信息；数据信息包括接收数据总量；将接收数据总量与发送数据总量相比较，并向预先在SB上建立的对数结果主题中发送本次对数结果。通过该实施例方案，实现了自动化地进行上下游对数，降低了人工核对成本，且有效的减少了数据传输过程中的丢失。

技术研发人员：许德翔
受保护的技术使用者：上海明略人工智能（集团）有限公司
技术研发日：
技术公布日：2024/1/15