数据处理方法和装置与流程

本发明涉及数据处理，特别涉及一种数据处理方法和装置。

背景技术：

1、数据同步是指，将源端的数据实时复制到目标端的过程，例如，将数据库a的数据同步到数据库b，相当于将数据库a的数据实时复制到数据库b的过程。

2、目前，相关领域中有数据库复制技术(例如mysql的主从复制、oracle的数据泵、sql server的事务复制)，提取-转换-加载(extract，transform，load，etl)工具，数据同步中间件(例如goldengate、maxwell)，以及分布式数据处理框架(例如apache flink，apachespark)等多种技术方案可以实现数据同步。

3、其中，数据库复制技术和数据同步中间件仅能够针对特定的源端，当需要从多种数据类型不同的源端同步数据时，这两种技术无法实现数据同步，etl工具的实时性较差，并且需要对源端进行复杂的配置和编程，分布式数据处理框架也需要对源端进行额外的开发和配置。

4、所以，以上数据同步的技术方案存在实时性差，无法适用于多种源端，需要对源端进行额外的配置等局限。

技术实现思路

1、针对上述现有技术的缺点，本发明提供一种数据处理方法和装置，

2、本申请第一方面提供一种数据处理方法，包括：

3、将源端的待处理数据转换为目标格式的输入消息，所述输入消息包括标识信息和属性信息；

4、通过第一消息队列将所述输入消息存储到键值分布式存储中；

5、根据业务端的订阅信息确定所述输入消息的目标属性信息；

6、在所述键值分布式存储的输入消息所含的目标属性信息被更新时，将被更新的输入消息的标识信息写入第二消息队列；

7、根据所述第二消息队列的标识信息从所述键值分布式存储读取对应的所述被更新的输入消息，并将所述被更新的输入消息写入第三消息队列；

8、通过所述第三消息队列将所述被更新的输入消息写入所述业务端。

9、可选的，所述通过第一消息队列将所述输入消息存储到键值分布式存储中之后，还包括：

10、将所述键值分布式存储中所有输入消息的标识信息均写入所述第二消息队列。

11、可选的，所述将被更新的输入消息的标识信息写入第二消息队列之后，还包括：

12、将所述第二消息队列中，在目标时长内写入的多个相同标识信息合并。

13、可选的，所述通过所述第三消息队列将所述被更新的输入消息写入所述业务端，包括：

14、根据所述被更新的输入消息所含的目标属性信息，确定所述被更新的输入消息对应的分组；

15、通过所述第三消息队列将所述被更新的输入消息写入所述业务端中对应的分组。

16、可选的，所述通过所述第三消息队列将所述被更新的输入消息写入所述业务端，包括：

17、根据预设的字段改写规则改写所述被更新的输入消息的字段，得到改写后的输入消息；

18、通过第三消息队列将所述改写后的输入消息写入所述业务端。

19、本申请第二方面提供一种数据处理装置，包括：

20、输入单元，用于将源端的待处理数据转换为目标格式的输入消息，所述输入消息包括标识信息和属性信息；

21、连接单元，用于：

22、通过第一消息队列将所述输入消息存储到键值分布式存储中；

23、根据业务端的订阅信息确定所述输入消息的目标属性信息；

24、在所述键值分布式存储的输入消息所含的目标属性信息被更新时，将被更新的输入消息的标识信息写入第二消息队列；

25、更新单元，用于：

26、根据所述第二消息队列的标识信息从所述键值分布式存储读取对应的所述被更新的输入消息，并将所述被更新的输入消息写入第三消息队列；

27、分发单元，用于：

28、通过所述第三消息队列将所述被更新的输入消息写入所述业务端。

29、可选的，所述连接单元通过第一消息队列将所述输入消息存储到键值分布式存储中之后，还用于：

30、将所述键值分布式存储中所有输入消息的标识信息均写入所述第二消息队列。

31、可选的，所述更新单元还用于：

32、将所述第二消息队列中，在目标时长内写入的多个相同标识信息合并。

33、可选的，所述分发单元通过所述第三消息队列将所述被更新的输入消息写入所述业务端时，具体用于：

34、根据所述被更新的输入消息所含的目标属性信息，确定所述被更新的输入消息对应的分组；

35、通过所述第三消息队列将所述被更新的输入消息写入所述业务端中对应的分组。

36、可选的，所述分发单元通过所述第三消息队列将所述被更新的输入消息写入所述业务端时，具体用于：

37、根据预设的字段改写规则改写所述被更新的输入消息的字段，得到改写后的输入消息；

38、通过第三消息队列将所述改写后的输入消息写入所述业务端。

39、本申请的有益效果在于：

40、第一方面，本方案将源端的待处理数据统一转换为目标格式的输入消息，使得源端提供的任意类型的数据均目标格式被存入键值分布式存储，再将键值分布式存储中目标格式的输入消息同步到业务端，从而满足将多种数据类型的源端的数据同步到业务端的需求；第二方面，本方案在源端到键值分布式存储，键值分布式存储到业务端之间，均通过消息队列来传输数据，从而提高了数据同步过程的实时性；第三方面，本方案能够直接读取源端的待处理数据并将其转换为输入消息，因此源端只需要按原本的数据格式输出待处理数据即可，不需要对源端进行额外的配置。综上，本申请的数据处理方法能够解决相关领域的数据同步方案中实时性差，无法适用于多种源端，需要对源端进行额外的配置等问题。

技术特征：

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述通过第一消息队列将所述输入消息存储到键值分布式存储中之后，还包括：

3.根据权利要求1所述的方法，其特征在于，所述将被更新的输入消息的标识信息写入第二消息队列之后，还包括：

4.根据权利要求1所述的方法，其特征在于，所述通过所述第三消息队列将所述被更新的输入消息写入所述业务端，包括：

5.根据权利要求1所述的方法，其特征在于，所述通过所述第三消息队列将所述被更新的输入消息写入所述业务端，包括：

6.一种数据处理装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，所述连接单元通过第一消息队列将所述输入消息存储到键值分布式存储中之后，还用于：

8.根据权利要求6所述的装置，其特征在于，所述更新单元还用于：

9.根据权利要求6所述的装置，其特征在于，所述分发单元通过所述第三消息队列将所述被更新的输入消息写入所述业务端时，具体用于：

10.根据权利要求6所述的装置，其特征在于，所述分发单元通过所述第三消息队列将所述被更新的输入消息写入所述业务端时，具体用于：

技术总结
本申请提供一种数据处理方法和装置，方法包括，将源端的待处理数据转换为目标格式的输入消息，输入消息包括标识信息和属性信息；通过第一消息队列将输入消息存储到键值分布式存储中；根据业务端的订阅信息确定输入消息的目标属性信息；在键值分布式存储的输入消息所含的目标属性信息被更新时，将被更新的输入消息的标识信息写入第二消息队列；根据第二消息队列的标识信息从键值分布式存储读取对应的被更新的输入消息，并将被更新的输入消息写入第三消息队列；通过第三消息队列将被更新的输入消息写入业务端。

技术研发人员：唐文滔,贺周洲,唐晔,刘文波,刘毅,张磊
受保护的技术使用者：湖南快乐阳光互动娱乐传媒有限公司
技术研发日：
技术公布日：2024/5/27