技术特征：
1.一种数据分发的实现方法，包括：获取目标数据分发任务；其中，所述目标数据分发任务包括：目标数据抽取子任务、目标数据转换子任务和目标数据存储子任务；在所述目标数据抽取子任务配置的目标数据源未被任一数据分发任务订阅时，订阅所述目标数据源，并从所述目标数据源中抽取目标数据至消息总线；从所述消息总线中深拷贝目标数据，并按照所述目标数据转换子任务配置的数据转换参数对所述目标数据进行格式转换；将格式转换结果加载至所述目标数据存储子任务配置的数据存储中。2.根据权利要求1所述的方法，其中，所述获取目标数据分发任务，包括：获取所述目标数据分发任务的任务配置信息；其中，所述任务配置信息包括：数据源配置信息、数据转换参数配置信息、以及数据存储配置信息；根据所述任务配置信息，调用预先构建的至少一个抽象函数进行配置，得到目标数据分发任务。3.根据权利要求2所述的方法，其中，所述根据所述任务配置信息，调用预先构建的至少一个抽象函数进行配置，得到目标数据分发任务，包括：根据所述数据源配置信息，调用抽取抽象函数进行配置，生成抽取函数；根据所述数据转换参数配置信息，调用数据转换抽象函数进行配置，生成转换函数；根据所述数据存储配置信息，调用加载抽象函数，生成加载函数；将所述抽取函数、所述转换函数、以及所述加载函数进行组装，得到目标数据分发任务。4.根据权利要求1所述的方法，其中，在所述目标数据抽取子任务配置的目标数据源未被任一数据分发任务订阅时，订阅所述目标数据源，包括：在检测到所述目标数据抽取子任务配置的所述目标数据源未被消费者容器中的任一消费者订阅时，通过所述消费者容器创建目标消费者；触发所述目标消费者订阅所述目标数据源。5.根据权利要求1所述的方法，其中，在将格式转换结果加载至所述目标数据存储子任务配置的数据存储中之后，还包括：当检测到与所述目标数据对应的格式转换结果加载至匹配的数据存储操作失败时，将所述目标数据存储在失败队列中，生成重发数据；响应于数据重发请求，在所述失败队列中获取所述重发数据，进行数据重发。6.根据权利要求1所述的方法，其中，在获取目标数据分发任务之前，还包括：获取多个数据类型的原始数据；将所述原始数据以主题的方式存储在kafka topic组中，作为数据源；其中，所述kafka topic组通过异地设置的kafka集群创建得到。7.根据权利要求6所述的方法，还包括：在根据当前配置的主备切换策略确定满足主备切换条件时，对所述异地设置的kafka集群进行主备切换操作。8.根据权利要求1所述的方法，其中，在将格式转换结果加载至所述目标数据存储子任务配置的数据存储中之前，还包括：
获取与所述目标数据分发任务匹配的配置字段；按照所述配置字段，对所述格式转换结果进行数据过滤。9.一种数据分发的实现装置，包括：目标数据分发任务获取模块，用于获取目标数据分发任务；其中，所述目标数据分发任务包括：目标数据抽取子任务、目标数据转换子任务和目标数据存储子任务；目标数据抽取模块，用于在所述目标数据抽取子任务配置的目标数据源未被任一数据分发任务订阅时，订阅所述目标数据源，并从所述目标数据源中抽取目标数据至消息总线；目标数据格式转换模块，用于从所述消息总线中深拷贝目标数据，并按照所述目标数据转换子任务配置的数据转换参数对所述目标数据进行格式转换；目标数据加载模块，用于将格式转换结果加载至所述目标数据存储子任务配置的数据存储中。10.根据权利要求9所述的装置，其中，所述目标数据分发任务获取模块，包括：任务配置信息获取单元，用于获取所述目标数据分发任务的任务配置信息；其中，所述任务配置信息包括：数据源配置信息、数据转换参数配置信息、以及数据存储配置信息；目标数据分发任务获取单元，用于根据所述任务配置信息，调用预先构建的至少一个抽象函数进行配置，得到目标数据分发任务。11.根据权利要求10所述的装置，其中，所述目标数据分发任务获取单元，包括：抽取函数生成子单元，用于根据所述数据源配置信息，调用抽取抽象函数进行配置，生成抽取函数；转换函数生成子单元，用于根据所述数据转换参数配置信息，调用数据转换抽象函数进行配置，生成转换函数；加载函数生成子单元，用于根据所述数据存储配置信息，调用加载抽象函数，生成加载函数；目标数据分发任务获取子单元，用于将所述抽取函数、所述转换函数、以及所述加载函数进行组装，得到目标数据分发任务。12.根据权利要求9所述的装置，其中，所述目标数据抽取模块，包括：目标消费者创建单元，用于在检测到所述目标数据抽取子任务配置的所述目标数据源未被消费者容器中的任一消费者订阅时，通过所述消费者容器创建目标消费者；目标数据源订阅触发单元，用于触发所述目标消费者订阅所述目标数据源。13.根据权利要求9所述的装置，还包括：重发数据生成模块，用于在将格式转换结果加载至所述目标数据存储子任务配置的数据存储中之后，当检测到与所述目标数据对应的格式转换结果加载至匹配的数据存储操作失败时，将所述目标数据存储在失败队列中，生成重发数据；数据重发模块，用于响应于数据重发请求，在所述失败队列中获取所述重发数据，进行数据重发。14.根据权利要求9所述的装置，还包括：原始数据获取模块，用于在获取目标数据分发任务之前，获取多个数据类型的原始数据；数据源生成模块，用于将所述原始数据以主题的方式存储在kafka topic组中，作为数
据源；其中，所述kafka topic组通过异地设置的kafka集群创建得到。15.根据权利要求14所述的装置，还包括：主备切换模块，用于在根据当前配置的主备切换策略确定满足主备切换条件时，对所述异地设置的kafka集群进行主备切换操作。16.根据权利要求9所述的装置，还包括：配置字段获取模块，用于在将格式转换结果加载至所述目标数据存储子任务配置的数据存储中之前，获取与所述目标数据分发任务匹配的配置字段；数据过滤模块，用于按照所述配置字段，对所述格式转换结果进行数据过滤。17.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。
技术总结
本公开提供了一种数据分发的实现方法、装置、电子设备及存储介质，涉及大数据领域，尤其涉及数据处理领域。具体实现方案为：获取目标数据分发任务；其中，目标数据分发任务包括：目标数据抽取子任务、目标数据转换子任务和目标数据存储子任务；在目标数据抽取子任务配置的目标数据源未被任一数据分发任务订阅时，订阅目标数据源，并从目标数据源中抽取目标数据至消息总线；从消息总线中深拷贝目标数据，并按照目标数据转换子任务配置的数据转换参数对目标数据进行格式转换；将格式转换结果加载至目标数据存储子任务配置的数据存储中，可以在实时大数据场景下，复用消息总线数据，保证数据分发的高效率和高可靠性。据分发的高效率和高可靠性。据分发的高效率和高可靠性。
技术研发人员：于方 吴志恒
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2022.06.29
技术公布日：2022/10/4