一种数据处理方法、装置、电子设备及存储介质与流程

本申请涉及数据处理，具体而言，涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术：

1、目前随着科学技术的不断发展，数据处理业务也越来越多，而数据处理的流程一般为数据集成、数据处理和数据服务，其中，数据服务主要是非数仓功能之外的一些功能，例如，模型的特征数据获取、报表邮件推送、数据投放、数据推送、数据圈选等，由于dataworks不满足数据服务功能，数据服务都是公司内部自己开发的。在之前数据处理到数据服务之间是割裂的，无法直接交互，采用的是定时触发数据服务，这样会导致的问题：因为数据处理的时间不固定，可能会晚于数据服务的触发定时。这样的话，数据服务中的数据有缺失、甚至有错误，如何避免在使用数据服务中的数据缺失和出现错误的问题，是目前急需解决的问题。

技术实现思路

1、本申请的一些实施例的目的在于提供一种数据处理方法、装置、电子设备及存储介质，通过本申请的实施例的技术方案，通过接收数据处理请求；对所述数据处理请求进行解析，得到与所述数据处理请求对应的请求参数；根据所述请求参数，触发与所述请求参数对应的数据服务。本申请实施例中提供了一个衔接数据处理到数据服务的触发功能，该功能接收数据处理的数据处理请求，通过请求中参数来路由到对应的数据服务中，进行服务的触发，避免在使用数据服务中的数据缺失和出现错误的问题。

2、第一方面，本申请的一些实施例提供了一种数据处理方法，包括：

3、接收数据处理请求；

4、对所述数据处理请求进行解析，得到与所述数据处理请求对应的请求参数；

5、根据所述请求参数，触发与所述请求参数对应的数据服务。

6、本申请的一些实施例通过提供了一个衔接数据处理到数据服务的触发功能，该功能接收数据处理的数据处理请求，通过请求中参数来路由到对应的数据服务中，进行服务的触发，避免在使用数据服务中的数据缺失和出现错误的问题。

7、可选地，所述请求参数至少包括服务类型、服务地址和服务参数中的一种或多种。

8、本申请的一些实施例通过获取请求参数中的各个参数，可以根据这些参数来查找对应的数据服务。

9、可选地，所述根据所述请求参数，触发与所述请求参数对应的数据服务，包括：

10、通过预先设置的shell脚本文件，根据所述请求参数，确定与所述请求参数对应的数据服务，并触发所述数据服务。

11、本申请的一些实施例调度方式统一，且本身dataworks的shell中可配置的调度参数更加丰富使得整体服务更加稳定，保证了数据一致性。

12、可选地，所述接收数据处理请求，包括：

13、接收数据处理的post请求。

14、本申请的一些实施例，接收数据处理的post请求，可以将数据放在请求的消息体中，安全性较高，可发送大量数据

15、第二方面，本申请的一些实施例提供了一种数据处理装置，包括：

16、接收模块，用于接收数据处理请求；

17、解析模块，用于对所述数据处理请求进行解析，得到与所述数据处理请求对应的请求参数；

18、触发模块，用于根据所述请求参数，触发与所述请求参数对应的数据服务。

19、本申请的一些实施例通过提供了一个衔接数据处理到数据服务的触发功能，该功能接收数据处理的数据处理请求，通过请求中参数来路由到对应的数据服务中，进行服务的触发，避免在使用数据服务中的数据缺失和出现错误的问题。

20、可选地，所述请求参数至少包括服务类型、服务地址和服务参数中的一种或多种。

21、本申请的一些实施例通过获取请求参数中的各个参数，可以根据这些参数来查找对应的数据服务。

22、可选地，所述触发模块，用于：

23、通过预先设置的shell脚本文件，根据所述请求参数，确定与所述请求参数对应的数据服务，并触发所述数据服务。本申请的一些实施例调度方式统一，且本身dataworks的shell中可配置的调度参数更加丰富使得整体服务更加稳定，保证了数据一致性。

24、可选地，所述接收模块，用于：

25、接收数据处理的post请求。

26、本申请的一些实施例，接收数据处理的post请求，可以将数据放在请求的消息体中，安全性较高，可发送大量数据。

27、第三方面，本申请的一些实施例提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现如第一方面任一实施例所述的数据处理方法。

28、第四方面，本申请的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如第一方面任一实施例所述的数据处理方法。

29、第五方面，本申请的一些实施例提供一种计算机程序产品，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现如第一方面任一实施例所述的数据处理方法。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的数据处理方法，其特征在于，所述请求参数至少包括服务类型、服务地址和服务参数中的一种或多种。

3.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述请求参数，触发与所述请求参数对应的数据服务，包括：

4.根据权利要求1所述的数据处理方法，其特征在于，所述接收数据处理请求，包括：

5.一种数据处理装置，其特征在于，所述装置包括：

6.根据权利要求5所述的数据处理装置，其特征在于，所述请求参数至少包括服务类型、服务地址和服务参数中的一种或多种。

7.根据权利要求5所述的数据处理装置，其特征在于，所述触发模块，用于：

8.根据权利要求5所述的数据处理装置，其特征在于，所述接收模块，用于：

9.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现权利要求1-4中任意一项权利要求所述的数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述程序被处理器执行时可实现权利要求1-4中任意一项权利要求所述的数据处理方法。

技术总结
本申请实施例提供一种数据处理方法、装置、电子设备及存储介质，该方法包括：接收数据处理请求；对数据处理请求进行解析，得到与数据处理请求对应的请求参数；根据请求参数，触发与请求参数对应的数据服务。本申请实施例中提供了一个衔接数据处理到数据服务的触发功能，该功能接收数据处理的数据处理请求，通过请求中参数来路由到对应的数据服务中，进行服务的触发，避免在使用数据服务中的数据缺失和出现错误的问题。

技术研发人员：李由,刘宇翔,曾文佳,李航
受保护的技术使用者：零犀（北京）科技有限公司
技术研发日：
技术公布日：2025/4/21