面向大数据平台的任务接入系统、方法、装置及电子设备与流程

本技术涉及大数据领域，尤其涉及一种面向大数据平台的任务接入系统、方法、装置及电子设备。

背景技术：

1、在大数据领域中，大数据平台是指为了存储、管理和分析海量数据而构建的一种基础设施，常见的大数据平台包括：基于hadoop、spark、storm、flink、flume/kafka等不同大数据计算引擎实现的数据平台。各大数据平台提供了实时的数据支持，能够处理海量的数据存储和计算任务，应用场景广泛，比如金融、零售、医疗等等领域。各大数据平台的部署方式非常灵活，既可以部署在私有云上，又可以部署在公有云上。

2、在金融领域中，大数据平台可以帮助部署企业或者部门进行风险评估、绘制客户画像、精准营销等。但是，随着大数据平台的数据量的不断增长，针对各大数据平台的大数据任务进行准入校验成为保障大数据平台的数据安全的关键，现有的大数据任务准入校验方法通常是利用大数据集群对大数据任务进行准入校验，由于大数据集群承载着大量的数据任务的计算处理，计算资源较为紧张，此时若对大数据任务进行全流程的准入校验，容易存在准入校验实时性差的问题。

技术实现思路

1、有鉴于此，本技术实施例提供了一种面向大数据平台的任务接入系统、方法、装置及电子设备，以保障大数据任务准入校验的实时性。

2、第一方面，本技术实施例提供了一种面向大数据平台的任务接入系统，其中，所述任务接入系统包括：客户端、决策服务模块以及任务注册服务模块，其中：

3、所述客户端，用于接收用户传入的目标大数据任务的目标相关信息，并将所述目标大数据任务的目标相关信息传送至所述决策服务模块，其中，大数据任务的相关信息至少包括：大数据任务的生产ip信息、大数据任务所属的集群信息、大数据任务的注册信息；

4、所述决策服务模块，用于接收并解析所述目标大数据任务的目标相关信息，并从所述任务注册服务模块中获取所述任务注册服务模块中预先存储的数据任务的任务信息，对所述目标大数据任务的目标相关信息进行校验，并向所述客户端回传任务决策结果；

5、所述客户端，还用于若所述任务决策结果为校验通过，则允许所述目标大数据任务在目标大数据集群中执行，若所述任务决策结果为校验不通过，拒绝所述目标大数据任务在所述目标大数据集群中执行。

6、可选的，所述大数据任务的相关信息还包括：所述大数据任务的执行命令的类型、所述用户的权限等级；所述决策服务模块包括：第一校验模块；

7、所述第一校验模块，用于对所述目标大数据任务的命令类型、用户的权限等级以及生产ip信息进行校验。

8、可选的，所述大数据任务的相关信息还包括：所述大数据任务的任务类型、所述大数据任务的任务名、所述大数据任务的任务注册信息；所述决策服务模块还包括：第二校验模块；

9、所述第二校验模块，用于对所述大数据任务的任务类型、所述大数据任务的任务名、所述大数据任务的任务注册信息进行校验。

10、可选的，所述大数据任务的相关信息还包括：产研隔离参数，所述第一校验模块，还用于：

11、若所述产研隔离参数表征的生产与研发尚未隔离，则输出校验不通过的任务决策结果。

12、可选的，所述任务注册服务模块包括：第一任务注册服务模块、第二任务注册服务模块，所述第一任务注册服务模块用于存储数据任务的ip信息以及数据任务的集群信息，所述第二任务注册服务模块用于存储数据任务的任务注册信息；

13、所述第一校验模块，具体用于接收所述目标数据任务的目标相关信息，并从所述第一任务注册服务模块获取生产ip信息或者集群信息，对所述目标大数据任务的命令类型、用户的权限等级以及生产ip信息进行校验得到第一校验结果，并将所述第一校验结果以及所述目标大数据任务的相关信息传递至所述第二校验模块；

14、所述第二校验模块，用于接收所述第一校验结果以及所述目标大数据任务的相关信息，从所述第二任务注册服务模块获取任务注册信息，对所述大数据任务的任务类型、所述大数据任务的任务名、所述大数据任务的任务注册信息进行校验进行校验，得到任务决策结果，并将所述任务决策结果返回至所述客户端。

15、可选的，所述客户端还用于：

16、若所述任务决策结果为校验不通过，记录所述任务决策结果，并输出提示信息

17、第二方面，本技术实施例提供了一种一种面向大数据平台的任务接入方法，其中，所述方法应用于第一方面所述的面向大数据平台的任务接入系统，所述方法包括：

18、接收用户传入的目标大数据任务的目标相关信息，其中，大数据任务的相关信息至少包括：大数据任务的生产ip信息、大数据任务所属的集群信息、大数据任务的注册信息；

19、解析所述目标大数据任务的目标相关信息，并基于预先存储的数据任务的任务信息，对所述目标大数据任务的目标相关信息进行校验；

20、若所述任务决策结果为校验通过，则允许所述目标大数据任务在目标大数据集群中执行，若所述任务决策结果为校验不通过，拒绝所述目标大数据任务在所述目标大数据集群中执行。

21、第三方面，本技术实施例提供了一种面向大数据平台的任务接入装置，其中，该装置包括：

22、所述装置包括：

23、接收模块，用于接收用户传入的目标大数据任务的目标相关信息，其中，大数据任务的相关信息至少包括：大数据任务的生产ip信息、大数据任务所属的集群信息、大数据任务的注册信息；

24、校验模块，用于解析所述目标大数据任务的目标相关信息，并基于预先存储的数据任务的任务信息，对所述目标大数据任务的目标相关信息进行校验；

25、执行模块，用于若所述任务决策结果为校验通过，则允许所述目标大数据任务在目标大数据集群中执行，若所述任务决策结果为校验不通过，拒绝所述目标大数据任务在所述目标大数据集群中执行。

26、第四方面，本技术实施例提供了一种电子设备，其中，所述电子设备包括：

27、处理器；以及

28、存储程序的存储器，

29、其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行第二方面所述的面向大数据平台的任务接入方法。

30、第五方面，本技术实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行第二方面所述的面向大数据平台的任务接入方法。

31、本技术的有益效果：

32、本技术提供了一种面向大数据平台的任务接入系统、方法、装置及电子设备，其中，该系统包括客户端、决策服务模块、任务注册服务模块，通过客户端接收用户传入的目标大数据任务的相关信息，并传入至决策服务模块中，由决策服务模块对目标大数据任务的相关信息进行接收并解析，然后从任务注册服务模块中获取预先存储在该注册服务模块中的数据任务的相关信息，由该决策服务模块对该目标相关信息的各项子信息进行校验，并实时向客户端回传任务决策结果。若任务决策结果为校验通过，则允许该目标大数据任务在目标大数据集群中执行，若不通过，则拒绝目标大数据任务在目标大数据集群中执行。

33、采用本技术实施例提供的面向大数据平台的任务接入系统，摒弃传统的在大数据集群中对大数据任务进行准入校验的方法，在大数据任务进入大数据集群之前，借助本技术提供的任务接入系统对大数据任务进行校验，若校验通过则允许大数据任务在大数据集群中执行，校验不通过，则拒绝大数据任务在大数据集群中执行。如此，可由该任务接入系统对大数据任务的准入校验进行专项处理，确保充足的大数据任务准入校验的处理资源，进一步有助于保障大数据任务准入校验的实时性。