任务处理方法、装置、计算机设备及存储介质与流程

本技术涉及大数据与金融科技领域，尤其涉及任务处理方法、装置、计算机设备及存储介质。

背景技术：

1、随着科学技术的快速发展，大数据技术得到越来越广泛的应用。除了常规的业务数据报表，数据可视化等场景，在保险金融企业，例如保险企业、银行等应用的日常逻辑计算和参数校验等，也常常能见到大数据的身影。大数据在保险金融企业的业务系统中的应用，常常是由大数据服务从各业务系统的数据源提取接入数据，经历贴源层、数仓层、集市层等各层的数据抽取、清洗、转换、加载，最终加工成业务可用的数据服务提供给各业务系统。

2、现有技术中，保险金融企业的业务系统如果要接入数据服务，通常使用离线非实时同步数据的方案，然而这需要开发将大数据源表同步到业务系统目标库的程序，并需要考虑增量或全量同步、数据库类型的支持等，这样的处理方式需要繁琐复杂的开发工作，从而导致开发工作量大，数据同步的处理效率低下。

技术实现思路

1、本技术实施例的目的在于提出一种任务处理方法、装置、计算机设备及存储介质，以解决现有的保险金融企业的业务系统接入数据服务的处理方式需要繁琐复杂的开发工作，从而导致开发工作量大，数据同步的处理效率低下技术问题。

2、为了解决上述技术问题，本技术实施例提供一种任务处理方法，采用了如下所述的技术方案：

3、接收用户触发的与目标业务系统对应的数据同步任务处理请求；其中，所述数据同步任务处理请求携带所述用户的用户信息；

4、基于所述用户信息对所述用户进行权限验证，判断所述用户是否具有访问大数据表的权限；

5、若是，展示预设的任务配置页面；

6、接收所述用户在所述任务配置页面输入的基础配置信息与处理条件信息；其中，所述基础配置信息至少包括大数据源表、目标业务系统的目标表、目标库类型、目标库链接串、同步方式、同步类型、同步周期、同步时间；所述处理条件信息至少包括大数据源表与目标表之间的字段映射、大数据源表的查询条件、同步前的预处理钩子任务、同步后的后处理钩子任务、数据冲突处理方式；

7、基于所述基础配置信息与所述处理条件信息，创建与所述同步方式对应的目标数据同步任务；

8、执行所述目标数据同步任务。

9、进一步的，所述同步方式包括离线方式或实时方式；所述执行所述目标数据同步任务的步骤，具体包括：

10、判断所述同步方式是否为离线方式；

11、若所述同步方式为离线方式，创建一个与所述目标数据同步任务对应的基于shell的任务程序；

12、从所述基础配置信息中获取所述同步时间；

13、基于所述同步时间，通过所述基于shell的任务程序执行所述目标数据同步任务。

14、进一步的，所述同步方式包括离线方式或实时方式；所述执行所述目标数据同步任务的步骤，具体包括：

15、判断所述同步方式是否为实时方式；

16、若所述同步方式为实时方式，创建一个与所述目标数据同步任务对应的mq消费者程序；

17、通过所述mq消费者程序执行所述目标数据同步任务。

18、进一步的，所述基于所述用户信息对所述用户进行权限验证，判断所述用户是否具有访问大数据表的权限的步骤，具体包括：

19、从所述数据同步任务创建请求中提取出所述用户信息；

20、调用预设的授权数据表；

21、基于所述授权数据表与所述用户信息对所述用户进行权限验证，判断所述授权数据表中是否存在与所述用户信息匹配的指定用户信息；

22、若存在与所述用户信息匹配的指定用户信息，则判定所述用户具有访问大数据表的权限，否则判定所述用户不具有访问大数据表的权限。

23、进一步的，在所述执行所述目标数据同步任务的步骤之后，还包括：

24、在执行所述目标数据同步任务的过程中，判断所述目标数据同步任务是否存在数据冲突现象；

25、若是，从所述处理条件信息中获取所述数据冲突处理方式；

26、基于所述数据冲突处理方式对目标数据同步任务进行对应处理。

27、进一步的，在所述基于所述用户信息对所述用户进行权限验证，判断所述用户是否具有访问大数据表的权限的步骤之后，还包括：

28、若所述用户不具有访问大数据表的权限，则限制对所述数据同步任务创建请求进行响应；

29、采集所述用户的脸部图像；

30、基于所述脸部图像与所述用户信息生成相应的任务预警信息；

31、获取管理用户的通信地址信息；

32、基于所述通信地址信息，将所述任务预警信息推送给所述管理用户。

33、进一步的，在所述执行所述目标数据同步任务的步骤之后，还包括：

34、判断是否接收到所述用户触发的日志查看请求；

35、若是，调用预设的日志记录数据；

36、展示所述日志记录数据。

37、为了解决上述技术问题，本技术实施例还提供一种任务处理装置，采用了如下所述的技术方案：

38、第一接收模块，用于接收用户触发的与目标业务系统对应的数据同步任务处理请求；其中，所述数据同步任务处理请求携带所述用户的用户信息；

39、第一判断模块，用于基于所述用户信息对所述用户进行权限验证，判断所述用户是否具有访问大数据表的权限；

40、第一展示模块，用于若是，展示预设的任务配置页面；

41、第二接收模块，用于接收所述用户在所述任务配置页面输入的基础配置信息与处理条件信息；其中，所述基础配置信息至少包括大数据源表、目标业务系统的目标表、目标库类型、目标库链接串、同步方式、同步类型、同步周期、同步时间；所述处理条件信息至少包括大数据源表与目标表之间的字段映射、大数据源表的查询条件、同步前的预处理钩子任务、同步后的后处理钩子任务、数据冲突处理方式；

42、创建模块，用于基于所述基础配置信息与所述处理条件信息，创建与所述同步方式对应的目标数据同步任务；

43、执行模块，用于执行所述目标数据同步任务。

44、为了解决上述技术问题，本技术实施例还提供一种计算机设备，采用了如下所述的技术方案：

45、接收用户触发的与目标业务系统对应的数据同步任务处理请求；其中，所述数据同步任务处理请求携带所述用户的用户信息；

46、基于所述用户信息对所述用户进行权限验证，判断所述用户是否具有访问大数据表的权限；

47、若是，展示预设的任务配置页面；

48、接收所述用户在所述任务配置页面输入的基础配置信息与处理条件信息；其中，所述基础配置信息至少包括大数据源表、目标业务系统的目标表、目标库类型、目标库链接串、同步方式、同步类型、同步周期、同步时间；所述处理条件信息至少包括大数据源表与目标表之间的字段映射、大数据源表的查询条件、同步前的预处理钩子任务、同步后的后处理钩子任务、数据冲突处理方式；

49、基于所述基础配置信息与所述处理条件信息，创建与所述同步方式对应的目标数据同步任务；

50、执行所述目标数据同步任务。

51、为了解决上述技术问题，本技术实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

52、接收用户触发的与目标业务系统对应的数据同步任务处理请求；其中，所述数据同步任务处理请求携带所述用户的用户信息；

53、基于所述用户信息对所述用户进行权限验证，判断所述用户是否具有访问大数据表的权限；

54、若是，展示预设的任务配置页面；

55、接收所述用户在所述任务配置页面输入的基础配置信息与处理条件信息；其中，所述基础配置信息至少包括大数据源表、目标业务系统的目标表、目标库类型、目标库链接串、同步方式、同步类型、同步周期、同步时间；所述处理条件信息至少包括大数据源表与目标表之间的字段映射、大数据源表的查询条件、同步前的预处理钩子任务、同步后的后处理钩子任务、数据冲突处理方式；

56、基于所述基础配置信息与所述处理条件信息，创建与所述同步方式对应的目标数据同步任务；

57、执行所述目标数据同步任务。

58、与现有技术相比，本技术实施例主要有以下有益效果：

59、本技术实施例首先接收用户触发的与目标业务系统对应的数据同步任务处理请求；然后基于所述用户信息对所述用户进行权限验证，判断所述用户是否具有访问大数据表的权限；若是，展示预设的任务配置页面；之后接收所述用户在所述任务配置页面输入的基础配置信息与处理条件信息；后续基于所述基础配置信息与所述处理条件信息，创建与所述同步方式对应的目标数据同步任务；最后执行所述目标数据同步任务。本技术实施例在接收到用户触发的与目标业务系统对应的数据同步任务处理请求时，如果判别出用户具有访问大数据表的权限，则会展示预设的任务配置页面以协助用户输入基础配置信息与处理条件信息，进而基于所述基础配置信息与所述处理条件信息来快速创建出与所述同步方式对应的目标数据同步任务，并执行所述目标数据同步任务，以实现根据用户输入的任务配置信息来快速地完成目标业务系统的数据服务的平滑接入，大大降低了目标业务系统接入数据服务的开发工作量，提高了目标数据同步任务的执行效率，进而提高了目标业务系统接入数据服务的处理效率与处理智能性。