数据开发测试方法、装置、设备及介质与流程

本技术涉及云测试领域，尤其涉及一种数据开发测试方法、装置、设备及介质。

背景技术：

1、随着互联网技术的发展，应用大数据平台进行数据开发成为主流。例如，金融领域中，各电商平台会收集用户的是商品交易等数据，并对商品的交易数据进行数据开发，以更好的向用户推荐商品。

2、传统的数据开发测试是基于产品需求分析-产品需求宣讲-开发-测试的固定流程在数据平台上实现的。

3、但是，这种传统方法在测试过程中需要开发人员介入，以对每个固定流程进行监督、验证，使得数据开发测试的效率较低；并且，开发人员在开发流程时，在开发数据上线测试时，可能会出现人员在测试过程中由于工作失误使得数据开发上线时出现数据报错情况，导致数据开发测试的准确率较低。

技术实现思路

1、本技术实施例的目的在于提出一种数据开发测试方法、装置、设备及介质，其主要目的是提高数据开发测试的效率及准确率。

2、为了解决上述技术问题，本技术实施例提供一种数据开发测试方法，采用了如下所述的技术方案：

3、获取待测试的数据开发脚本；

4、判断所述数据开发脚本是否符合预设的存储条件；

5、当所述数据开发脚本满足预设的存储条件时，则在预设的本地环境中对所述数据开发脚本进行本地测试，得到本地测试结果；

6、当所述数据开发脚本未满足预设的存储条件时，对所述数据开发脚本进行存储位置调整，直到所述数据开发脚本满足所述存储条件，则在所述本地环境中对所述数据开发脚本进行本地测试，得到本地测试结果；

7、根据所述本地测试结果配置所述数据开发脚本的脚本任务；

8、根据所述脚本任务对所述数据开发脚本进行上线测试，得到所述数据开发脚本的上线结果。

9、进一步的，所述在预设的本地环境中对所述数据开发脚本进行本地测试，得到本地测试结果，包括：

10、获取所述数据开发脚本的运行时间及运行任务；

11、据所述运行时间触发所述运行任务，得到所述数据开发脚本的本地运行结果；

12、将所述本地运行结果中的数据表与脚本逻辑分别与标准数据表与标准脚本逻辑进行对比；

13、当所述数据表与所述脚本逻辑都对比一致，则确定所述数据表及所述脚本逻辑为所述本地测试结果；

14、当所述数据表或所述脚本逻辑对比不一致，则修改不一致的数据表或脚本逻辑得到更新本地测试结果，将所述更新本地测试结果作为所述测试结果。

15、进一步的，所述根据所述本地测试结果配置所述数据开发脚本的脚本任务，包括：

16、接收所述任务配置指令，响应所述指令，从所述本地测试结果中获取数据开发脚本的版本信息；

17、根据所述版本信息配置所述数据开发脚本的数据表、任务名称以及上游依赖，得到所述脚本任务。

18、进一步的，所述根据所述脚本任务对所述数据开发脚本进行上线测试，得到所述数据开发脚本的上线结果，包括：

19、根据所述脚本任务对获取所述数据开发脚本的上线环境及上线时间；

20、根据所述上线时间触发所述脚本任务，在所述上线环境中运行所述脚本任务，得到任务运行结果；

21、获取所述任务运行结果的运行时长，判断所述运行时长是否大于预设阈值；

22、当所述运行时长大于所述预设阈值，则触发预警机制，返回所述数据开发脚本的上线结果为上线失败，查找所述数据开发脚本的运行错误原因，根据所述运行错误原因修改所述数据开发脚本，得到修改数据脚本，直至所述修改数据脚本成功运行。

23、进一步的，所述判断所述数据开发脚本是否符合预设的存储条件，包括：

24、判断预设的脚本库中是否存在所述数据开发脚本的同名脚本；

25、当所述脚本库中存在所述同名脚本时，检测所述数据开发脚本的存储目录与所述同名脚本的存储目录是否一致；

26、若所述存储目录一致，则确定所述数据开发脚本符合所述存储条件；

27、若所述存储目录不一致，则修改所述数据开发脚本的存储目录，并返回所述判断预设的脚本库中是否存在所述数据开发脚本的同名脚本的步骤，直至所述数据开发脚本符合所述存储条件，确定所述数据开发脚本符合所述存储条件；

28、当所述脚本库中不存在所述同名脚本时，确定所述数据开发脚本不符合所述存储条件。

29、进一步的，所述对所述数据开发脚本进行存储位置调整，包括：

30、在所述脚本库中创建新增数据脚本；

31、利用预设的存储规则检测所述新增数据脚本的存储目录是否正确；

32、当检测所述新增数据脚本的存储目录正确，则将所述新增数据脚本作为所述同名脚本，并确定所述数据开发脚本符合所述存储条件；

33、当检测所述新增数据脚本的存储目录不正确，则返回所述判断预设的脚本库中是否存在所述数据开发脚本的同名脚本的步骤，直至所述新增数据脚本符合所述存储条件。

34、为了解决上述技术问题，本技术实施例还提供一种数据开发测试装置，采用了如下所述的技术方案：

35、获取模块，用于获取待测试的数据开发脚本；

36、判断模块，用于判断所述数据开发脚本是否符合预设的存储条件；

37、本地测试模块，用于当所述数据开发脚本满足预设的存储条件时，则在预设的本地环境中对所述数据开发脚本进行本地测试，得到本地测试结果；当所述数据开发脚本未满足预设的存储条件时，对所述数据开发脚本进行存储位置调整，直到所述数据开发脚本满足所述存储条件，则在所述本地环境中对所述数据开发脚本进行本地测试，得到本地测试结果；

38、配置模块，用于根据所述本地测试结果配置所述数据开发脚本的脚本任务；

39、测试模块，用于根据所述脚本任务对所述数据开发脚本进行上线测试，得到所述数据开发脚本的上线结果。

40、为了解决上述技术问题，本技术实施例还提供一种设备，采用了如下所述的技术方案：

41、存储器，存储至少一个计算机程序；及

42、处理器，执行所述存储器中存储的计算机程序以实现上述所述的数据开发测试方法。

43、为了解决上述技术问题，本技术实施例还提供一种计算机可读介质，采用了如下所述的技术方案：

44、所述计算机可读介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的数据开发测试方法。

45、与现有技术相比，本技术实施例主要有以下有益效果：

46、本技术实施例中，首先通过获取待测试的数据开发脚本，并判断数据开发脚本是否符合预设的存储条件，能够在数据开发测试前，保证数据开发脚本的合法性，便于提高后续数据开发的效率；其次，在脚本满足存储条件后，在本地环境中对数据开发脚本进行本地测试，得到本地测试结果，能够在数据开发测试之前，初步发现数据开发脚本存在的问题，便于提高后续数据开发测试的准确率；最后，通过配置数据开发脚本的运行任务，并据脚本任务对数据开发脚本进行上线测试，能够进一步提高数据开发测试的准确率，并实现测试自动化，减少了开发人员的介入，提高了数据开发测试的效率。因此本技术提出的数据开发测试方法、装置、设备及介质可以提高数据开发测试的效率及准确率。