一种大数据平台的检测方法及装置的制造方法
【技术领域】
[0001] 本发明涉及计算机技术领域，特别涉及一种大数据平台的检测方法及装置。
【背景技术】
[0002] 近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模 迅速扩大，行业应用所产生的数据呈爆炸性增长。动辄达到数百TB甚至数十至数百PB规 模的行业/企业大数据已远远超出了现有传统的计算技术和信息系统的处理能力，因此， 寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求。由于大数据行业 应用需求日益增长，未来越来越多的研究和应用领域将需要使用大数据并行计算技术，大 数据技术将渗透到每个涉及到大规模数据和复杂计算的应用领域。不仅如此，以大数据处 理为中心的计算技术将对传统计算技术产生革命性的影响，广泛影响计算机体系结构、操 作系统、数据库、编译技术、程序设计技术和方法、软件工程技术、多媒体信息处理技术、人 工智能以及其他计算机应用技术，并与传统计算技术相互结合产生很多新的研究热点和课 题。
[0003] 随着大数据技术的广泛应用，搭建大数据平台、使用大数据计算也不再是高端神 秘的技术领域，很多传统的软件开发者也开始接触大数据的概念。随着大数据技术的应用 越来越广泛，对大数据平台的性能要求也越来越高。现有技术中还没有针对大数据平台的 性能检测的方法。
【发明内容】
[0004] 有鉴于此，本发明提供了一种大数据平台的检测方法及装置，能够对大数据平台 进行检测。
[0005] -方面，本发明提供了一种大数据平台的检测方法，包括：预先设置用于验证待测 大数据平台的每种功能是否正常的功能测试执行容器，预先设置用于验证待测大数据平台 的组件的运行性能的性能测试执行容器，还包括：
[0006] Sl :调用用于测试所述待测大数据平台的测试用例；
[0007] S2 :获取所述测试用例中的任务类型；
[0008] S3 :如果所述任务类型为功能验证类，则调用所述功能测试执行容器执行所述测 试用例，根据所述测试用例对待测大数据平台的待测功能进行检测；如果所述任务类型为 性能验证类，则调用所述性能测试执行容器执行所述测试用例，根据所述测试用例对待测 大数据平台的待测组件的性能进行检测。
[0009] 进一步地，所述S3中，所述调用所述功能测试执行容器执行所述测试用例，根据 所述测试用例对待测大数据平台的待测功能进行检测，包括：
[0010] 通过所述功能测试执行容器从所述测试用例中获取运行所述待测功能所需要的 参数、数据处理次数、所述待测功能运行成功的标准、第一待处理数据；
[0011] 通过所述功能测试执行容器根据所述运行所述待测功能所需要的参数运行所述 待测功能；
[0012] 通过所述功能功能测试执行容器将所述待处理数据通过所述待测功能进行所述 数据处理次数次处理；
[0013] 通过所述功能测试执行容器根据所述待测功能运行成功的标准，判断所述待测功 能是否正常。
[0014] 进一步地，所述S3中，所述调用所述性能测试执行容器执行所述测试用例，根据 所述测试用例对待测大数据平台的待测组件的性能进行检测，包括：
[0015] 通过所述性能测试执行容器从所述测试用例中获取压力环境参数、第二待处理数 据；
[0016] 通过所述性能测试执行容器根据所述压力环境参数在所述待测大数据平台上构 建对应的压力环境；
[0017] 通过所述性能测试执行容器调用所述待测组件在所述压力环境下处理所述第二 待处理数据，记录所述待测组件的性能参数。
[0018] 进一步地，所述S1，包括：通过restful应用程序编程接口 api调用所述测试用 例。
[0019] 进一步地，所述S1，包括：通过执行shell命令调用所述测试用例。
[0020] 进一步地，该方法还包括：预先设置多个测试用例模板；
[0021] 在所述Sl之前，还包括：
[0022] 确定外部选择的测试用例模板；
[0023] 接收外部输入的被选择的所述测试用例模板对应的待填充参数；
[0024] 根据所述待填充参数填充和所述被选择的所述测试用例模板，生成所述测试用 例。
[0025] 另一方面，本发明提供的一种大数据平台的检测装置，包括：
[0026] 第一设置单元，用于设置用于验证待测大数据平台的功能是否正常的功能测试执 行容器，设置用于验证待测大数据平台的组件的运行性能的性能测试执行容器；
[0027] 调用单元，用于调用用于测试所述待测大数据平台的测试用例；
[0028] 获取单元，用于获取所述测试用例中的任务类型；
[0029] 检测单元，用于当所述任务类型为功能验证类时，则调用所述功能测试执行容器 执行所述测试用例，根据所述测试用例对待测大数据平台的待测功能进行检测；当所述任 务类型为性能验证类时，则调用所述性能测试执行容器执行所述测试用例，根据所述测试 用例对待测大数据平台的待测组件的性能进行检测。
[0030] 进一步地，所述检测单元，在执行所述调用所述功能测试执行容器执行所述测试 用例，根据所述测试用例对待测大数据平台的待测功能进行检测时，具体执行：
[0031] 通过所述功能测试执行容器从所述测试用例中获取运行所述待测功能所需要的 参数、数据处理次数、所述待测功能运行成功的标准、第一待处理数据，通过所述功能测试 执行容器根据所述运行所述待测功能所需要的参数运行所述待测功能，通过所述功能功能 测试执行容器将所述待处理数据通过所述待测功能进行所述数据处理次数次处理，通过所 述功能测试执行容器根据所述待测功能运行成功的标准，判断所述待测功能是否正常。
[0032] 进一步地，所述检测单元，在执行所述调用所述性能测试执行容器执行所述测试 用例，根据所述测试用例对待测大数据平台的待测组件的性能进行检测时，具体执行：
[0033] 通过所述性能测试执行容器从所述测试用例中获取压力环境参数、第二待处理数 据，通过所述性能测试执行容器根据所述压力环境参数在所述待测大数据平台上构建对应 的压力环境，通过所述性能测试执行容器调用所述待测组件在所述压力环境下处理所述第 二待处理数据，记录所述待测组件的性能参数。
[0034] 进一步地，所述调用单元，用于通过restful应用程序编程接口 api调用所述测试 用例。
[0035] 进一步地，所述调用单元，用于通过执行shell命令调用所述测试用例。
[0036] 进一步地，该装置还包括：
[0037] 第二设置单元，用于设置多个测试用例模板；
[0038] 还包括：测试用例生成单元，用于确定外部选择的测试用例模板，接收外部输入的 被选择的所述测试用例模板对应的待填充参数，根据所述待填充参数填充和所述被选择的 所述测试用例模板，生成所述测试用例。
[0039] 本发明提供了一种大数据平台的检测方法及装置，大数据平台的检测主要分为功 能测试和组件的性能测试，针对这两种不同的测试可以设置对应的功能测试执行容器和性 能测试执行容器，根据测试用例中的任务类型来调用对应的执行容器，然后通过执行容器 执行测试用例来对待测大数据平台进行测试。
【附图说明】
[0040] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据 这些附图获得其他的附图。
[0041] 图1是本发明一实施例提供的一种大数据平台的检测方法的流程图；
[0042] 图2是本发明一实