系统测试方法、装置、计算机设备和存储介质与流程

本申请涉及计算机技术领域，特别是涉及一种系统测试方法、装置、计算机设备和存储介质。

背景技术：

随着计算机技术的发展，应用系统所涉及的业务领域变得越发庞大，数据交互流程也是越来越复杂多样化。传统的对应用系统的测试方式中，需要针对每个数据交互流程节点的每个测试用例都准备完整的测试数据。然而复杂繁多的数据交互流程导致测试用例数量十分巨大，测试数据的准备工作量也十分大，测试用例的准备过程耗时较长，导致对应用系统的测试效率较低。

技术实现要素：

基于此，有必要针对上述技术问题，提供一种能够提高对应用系统的测试效率的系统测试方法、装置、计算机设备和存储介质。

一种系统测试方法，所述方法包括：获取系统测试请求；所述系统测试请求携带系统标识；获取待测试数据表格；所述待测试数据表格中包含测试用例，所述测试用例中包含输入数据和预期响应结果；遍历所述待测试数据表格，识别所述测试用例所属的数据交互流程节点；查找与所确定的数据交互流程节点对应的基础数据交互报文；根据所述输入数据对所述基础数据交互报文进行加工处理，得到模拟数据交互报文；基于所述模拟数据交互报文和所述预期响应结果对所述系统标识对应的待测试应用系统进行测试。

在其中一个实施例中，所述根据所述输入数据对所述基础数据交互报文进行加工处理，得到模拟数据交互报文，包括：读取所述输入数据中的多个目标输入参数；解析所述基础数据交互报文，得到解析后的基础数据交互报文；从所述解析后的所述基础数据交互报文中查找与每个所述目标输入参数对应的待替换输入参数；将解析后的所述基础数据交互报文中的待替换输入参数替换为对应的目标输入参数，得到模拟数据交互报文。

在其中一个实施例中，所述根据所述输入数据对所述基础数据交互报文进行加工处理，得到模拟数据交互报文，包括：查找与所述数据交互流程节点对应的换算策略；采用所述换算策略对所述输入数据进行计算，得到换算后的输入数据；根据测试用例所处的业务场景对输入数据采取对应的公式进行换算，得到换算后的输入数据；将所述换算后的输入数据替换至所述基础数据交互报文中，得到模拟数据交互报文。

在其中一个实施例中，在所述查找与所确定的数据交互流程节点对应的基础数据交互报文之前，还包括：从所述待测试数据表格中选取待模拟的测试用例；根据所述待模拟的测试用例中包含的输入数据，调用模拟输入工具对待测试界面执行相应的输入操作；所述待测试界面包括所述系统标识对应的待测试应用系统中与所述数据交互流程节点对应的界面；抓取所述待测试应用系统基于所述输入操作生成的目标数据交互报文；对所述目标数据交互报文进行初始化处理，生成基础数据交互报文。

在其中一个实施例中，所述基于所述模拟数据交互报文和所述预期响应结果对所述系统标识对应的待测试应用系统进行测试，包括：将所述模拟数据交互报文发送至所述系统标识对应的待测试应用系统的系统服务器；接收所述系统服务器返回的实际数据交互报文；所述实际数据交互报文经过所述系统服务器用于对所述模拟数据交互报文进行逻辑处理得到，所述实际交互报文中包含实际响应结果；当所述实际响应结果符合相应的测试用例中包含的预期响应结果时，则确定相应测试用例测试通过。

在其中一个实施例中，所述预期响应结果中包含多个预期输出参数，所述实际响应结果中包含多个实际输出参数；在所述接收所述系统服务器返回的实际数据交互报文之后，还包括：当存在任意一个实际输出参数与相应的预期输出参数不一致时，则确定相应测试用例测试失败；在所述待测试数据表格中标记出测试失败的测试用例中，实际输出参数与相应的预期输出参数不一致的异常输出参数；统计每种异常输出参数对应的测试失败的测试用例的失败数量；筛选出对应失败数量大于预设阈值的异常输出参数作为高风险输出参数。

一种系统测试装置，所述装置包括：获取模块，用于获取系统测试请求；所述系统测试请求携带系统标识；获取待测试数据表格；所述待测试数据表格中包含测试用例，所述测试用例中包含输入数据和预期响应结果；识别模块，用于遍历所述待测试数据表格，识别所述测试用例所属的数据交互流程节点；查找模块，用于查找与所确定的数据交互流程节点对应的基础数据交互报文；加工模块，用于根据所述输入数据对所述基础数据交互报文进行加工处理，得到模拟数据交互报文；测试模块，用于基于所述模拟数据交互报文和所述预期响应结果对所述系统标识对应的待测试应用系统进行测试。

在其中一个实施例中，加工模块还用于读取所述输入数据中的多个目标输入参数；解析所述基础数据交互报文，得到解析后的基础数据交互报文；从所述解析后的所述基础数据交互报文中查找与每个所述目标输入参数对应的待替换输入参数；将解析后的所述基础数据交互报文中的待替换输入参数替换为对应的目标输入参数，得到模拟数据交互报文。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述各个实施例中所述的系统测试方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各个实施例中所述的系统测试方法的步骤。

上述系统测试方法、装置、计算机设备和存储介质，测试服务器获取到携带系统标识的系统测试请求之后，获取预先配置的包含测试用例的待测试数据表格。测试服务器通过遍历待测试数据表格，识别测试用例所属的数据交互流程节点，从而能够查找与所确定的数据交互流程节点对应的基础数据交互报文。测试服务器可基于测试用例的输入数据对基础数据交互报文进行加工处理，自动化生成模拟数据交互报文。测试服务器基于模拟数据交互报文和预期响应结果对系统标识对应的待测试应用系统进行测试。通过待测试数据表格来管理系统测试的源数据，且通过同一数据交互流程节点的多个测试用例共享基础数据交互报文，能够降低维护测试用例的成本，从而有效缩短准备测试用例的时间，提高对应用系统的测试效率。

附图说明

图1为一个实施例中系统测试方法的应用场景图；

图2为一个实施例中系统测试方法的流程示意图；

图3a为一个实施例中响应前断点位置的示意图；

图3b为一个实施例中响应后断点位置的示意图；

图4为另一个实施例中系统测试方法的流程示意图；

图5为一个实施例中系统测试装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的系统测试方法，可以应用于如图1所示的应用环境中。其中，终端102与测试服务器104通过网络进行通信。测试服务器104与系统服务器106通过网络进行通信。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，测试服务器104和系统服务器106可以用独立的服务器或者是多个服务器组成的服务器集群来实现。测试服务器104获取到终端102发送的携带系统标识的系统测试请求之后，获取预先配置的包含测试用例的待测试数据表格。测试服务器104通过遍历待测试数据表格，识别测试用例所属的数据交互流程节点，从而能够查找与所确定的数据交互流程节点对应的基础数据交互报文。测试服务器104可基于测试用例的输入数据对基础数据交互报文进行加工处理，自动化生成模拟数据交互报文。测试服务器104可基于模拟数据交互报文和预期响应结果对系统标识对应的待测试应用系统进行测试，待测试应用系统可部署于系统服务器106上。

在一个实施例中，如图2所示，提供了一种系统测试方法，以该方法应用于图1中的测试服务器104为例进行说明，包括以下步骤：

步骤202，获取系统测试请求；系统测试请求携带系统标识。

系统测试请求是指用于对系统标识对应的待测试应用系统进行测试的请求。待测试应用系统是指需要进行测试的、用于实现数据交互的系统。比如说待测试应用系统可以是待测试的金融交易系统等，不限于此。系统标识可以是由字母、数字及标点符号等其中一种或多种组成的字符串。系统标识可以是待测试应用系统的编号、名称等，也可以是待测试应用系统对应的系统服务器的编号、名称。系统测试请求可以是终端检测到用户进行系统测试操作时所触发生成的请求，终端可将该触发生成的系统测试请求发送至测试服务器。

步骤204，获取待测试数据表格；待测试数据表格中包含测试用例，测试用例中包含输入数据和预期响应结果。

待测试数据表格是指记录了多个测试用例所需用到的相关源数据的表格。相关源数据包括但不限于输入数据和预期响应结果。输入数据是指用于生成数据交互报文时用到的由多个输入参数组成的数据。预期响应结果是指按照接口定义文档所定义的、基于输入数据所能推断出的响应结果，预期响应结果也可包含多个输出参数。

测试用例是指用于测试待测试应用系统是否能正常实现所需功能的一组输入数据和相应的预期响应结果。待测试数据表格中可以包含测试待测试应用系统单一功能的多个测试用例，或可以包含测试待测试应用系统不同功能的多个测试用例。测试用例可以用于对待测试应用系统进行逻辑测试，比如测试待测试应用系统在正常输入的情况下是否能得出正确的响应结果。测试用例还可以对待测试应用系统进行出错测试，比如测试待测试应用系统在异常输入或异常场景输入时能否正常报错。还可以对待测试应用系统进行路径测试，比如测试待测试应用系统在状态转换过程中能否正常进行状态转换。

步骤206，遍历待测试数据表格，识别测试用例所属的数据交互流程节点。

待测试数据表格中可有多个测试用例，则可通过遍历待测试数据表格的方式逐一执行测试用例，能够防止遗漏，以全面性执行所有的测试用例。每个测试用例会对应有不同的数据交互流程节点。数据交互流程节点是指在数据交互流程中用于实现特定业务功能的节点。以金融交易系统为例，数据交互流程节点包括但不限于交易订单下达节点、交易金额交付节点、交易查询节点、交易撤销节点等。在不同的数据交互流程节点会需要生成不同的数据交互报文以访问待测试应用系统实现不同的业务功能。

在一个实施例中，可基于测试用例中输入数据或预期响应结果中包含的输入参数或输出参数对应的参数字段，来识别测试用例所属的数据交互流程节点。比如，当输入数据包含订单号字段、支付金额字段及支付账号字段时，可判定测试用例属于交易金额交付节点，则该测试用例中的输入数据可用于生成在交易金额交付节点的数据交互报文。

步骤208，查找与所确定的数据交互流程节点对应的基础数据交互报文。

针对每个数据交互流程节点可预设对应的基础数据交互报文。基础数据报文可以是json(javascriptobjectnotation,一种轻量级的数据交换格式)格式或xml(一种可扩展标记语言)格式的报文，不限于此。在确定测试用例对应的数据交互流程节点之后，可根据识别出其所属的数据交互流程节点获取对应的基础数据交互报文。属于同一数据交互流程节点的多个测试用例，可共享同一个基础数据交互报文，从而能够降低维护测试用例的成本。

在一个实施例中，在查找与所确定的数据交互流程节点对应的基础数据交互报文之前，还包括：从待测试数据表格中选取待模拟的测试用例；根据待模拟的测试用例中包含的输入数据，调用模拟输入工具对待测试界面执行相应的输入操作；待测试界面包括系统标识对应的待测试应用系统中与数据交互流程节点对应的界面；抓取待测试应用系统基于输入操作生成的目标数据交互报文；对目标数据交互报文进行初始化处理，生成基础数据交互报文。

可随机从待测试数据表格中选取待模拟的测试用例。也可以识别每个测试用例所属的数据交互流程节点，当存在多种数据交互流程节点时，可从每种数据交互流程节点对应的多个测试用例中选取一个测试用例，以得到不同数据交互流程节点对应的基础数据报文。模拟输入工具是指用于模拟用户操作的自动化工具。模拟输入工具包括但不限于selenium(一种用于web应用程序测试的工具)等浏览器自动化测试框架。可基于模拟输入工具对待测试应用系统中所需测试的数据交互流程节点对应的待测试界面，模拟用户进行输入操作。比如模拟输入工具可从测试用例中提取输入数据，并填入待测试界面的相应的表单中，还可执行相应的点击操作及触控操作等。

可通过抓包工具预先设置断点位置，抓包工具包括但不限于fiddler、charles等。如图3a所示，断点位置可以是响应前断点位置300a。测试服务器304a在系统标识对应的待测试应用系统的前端系统302a发送目标数据交互报文之后，而在目标数据交互报文到达待测试应用系统的后台系统服务器306a之前的时候抓取目标数据交互报文。基础数据交互报文中可包含可替换字段或空白字段等其中一种或多种参数字段。目标数据报文中会包含待模拟的测试用例的输入数据，可在目标数据报文中将该些输入数据初始化为空白字段，或直接标记为可替换字段，从而生成基础数据交互报文。

步骤210，根据输入数据对基础数据交互报文进行加工处理，得到模拟数据交互报文。

基础数据交互报文中包含可替换字段，可基于测试用例的输入数据对该些可替换字段进行直接替换加工处理，还可以基于测试用例的输入数据进行换算之后再进行换算后加工处理，不限于此。经过加工处理的基础数据交互报文可作为模拟数据交互报文。模拟数据交互报文是指用于模拟经过用户输入操作得到的待测试应用系统的前端系统发送的数据交互报文。

步骤212，基于模拟数据交互报文和预期响应结果对系统标识对应的待测试应用系统进行测试。

在一个实施例中，基于模拟数据交互报文和预期响应结果对系统标识对应的待测试应用系统进行测试，包括：将模拟数据交互报文发送至系统标识对应的待测试应用系统的系统服务器；接收系统服务器返回的实际数据交互报文；实际数据交互报文经过系统服务器用于对模拟数据交互报文进行逻辑处理得到，实际交互报文中包含实际响应结果；当实际响应结果符合相应的测试用例中包含的预期响应结果时，则确定相应测试用例测试通过。

生成的模拟数据交互报文可用于模拟待测试应用系统的前端系统发送的数据交互报文。在发送至测试应用系统的后台系统服务器之后，系统服务器可基于模拟数据交互报文进行逻辑处理，从而能够得到实际响应结果，并根据实际响应结果生成实际数据交互报文。以数据交互流程节点为交易查询节点举例来说，当输入数据可包括用户标识、销售渠道、产品类型等输入参数时，系统服务器可根据模拟数据交互报文进行交易查询，预期响应结果可包括交易数量及查询时间等输出参数。当实际响应结果中的交易数量及查询时间与测试用例中包含的预期响应结果中的交易数据及查询时间一致时，则测试用例测试通过。

在一个实施例中，可通过抓包工具预先设置断点位置，如图3b所示，断点位置可以是响应后断点位置300b。测试服务器304b在系统标识对应的待测试应用系统的后台系统服务器306b发送实际数据交互报文之后，而在实际数据交互报文到达待测试应用系统的前端系统302b之前的时候抓取实际数据交互报文。

上述系统测试方法中，测试服务器获取到携带系统标识的系统测试请求之后，获取预先配置的包含测试用例的待测试数据表格。测试服务器通过遍历待测试数据表格，识别测试用例所属的数据交互流程节点，从而能够查找与所确定的数据交互流程节点对应的基础数据交互报文。测试服务器可基于测试用例的输入数据对基础数据交互报文进行加工处理，自动化生成模拟数据交互报文。测试服务器基于模拟数据交互报文和预期响应结果对系统标识对应的待测试应用系统进行测试。通过待测试数据表格来管理系统测试的源数据，且通过同一数据交互流程节点的多个测试用例共享基础数据交互报文，能够降低维护测试用例的成本，从而有效缩短准备测试用例的时间，提高对应用系统的测试效率。

在一个实施例中，根据输入数据对基础数据交互报文进行加工处理，得到模拟数据交互报文，包括：读取输入数据中的多个目标输入参数；解析基础数据交互报文，得到解析后的基础数据交互报文；从解析后的基础数据交互报文中查找与每个目标输入参数对应的待替换输入参数；将解析后的基础数据交互报文中的待替换输入参数替换为对应的目标输入参数，得到模拟数据交互报文。

目标输入参数是指执行测试用例时用于生成模拟数据交互报文的输入参数。比如金融交易系统的模拟数据报文的目标输入参数包括但不限于产品信息、交易渠道、客户信息、价格信息、交易时间等。可通过匹配的解析器解析基础数据报文，从而能够将解析后的基础数据交互报文中的待替换输入参数按一定的顺序直接替换为对应目标输入参数，生成模拟数据交互报文。

在一个实施例中，根据输入数据对基础数据交互报文进行加工处理，得到模拟数据交互报文，包括：查找与数据交互流程节点对应的换算策略；采用换算策略对输入数据进行计算，得到换算后的输入数据；根据测试用例所处的业务场景对输入数据采取对应的公式进行换算，得到换算后的输入数据；将换算后的输入数据替换至基础数据交互报文中，得到模拟数据交互报文。

除了直接对基础数据交互报文中的待替换输入参数进行直接替换，还可根据测试用例所处的业务场景对输入数据采取对应的公式进行换算，得到换算之后的输入数据进行替换。例如换算第n个a股交易日后的日期、调用证券的收盘价或者指数的权重等输入数据，还可以根据输入数据进行换算处理生成交易流水单号。金融交易系统的数据交换报文复杂性通常较大，可预先针对不同的业务场景设置针对输入数据的换算策略，从而能够智能化生成贴合实际需求的换算后的输入数据。

在一个实施例中，预期响应结果中包含多个预期输出参数，实际响应结果中包含多个实际输出参数；在接收系统服务器返回的实际数据交互报文之后，还包括：当存在任意一个实际输出参数与相应的预期输出参数不一致时，则确定相应测试用例测试失败；在待测试数据表格中标记出测试失败的测试用例中，实际输出参数与相应的预期输出参数不一致的异常输出参数；统计每种异常输出参数对应的测试失败的测试用例的失败数量；筛选出对应失败数量大于预设阈值的异常输出参数作为高风险输出参数。

通过将测试失败的测试用例筛选出来进行输出参数的统计分析，能够确定关联较多测试失败测试案例的高风险输出参数。开发人员能够根据与高风险输出参数关联的因素进行分析，比如说可对与高风险输出参数关联的高风险输入参数进行分析，从而能够对高风险输入参数进行优化。

在一个实施例中，可针对每个输入参数预先准备可选字段库，每个可选字段库中包含多个可选字段，可选字段还可以包括正常字段和异常字段；当要生成针对某个数据交互流程节点的测试用例时，确定该数据交互流程节点对应的输入数据包含的多个输入参数；可从每个确定的输入参数对应的可选字段库中选取一个可选字段作为测试字段，从而根据多个输入参数分别对应的测试字段，构成测试字段组合；将每个测试字段组合对应填入待测试数据表格中，作为相应的测试用例的输入数据。比如当有5个输入参数时，针对每个输入参数准备10个可选字段，则可生成100000种测试字段组合，100000个测试案例，从而减小准备待测试数据表格的工作量。

在一个实施例中，可以通过多测试环节的检测，并对检测到的运行状态进行记录在待测试数据表格，能够在测试失败时，及时确定测试案例的异常环节。比如，可以检测待测试应用系统的前端系统发送的目标数据交互报文时是否完整收集，可以检测基础数据交互报文是否加工处理成功，还可以检测模拟数据交互报文是否成功发送等，不限于此。通过在待测试数据表格中记录各个测试环节的运行状态，使得开发人员能够快速对运行异常的环节进行调整。

在一个实施例中，如图4所示，提供了另一种系统测试方法，以该方法应用于图1中的测试服务器104为例进行说明，包括以下步骤：

步骤402，获取系统测试请求；系统测试请求携带系统标识。

步骤404，获取待测试数据表格；待测试数据表格中包含测试用例，测试用例中包含输入数据和预期响应结果。

步骤406，从待测试数据表格中选取待模拟的测试用例。

步骤408，根据待模拟的测试用例中包含的输入数据，调用模拟输入工具对待测试界面执行相应的输入操作；待测试界面包括系统标识对应的待测试应用系统中与数据交互流程节点对应的界面。

步骤410，抓取待测试应用系统基于输入操作生成的目标数据交互报文。

步骤412，对目标数据交互报文进行初始化处理，生成基础数据交互报文。

步骤414，遍历待测试数据表格，识别测试用例所属的数据交互流程节点。

步骤416，查找与所确定的数据交互流程节点对应的基础数据交互报文。

步骤418，根据输入数据对基础数据交互报文进行加工处理，得到模拟数据交互报文。

步骤420，将模拟数据交互报文发送至系统标识对应的待测试应用系统的系统服务器。

步骤422，接收系统服务器返回的实际数据交互报文；实际数据交互报文经过系统服务器用于对模拟数据交互报文进行逻辑处理得到，实际交互报文中包含实际响应结果。

步骤424，当实际响应结果符合相应的测试用例中包含的预期响应结果时，则确定相应测试用例测试通过。

上述系统测试方法中，测试服务器获取到携带系统标识的系统测试请求之后，获取预先配置的包含测试用例的待测试数据表格。测试服务器通过调用模拟输入工具自动化生成基础数据交互报文。测试服务器通过遍历待测试数据表格，识别测试用例所属的数据交互流程节点，从而能够查找与所确定的数据交互流程节点对应的基础数据交互报文。测试服务器可基于测试用例的输入数据对基础数据交互报文进行加工处理，自动化生成模拟数据交互报文。测试服务器基于模拟数据交互报文和预期响应结果对系统标识对应的待测试应用系统进行测试。通过待测试数据表格来管理系统测试的源数据，且通过同一数据交互流程节点的多个测试用例共享自动化生成的基础数据交互报文，能够降低维护测试用例的成本，从而有效缩短准备测试用例的时间，提高对应用系统的测试效率。

应该理解的是，虽然图2和4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种系统测试装置500，包括：获取模块502，用于获取系统测试请求；系统测试请求携带系统标识；获取待测试数据表格；待测试数据表格中包含测试用例，测试用例中包含输入数据和预期响应结果；识别模块504，用于遍历待测试数据表格，识别测试用例所属的数据交互流程节点；查找模块506，用于查找与所确定的数据交互流程节点对应的基础数据交互报文；加工模块508，用于根据输入数据对基础数据交互报文进行加工处理，得到模拟数据交互报文；测试模块510，用于基于模拟数据交互报文和预期响应结果对系统标识对应的待测试应用系统进行测试。

在一个实施例中，加工模块508还用于读取输入数据中的多个目标输入参数；解析基础数据交互报文，得到解析后的基础数据交互报文；从解析后的基础数据交互报文中查找与每个目标输入参数对应的待替换输入参数；将解析后的基础数据交互报文中的待替换输入参数替换为对应的目标输入参数，得到模拟数据交互报文。

在一个实施例中，加工模块508还用于查找与数据交互流程节点对应的换算策略；采用换算策略对输入数据进行计算，得到换算后的输入数据；根据测试用例所处的业务场景对输入数据采取对应的公式进行换算，得到换算后的输入数据；将换算后的输入数据替换至基础数据交互报文中，得到模拟数据交互报文。

在一个实施例中，该装置还包括生成模块，用于从待测试数据表格中选取待模拟的测试用例；根据待模拟的测试用例中包含的输入数据，调用模拟输入工具对待测试界面执行相应的输入操作；待测试界面包括系统标识对应的待测试应用系统中与数据交互流程节点对应的界面；抓取待测试应用系统基于输入操作生成的目标数据交互报文；对目标数据交互报文进行初始化处理，生成基础数据交互报文。

在一个实施例中，测试模块510还用于将模拟数据交互报文发送至系统标识对应的待测试应用系统的系统服务器；接收系统服务器返回的实际数据交互报文；实际数据交互报文经过系统服务器用于对模拟数据交互报文进行逻辑处理得到，实际交互报文中包含实际响应结果；当实际响应结果符合相应的测试用例中包含的预期响应结果时，则确定相应测试用例测试通过。

在一个实施例中，预期响应结果中包含多个预期输出参数，实际响应结果中包含多个实际输出参数；该装置还包括风险模块，用于当存在任意一个实际输出参数与相应的预期输出参数不一致时，则确定相应测试用例测试失败；在待测试数据表格中标记出测试失败的测试用例中，实际输出参数与相应的预期输出参数不一致的异常输出参数；统计每种异常输出参数对应的测试失败的测试用例的失败数量；筛选出对应失败数量大于预设阈值的异常输出参数作为高风险输出参数。

关于系统测试装置的具体限定可以参见上文中对于系统测试方法的限定，在此不再赘述。上述系统测试装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待测试数据表格等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种系统测试方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了另一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述各个实施例中的系统测试方法的步骤。

在一个实施例中，提供了另一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个实施例中的系统测试方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。