自动化测试结果分析方法及装置与流程

1.本发明涉及大数据技术领域，尤其涉及一种自动化测试结果分析方法及装置。


背景技术：

2.本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
3.端到端测试是将应用程序与其依赖的系统一起进行测试，确保在使用网络后，前后端程序能顺畅交互，从而保证业务上实现闭环，确保满足客户的使用需求，也可以帮助发现系统相关的问题。因此，端到端测试与单元测试和接口测试的侧重点不同，端到端测试更重视软件提供的对客功能是否符合需求，对测试结果的分析主要集中在业务功能这一维度，但是，现有的自动化测试结果分析方法较为片面，分析结果不准确，难以直观反映软件在业务功能维度测试的充分程度，无法通过分析结果跟踪端到端测试中遗漏或测试不充分的业务功能，也无法得到准确的端到端测试的测试质量和软件产品的健康状况。


技术实现要素：

4.本发明实施例提供一种自动化测试结果分析方法，用以提高对自动化测试结果分析的全面性和准确性，进而使得可以根据分析结果直观反映软件在业务功能维度测试的充分程度，并通过分析结果跟踪端到端测试中遗漏或测试不充分的业务功能，得到准确的端到端测试的测试质量和软件产品的健康状况，该方法包括：
5.获取待测试软件的测试需求文件和测试脚本；所述测试需求文件包括需要测试的多个第一业务功能的标识，所述测试脚本包括多个测试案例，每一测试案例携带有测试的第二业务功能的标识；
6.执行待测试软件的测试脚本，得到待测试软件的测试结果；所述测试结果包括每一测试案例的测试结果，每一测试案例的测试结果携带有第二业务功能的标识；
7.根据多个第一业务功能的标识、每一测试案例的测试结果携带的第二业务功能的标识和预设的第一测试结果分析指标，计算待测试软件的第一测试结果分析指标对应的指标值，其中，所述第一测试结果分析指标为待测试软件的业务功能总体分析指标；
8.根据每一测试案例的测试结果携带的第二业务功能的标识、每一测试案例的测试结果和预设的第二测试结果分析指标，计算每一第二业务功能的第二测试结果分析指标对应的指标值；其中，所述第二测试结果分析指标为待测试软件中单个业务功能的分析指标；
9.根据待测试软件的第一测试结果分析指标对应的指标值，和每一第二业务功能的第二测试结果分析指标对应的指标值，确定待测试软件的自动化测试分析结果。
10.本发明实施例还提供一种自动化测试结果分析装置，用以提高对自动化测试结果分析的全面性和准确性，进而使得可以根据分析结果直观反映软件在业务功能维度测试的充分程度，并通过分析结果跟踪端到端测试中遗漏或测试不充分的业务功能，得到准确的端到端测试的测试质量和软件产品的健康状况，该装置包括：
11.获取模块，用于获取待测试软件的测试需求文件和测试脚本；所述测试需求文件包括需要测试的多个第一业务功能的标识，所述测试脚本包括多个测试案例，每一测试案例携带有测试的第二业务功能的标识；
12.执行模块，用于执行待测试软件的测试脚本，得到待测试软件的测试结果；所述测试结果包括每一测试案例的测试结果，每一测试案例的测试结果携带有第二业务功能的标识；
13.第一处理模块，用于根据多个第一业务功能的标识、每一测试案例的测试结果携带的第二业务功能的标识和预设的第一测试结果分析指标，计算待测试软件的第一测试结果分析指标对应的指标值，其中，所述第一测试结果分析指标为待测试软件的业务功能总体分析指标；
14.第二处理模块，用于根据每一测试案例的测试结果携带的第二业务功能的标识、每一测试案例的测试结果和预设的第二测试结果分析指标，计算每一第二业务功能的第二测试结果分析指标对应的指标值；其中，所述第二测试结果分析指标为待测试软件中单个业务功能的分析指标；
15.结果确定模块，用于根据待测试软件的第一测试结果分析指标对应的指标值，和每一第二业务功能的第二测试结果分析指标对应的指标值，确定待测试软件的自动化测试分析结果。
16.本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述自动化测试结果分析方法。
17.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述自动化测试结果分析方法。
18.本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述自动化测试结果分析方法。
19.本发明实施例中，获取待测试软件的测试需求文件和测试脚本；所述测试需求文件包括需要测试的多个第一业务功能的标识，所述测试脚本包括多个测试案例，每一测试案例携带有测试的第二业务功能的标识；执行待测试软件的测试脚本，得到待测试软件的测试结果；所述测试结果包括每一测试案例的测试结果，每一测试案例的测试结果携带有第二业务功能的标识；根据多个第一业务功能的标识、每一测试案例的测试结果携带的第二业务功能的标识和预设的第一测试结果分析指标，计算待测试软件的第一测试结果分析指标对应的指标值，其中，所述第一测试结果分析指标为待测试软件的业务功能总体分析指标；根据每一测试案例的测试结果携带的第二业务功能的标识、每一测试案例的测试结果和预设的第二测试结果分析指标，计算每一第二业务功能的第二测试结果分析指标对应的指标值；其中，所述第二测试结果分析指标为待测试软件中单个业务功能的分析指标；根据待测试软件的第一测试结果分析指标对应的指标值，和每一第二业务功能的第二测试结果分析指标对应的指标值，确定待测试软件的自动化测试分析结果。与现有的自动化测试结果分析的技术方案相比，通过业务功能，将待测试软件的测试需求文件、测试脚本中的测试案例、每一测试案例的测试结果关联起来，从软件的业务功能总体层面和单个业务功能层面对自动化测试结果进行分析，从而可以提高对自动化测试结果分析的全面性和准确
性，进而使得可以根据分析结果直观反映软件在业务功能维度测试的充分程度，并通过分析结果跟踪端到端测试中遗漏或测试不充分的业务功能，得到准确的端到端测试的测试质量和软件产品的健康状况。
附图说明
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
21.图1为本发明实施例中提供的一种自动化测试结果分析方法的流程图；
22.图2为本发明实施例中提供的一种计算待测试软件的第一测试结果分析指标对应的指标值的方法流程图；
23.图3为本发明实施例中提供的一种自动化测试结果分析装置的示意图；
24.图4为本发明实施例中提供的自动化测试结果分析方法的示例图；
25.图5为本发明实施例中提供的一种计算机设备的示意图。
具体实施方式
26.为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
27.在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本技术的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
28.经研究发现，端到端测试是将应用程序与其依赖的系统一起进行测试，确保在使用网络后，前后端程序能顺畅交互，从而保证业务上实现闭环，确保满足客户的使用需求，也可以帮助发现系统相关的问题。因此，端到端测试与单元测试和接口测试的侧重点不同，端到端测试更重视软件提供的对客功能是否符合需求，对测试结果的分析主要集中在业务功能这一维度。但是，现有的自动化测试结果分析方法较为片面，分析结果不准确，难以直观反映软件在业务功能维度测试的充分程度，无法通过分析结果跟踪端到端测试中遗漏或测试不充分的业务功能，也无法得到准确的端到端测试的测试质量和软件产品的健康状况。
29.针对上述研究，本发明实施例提供了一种自动化测试结果分析方案，以提高对自动化测试结果分析的全面性和准确性，进而使得可以根据分析结果直观反映软件在业务功能维度测试的充分程度，并通过分析结果跟踪端到端测试中遗漏或测试不充分的业务功能，得到准确的端到端测试的测试质量和软件产品的健康状况。
30.如图1所示，为本发明实施例提供的一种自动化测试结果分析方法的流程图，该方法可以包括以下步骤：
31.步骤101，获取待测试软件的测试需求文件和测试脚本；所述测试需求文件包括需要测试的多个第一业务功能的标识，所述测试脚本包括多个测试案例，每一测试案例携带有测试的第二业务功能的标识；
32.步骤102，执行待测试软件的测试脚本，得到待测试软件的测试结果；所述测试结果包括每一测试案例的测试结果，每一测试案例的测试结果携带有第二业务功能的标识；
33.步骤103，根据多个第一业务功能的标识、每一测试案例的测试结果携带的第二业务功能的标识和预设的第一测试结果分析指标，计算待测试软件的第一测试结果分析指标对应的指标值，其中，所述第一测试结果分析指标为待测试软件的业务功能总体分析指标；
34.步骤104，根据每一测试案例的测试结果携带的第二业务功能的标识、每一测试案例的测试结果和预设的第二测试结果分析指标，计算每一第二业务功能的第二测试结果分析指标对应的指标值；其中，所述第二测试结果分析指标为待测试软件中单个业务功能的分析指标；
35.步骤105，根据待测试软件的第一测试结果分析指标对应的指标值，和每一第二业务功能的第二测试结果分析指标对应的指标值，确定待测试软件的自动化测试分析结果。
36.本发明实施例中，获取待测试软件的测试需求文件和测试脚本；所述测试需求文件包括需要测试的多个第一业务功能的标识，所述测试脚本包括多个测试案例，每一测试案例携带有测试的第二业务功能的标识；执行待测试软件的测试脚本，得到待测试软件的测试结果；所述测试结果包括每一测试案例的测试结果，每一测试案例的测试结果携带有第二业务功能的标识；根据多个第一业务功能的标识、每一测试案例的测试结果携带的第二业务功能的标识和预设的第一测试结果分析指标，计算待测试软件的第一测试结果分析指标对应的指标值，其中，所述第一测试结果分析指标为待测试软件的业务功能总体分析指标；根据每一测试案例的测试结果携带的第二业务功能的标识、每一测试案例的测试结果和预设的第二测试结果分析指标，计算每一第二业务功能的第二测试结果分析指标对应的指标值；其中，所述第二测试结果分析指标为待测试软件中单个业务功能的分析指标；根据待测试软件的第一测试结果分析指标对应的指标值，和每一第二业务功能的第二测试结果分析指标对应的指标值，确定待测试软件的自动化测试分析结果。与现有的自动化测试结果分析的技术方案相比，通过业务功能，将待测试软件的测试需求文件、测试脚本中的测试案例、每一测试案例的测试结果关联起来，从软件的业务功能总体层面和单个业务功能层面对自动化测试结果进行分析，从而可以提高对自动化测试结果分析的全面性和准确性，进而使得可以根据分析结果直观反映软件在业务功能维度测试的充分程度，并通过分析结果跟踪端到端测试中遗漏或测试不充分的业务功能，得到准确的端到端测试的测试质量和软件产品的健康状况。
37.下面对图1所示的自动化测试结果分析方法进行详细的说明。
38.在上述步骤101中，测试人员可以预先编写待测试软件的测试需求文件，和待测试软件的测试脚本。其中，测试需求文件可以包括需要测试的多个第一业务功能的标识；测试脚本中可以包括多个测试案例，为了便于后期对测试结果的分析，可以预先建立测试案例和业务功能的映射关系，即每一测试案例携带有测试的第二业务功能的标识。
39.在上述步骤102中，可以执行待测试软件的测试脚本，得到待测试软件的测试结果。
40.具体实施时，待测试软件的测试结果中可以包括每一测试案例的测试结果；由于每一测试案例携带有测试的第二业务功能的标识，那么，每一测试案例的测试结果中也携带有第二业务功能的标识。
41.在上述步骤103中，可以根据多个第一业务功能的标识、每一测试案例的测试结果携带的第二业务功能的标识和预设的第一测试结果分析指标，计算待测试软件的第一测试结果分析指标对应的指标值。
42.其中，上述第一测试结果分析指标为待测试软件的业务功能总体分析指标。
43.本发明实施例中，由于第一测试结果分析指标是从待测试软件的业务功能总体进行的，因此，上述第一测试结果分析指标可以包括：业务功能覆盖率。
44.本发明实施例中，如图2所示，可以通过以下方式计算业务功能覆盖率的指标值：
45.步骤201，根据每一测试案例的测试结果携带的第二业务功能的标识，确定已测试的第二业务功能的标识；
46.步骤202，根据已测试的第二业务功能的标识和多个第一业务功能的标识，计算待测试软件的业务功能覆盖率对应的指标值。
47.具体实施时，根据每一测试案例的测试结果携带的第二业务功能的标识，可以确定已经测试的业务功能的标识(即已测试的第二业务功能的标识)，然后，将测试需求文件中需要测试的多个第一业务功能的标识与每一测试案例的测试结果携带的第二业务功能的标识进行对比计算，可以得到待测试软件测试后的业务功能的覆盖率，这样，根据待测试软件测试后的业务功能的覆盖率，可以了解到对待测试软件的业务功能测试的充分性，避免在端到端测试中遗漏某些业务功能的测试。
48.在上述步骤104中，可以根据每一测试案例的测试结果携带的第二业务功能的标识、每一测试案例的测试结果和预设的第二测试结果分析指标，计算每一第二业务功能的第二测试结果分析指标对应的指标值。
49.其中，上述第二测试结果分析指标可以为待测试软件中单个业务功能的分析指标。
50.本发明实施例中，上述第二测试结果分析指标可以包括如下至少一项：
51.测试案例的数目、测试案例的执行成功率、测试耗时、代码覆盖率。
52.具体实施时，可以根据每一测试案例的测试结果携带的第二业务功能的标识，先对每一测试案例的测试结果进行分类；然后，统计同一第二业务功能的测试案例的测试结果的数量，进而得到每一第二业务功能的测试案例的数目的指标值；由于每一测试案例的测试结果可以是成功或失败，因此，可以根据同一第二业务功能的测试案例的测试结果，计算每一第二业务功能的测试案例的执行成功率的指标值；每一测试案例的测试结果还可以包括测试耗时信息，对同一第二业务功能的测试案例的测试结果中测试耗时信息进行叠加计算，可以得到每一第二业务功能的测试耗时的指标值；还可以根据同一第二业务功能的测试案例的测试结果中的源代码被测试的比例和程度，计算每一第二业务功能的代码覆盖率的指标值。
53.这样，通过上述第二测试结果分析指标的指标值，可以确定对待测试软件的每一
业务功能测试的充分程度，进而可以确定端到端测试的测试质量和软件产品的健康状况。
54.在上述步骤105中，可以直接根据待测试软件的第一测试结果分析指标对应的指标值，和每一第二业务功能的第二测试结果分析指标对应的指标值，得到待测试软件的自动化测试分析结果，即将第一测试结果分析指标对应的指标值，和每一第二业务功能的第二测试结果分析指标对应的指标值，作为待测试软件的自动化测试分析结果。
55.本发明实施例中，上述步骤105，具体可以包括：
56.将待测试软件的第一测试结果分析指标对应的指标值和每一第二业务功能的第二测试结果分析指标对应的指标值，与预先设置的每一测试结果分析指标的标准指标值进行对比，根据对比结果确定待测试软件的自动化测试分析结果。
57.具体实施时，还可以将每一测试结果分析指标的对比结果以柱状图、折线图或扇形图的形式直观地展示给测试人员，便于测试人员了解待测试软件的自动化测试分析结果。
58.本发明实施例中还提供了一种自动化测试结果分析装置，如下面的实施例所述。由于该装置解决问题的原理与自动化测试结果分析方法相似，因此该装置的实施可以参见自动化测试结果分析方法的实施，重复之处不再赘述。
59.如图3所示，为本发明实施例提供的一种自动化测试结果分析装置的示意图，该装置可以包括：
60.获取模块301，用于获取待测试软件的测试需求文件和测试脚本；所述测试需求文件包括需要测试的多个第一业务功能的标识，所述测试脚本包括多个测试案例，每一测试案例携带有测试的第二业务功能的标识；
61.执行模块302，用于执行待测试软件的测试脚本，得到待测试软件的测试结果；所述测试结果包括每一测试案例的测试结果，每一测试案例的测试结果携带有第二业务功能的标识；
62.第一处理模块303，用于根据多个第一业务功能的标识、每一测试案例的测试结果携带的第二业务功能的标识和预设的第一测试结果分析指标，计算待测试软件的第一测试结果分析指标对应的指标值，其中，所述第一测试结果分析指标为待测试软件的业务功能总体分析指标；
63.第二处理模块304，用于根据每一测试案例的测试结果携带的第二业务功能的标识、每一测试案例的测试结果和预设的第二测试结果分析指标，计算每一第二业务功能的第二测试结果分析指标对应的指标值；其中，所述第二测试结果分析指标为待测试软件中单个业务功能的分析指标；
64.结果确定模块305，用于根据待测试软件的第一测试结果分析指标对应的指标值，和每一第二业务功能的第二测试结果分析指标对应的指标值，确定待测试软件的自动化测试分析结果。
65.本发明实施例中，所述第一测试结果分析指标可以包括：业务功能覆盖率。
66.本发明实施例中，第一处理模块，具体可以用于：
67.根据每一测试案例的测试结果携带的第二业务功能的标识，确定已测试的第二业务功能的标识；
68.根据已测试的第二业务功能的标识和多个第一业务功能的标识，计算待测试软件
的业务功能覆盖率对应的指标值。
69.本发明实施例中，所述第二测试结果分析指标可以包括如下至少一项：
70.测试案例的数目、测试案例的执行成功率、测试耗时、代码覆盖率。
71.本发明实施例中，结果确定模块，具体可以用于：
72.将待测试软件的第一测试结果分析指标对应的指标值和每一第二业务功能的第二测试结果分析指标对应的指标值，与预先设置的每一测试结果分析指标的标准指标值进行对比，根据对比结果确定待测试软件的自动化测试分析结果。
73.为了便于对上述自动化测试结果分析方法及装置的理解，下面以一个具体的示例进行说明。
74.图4为本发明实施例提供的自动化测试结果分析方法的示例图，如图4所示，包括：
75.测试分析模块：识别测试大纲(测试需求文件)中涵盖的业务功能(多个第一业务功能)并存储。
76.测试脚本编写模块：编写测试脚本，支持在脚本中具体的测试案例上标注该案例对应的业务功能(每一测试案例携带有测试的第二业务功能的标识)。
77.需要说明的是，上述测试分析模块和测试脚本编写模块可以构成本发明实施例中的获取模块301。
78.测试脚本执行模块：从测试脚本编写模块获取脚本，识别案例中的业务功能，执行脚本，记录各案例执行结果及其对应的功能记录(每一测试案例的测试结果中携带有第二业务功能的标识)。该测试脚本执行模块相当于本发明实施例中的执行模块302。
79.测试指标计算模块：从测试分析模块获取分析阶段识别的业务功能；从测试脚本执行模块获取测试结果；结合测试分析阶段识别的业务功能与实际的测试结果，计算各项与业务功能相关的测试指标(第一测试结果分析指标对应的指标值，和每一第二业务功能的第二测试结果分析指标对应的指标值)。该测试指标计算模块相当于本发明实施例中的第一处理模块303和第二处理模块304。
80.自动化测试仪表盘：将测试指标展示在仪表盘。自动化测试仪表盘相当于本发明实施例中的结果确定模块305。
81.本发明实施例还提供一种计算机设备，如图5所示，为本发明实施例中计算机设备的示意图，所述计算机设备500包括存储器510、处理器520及存储在存储器510上并可在处理器520上运行的计算机程序530，所述处理520执行所述计算机程序530时实现上述自动化测试结果分析方法。
82.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述自动化测试结果分析方法。
83.本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述自动化测试结果分析方法。
84.本发明实施例中，获取待测试软件的测试需求文件和测试脚本；所述测试需求文件包括需要测试的多个第一业务功能的标识，所述测试脚本包括多个测试案例，每一测试案例携带有测试的第二业务功能的标识；执行待测试软件的测试脚本，得到待测试软件的测试结果；所述测试结果包括每一测试案例的测试结果，每一测试案例的测试结果携带有第二业务功能的标识；根据多个第一业务功能的标识、每一测试案例的测试结果携带的第
二业务功能的标识和预设的第一测试结果分析指标，计算待测试软件的第一测试结果分析指标对应的指标值，其中，所述第一测试结果分析指标为待测试软件的业务功能总体分析指标；根据每一测试案例的测试结果携带的第二业务功能的标识、每一测试案例的测试结果和预设的第二测试结果分析指标，计算每一第二业务功能的第二测试结果分析指标对应的指标值；其中，所述第二测试结果分析指标为待测试软件中单个业务功能的分析指标；根据待测试软件的第一测试结果分析指标对应的指标值，和每一第二业务功能的第二测试结果分析指标对应的指标值，确定待测试软件的自动化测试分析结果。与现有的自动化测试结果分析的技术方案相比，通过业务功能，将待测试软件的测试需求文件、测试脚本中的测试案例、每一测试案例的测试结果关联起来，从软件的业务功能总体层面和单个业务功能层面对自动化测试结果进行分析，从而可以提高对自动化测试结果分析的全面性和准确性，进而使得可以根据分析结果直观反映软件在业务功能维度测试的充分程度，并通过分析结果跟踪端到端测试中遗漏或测试不充分的业务功能，得到准确的端到端测试的测试质量和软件产品的健康状况。
85.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
86.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
87.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
88.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
89.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。