应用程序的性能测试方法、装置、设备及产品与流程

1.本公开涉及计算机技术领域，尤其涉及系统测试、数据分析技术领域，具体涉及一种应用程序的性能测试方法、装置、设备及产品。


背景技术：

2.随着网络信息技术的快速发展，各应用程序的版本更新速度也不断加快，如何准确、快速对个版本应用程序进行性能测试是影响版本更新速度的重要因素。
3.现有技术中应用程序的性能测试方法主要有依赖人工获取执行时长、屏幕录制及视频分帧、历史数据分析等的测试方法，但上述测试方法测试效率较低、测试误差大且测试稳定性较差。
4.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本公开提供了一种用于应用程序的性能测试方法、装置、设备及产品。
6.根据本公开的一方面，提供了一种应用程序的性能测试方法，包括：对测试设备上运行的应用程序进行埋点处理，得到与上述测试设备对应的埋点数据；根据上述埋点数据确定上述测试设备在每个执行阶段的测试耗时数据，其中，每个性能测试过程包括：多个上述执行阶段；根据上述测试耗时数据在上述测试设备上对不同开发版本的应用程序进行比对分析，得到比对分析结果；根据上述比对分析结果确定不同发布版本的上述应用程序在每个上述执行阶段的性能波动数据。
7.根据本公开的另一方面，提供了一种应用程序的性能测试装置，包括：第一获取模块，用于对测试设备上运行的应用程序进行埋点处理，得到与上述测试设备对应的埋点数据；第一确定模块，用于根据上述埋点数据确定上述测试设备在每个执行阶段的测试耗时数据，其中，每个性能测试过程包括：多个上述执行阶段；分析模块，用于根据上述测试耗时数据在上述测试设备上对不同开发版本的应用程序进行比对分析，得到比对分析结果；第二确定模块，用于根据上述比对分析结果确定不同发布版本的上述应用程序在每个上述执行阶段的性能波动数据。
8.根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行任一项上述的应用程序的性能测试方法。
9.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行任一项上述的应用程序的性能测试方法。
10.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现任一项上述的应用程序的性能测试方法。
11.根据本公开的另一方面，提供了一种应用程序的性能测试产品，包括如上述的电子设备。
12.在本公开实施例中，通过对测试设备上运行的应用程序进行埋点处理，得到与上述测试设备对应的埋点数据；根据上述埋点数据确定上述测试设备在每个执行阶段的测试耗时数据，其中，每个性能测试过程包括：多个上述执行阶段；根据上述测试耗时数据在上述测试设备上对不同开发版本的应用程序进行比对分析，得到比对分析结果；根据上述比对分析结果确定不同发布版本的上述应用程序在每个上述执行阶段的性能波动数据，达到了准确获取不同版本的应用程序在每个执行阶段的性能波动数据的目的，从而实现了提升应用程序的性能测试效率和测试稳定性，降低测试误差的技术效果，进而解决了由于现有技术中的应用程序的性能测试方法存在的测试效率低、误差大且测试稳定性差的技术问题。
13.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
14.附图用于更好地理解本方案，不构成对本公开的限定。其中：
15.图1是根据本公开第一实施例的应用程序的性能测试方法的流程图；
16.图2是根据本公开第一实施例的一种可选的应用程序的性能测试方法的流程图；
17.图3是根据本公开第一实施例的另一种可选的应用程序的性能测试方法的流程图；
18.图4是根据本公开第一实施例的一种可选的性能波动曲线的示意图；
19.图5是根据本公开第一实施例的另一种可选的应用程序的性能测试方法的流程图；
20.图6是根据本公开第二实施例的应用程序的性能测试装置的结构示意图；
21.图7是用来实现本公开第三实施例的应用程序的性能测试方法的电子设备的框图。
具体实施方式
22.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
23.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
24.实施例1
25.现有技术中主要有以下几种应用程序的性能测试方法：
26.例如，通过秒表的模式，记录测试环节的执行起点时间和执行结束时间，计算阶段性性能的总耗时，上述过程需依赖于人工测试以及测试人员的反应速度，在短执行时长情况下获取的时间误差较大。
27.又如，基于执行过程的执行录屏，即在执行完成后对页面有变化的视频拆分成帧间的图片，进行阶段起始的选定，完成选定阶段的时间统计，该方法中图像起始过程的变化依赖用户界面ui的变化，在ui发生变化的情况下才能完成，如果用户页面的变化不是明显的ui变化，是无法完成对应性能的分析；此外，起始图像的标注依然有视觉分析的图像对比误差，模型准确度等因素也会影响测试结果的精确度。
28.再如，基于线上用户埋点统计过程的性能分析，即通过收集所有用户线上的埋点数据，整合分析性能变化，该分析过程是滞后的，需要先让用户使用才能完成数据收集，问题会先暴露后解决，并且用户设备的使用情况和环境不是稳定的环境，而且特定用户的数据收集后需要的时间比较长依赖用户使用应用程序app的时长的频率，无法保证特定用户的性能波动能稳定获取。
29.此外还需要说明的是，现有技术中通用客户端的测试关注的是fps帧率、cpu占用、内存、流量、电量等硬件层面的性能，没有涵盖某个过程的全部叠加后的耗时分析，用户的整体等待时间是各个能力叠加的综合结果。
30.基于上述问题，本公开实施例提供了一种应用程序的性能测试方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
31.图1是根据本公开第一实施例的应用程序的性能测试方法的流程图，如图1所示，该方法包括如下步骤：
32.步骤s102，对测试设备上运行的应用程序进行埋点处理，得到与上述测试设备对应的埋点数据；
33.步骤s104，根据上述埋点数据确定上述测试设备在每个执行阶段的测试耗时数据；
34.步骤s106，根据上述测试耗时数据在上述测试设备上对不同开发版本的应用程序进行比对分析，得到比对分析结果；
35.步骤s108，根据上述比对分析结果确定不同发布版本的上述应用程序在每个上述执行阶段的性能波动数据。
36.可选的，采用预先获取到的埋点程序对上述测试设备上运行的上述应用程序进行埋点处理，得到上述埋点数据。可以但不限于采用计算机设备上开发的应用程序中的文本编辑器或ide开发工具对测试设备上运行的应用程序进行埋点处理。
37.可选的，上述埋点处理用于记录当前程序行对应的当前系统时间，并请求服务端将当前系统时间和标记阶段的字段发送至服务端，通过服务器记录上述当前系统时间和标记阶段。
38.可选的，上述性能测试过程可以但不限于包括应用程序启动过程、应用程序开屏
广告弹窗请求过程、信息流feed页面刷新过程，等等。
39.可选的，每个性能测试过程包括：多个上述执行阶段，以性能测试过程为信息流feed刷新为例，一次页面刷新可以拆分为以下几个执行阶段：开始、参数组建、发送请求、收到答复、数据解析、图片加载、图片渲染、结束。
40.可选的，上述不同开发版本的应用程序包括：历史开发版本的应用程序、当前正在使用版本的应用程序以及待更新版本的应用程序。
41.可选的，上述性能波动数据可以但不限于指示多个版本的应用程序的页面加载性能的变化波动趋势。
42.在本公开实施例中，通过对测试设备上运行的应用程序进行埋点处理，得到与上述测试设备对应的埋点数据；根据上述埋点数据确定上述测试设备在每个执行阶段的测试耗时数据，其中，每个性能测试过程包括：多个上述执行阶段；根据上述测试耗时数据在上述测试设备上对不同开发版本的应用程序进行比对分析，得到比对分析结果；根据上述比对分析结果确定不同发布版本的上述应用程序在每个上述执行阶段的性能波动数据，达到了准确获取不同版本的应用程序在每个执行阶段的性能波动数据的目的，从而实现了提升应用程序的性能测试效率和测试稳定性，降低测试误差的技术效果，进而解决了由于现有技术中的应用程序的性能测试方法存在的测试效率低、误差大且测试稳定性差的技术问题。
43.作为一种可选的实施例，采用预先获取到的埋点程序对测试设备上运行的应用程序进行埋点处理，得到上述埋点数据；根据上述埋点数据确定上述测试设备在每个执行阶段的测试耗时数据；根据上述测试耗时数据在上述测试设备上对不同开发版本(如历史版本、当前版本以及待更新版本)的应用程序进行比对分析，得到比对分析结果；根据上述比对分析结果确定不同发布版本的上述应用程序在每个上述执行阶段的性能波动数据，以指示多个版本的应用程序的页面加载性能的变化波动趋势。
44.在一种可选的实施例中，在上述对测试设备上运行的应用程序进行埋点处理，得到与上述测试设备对应的埋点数据之前，上述方法还包括：
45.步骤s202，确定与上述执行阶段相关的关键时间点；
46.步骤s204，在上述应用程序的开发过程中，在上述关键时间点将埋点程序写入上述应用程序。
47.可选的，每个性能测试过程包括多个执行阶段，以性能测试过程为信息流feed刷新为例，一次页面刷新可以拆分为以下几个执行阶段：开始、参数组建、发送请求、收到答复、数据解析、图片加载、图片渲染、结束。
48.需要说明的是，在开发阶段，确定与执行阶段相关的关键时间点(如开始时间点和结束时间点)，在应用程序的开发过程中，在上述关键时间点将埋点程序写入上述应用程序，为进入测试后，进一步得到与上述测试设备对应的埋点数据做准备；其中，上述开发阶段为代码的书写阶段，在此阶段将埋点程序写入应用程序；上述测试阶段为验证测试效果(也相当于验证应用程序的效果)的阶段，在此阶段应用程序不再发生改动。
49.在一种可选的实施例中，上述对测试设备上运行的应用程序进行埋点处理，得到与上述测试设备对应的埋点数据，包括：
50.步骤s302，采用上述埋点程序对上述测试设备上运行的上述应用程序进行埋点处
理，得到上述埋点数据。
51.可选的，将上述埋点程序的所有执行阶段的开始时间点和结束时间点记录为上述埋点数据。
52.需要说明的是，通过采用上述埋点程序对上述测试设备上运行的上述应用程序进行埋点处理，得到上述埋点数据的方式，可以达到精确获取所有执行阶段的开始时间点和结束时间点的目的。
53.在一种可选的实施例中,上述采用上述埋点程序对上述测试设备上运行的上述应用程序进行埋点处理，得到上述埋点数据，包括：
54.步骤s402，采用上述埋点程序获取在每个上述执行阶段的启动函数入口处记录的上述开始时间点；以及获取在每个上述执行阶段的结束函数出口处记录的上述结束时间点；
55.步骤s404，获取上述测试设备在执行上述性能测试过程的所有上述执行阶段；
56.步骤s406，将所有上述执行阶段对应的上述开始时间点和上述结束时间点，记录为上述埋点数据。
57.可选的，将每个执行阶段的第一行代码对应的位置作为每个执行阶段的开始位置(即上述执行阶段的启动函数入口处添加的第一行代码)，将上述开始位置对应的时间作为开始时间点，获取并记录上述开始位置对应的当前系统时间的代码；将每个执行阶段的最后行代码对应的位置作为每个执行阶段的结束位置(即上述执行阶段的启动函数入口处添加的最后一行代码)，将上述结束位置对应的时间作为结束时间点，获取并记录上述结束位置对应的当前系统时间的代码。
58.需要说明的是，不同的执行阶段对应不同的函数，例如，阶段开始对应的函数可以为init函数；参数组装对应的函数可以为makeparame函数；发送请求对应的的函数可以为sendrequest函数，等等，不同的函数分别对应不同的启动函数和结束函数。
59.仍需要说明的是，每个性能测试过程包括多个执行阶段，通过获取上述测试设备在执行上述性能测试过程的所有上述执行阶段，将所有上述执行阶段对应的上述开始时间点和上述结束时间点，记录为上述埋点数据的方式，可以得到每一个执行阶段对应的埋点数据，基于多个执行阶段的埋点数据，可以进一步得到每个执行阶段的测试性能，进而可以更加详细、精确地得到应用程序在每个执行阶段的测试性能，得到更加准确的测试结果。
60.在一种可选的实施例中，图2是根据本公开第一实施例的一种可选的应用程序的性能测试方法的流程图，如图2所示，上述根据上述埋点数据确定上述测试设备在每个执行阶段的测试耗时数据，包括：
61.步骤s502，根据所有上述执行阶段对应的上述开始时间点和上述结束时间点，得到每个上述执行阶段的执行耗时；
62.步骤s504，通过多次执行每个上述执行阶段，得到每个上述执行阶段对应的多个上述执行耗时；
63.步骤s506，将每个上述执行阶段对应的多个上述执行耗时进行打包存储，得到上述测试耗时数据，其中，上述测试设备用于采用异步线程将上述得到上述测试耗时数据发送至服务端。
64.可选的，上述方法可以但不限于应用于以下场景：启动时长、从开屏广告弹窗请求
到返回当前渲染画面的时长、目标页面刷新时长，等等。以性能测试过程为信息流feed刷新为例，一次页面刷新可以拆分为以下几个执行阶段：开始、参数组建、发送请求、收到答复、数据解析、图片加载、图片渲染、结束，不同的执行阶段对应于不同的执行耗时。
65.需要说明的是，将每个上述执行阶段对应的多个上述执行耗时进行打包存储，得到上述测试耗时数据，并采用异步线程将上述得到上述测试耗时数据发送至服务端，以达到降低网络请求过程引入时长的误差，提高测试结果准确度的目的。
66.可选的，在将每个上述执行阶段对应的多个上述执行耗时进行打包存储，需要对应用程序进行编译打包，可以但不限于将客户端日志埋点的请求地址url修改为线下搭建的日志解析和存储服务地址；或者不重新编译修改请求地址，通过charls等工具进行动态的把请求转发到线下搭建的日志解析和存储服务地址。
67.作为一种可选的实施例，图3是根据本公开第一实施例的另一种可选的应用程序的性能测试方法的流程图，如图3所示，上述根据上述测试耗时数据在上述测试设备上对不同开发版本的应用程序进行比对分析，得到比对分析结果，包括：
68.步骤s602，对每个上述执行阶段对应的多个上述执行耗时进行加权平均，得到每个上述执行阶段的平均耗时；
69.步骤s604，获取对不同上述开发版本的上述应用程序进行性能测试过程中所有上述执行阶段的上述平均耗时；
70.步骤s606，对不同上述开发版本的上述应用程序的所有上述执行阶段的上述平均耗时进行比对分析，得到上述比对分析结果。
71.可选的，通过多次获取每个上述执行阶段对应的上述开始时间点和上述结束时间点，得到多个上述执行耗时，上述多个上述执行耗时的次数可以但不限于为一百次、一千次，等等，平均耗时的准确度与执行耗时获取次数成正比。例如，三个不同版本(即版本1-版本3)的应用程序在feed刷新过程的各执行阶段的多个执行耗时，在各执行阶段平均耗时会呈现出不同的计算结果。
72.需要说明的是，不同测试设备的型号和配置可能存在较大差异，在测试的过程中，获取同一测试设备的每个执行阶段的多个执行耗时，并对对每个上述执行阶段对应的多个上述执行耗时进行加权平均，以避免由于不同测试设备带来的测试误差，此外，通过对每个上述执行阶段对应的多个上述执行耗时进行加权平均，可以避免由于系统扰动带来的单次测试误差，进而达到提升各执行阶段测试结果准确性以及对比分析结果准确性的目的。
73.在一种可选的实施例中，上述不同发布版本包括：多个历史发布版本和至少一个待发布版本；在上述根据上述比对分析结果确定不同发布版本的上述应用程序在每个上述执行阶段的性能波动数据之后，上述方法还包括：
74.步骤s702，根据上述性能波动数据，确定上述待发布版本的应用程序相比上述历史发布版本的应用程序，是否存在性能提升；
75.步骤s704，如果确定上述待发布版本的应用程序相比上述历史发布版本的应用程序存在上述性能提升，则确定对上述待发布版本的应用程序执行发布操作。
76.可选的，根据上述性能波动数据，绘制性能波动曲线，通过判断待发布版本的性能波动曲线是否在历史发布版本的性能波动曲线的范围之内，若判断结果为是，则确定上述待发布版本的应用程序相比上述历史发布版本的应用程序存在性能提升。例如，图4示出了
版本1至版本5个不同版本的应用程序的性能波动曲线，可以看出版本1的性能耗时最多，版本2进行了一轮优化后的性能耗时最低，版本3在版本2的基础上性能出现退化，版本4在版本3的基础上进一步退化，版本5在版本4的基础上进一步退化，性能在2版本进行一轮优化后，后续版本的迭代会增加对应阶段的性能耗时，但是整体效果依然优于版本1的性能。
77.需要说明的是，通过根据上述性能波动数据，确定上述待发布版本的应用程序相比上述历史发布版本的应用程序，是否存在性能提升；如果确定上述待发布版本的应用程序相比上述历史发布版本的应用程序存在上述性能提升，则确定对上述待发布版本的应用程序执行发布操作的方式，可以快速、准确识别出待发布版本的应用程序相对于历史版本的应用程序的优劣，为是否将待发布版本的应用程序进行上线提供依据，此外，上述方法在对待发布版本的应用程序进行性能测试时，不需要引入人工对比或者图像模型等训练的分析，降低了使用难度。
78.在一种可选的实施例中，在对测试设备上运行的应用程序进行埋点处理，得到与上述测试设备对应的埋点数据之前，上述方法还包括：
79.步骤s802，接收测试请求；
80.步骤s804，从多个备选设备中选取与上述设备身份识别信息匹配的上述测试设备。
81.可选的，上述测试请求中携带有设备身份识别信息，上述测试请求用于请求对上述应用程序如下任意之一内容进行性能测试：启动时长、从开屏广告弹窗请求到返回当前渲染画面的时长、目标页面刷新时长。
82.需要说明的是，一般来说，测试设备和测试执行环境相对稳定，测试设备的选择可以多采样，可按照测试需求，选择对应的测试设备，每个设备请求字段因为存在身份识别字段，在后续的性能测试的过程中，不会引入混合机型下各测试设备的对比情况。
83.作为一种可选的实施例，图5是根据本公开第一实施例的另一种可选的应用程序的性能测试方法的流程图，如图5所示，该方法包括：在应用程序app开发阶段，通过在待测试阶段的耗时启动函数入口处记录进入的时间，在阶段结束的退出位置记录执行的结束时间，对性能测试的关键点进行埋点，然后把待测试阶段的执行时间差通过多次的执行打包存储后一次性使用异步线程发送到服务端；在对应用程序app进行编译打包的过程中，在编译请求执行前，把客户端日志埋点的请求地址url修改为线下搭建的日志解析和存储服务地址；也可以不重新编译修改请求地址，通过charls等工具进行动态的把请求转发到线下搭建的日志解析和存储服务地址；使用测试设备进行自动化case的设定，执行环节保证；搭建线下日志收集的服务，针对有加密和无加密日志的协议进行对应的拆包，实时记录单次埋点数据的各个阶段的执行时长，进行数据库的入库记录；通过对同一执行阶段的日志执行耗时分别加权平均，获得百次执行的平均耗时，并根据上述平均耗时分析得到多个版本的应用程序之间的变化波动趋势。
84.需要说明的是，在本公开实施例中，测试过程可以通过自动化方式完成，也可以人工完成，对自动化基础建设能力不足的用户也可以快速通过手动方式上手；统计的过程不需要引入人工对比或者图像模型等训练的分析，降低了使用难度；性能是基于固定设备固定执行环境的统计，获取的性能数据的准确性比较高；在上线前就可以完成测试，环境和执行成本都比较低，可以支持随版发布前的测试，性能波动是否可以上线的随版决策。
85.仍需要说明的是，本实施例的可选或优选实施方式可以参见上述车辆的信息提示方法实施例中的相关描述，此处不再赘述。本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
86.实施例2
87.根据本公开实施例，还提供了一种用于实施上述应用程序的性能测试方法的装置实施例，图6是根据本公开第二实施例的应用程序的性能测试装置的结构示意图，如图6所示，上述应用程序的性能测试装置，包括：第一获取模块600、第一确定模块602、分析模块604、第二确定模块606，其中：
88.上述第一获取模块600，用于对测试设备上运行的应用程序进行埋点处理，得到与上述测试设备对应的埋点数据；
89.上述第一确定模块602，用于根据上述埋点数据确定上述测试设备在每个执行阶段的测试耗时数据，其中，每个性能测试过程包括：多个上述执行阶段；
90.上述分析模块604，用于根据上述测试耗时数据在上述测试设备上对不同开发版本的应用程序进行比对分析，得到比对分析结果；
91.上述第二确定模块606，用于根据上述比对分析结果确定不同发布版本的上述应用程序在每个上述执行阶段的性能波动数据。
92.在本公开实施例中，通过上述第一获取模块600，用于对测试设备上运行的应用程序进行埋点处理，得到与上述测试设备对应的埋点数据；上述第一确定模块602，用于根据上述埋点数据确定上述测试设备在每个执行阶段的测试耗时数据，其中，每个性能测试过程包括：多个上述执行阶段；上述分析模块604，用于根据上述测试耗时数据在上述测试设备上对不同开发版本的应用程序进行比对分析，得到比对分析结果；上述第二确定模块606，用于根据上述比对分析结果确定不同发布版本的上述应用程序在每个上述执行阶段的性能波动数据，达到了准确获取不同版本的应用程序在每个执行阶段的性能波动数据的目的，从而实现了提升应用程序的性能测试效率和测试稳定性，降低测试误差的技术效果，进而解决了由于现有技术中的应用程序的性能测试方法存在的测试效率低、误差大且测试稳定性差的技术问题。
93.需要说明的是，上述各个模块是可以通过软件或硬件来实现的，例如，对于后者，可以通过以下方式实现：上述各个模块可以位于同一处理器中；或者，上述各个模块以任意组合的方式位于不同的处理器中。
94.此处需要说明的是，上述第一获取模块600、第一确定模块602、分析模块604、第二确定模块606对应于实施例1中的步骤s102至步骤s108，上述模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在计算机终端中。
95.可选的，在本公开实施例中，上述装置还包括：第一确定子模块，用于确定与上述执行阶段相关的关键时间点，其中，上述关键时间点至少包括：开始时间点和结束时间点；写入模块，用于在上述应用程序的开发过程中，在上述关键时间点将埋点程序写入上述应用程序。
96.可选的，在本公开实施例中，上述第一获取模块，包括：第一获取子模块，用于采用上述埋点程序对上述测试设备上运行的上述应用程序进行埋点处理，得到上述埋点数据。
97.可选的，在本公开实施例中，上述第一获取模块，包括：第二获取子模块，用于采用上述埋点程序获取在每个上述执行阶段的启动函数入口处记录的上述开始时间点；以及获取在每个上述执行阶段的结束函数出口处记录的上述结束时间点；第三获取子模块，用于获取上述测试设备在执行上述性能测试过程的所有上述执行阶段；记录模块，用于将所有上述执行阶段对应的上述开始时间点和上述结束时间点，记录为上述埋点数据。
98.可选的，在本公开实施例中，上述第一确定模块，包括：第四获取子模块，用于根据所有上述执行阶段对应的上述开始时间点和上述结束时间点，得到每个上述执行阶段的执行耗时；第五获取子模块，用于通过多次执行每个上述执行阶段，得到每个上述执行阶段对应的多个上述执行耗时；存储模块，用于将每个上述执行阶段对应的多个上述执行耗时进行打包存储，得到上述测试耗时数据，其中，上述测试设备用于采用异步线程将上述得到上述测试耗时数据发送至服务端。
99.可选的，在本公开实施例中，上述分析模块，包括：计算模块，用于对每个上述执行阶段对应的多个上述执行耗时进行加权平均，得到每个上述执行阶段的平均耗时；第六获取子模块，用于获取对不同上述开发版本的上述应用程序进行性能测试过程中所有上述执行阶段的上述平均耗时；第一分析子模块，用于对不同上述开发版本的上述应用程序的所有上述执行阶段的上述平均耗时进行比对分析，得到上述比对分析结果。
100.可选的，在本公开实施例中，上述不同发布版本包括：多个历史发布版本和至少一个待发布版本，上述装置还包括：第二确定子模块，用于根据上述性能波动数据，确定上述待发布版本的应用程序相比上述历史发布版本的应用程序，是否存在性能提升；第三确定子模块，用于如果确定上述待发布版本的应用程序相比上述历史发布版本的应用程序存在上述性能提升，则确定对上述待发布版本的应用程序执行发布操作。
101.可选的，在本公开实施例中，上述测试请求中携带有设备身份识别信息，上述测试请求用于请求对上述应用程序如下任意之一内容进行性能测试：启动时长、从开屏广告弹窗请求到返回当前渲染画面的时长、目标页面刷新时长；选取模块，用于从多个备选设备中选取与上述设备身份识别信息匹配的上述测试设备。
102.需要说明的是，本实施例的可选或优选实施方式可以参见实施例1中的相关描述，此处不再赘述。本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
103.实施例3
104.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质、一种计算机程序产品和一种应用程序的性能测试产品。
105.图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
106.如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(rom)702中的计算机程序或者从存储单元708加载到随机访问存储器(ram)703中的计算机程序，来执
行各种适当的动作和处理。在ram 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
107.设备700中的多个部件连接至i/o接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
108.计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如方法对测试设备上运行的应用程序进行埋点处理。例如，在一些实施例中，方法对测试设备上运行的应用程序进行埋点处理可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由rom 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到ram703并由计算单元701执行时，可以执行上文描述的方法对测试设备上运行的应用程序进行埋点处理的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法对测试设备上运行的应用程序进行埋点处理。
109.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
110.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
111.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
112.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
113.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
114.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
115.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
116.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。