虚实结合的网络试验实施方法及存储介质与流程

1.本发明涉及网络信息技术领域，具体涉及一种虚实结合的网络试验实施方法及存储介质。


背景技术：

2.随着物联网及网络应用的飞速迭代，由传统的虚拟网元组网已经不能满足一些特殊场景的网络试验需求。特别是5g(第五代移动通信技术)+工业互联网的场景下，人、机、物、系统等的全面连接，需要对传统的网络试验方式进行更新，不仅需要可定制的传统虚拟网元参与组网，还需要非虚拟的现实设备接入网络，实现流量互通，虚实互联。此外，该类型的网络试验还要求
①
对接入的非虚拟现实设备依据不同试验进行隔离
②
对接入的现实设备进行统一的管理
③
对接入的现实设备进行可定制的流量导入与监控等。


技术实现要素：

3.本发明提出的一种虚实结合的网络试验实施方法及存储介质，可解决上述技术问题。
4.为实现上述目的，本发明采用了以下技术方案：
5.一种虚实结合的网络试验实施方法，包括：
6.步骤s1、构建虚拟化试验资源；
7.步骤s2、基于步骤s1接入非虚拟化试验资源；
8.步骤s3、基于步骤s2搭建试验服务系统；
9.步骤s4、创建和管理试验资源；
10.步骤s5、创建试验；
11.步骤s6、执行试验。
12.进一步的，步骤s1中构建的虚拟化试验资源为抽象、分解并由系统统一调度的信息资源，包括存储、gpu或cpu中的算力资源、传输资源，使用虚拟化技术将这些资源生成不同类别的抽象资源分片，通过编程接口提供给试验资源编排器供其生成不同的虚拟资源切片；虚拟化试验资源将整合为统一的虚拟资源池，由系统统一纳管。
13.进一步的，步骤s2中的非虚拟化试验资源为物理实体，包括无线访问接入点ap、基站、车辆、机器人、机械手、无人机、网络设备；
14.这些物理实体设备有多种不同的方式接入以实现虚实互通和不同网络试验切片隔离包括：
15.有线方式接入：支持ip、profinet、modbus各类有线协议；
16.无线局域网包括wi-fi、zigbee、bluetooth：通过ssid或划分网络切片进行配置，实现连接在同一个无线接入点下的多个无线网络试验设备接入不同的试验网络切片，或连接在不同无线接入点下的多个无线网络试验设备接入同一个试验网络切片；
17.蜂窝网络包括4g、5g：根据手机号、ip地址进行配置，实现连接在同一个蜂窝网络
基站的多个无线网络试验设备接入不同的试验网络切片，或连接在不同蜂窝网络基站的多个无线网络试验设备接入同一个试验网络切片；
18.实体设备被接入后将连接至网络中，与虚拟设备流量互通，其工作状态将被记录并向用户提供访问接口。
19.进一步的，步骤s3中的试验服务系统包括试验资源编排器，用户试验门户，后端试验管理和调度中心；
20.试验资源编排器，是在试验资源池的基础上，对前后端以及各个服务的应用程序接口api进行汇总和管理，解析业务层的调用指令、调用不同的虚拟资源请求接口，验证非虚拟资源请求的有效性实现实体设备隔离，按照设定的过程和格式将资源分配信息返回至调用源，监控虚拟化资源池、非虚拟化设备列表，进行多种方式异常预警；
21.用户试验门户是为用户提供试验综合服务的系统，集成了登录系统、试验控制台、试验帮助手册、学术专著、相关技术文档、网络教学视频、试验开源代码、行业前沿动态的查看功能，用户在试验门户可以操作试验和学习了解相关知识；
22.后端试验管理和调度中心为管理人员提供了管理调度试验用户和试验资源的系统，集成了管理员登陆、用户权限管理、试验资源池分配信息汇总和资源调度、试验模板信息汇总和管理、非虚拟化资源接入与分配管理、非虚拟化资源接入链路管理、试验实时运行情况和异常试验监控、试验镜像发布和管理、设备运行情况监控和设备异常警报、网络流量监控和异常流量警报的功能。
23.进一步的，步骤s4试验服务资源的创建和管理中的试验服务资源是试验用户用来创建网络试验的资源，包括虚拟机镜像、可有效请求的非虚拟设备、数据集、外部数据流量、微服务、算法模块、虚拟网元、区块链这些服务层资源。
24.进一步的，步骤s5具体包括：
25.步骤s51、试验信息填写；
26.该步骤中，由试验用户在用户试验门户填写试验名称，选择试验类型，描述试验的目的、要点和注意事项；
27.步骤s52、节点配置；
28.该步骤中，对于虚拟化资源，用户配置虚拟机或虚拟网元，并将其作为一个试验节点，对虚拟的试验节点，用户设置其节点名称、预部署的地点、将要在其上运行的操作系统镜像、cpu类型和核心数、gpu类型和参数、磁盘容量、内存容量、所处网段、待监控的参数；
29.对于非虚拟化试验资源，用户选择平台提供的公用非虚拟化试验资源或选择自行接入非虚拟化试验资源；
30.在非虚拟化资源接入后，即可将其作为一个试验节点，进行部署，对于非虚拟化试验资源的试验节点，用户对特定的流量进行导入；对于有线方式接入，以ip协议为例，根据ip地址、网络设备端口进行配置；对于无线局域网，可通过ssid进行配置；对于蜂窝网络，根据手机号、ip地址进行配置；
31.步骤s53、链路及拓扑设置；
32.该步骤中，在试验节点之间建立链路实现试验定制化拓扑，在虚拟试验节点间配置虚拟链路，配置网络信息、带宽、丢包率、时延；对于非虚拟节点间、非虚拟节点和虚拟节点间的实际链路，将根据实际接入设备的类型与接入方式，对实际信息交换过程进行抽象
后作为试验链路，并对其属性进行有限的配置。
33.进一步的，步骤s6包括如下步骤，
34.步骤s61、开启和执行试验；
35.在用户试验门户点击开启试验，试验资源编排器根据试验配置，从试验资源池中取得虚拟化试验资源，验证非虚拟化资源请求有效后，分配非虚拟化资源，在云管理平台的帮助下，创建试验网络切片并提供给相应的试验用户；试验开启后，从控制台进入虚拟机节点的操作界面，在操作界面中上传和修改试验文件，运行试验程序；
36.还包括进入非虚拟化节点的管理界面，对其非虚拟化节点接入的流量进行选择、管理；不同的试验切片中的资源和链路完全相互隔离；
37.步骤s62、监控试验数据；
38.该步骤中，在试验资源调度器和云管理平台的帮助下，在用户试验门户的数据监控面板查看每个虚拟化节点的状态信息，包括cpu占用率、内存占用率、磁盘i/o吞吐量；对于非虚拟化节点，根据其不同的类型可查看不同的数据，包括电量、接入设备数这些设备属性或数据吞吐量；在试验的监控节点运行相应的监控程序查看网络性能参数，包括速率、带宽、吞吐量、时延、往返时间、利用率、丢包率；
39.步骤s63、暂停和继续试验；
40.该步骤中，在用户试验门户点击暂停试验，试验资源调度器和云管理平台暂停试验资源的运行，处于暂停状态的试验需要占用一定的试验资源；处于暂停状态的试验试验需要继续执行时，可以在用户试验门户上点击继续试验，通过试验资源调度器和云管理平台继续试验资源的运行；
41.步骤s64、结束试验；
42.该步骤中，在用户试验门户点击结束试验，试验资源调度器和云管理平台关闭并释放虚拟化资源，并解除对非虚拟化资源的占用；
43.步骤s65、数据采集；
44.该步骤中，选中需要监控的参数，然后开始执行试验，试验门户开始追踪采集相应的参数数据，在系统中保存采集到的数据；
45.步骤s66、数据导出；
46.该步骤中，在用户试验门户点击导出，并选择导出文件的格式、文件名和存储位置，将步骤s55中采集到的数据导出到本地磁盘；也可以通过网络方式将数据导出；
47.步骤s67、数据统计分析及可视化；
48.该步骤中，在用户试验门户点击数据统计分析及可视化，可以查看数据的统计分析结果，也可以以图表形式查看数据的变化曲线。
49.又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
50.由上述技术方案可知，本发明针对现有网络试验在定制化、可拓展性、虚实结合等方面的需求，提出了一种虚实结合的网络试验实施方法，以实现面向虚实互通、灵活定制的网络试验。此网络试验实施方法基于高性能、易管控和运维、安全可信的云基础设施，可将云中的虚拟设备和现实中的实体设备进行组网，实现虚实结合，流量互通。可根据用户试验需求对虚拟资源和实体设备资源进行组织、配置、调度，为用户创建试验场景以支持其运行
虚实结合的网络试验，并实现试验过程的全生命周期管理与监控。同时，在完善的云基础设施的基础上，可对真实设备组网试验过程中产生的数据流量进行选择监控和结果数据的采集分析。本发明支持可定制、高效、易用的虚实结合网络试验，即：支持用户自定义网络拓扑、试验设备、链路信息等参数，选择实体设备接入方式、监控流量范围等。在此基础上，用户可根据需要在核心交换机、边缘云节点等位置进行实体设备的接入，同时可以灵活的选择需要导入的特定实体设备的网络流量。
51.本发明主要依托数据中心，利用先进的虚拟化管理和云运营管理软件，将其中的计算、存储、传输、数据集、服务抽象为资源，构建资源池，操作系统及其应用程序被隔离到安全、可移植的虚拟机和虚拟网元中。管理模块对于非虚拟化资源进行托管，调度。内置一批非虚拟化资源提供给用户，也提供接口支持用户自行接入非虚拟化资源。随后，对于虚拟资源的请求，该基础架构会根据每个虚拟机和虚拟网元的配置和试验需求，将系统资源动态地分配给它们。而对于非虚拟资源的请求，管理软件会在验证对非虚拟资源的请求有效后，将非虚拟资源进行分配。非虚拟资源作为一个特殊的网元组网，与虚拟网元流量互通，非虚拟资源在参与试验期间不能被复用。非虚拟资源可以是ap(无线访问接入点)、基站、车辆、机器人、机械手、无人机、网络设备等实体。接入方式有：有线方式接入、无线局域网接入、蜂窝网络等。对于这些这些设备的组网，管理软件会根据用户的需求导入、监控相关流量。
52.具体的说，本发明的技术重点在于虚实互通的网络试验。传统的方案要不然完全采用真实设备构建测试环境，要不然用数值计算或仿真工具进行仿真测试，或者仅支持在物理资源(cpu、gpu、内存等)上以虚拟机的方式复用资源，创建虚拟网络节点，通过对虚拟节点进行配置，进行网络试验(不同试验之间信息、资源隔离)。本方案实现了以虚实结合的方式，可以实现创建的虚拟节点和现实中的物理设备进行连接，如实体车和通过虚拟节点模拟的虚拟车进行联网，实现现实和虚拟的流量互通。为此，本方案提供了多种可选的灵活连接方式，并且各试验设备之间可以做到隔离。用户可以根据需求对连接链路进行配置(如带宽大小)，对导入流量进行选择(根据ip等方式)，还可以将流量数据导出为文件保存。
53.本发明基于虚实互通，可以进行一些虚实融合的试验，比如要进行无人机集群的试验时。采用大量实体无人机进行试验并不经济。而进行完全虚拟的仿真试验则缺少说服力。可以采用本方案进行虚实融合的无人机集群试验，由实体无人机承担一部分试验角色，虚拟无人机承担一部分角色，同时还可以对其在仿真过程中的角色和参数进行灵活配置，测试被测技术、方案、算法在真实设备上的运行情况，从而能够使仿真更高效现实。此外，还可以承担一些确实需要虚实融合的试验，如多虚拟机对于现实设备的控制等。比完全真实设备便捷、支持更大的网络规模；比数值计算、仿真工具、虚拟机方式真实。
附图说明
54.图1是一种虚实结合的网络试验实施方法的架构示意图；
55.图2是虚实融合模拟无人机试验实例示意图；
56.图3是本发明实施虚实结合网络试验的系统数据流图。
具体实施方式
57.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
58.如图3所示，根据本发明的一种虚实结合的网络试验实施方法，其包括以下步骤：
59.步骤s1、构建虚拟化试验资源；
60.步骤s2、非虚拟化试验资源的接入
61.步骤s3、搭建试验服务系统
62.步骤s4、试验资源的创建和管理；
63.步骤s5、创建试验
64.步骤s6、执行试验。
65.本实例中，通过构建基本的试验资源(含虚拟、非虚拟资源)搭建起试验服务系统，用户通过调用平台的虚拟资源、非虚拟资源以及自行接入的非虚拟实体设备创建试验，以执行虚实互通的网络试验。
66.本发明的步骤s1中的虚拟化试验资源为可以抽象、分解并由系统统一调度的信息资源，包括存储、gpu或cpu中的算力资源、传输资源，使用虚拟化技术将这些资源生成不同类别的抽象资源分片，通过编程接口提供给试验资源编排器供其生成不同的虚拟资源切片。虚拟化试验资源将整合为统一的虚拟资源池，由系统统一纳管。
67.本发明的步骤s2中的非虚拟化试验资源为具备一定功能的物理实体，包括ap(无线访问接入点)、基站、车辆、机器人、机械手、无人机、网络设备等。这些物理实体设备可以有多种不同的方式接入以实现虚实互通和不同网络试验切片隔离：
①
有线方式接入：支持ip、profinet、modbus等各类有线协议。以ip协议为例，可根据ip地址、网络设备端口等进行配置，实现连接在同一个网络接入设备下的多个网络试验设备接入不同的试验网络切片，或连接在不同网络接入设备下的多个网络试验设备接入同一个试验网络切片
②
无线局域网(wi-fi、zigbee、bluetooth等)：通过ssid或划分网络切片等进行配置，实现连接在同一个无线接入点下的多个无线网络试验设备接入不同的试验网络切片，或连接在不同无线接入点下的多个无线网络试验设备接入同一个试验网络切片
③
蜂窝网络(如4g、5g等)：根据手机号、ip地址等进行配置，实现连接在同一个蜂窝网络基站的多个无线网络试验设备接入不同的试验网络切片，或连接在不同蜂窝网络基站的多个无线网络试验设备接入同一个试验网络切片。系统预置一批非虚拟化资源以提供用户使用并提供对外接口以供用户自行接入设备实现虚实互通。不论是用户自行接入还是系统预置的非虚拟化资源，将由系统统一纳管。
68.本实施例在实施时，构建可虚拟化的存储、gpu、cpu中的算力资源、传输资源等试验资源，提供了对多用户、高并发的网络试验支持，也提供了对人工智能机器学习、强化学习、深度神经网络等试验支持的能力；构建非虚拟化的ap(无线访问接入点)、基站、车辆、机器人、机械手、无人机、网络设备等试验资源，提供了工业互联网、天地一体化、虚实结合等接近实际的试验场景；创建的试验资源池为下一步的管理调度提供了基础。
69.本发明的步骤s3搭建试验服务系统中的试验服务系统包括试验资源编排器，用户试验门户，后端试验管理和调度中心。
70.本发明中，试验资源编排器，是在试验资源池的基础上，对前后端以及各个服务的api(应用程序接口)进行汇总和管理，解析业务层的调用指令、调用不同的虚拟资源请求接口，验证非虚拟资源请求的有效性实现实体设备隔离，按照设定的过程和格式将资源分配信息返回至调用源，监控虚拟化资源池、非虚拟化设备列表，进行多种方式异常预警；
71.本发明中，用户试验门户是为用户提供试验综合服务的系统，集成了登录系统、试验控制台、试验帮助手册、学术专著、相关技术文档、网络教学视频、试验开源代码、行业前沿动态的查看功能，用户在试验门户可以操作试验和学习了解相关知识；
72.本发明中，后端试验管理和调度中心为管理人员提供了管理调度试验用户和试验资源的系统，集成了管理员登陆、用户权限管理、试验资源池分配信息汇总和资源调度、试验模板信息汇总和管理、非虚拟化资源接入与分配管理、非虚拟化资源接入链路管理、试验实时运行情况和异常试验监控、试验镜像发布和管理、设备运行情况监控和设备异常警报、网络流量监控和异常流量警报的功能。
73.如图1所示，本实施例在实施时，能够使用试验资源编排器分别对接非虚拟化设备列表与虚拟化资源池，通过南北向api接口和用户试验门户及后端试验管理和调度中心对接，向用户试验门户和后端试验管理和调度中心提供统一的接口调用，同时还补充了底层平台和组件不具备的定制化功能和需求，起到承上启下的作用；对资源池和设备列表进行监控，发生异常时将预警信号发送至用户试验门户和后端试验管理和调度中心。用户试验门户面向试验用户开放，针对各个功能提供操作实施界面和平台。后端试验管理和调度中心面向试验管理员开放，管理员可以查看全部试验的运行情况，对出现异常的用户、试验、镜像、模板、设备等内容及时进行处理，还可以在系统更新等环节向用户发出提示信息。
74.发明的步骤s4试验服务资源的创建和管理中的试验服务资源是试验用户用来创建网络试验的资源，包括虚拟机镜像、可有效请求的非虚拟设备、数据集、外部数据流量、微服务、算法模块、虚拟网元、区块链这些服务层资源。
75.本实施例在实施时，创建和管理的试验服务资源包含linux系统原始镜像、windows系统原始镜像、一系列非虚拟实体设备、包含了不同类型网络试验程序和数据的各类试验镜像、采集的网络流量数据集、与外部网络连接获取的数据流量，构建了微服务、算法模块、虚拟网元、区块链、实体设备等服务层资源，为不同试验项目的展开提供了条件。
76.本发明的步骤s5创建试验包括如下步骤，
77.步骤s51、试验信息填写；
78.步骤s51中，由试验用户在用户试验门户填写试验名称，选择试验类型，描述试验的目的、要点和注意事项；
79.步骤s52、节点配置；
80.步骤s52中，对于虚拟化资源，用户可以配置虚拟机或虚拟网元，并将其作为一个试验节点。对虚拟的试验节点，用户可以设置其节点名称、预部署的位置、将要在其上运行的操作系统镜像、cpu类型和核心数、gpu类型和参数、磁盘容量、内存容量、所处网段、待监控的参数。对于非虚拟化试验资源，用户可以选择平台提供的公用非虚拟化试验资源或选择自行接入非虚拟化试验资源。在非虚拟化资源接入后，即可将其作为一个试验节点，进行部署。对于非虚拟化试验资源的试验节点，用户可以对特定的流量进行导入。对于有线方式接入，以ip协议为例，可根据ip地址、网络设备端口等进行配置；对于无线局域网，可通过
ssid进行配置；对于蜂窝网络，可以根据手机号、ip地址进行配置。
81.步骤s53、链路及拓扑设置；
82.步骤s53中，可在试验节点之间建立链路实现试验定制化拓扑。在虚拟试验节点间配置虚拟链路，可以配置网络信息、带宽、丢包率、时延。对于非虚拟节点间、非虚拟节点和虚拟节点间的实际链路，将根据实际接入设备的类型与接入方式，对实际信息交换过程进行抽象后作为试验链路，并可对其属性进行有限的配置。
83.现以图2所示的虚实融合模拟无人机试验为例说明试验实施过程。当需要进行大规模无人机试验时，购买大批量实体无人机仿真过于昂贵，可通过虚实融合的方式组网进行试验仿真，其中少部分节点为接入的非虚拟实体无人机，而大部分节点可为虚拟机模拟的虚拟无人机，用户可根据需要指定虚拟或非虚拟无人机在试验中的实际作用。
84.如图3所示，本实例在实施时，试验信息填写时填写试验名称为“虚实互通无人机仿真试验”，选择试验类型为“网络试验”，描述试验的目的和要点为试验相关的描述文字。在节点配置时，用户可以根据需要申请接入实体设备(无人机)，实体设备将会被列入平台的非虚拟化设备列表中由平台统一纳管。用户按照试验需求，设置100个试验节点，其中97个为虚拟机，3个为实体设备(无人机)。根据无人机仿真程序，为虚拟机选择系统镜像为“ubuntu镜像”，cpu核心数为“2个”，磁盘容量为“40g”，内存容量为“8g”，待监控的参数为cpu占用率、丢包率和网络延时。在链路设置时，选择虚拟机所处网段为数据中心网段，选择网段为172.16.0.0，按照试验拓扑在100个节点之间建立链路。设置链路的带宽为10mbps，丢包率为20％，时延为50ms，选择传输时延为待监控的参数。全部填写完毕后点击“创建试验”完成试验的创建。
85.本发明的步骤s6执行试验中包括如下步骤，
86.步骤s61、开启和执行试验；
87.步骤s61中，在用户试验门户点击开启试验，试验资源编排器根据试验配置，从试验资源池中取得虚拟化试验资源，验证非虚拟化资源请求有效后，分配非虚拟化资源，在云管理平台的帮助下，创建试验网络切片并提供给相应的试验用户。试验开启后，从控制台可以进入虚拟机节点的操作界面，在操作界面中上传和修改试验文件，运行试验程序。也可以进入非虚拟化节点的管理界面，对非虚拟化节点进行管理，对接入的流量进行选择。为了保障网络试验的高效、可靠、可信、安全的需求，不同的试验切片中的资源和链路完全相互隔离。
88.步骤s62、监控试验数据；
89.步骤s62中，在试验资源调度器和云管理平台的帮助下，在用户试验门户的数据监控面板查看每个虚拟化节点的状态信息，包括cpu占用率、内存占用率、磁盘i/o吞吐量。对于非虚拟化节点，根据其不同的类型可以查看不同的数据，如电量、接入设备数等设备属性或数据吞吐量等；在试验的监控节点运行相应的监控程序查看网络性能参数，包括速率、带宽、吞吐量、时延、往返时间、利用率、丢包率；
90.步骤s63、暂停和继续试验；
91.步骤s63中，在用户试验门户点击暂停试验，试验资源调度器和云管理平台暂停试验资源的运行，处于暂停状态的试验需要占用一定的试验资源；处于暂停状态的试验试验需要继续执行时，可以在用户试验门户上点击继续试验，通过试验资源调度器和云管理平
台继续试验资源的运行；
92.步骤s64、结束试验；
93.步骤s64中，在用户试验门户点击结束试验，试验资源调度器和云管理平台关闭并释放虚拟化资源，并解除对非虚拟化资源的占用；
94.步骤s65、数据采集；
95.步骤s65中，选中需要监控的参数，然后开始执行试验，试验门户开始追踪采集相应的参数数据，在系统中保存采集到的数据；
96.步骤s66、数据导出；
97.步骤s66中，在用户试验门户点击导出，并选择导出文件的格式、文件名和存储位置，将步骤s65中采集到的数据导出到本地磁盘；也可以通过网络方式将数据导出；
98.步骤s67、数据统计分析及可视化；
99.步骤s67中，在用户试验门户点击数据统计分析及可视化，可以查看数据的统计分析结果，也可以以图表形式查看数据的变化曲线。
100.如图2、图3所示，本实施例在实施时，在开启试验时，试验用户在用户试验门户点击开启试验，试验资源编排器根据试验配置，在虚拟化资源池中取得虚拟资源(cpu、内存等)，在非虚拟化设备列表中取得非虚拟化设备资源(无人机)。在云管理平台的帮助下，创建试验网络切片并提供给相应的试验用户，此时用户可以从试验门户的试验控制台进入试验的操作界面。对于虚拟节点，用户可以上传、配置试验文件，运行无人机仿真程序。对于实体设备(无人机)，用户可以进入无人机的操作界面对无人机进行控制，也可以对导入流量进行管理。监控试验数据时，在用户试验门户的数据监控面板查看每个节点和链路的状态信息，在实施中，在监控界面可以看到97个虚拟机节点的cpu占用率、内存占用率、磁盘i/o吞吐量，3个无人机节点的电量、流量数据等信息。用户还可以监控之前选择的每一条链路的传输时延。暂停和继续试验时，首先试验用户在用户试验门户点击暂停试验，试验资源调度器和云管理平台暂停试验资源的运行，用户可以在界面看到试验已经处于暂停状态；接下来试验用户在用户试验门户点击继续试验，试验资源调度器和云管理平台继续试验资源的运行，用户可以在试验控制台继续操作试验。结束试验时，试验用户在用户试验门户点击结束试验，试验资源调度器和云管理平台关闭并释放资源，用户可以在界面看到试验已经处于停止状态。数据采集时，试验用户在用户试验门户选中需要监控的参数，然后开始执行试验，点击监控界面，然后选择保存数据，试验资源调度器和云管理平台将数据进行持久化。数据导出时，在用户试验门户选择导出的文件格式为“xlsx”，文件名为“testdata.xlsx”，存储位置为本机的“d:/test_data”，然后点击导出，试验数据监控文件保存到了本地位置。数据统计分析及可视化时，用户在用户试验门户点击数据统计分析及可视化，得到了试验数据的分析结果，试验数据以图表形式得以展示。
101.又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述任一方法的步骤。
102.再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述任一方法的步骤。
103.在本技术提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其
在计算机上运行时，使得计算机执行上述实施例中任一方法的步骤。
104.可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。
105.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
106.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
107.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。