内容计费测试方法、管理设备、终端设备及存储介质与流程

1.本发明涉及通信技术领域，特别地涉及一种内容计费测试方法、管理设备、终端设备及存储介质。


背景技术：

2.内容计费是指运营商结合用户访问业务的不同信息和核心网网元配置的规则来进行计费。运营商根据手机用户访问的不同的业务来管理用户访问权限以及收取费用。如果计费规则配置错误，很可能会导致运营商的业务出现错误，甚至和用户产生费用纠纷，因此，内容计费规则匹配的准确性有着重要的意义。而随着手机业务和核心网业务的不断发展，内容计费的策略也愈加复杂，业务和规则的数量也不断递增，时常需要进行升级或调整计费策略。计费的规则和策略往往由运维人员手工配置，维护难度大，很有可能导致配置有误。因此，升级和调整计费策略后，工程人员需要进行测试以保证业务的正常进行。
3.相关技术中，依靠人工使用手机终端进行拨测，然后人工比对核心网产生的话单；或是使用软件仿真模拟接入核心网进行测试。人工测试方法所使用的测试时间较长，难以覆盖数量庞大的计费规则，工作效率较低；仿真模拟方法没有使用到真实业务流程，无法模拟用户使用真实手机访问数据业务时产生的内容计费，容易产生测试误差，且无法适配未使用的规则，使用灵活性较差，测试结果可靠程度低。因此，如何对内容计费进行更高效准确且可靠的测试是一个亟待解决的问题。


技术实现要素：

4.以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
5.本发明实施例提供了一种内容计费测试方法，能够在运营商更新内容计费规则的情况下，能够覆盖多种测试场景，有效地提高了内容计费测试的准确率和测试效率。
6.第一方面，本发明实施例提供了一种内容计费测试方法，应用于内容计费测试管理设备，所述内容计费测试方法包括：获取工单信息，所述工单信息包括计费规则和第一业务编码；根据所述计费规则生成测试用例；将所述测试用例发送至终端设备，以使所述终端设备根据所述测试用例进行计费测试；获取网元管理系统对所述终端设备在计费测试过程中所生成的测试信令；根据所述测试信令和所述第一业务编码生成计费测试结果。
7.第二方面，本发明实施例还提供了一种内容计费测试方法，应用于终端设备，所述内容计费测试方法包括：从内容计费测试管理设备获取测试用例，所述测试用例由所述内容计费测试管理设备根据工单信息中的计费规则生成；
根据所述测试用例进行计费测试。
8.第三方面，本发明实施例还提供了一种内容计费测试管理设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述的内容计费测试方法。
9.第四方面，本发明实施例还提供了一种终端设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第二方面所述的内容计费测试方法。
10.第五方面，本发明实施例还提供一种存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上所述的内容计费测试方法。
11.本发明实施例包括：在需要对更新后的内容计费规则的配置情况进行测试时，内容计费测试管理设备获取工单信息，其中，工单信息包括计费规则和第一业务编码。内容计费测试管理设备根据计费规则生成测试用例，并将测试用例发送给终端设备。终端设备接收到测试用例后，根据测试用例进行测试处理。在终端设备进行计费测试过程中，网元管理系统跟踪计费测试过程生成测试信令，并发送给内容计费测试管理设备。内容计费测试管理设备则根据测试信令和第一业务编码生成计费测试结果，获得更新后的计费规则的配置情况。根据本发明实施例的方案，通过利用内容计费测试管理设备接收工单信息，并且利用内容计费测试管理设备根据工单信息进行自动化生成测试用例、分析测试信令等处理，获得更新后的内容计费规则的配置情况。本发明实施例的方案能够在内容计费规则发生更新、配置情况未知的情况下，使用内容计费测试管理设备和真实的终端设备进行测试任务，两个设备相互配合，测试更新后的计费规则是否配置正确，有效地提高了内容计费测试的准确率和测试效率，为运维工程师提供较为可靠的配置参考结果，提高工程人员的工作效率。
12.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
13.附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
14.图1为本发明一实施例提供的实现内容计费测试方法的网络架构图；图2为本发明一实施例提供的实现内容计费测试的软件产品架构图；图3为本发明一实施例提供的内容计费测试管理设备的功能模块示意图；图4为本发明一实施例提供的终端设备的功能模块示意图；图5为本发明一实施例提供的未配置测试代理设备时的测试流程示意图；图6为本发明一实施例提供的应用于内容计费测试管理设备的内容计费测试方法的流程示意图；图7为本发明一实施例提供的信令对比分析流程示意图；图8为本发明一实施例提供的图6中步骤s620的具体方法的流程示意图；图9为本发明一实施例提供的内容计费测试管理设备内用例生成的流程示意图；
图10为本发明一实施例提供的测试脚本生成规则的示意图；图11为本发明一实施例提供的应用于终端设备的内容计费测试方法的流程示意图；图12为本发明一实施例提供的图11中步骤s1120的具体方法的流程示意图；图13为本发明一实施例提供的手机执行测试用例的处理流程示意图；图14为本发明一实施例提供的itest-cloud的首页场景界面；图15为本发明一实施例提供的itest-cloud的子场景界面；图16为本发明一实施例提供的手机端app界面；图17为本发明一实施例提供的内容计费测试管理设备；图18为本发明一实施例提供的终端设备。
具体实施方式
15.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
16.需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
17.需要说明的是，在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。
18.本发明提供了一种内容计费测试方法、管理设备、终端设备及存储介质，先利用内容计费测试管理设备获取工单信息，其中，工单信息包括计费规则的第一业务编码；根据计费规则自动生成测试用例，并将测试用例发送给终端设备，以使终端设备接收测试用例后，根据测试用例进行计费测试处理。内容计费测试管理设备获取网元管理系统跟踪计费测试过程中生成的测试信令，并根据测试信令和第一业务编码生成计费测试结果，获得更新后的计费规则的配置情况。
19.本发明用于验证核心网内容计费规则配置的正确性，尤其是5g核心网的配置。在运营商核心网上线运行前，或在对核心网进行扩容、升级、数据配置变更等重大操作后，使用内容计费测试管理设备和终端设备相互配合，对核心网的内容计费规则的配置进行自动化测试，以提高针对计费规则的测试的正确率和效率。
20.下面结合附图，对本发明实施例作进一步阐述。
21.参照图1，图1为本发明一实施例提供的实现内容计费测试方法的网络架构图。图1所示的网络架构图包括五个部分，分别是终端设备部分、内容计费测试管理设备部分、测试代理设备部分、网元管理系统部分和5g运营商网络部分。
22.参照图1，终端设备部分部署有itest-app，itest-app是用于测试内容计费规则的手机app软件，支持安卓系统。内容计费测试管理设备部分部署有itest-cloud，itest-cloud是用于测试内容计费规则的云端系统，且支持linux和windows操作系统。测试代理设备部分部署有itest-station，itest-station是测试内容计费规则的站端系统软件。终端设备、内容计费测试管理设备和测试代理设备三部分都接入互联网，能够通信连接，相互之
间能够传输交换收据，相互配合共同完成针对5g核心网的内容计费测试。
23.需要说明的是，内容计费测试管理设备可以是服务器也可以是虚拟机，测试代理设备可以是笔记本电脑也可以是传统的台式电脑，本发明对计费测试过程中所使用的内容计费测试管理设备以及测试代理设备不做具体的限制，只要其能相互配合实现计费测试管理的功能即可。终端设备可以是手机，也可以是能够运行itest-app的其他电子设备。
24.ems（element management system，网元管理系统）是管理特定类型的一个或多个电信ne（network element，网络单元）的系统。ems是核心网的网管系统，具有计帐、拓扑管理以及系统监控等功能，可以跟踪用户终端设备上的上网业务的信令数据。测试代理设备与被测试的5g核心网所在的ems管理平面网络连通。部署有itest-station的测试代理设备可以自动从ems处获取用户终端设备的上网业务的信令跟踪数据，并将该信令跟踪数据上传给内容计费测试管理设备，以使得内容计费测试管理设备进行数据对比分析，得到计费规则的配置情况。此外，工程人员也可以在终端设备的itest-app（即进行拨测的app）执行完测试脚本后，手动从ems上下载信令跟踪数据，导入到itest-cloud，使之完成信令的对比分析得出计费规则配置情况。
25.参照图1，5g运营商网络包括但不限于：(无线)接入网((radio)access network，(r)an)、用户面功能(user plane function，upf)网元、接入与移动性管理功能(access and mobility management function，amf)网元、会话管理功能(session management function，smf)网元以及计费功能网元（charging function，hcf）。上述5g运营商网络中，除(无线)接入网之外的部分，称为5g核心网络。
26.本技术中所使用的5g网络结构中采用基于参考点的表示方式来表示网络功能之间的交互。参考点有基于服务化接口的参考点和基于传统点对点通信的参考点。
27.图1中，n1、n2、n3、n6、n11以及n40等接口为运营商网络提供的接口具有接口序列号。这些接口的功能以及接口序列号的具体含义可参见3gpp标准协议中的定义及释义，在此不再赘述。为便于理解本发明的内容，下面对本技术网络架构中涉及的一些功能网元进行解释说明。
28.接入网络(access network，an)是运营商网络的子网络，是运营商网络中业务节点与终端设备之间的实施系统。(无线)接入网((radio)access network，(r)an)为an设备的一种，能够为终端设备提供无线通信功能。(r)an是指固定用户全部或部分以无线的方式接入到交换机。
29.需要说明的是，无线接入网是地面的基础设施，接入网设备包括但不限于：5g中的下一代基站(g nodeb，gnb)、无线网络控制器、基站控制器以及移动交换中心等等。
30.数据网络是位于运营商网络之外的网络，运营商网络可以接入多个dn，dn上可部署多种业务，可为终端设备提供数据和/或语音等服务。
31.用户面功能网元是由运营商提供的网关，是运营商网络与dn通信的网关，能够实现分组路由转发，策略实施、业务用量上报、上行包检测、下行数据包存储等用户面相关的功能。
32.接入与移动性管理功能网元是由运营商网络提供的控制面网元，具有接入和移动性管理功能，能够完成终端设备接入运营商网络的接入和移动性管理。例如包括移动状态管理，分配用户临时身份标识，接入鉴权和接入授权等功能。
33.会话管理功能网元负责管理终端设备的协议数据单元(protocol data unit，pdu)会话，即处理用户的业务。smf网元负责建立、维护和删除pdu会话，还能够管理会话，例如会话建立、修改和释放。此外，smf网元还具有选择和控制upf网元的、将会话信息转发至合适的目的网络等与会话相关的功能。
34.chf网元具有计费功能，支持在线计费、离线计费和融合计费。其中，融合计费是是5g规范中新增的一种计费模式，能够融合在线计费和离线计费这两种计费模式。在此模式下，在线和离线两种模式下，网元都通过nchf服务化接口与chf网元传递计费消息。
35.在该网络架构中，用户终端设备通过基站（r）an接入核心网，进行各项业务。5g核心网中的各网元，例如smf网元和短信息网元，通过服务化接口nchf向chf网元报告用户上网涉及的计费事件，chf网元负责完成计费和额度授权，并生成话单文件给账务域进行账务处理。网元管理系统跟踪终端设备上网业务的信令数据，并将之传输给测试代理设备。测试代理设备自动将信令跟踪数据传输给内容计费测试管理设备。内容计费测试管理设备进行数据对比分析，得到计费规则的配置情况，完成针对5g核心网的计费规则测试。
36.参照图2，为本发明一实施例提供的实现内容计费测试的软件产品架构图。在图2的示例中，该软件产品架构图包括终端设备端的itest-app、计费测试管理端的itest-cloud、测试代理设备端的itest-station和网元管理系统。itest-app、itest-cloud和itest-station都接入互联网，相互之间能够实现通信连接。在一具体示例中，终端设备端的局域网ip为192.168.101.x，测试代理设备端的局域网ip为192.168.51.x，管理面ip为192.168.2.x，计费测试管理端的公网ip为58.213.91.x。终端设备端能通过计费测试管理端与测试代理设备端相互访问。代理测试端和网元管理系统通过管理面相互访问，实现数据传递。
37.需要说明的是，其中测试代理设备端可选，该软件产品中可以配置有测试代理设备端，也可以不配置测试代理设备端。当软件产品中具有测试代理设备端时，测试代理设备端自动从核心网获取手机执行测试用例时的信令跟踪数据，然后自动把数据上传给计费测试管理端，计费测试管理端对信令数据进行比对分析。自动化的测试过程有效地提高了计费测试的效率，减小了运维人员的工作负荷。
38.当软件产品中未配置测试代理设备端时，或者测试代理设备端发生故障无法正常使用时，可以在终端设备的itest-app执行完测试脚本后，手动从核心网上下载信令跟踪数据，导入itest-cloud后，再进行数据比对分析，itest-cloud分析完可以导出测试结果分析报告。因此，本发明不对软件产品中是否配置有测试代理设备作具体的限制。
39.参照图3，图3为本发明一实施例提供的内容计费测试管理设备的功能模块示意图。内容计费测试管理设备部署itest-cloud，itest-cloud主要的功能模块包括：工单导入模块，用于获取运营商的内容计费工单，处理分析内容计费工单，获取工单信息，该工单信息包括：计费规则和第一业务编码。运营商的内容计费工单一般为excel格式，内容计费工单的表格填写需满足指定格式，工单信息中除了计费规则和第一业务编码还包括业务名称等主要信息。
40.用例处理模块，用于从工单导入模块获取计费规则，根据计费规则生成测试用例，测试用例包括测试脚本和测试规则。具体地，用例处理模块包括经验库模块、url库模块、规则转换模块和用例生成模块。其中，经验库模块、url库模块和规则转换模块都能够用于从
工单导入模块获取计费规则以及与计费规则对应的第一网络地址，根据第一网络地址的地址类型生成匹配的可访问的测试地址。
41.经验库模块，用于从工单导入模块获取与计费规则对应的第一网络地址，根据第一网络地址确定匹配的第二网络地址作为测试地址，或者，用于存储测试成功的计费规则的第一网络地址。计费规则测试成功的url地址会自动入库到经验库。一个计费规则对应一个网络地址，且这个网络地址是经过测试且访问成功的。经验库经过学习可以具有数量较多且测试访问成功的网络地址，内容计费工单导入时会自动匹配经验库中的数据，提高测试成功率和测试的效率。
42.url库模块，用于从工单导入模块与计费规则对应的第一网络地址，根据所述第一网络地址确定匹配的第三网络地址作为测试地址。url库可以把计费规则通过大数据系统和域名爬虫系统匹配到可访问的url地址并将之存入url库，计费规则可以从url库匹配到精确url地址进行测试，同样地也提高了测试成功率和测试的效率。
43.规则转换模块，用于从工单导入模块获取与计费规则对应的第一网络地址，根据测试脚本生成规则和第一网络地址确定第四网络地址作为测试地址。实际的测试中，会存在从经验库模块和url库模块中都无法获得与第一网络地址匹配的测试地址，这时，可以利用规则转换模块将内容计费工单中的每一条规则转换成可访问的测试地址。有效地保障了计费测试的正常进行以及成功率。
44.用例生成模块，用于从经验库模块或者url库模块或者规则转换模块获取测试地址，根据测试地址生成测试用例，该测试用例包括测试脚本和测试规则。
45.场景管理模块，用于从用例生成模块获取测试用例创建测试场景。场景管理模块能够满足多元的测试需求，运维人员可以选择合适的测试场景进行测试，提高测试结果的可信度以及准确度。
46.任务管理模块，用于从用例生成模块获取测试用例，根据测试用例生成测试任务，将测试任务发送至终端设备，以使终端设备根据测试任务中的测试脚本和测试规则进行计费测试。任务管理模块创建测试任务后，通过对接手机的api接口把任务同步到手机上，测试人员可以在手机的itest-app上执行任务。
47.信令分析模块，用于从工单导入模块获取第一业务编码，和网元管理系统发送的测试信令。终端设备在进行计费测试的过程中，网元管理系统进行信令跟踪生成测试信令。信令分析模块能够根据测试信令和第一业务编码生成计费测试结果。信令分析模块，可以导入测试信令或者对接站端api接口从站端，即测试代理设备端，自动获取信令，然后进行信令分析，比对信令中的费率组（rating group，rg）或业务编码（service id，si）消息和运营商工单的业务编码是否相同，判断每条计费规则是否配置正确。
48.此外，itest-cloud还具有报告导出模块，用于从信令分析模块获取计费测试结果，自动生成内容计费测试的测试报告，该测试报告导出格式为excel格式。
49.参照图4，图4为本发明一实施例提供的终端设备的功能模块示意图。终端设备部署itest-app，itest-app主要的功能模块包括：api接口模块，与内容计费测试管理设备端连接，用于接收内容计费测试管理设备端的消息，并发送数据给内容计费测试管理设备端。任务管理模块，用于同步内容计费测试管理设备端的任务，使得工程人员可以在终端设备上执行测试任务，查看任务详细信息等；
用例管理模块，用于管理测试任务下的测试用例，可以选择或重复执行某几条用例，查看用例执行结果等。
50.itest-app中还具有用例执行模块，根据测试用例中的ip地址或url地址，采用不同的用例执行方法，用于测试内容计费。具体的用例执行中，使用发送get请求和获取get响应两个模块。具体地，用例执行模块能获取测试任务，根据测试任务中的测试规则，采用对应的不同的用例执行方法，进行测试任务；发送get请求模块，与用例执行模块通信连接，用于构造用例执行请求信息，并向核心网发送所述用例执行请求信息；获取get响应模块，与用例执行模块通信连接，用于接收核心网返回的用例执行响应信息，用例执行响应信息响应于用例执行请求信息，用于确认核心网测试到了计费规则所对应的网络地址。
51.本发明实施例描述的网络架构以及应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域技术人员可知，随着网络架构的演变和新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
52.本领域技术人员可以理解的是，图1中示出的网络架构并不构成对本发明实施例的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
53.基于上述图1至图4的架构以及功能模块，下面提出本发明的内容计费测试方法的各个实施例。
54.举一具体示例：当软件产品中未配置测试代理设备端时，或者测试代理设备端发生故障无法正常使用时，可以在终端设备的itest-app（即拨测app）执行完测试脚本后，工程人员可以手动从核心网上下载信令跟踪数据，导入itest-cloud，使itest-cloud进行数据比对分析得出测试结果。
55.参照图5，图5为本发明一实施例提供的未配置有测试代理设备时的测试流程示意图。运营商的工单处理端筛选出有效的url地址生成工单，并将该工单导入内容计费测试管理设备端。内容计费测试管理设备端接收到运营商的工单处理端导入的工单后，生成用于计费测试的测试用例，需要说明的是，生成测试用例时可能存在错误或偏差，因此生成的测试用例是可以人工修改的，使之更符合测试的要求。生成测试用例后，内容计费测试管理设备端根据测试用例创建场景包，而后根据场景包创建测试任务。在创建测试任务后，内容计费测试管理设备端将测试任务发送给手机终端。内容计费测试管理设备端和手机终端都能够管理测试任务，查看任务详细信息。手机终端在接收到内容计费测试管理设备端发送的测试任务后，执行测试任务中的测试用例。在手机终端执行测试任务的过程中，ems跟踪测试过程，并根据手机终端执行测试任务的结果生成信令跟踪文件。工程人员手动导出接口名称为n40的信令文件，并将该信令文件导入云端。内容计费测试管理设备端接收到导入的信令文件后，解析信令文件，对比工单中的si信息，得出关于计费规则配置情况的分析报告，显示配置情况结果。至此，在测试代理设备未配置或发生故障的情况下的计费测试完成。
56.需要说明的是，内容计费测试管理设备端根据测试用例创建场景包，根据场景包创建相应的测试任务。内容计费测试管理设备端可以在选择场景包的情况下，生成携带测试用例的测试任务，并将测试任务发送给终端设备，使得终端设备执行测试任务中的测试
用例；内容计费测试管理设备端也可以在不创建场景包和测试任务的情况下，将测试用例直接发送给终端设备，使终端设备执行测试用例完成计费测试。本技术对内容计费测试管理设备端将测试用例发送给终端设备的具体场景和方式不做具体的限制，只要终端设备能执行测试用例完成计费测试即可。
57.对计费规则进行测试，能在一定程度上提高网络质量和客户满意度，有效减少类似计费失误的投诉。本发明可以便捷测试出内容计费规则的配置状态或是没有配置的情况。避免因计费规则错误产生的话费纠纷，能给运营商带来良好的经济效益和社会效益，也使得用户的使用体验提高。
58.参照图6，图6为本发明一实施例提供的应用于内容计费测试管理设备的内容计费测试方法的流程示意图。该内容计费测试方法可以包括但不限于有步骤s610、步骤s620、步骤s630、步骤s640和步骤s650。
59.步骤s610：获取工单信息，工单信息包括计费规则和第一业务编码。
60.本步骤中，工单信息从运营商处获取。可以理解的是，工单信息包括但不限于计费规则、业务编码，还包括业务名称、计费单价等主要信息。为了方便处理，工单信息采用excel格式，工单中的主要信息的填写满足指定的格式。
61.步骤s620：根据计费规则生成测试用例。
62.本步骤中，具体地，首先是内容计费测试管理设备根据计费规则获取可访问的测试地址，其次是根据测试地址获取测试脚本，最后根据测试脚本和预设的测试规则生成测试用例。预设的测试规则为预设的待测试的计费规则。生成的测试用例具有测试脚本和测试规则。
63.需要说明的是，内容计费测试管理设备针对每条计费规则生成一条测试用例，测试用例包括测试脚本和测试规则。可以理解的是，待测试的计费规则数量较多，得到针对每条计费规则的测试用例后，自动创建自动化测试用例集。
64.步骤s630：将测试用例发送至终端设备，以使终端设备根据测试用例进行计费测试。
65.本步骤中，内容计费测试管理设备将测试用例发送至终端设备。终端设备接收到测试用例后，根据测试用例进行计费测试。需要说明的是，在将测试用例发送至终端设备之前，工程人员还可以根据测试场景，在内容计费测试管理设备端选定相应的测试场景包。内容计费测试管理设备根据选定的测试场景，选择需要的测试用例，创建测试任务，将测试任务发送至终端设备分配给测试人员。终端设备根据测试人员的具体指令开始对测试任务中的测试脚本和测试规则进行计费测试。测试场景贴近真实场景，可以提高测试结果的可信度和可靠度。本技术对内容计费测试管理设备端是否进行测试场景选择不做具体的限制。
66.步骤s640：获取网元管理系统对终端设备在计费测试过程中所生成的测试信令。
67.本步骤中，内容计费测试管理设备使用接入5g核心网的ems，通过ems开启针对测试手机的信令跟踪，从而获取网元管理系统在终端设备进行计费测试的过程中所生成的测试信令。
68.步骤s650：根据测试信令和第一业务编码生成计费测试结果。
69.本步骤中，内容计费测试管理设备根据测试信令获取计费会话响应信息，在从计费会话响应信息中得到第二业务编码。将第二业务编码与第一业务编码对比，在第二业务
编码与第一业务编码相同的情况下，计费测试结果为计费规则配置正确；在第二业务编码与第一业务编码不相同的情况下，计费测试结果为计费规则配置错误。
70.具体地，参照图7，图7为本发明一实施例提供的信令对比分析流程示意图。内容计费测试管理设备接收ems发送的用例执行期间的ems信令文件，首先进行信令查找流程，得到信令的详细数据。而后根据信令的详细数据进行字段比较流程，得到测试结果，最后生成测试报告。在信令查找流程中，测试管理设备从接收到的ems信令中筛选出接口名称为n40的信令，再在用例执行时间内，从接口名称为n40的信令中筛选出信息名称为nchf_convergedcharging_release_req（释放计费会话响应信息）或nchf_convergedcharging_update_req（更新计费会话响应信息）的信令。然后从这两个信令信息中提取业务编码的值，在测试信令中的字段是费率组（ratinggroup，rg）和业务编码（serviceid，si）。内容计费测试管理设备比对测试信令中的业务编码与运营商提供的工单中的业务编码是否相同，当测试信令中的rg和si有至少任意一个的值和工单中的业务编码相等时，则表示测试信令分析成功，表示内容计费规则配置正确，反之则表示内容计费规则配置有错误。
71.各运营商都在大力重视运维数字化，包括测试自动化。本发明可以大大节约人力成本，能够自动比对工单的业务编码和测试信令中的n40口信令文件，替代了内容计费的手工测试流程。使用本发明能够实现自动测试，操作简单，有效地提高了计费测试的效率，且对使用者技术能力要求低，更容易推广。
72.在一实施例中，参照图8，图8为本发明一实施例提供的图6中步骤s620的具体方法的流程示意图，对步骤s620进行进一步的说明，该步骤s620可以包括但不限于有步骤s810和步骤s820。
73.步骤s810：根据计费规则获取与计费规则对应的第一网络地址。
74.本步骤中，第一网络地址可以是ip地址或是url地址或者ip地址和url地址的组合地址。需要说明的是，本技术中不同的地址类型对应的获得测试地址的方式不同。
75.步骤s820：根据第一网络地址的地址类型，确定可访问的测试地址。
76.本步骤中，当第一网络地址为url地址，根据第一网络地址的地址类型，确定可访问的测试地址，包括至少以下三种情况:第一种情况是：在经验库中记录有与第一网络地址匹配的第二网络地址的情况下，则将第二网络地址确定为测试脚本中的测试地址，经验库存储测试成功的计费规则以及计费规则对应的网络地址。第二种情况是：在经验库中没有记录第二网络地址的情况下，从url库中获取与第一网络地址匹配的第三网络地址作为测试脚本中的测试地址。第三种情况是：在从经验库和url库中都无法获取第一网络地址的情况下，根据预设的测试脚本生成规则与第一网络地址确定第四网络地址作为测试地址。
77.而当第一网络地址为ip地址，或者为ip地址和url地址的组合地址时，则根据第一网络地址和预设的测试脚本生成规则，确定与第一网络地址相对应的第五网络地址作为可访问的测试地址。
78.举一具体示例，参照图9，图9为本发明一实施例提供的内容计费测试管理设备内用例生成的流程示意图。
79.需要说明的是，内容计费测试管理设备包括但不限于图3中所示的功能模块，还可以包括用例管理模块，用例管理模块用于管理测试用例。如图9所示，用例管理模块首先添
加深度数据包检测（deep packet inspection，dpi）用例集。判断测试用例的测试地址是否为七层规则，即判断测试地址是否为url地址。
80.当测试地址是url地址时，则先去经验库中查找是否有匹配的测试地址。如果经验库里有该计费规则的记录，则使用经验库里记录的规则所对应的网络地址，作为测试脚本里手机访问的测试地址。
81.如果在经验库中匹配不到测试地址，接下来则到url库中匹配。url库里记录的数据是通过大数据或爬虫技术事先找出的海量精确url。基于此，itest-cloud可以在url库中查找某条规则能匹配上的精确地址，如果有匹配，就把匹配的地址作为测试脚本里手机访问的测试地址。
82.如果该测试用例在在经验库和url库中都找不到匹配的记录的url地址，或者是ip地址。则就按照相应的规则，即测试脚本生成规则，进行处理得到测试脚本里手机访问的测试地址。得到测试地址后生成手机脚本，最后生成用例。
83.需要说明的是，经验库中记录的网络地址对应的规则，是已经测试成功的计费规则。具体地，用例管理模块管理测试用例，场景管理模块使用用例管理模块中的测试用例创建测试场景，根据测试场景创建测试任务，并将测试任务发送给手机app。手机app执行测试任务，itest-cloud接收导入的信令，进行信令分析。当访问url地址执行任务成功且信令分析成功，则将该url地址自动录入经验库。本发明提供的测试方法可以自学习，为测试机器人的实现提供训练样本。对于测试成功的内容计费规则，将之存入经验库，运营商工单中的规则只要经验库中有记录，即可使用库里的可访问域名替换原始规则，提高测试成功率。
84.itest-cloud可以自动针对不同的计费规则的网络地址，在规则转换模块中将计费规则的网络地址转换成可访问的测试地址。具体地，参照图10，图10为本发明一实施例提供的测试脚本生成规则的示意图。以某个dpi工单为例，处理规则如下：对仅三层规则（ip地址），如果是具体地址，该地址为ipv4，如49.4.42.14，则直接访问。若是ipv6地址，则去除128掩码后访问。如果该网络地址仅有地址范围的，对于ipv4，去除首尾取可用地址作为可访问的测试地址；对于ipv6地址，则根据掩码计算出地址范围，取第一个可用地址作为可访问的测试地址。对于指定端口和指定地址的网络地址，则将地址加上指定端口后得到测试地址。对于指定地址和端口范围的网络地址，取端口范围内的一个最小的端口拼接在指定地址之后得到可访问的测试地址。当网络地址具有地址范围和端口范围，对于ipv4，将取端口范围内的一个最小的端口拼接在地址范围中的可用地址之后得到可访问的测试地址；对于ipv6，将取端口范围内的一个最小的端口拼接在去除掩码的地址之后得到可访问的测试地址。然后生成手机测试脚本进行计费规则测试。
85.对于七层规则（url地址），如果无通配符，则根据精确地址直接访问。如果有通配符，对于端口的通配符替换为8080实际端口，其它的去掉。然后生成手机测试脚本进行计费规则测试。对于三层和七层的组合规则，也是按照上述的规则对三层规则和七层规则分别进行处理。
86.参照图11，图11为本发明一实施例提供的应用于终端设备的内容计费测试方法的流程示意图。该内容计费测试方法可以包括但不限于有步骤s1110和步骤s1120。
87.步骤s1110：终端设备从内容计费测试管理设备获取测试用例。
88.本步骤中，终端设备从内容计费测试管理设备获取测试用例，该测试用例由内容
计费测试管理设备根据工单信息中的计费规则生成。终端设备可以从内容计费测试管理设备直接获取测试用例，或者从内容计费测试管理设备获取测试任务，再从测试任务中获取测试用例。当终端设备从内容计费测试管理设备获取到的是测试任务时，终端设备可以自动同步内容计费测试管理设备端创建的测试任务。测试人员可以登录终端设备的itest-app，查看同步好的测试任务，而后执行测试任务中的测试用例。用户可以在手机上操作，执行测试任务或是查看任务详细信息等等。
89.步骤s1120：根据测试用例进行计费测试。
90.本步骤中，终端设备根据测试用例对计费规则进行计费测试。
91.在一实施例中，参照图12，图12为本发明一实施例提供的图11中步骤s1120的具体方法的流程示意图，对步骤s1120进行进一步的说明，该步骤s1120可以包括但不限于有步骤s1210、步骤s1220、步骤s1230和步骤s1240。
92.步骤s1210：终端设备根据测试用例获取测试规则。
93.本步骤中，终端设备从内容计费测试管理设备获得测试用例，该测试用例包括测试脚本和测试规则。其中，测试规则为预设的待测试的计费规则。终端设备可以从测试用例中获取测试规则。
94.步骤s1220：获取测试规则确定测试地址。
95.步骤s1230：根据测试地址的地址类型确定对应的用例执行规则。
96.本步骤中，测试地址的地址类型至少包括其中之一：ip地址，url地址。可以理解的是，测试地址的地址类型可以是ip地址，可以是url地址，也可以是ip地址和url地址的组合地址。不同的地址类型对应不同的用例执行规则，以确保测试用例能顺利被执行，提高计费测试的成功率。
97.步骤s1240：根据用例执行规则进行计费测试。
98.本步骤中，还包括：终端设备根据用例执行规则发送用例执行请求信息，而后在接收到用例执行响应信息的情况下，根据用例执行规则执行测试脚本，以进行计费测试。终端设备通过用例测试处理流程保证测试用例都能够成功测试。
99.具体地，参照图13，图13位本发明一实施例提供的手机执行测试用例的处理流程示意图。具体地，计费规则可以分为三层规则、七层规则和组合规则，其中组合规则值得是三层规则和七层规则的组合。手机端通过关键字开始测试，判断测试规则是否是组合规则。当测试规则是组合规则的情况下，进行tcp建链，进一步判断是否是https协议。在tcp建链成功且不为https协议的情况下，手机端则构造get报文发送，通过获取get报文确保测试到了规则所对应的网络地址。在tcp建链成功且为https协议的情况下，手机端发送携带有匹配的域名的clienthello报文，鉴权成功则发送get请求，接收到get响应以保证测试到了规则所对应的网络地址，若鉴权不成功，则结束测试。在tcp建链失败且为https协议的情况下，构造发送clienthello报文完成测试，该报文中的目的地址为组合地址中的三层地址，即ip地址，servername为组合规则中的域名。在tcp建链失败且不为https协议的情况下，构造发送get报文完成测试，该get报文中目的地址为组合规则中的三层规则，host为组合规则中的域名。
100.当测试规则不是组合规则，且是三层规则（ip地址）时，则按照组合规则中的tcp指定端口建链。若建链成功，则触发计费规则，手机端发送get报文，获取get响应，确保测试到
了测试规则所对应的网络地址，完成测试。若建链失败，则结束测试。
101.当测试规则不是组合规则，且是七层规则（url地址）时。对于需要进行dns域名解析的测试规则，如果dns解析成功且建链成功的情况下，对于http直接发送get请求，获取get响应完成测试；对于https则携带匹配的域名发送clienthello报文，鉴权成功则发送get请求，完成测试，鉴权不成功则结束测试。在dns解析成功且建链失败的情况下，对于http则直接发送get请求，完成测试，get请求中目的地址为建链的ip地址，host为七层的域名；对于https则携带匹配的域名发送clienthello报文，完成测试，clienthello报文中目的地址为建链的ip地址，且servername为七层的域名。若测试地址解析失败或不需要dns解析的，对于http直接发送get报文，对于https则构造发送clienthello报文，以完成测试，此时get报文和clienthello报文的目的地址相同，clienthello报文中servername为七层的域名，get报文中host为七层的域名，如果有端口get报文还需携带端口。
102.测试地址可能不存在也可能是虚拟的，构造并发送get报文可以确保测试到了计费规则所对应的网络地址，提高了计费测试的成功率，节省了测试资源。
103.参照图14，图14为本发明一实施例提供的itest-cloud的首页场景界面。场景界面中具有测试场景选择，用户可以再在首页热门场景选择场景包，点击关注。
104.用户关注后的场景包会显示在“我的场景包”这一子页面中，参照图15，图15即为本发明一实施例提供的itest-cloud的子场景界面。用户可以在如图15所示的子场景界面中选择关注的场景包创建任务。用户关注场景包后，可以根据场景包来创建任务。任务创建完成后，手机终端和itest云端都会显示该任务，两边的任务状态一致。在如图15所示的子场景界面中，用户可以再点击创建任务后，可以在另一个子页面中修改任务名。创建好任务，在“我的任务”页面就能看到自己创建的任务。
105.参照图16，图16为本发明一实施例提供的手机端app界面。任务创建完成后，手机端和itest云端都会显示该任务，两侧的任务状态一致。手机app页面如图16所示。用户可以在手机app页面中选择需要执行的dpi测试任务，点击执行，下载用例，点击继续，等待手机完成dpi测试即可。
106.手机完成测试之后，用户登录itest-cloud，查看任务，这时任务状态会从已创建更新为已完成。用户可以登录ems管理系统导出信令跟踪文件，进入任务页面，找到自己执行完的任务，把该任务执行后产生的信令文件导入itest-cloud。导入信令文件成功后利用itest-cloud的数据分析功能进行数据分析。分析结束之后，用户可以点击任务查看任务详情，可查看每条用例执行结果即每条url地址测试是否成功，点击分析结果可查看日志即rg号比对结果。如果手机app测试url地址测试成功但是rg号不存在，分析结果也有体现，日志里会显示rg号不存在。
107.本发明实施例提供了内容计费测试管理设备和终端设备来来相互配合完成计费测试。替代了内容计费的手工测试流程，自动比对工单的业务编码和信令中的n40，得出计费规则的测试情况。工程人员可以通过app和itest-cloud掌握测试任务的进度，并能便捷地对计费规则的测试情况进行检查核实，节约人力成本的同时，也提高了工程人员的工作效率。验证计费规则的配置情况，有利于提高网络质量和客户满意度，有效减少类似的投诉。此外，本发明还可以地便捷测试出内容计费规则没有配置的情况。避免计费规则错误产生的话费纠纷，给运营商带来良好的经济效益和社会效益。
108.图17为本发明一实施例提供的内容计费测试管理设备1700。如图17所示，该内容计费测试管理设备1700包括但不限于：存储器1720，用于存储程序；处理器1710，用于执行存储器1720存储的程序，当处理器1710执行存储器1720存储的程序时，处理器1710用于执行上述的内容计费测试方法。处理器1710和存储器1720可以通过总线或者其他方式连接。
109.图18为本发明一实施例提供的终端设备1800。如图18所示，该终端设备1800包括但不限于：存储器1820，用于存储程序；处理器1810，用于执行存储器1820存储的程序，当处理器1810执行存储器1820存储的程序时，处理器1810用于执行上述的内容计费测试方法。处理器1810和存储器1820可以通过总线或者其他方式连接。
110.存储器1720和存储器1820作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如本发明实施例描述的内容计费测试方法。处理器1710和处理器1810分别通过运行存储在存储器1720和存储器1820中的非暂态软件程序以及指令，从而实现上述的内容计费测试方法。
111.存储器1720可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述的内容计费测试方法。此外，存储器1720可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器1720可选包括相对于处理器1710远程设置的存储器，这些远程存储器可以通过网络连接至该处理器1710。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
112.实现上述的内容计费测试方法所需的非暂态软件程序以及指令存储在存储器1720中，当被一个或者多个处理器1710执行时，执行上述的内容计费测试方法，例如，执行如图6中的方法步骤s610至s650和图8中的方法步骤s810至s820。
113.在一实施例中，该存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器1710执行，例如，被上述内容计费测试管理设备1700中的一个处理器1710执行，可使得上述一个或多个处理器1710执行上述的内容计费测试方法，例如，执行如图6中的方法步骤s610至s650和图8中的方法步骤s810至s820。
114.实现上述的内容计费测试方法所需的非暂态软件程序以及指令存储在存储器1820中，当被一个或者多个处理器1810执行时，执行上述的内容计费测试方法，例如，执行图11中的方法步骤s1110至s1120和图12中的方法步骤s1210至s1240。
115.在一实施例中，该存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器1810执行，例如，被上述终端设备1800中的一个处理器1810执行，可使得上述一个或多个处理器1810执行上述的内容计费测试方法，例如，执行如图11中的方法步骤s1110至s1120和图12中的方法步骤s1210至s1240。
116.以上所描述的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
117.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或
者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘（dvd）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。