网络测试方法及其数据采集方法、网络测试装置及系统的制作方法

网络测试方法及其数据采集方法、网络测试装置及系统的制作方法
【专利摘要】本发明公开了一种网络测试方法及其数据采集方法、网络测试装置及系统，在对网络进行测试的过程中，网络测试装置根据任务生成对应的数据采集指令，并发送给网管系统，由网管系统根据该采集指令自动采集对应的数据，并将采集到的数据反馈给网络测试装置进行后续的分析等处理。也即，本发明通过根据具体的任务向网管系统发送数据采集指令，进而由网管系统自动获取对应的数据，并不需要人工去完成测试数据的采集，因此可降低数据采集的成本，同时可提高数据采集的效率；且在数据采集过程中，不会再受人员技能、天气、地理环境、交通状况、治安等各种外界因素限制，因此可保证数据采集的稳定性，进而保证了后续网络测试的准确性。
【专利说明】网络测试方法及其数据采集方法、网络测试装置及系统

【技术领域】
[0001]本发明涉及通信领域，具体涉及一种网络测试方法及其数据采集方法、网络测试装置及系统。

【背景技术】
[0002]在无线网络建设、运维过程中，对用户、网元进行测试、问题分析是日常网络维护的基础工作，目前主要通过人工路测方式实现，即专业人员携带专用设备，驾车或步行进行测试数据的采集，然后将采集的数据回放、人工数据分析，发现网络问题或业务质量问题。随着人力成本、油价上升等，进行人工路测的固定成本也越来越高，但人工路测采集数据的效率却相对较低；且人工路测还受限于人员技能、天气、地理环境、交通状况、治安等各种外界因素，实施过程和采集效果会不同程度降低，导致网络测试效果差。


【发明内容】

[0003]本发明要解决的主要技术问题是，提供一种网络测试方法及其数据采集方法、网络测试装置及系统，解决现有网络测试时人工采集数据成本高、效率低、数据采集效果差导致网络测试分析效果差的问题。
[0004]为解决上述技术问题，本发明提供一种网络测试数据采集方法，包括:
[0005]网络测试装置根据任务生成对应的数据采集指令，并发送给网管系统；
[0006]所述网管系统根据所述采集指令采集对应的数据，并将采集到的数据反馈给所述网络测试装置。
[0007]在本发明的一种实施例中，所述网管系统根据所述采集指令采集对应的数据包括:
[0008]所述网管系统根据所述采集指令生成对应的数据采集操作指令，并下发给对应的网元；
[0009]所述网元根据所述数据采集操作指令采集数据，并将采集到的数据反馈给所述网管系统。
[0010]在本发明的一种实施例中，所述任务为专题分析任务、监控任务或测试任务。
[0011]在本发明的一种实施例中，所述网管系统包括无线接入网网管系统和/或移动核心网网管系统。
[0012]为了解决上述技术问题，本发明还提供了一种网络测试方法，包括:
[0013]网络测试装置根据任务生成对应的数据采集指令，并发送给网管系统；
[0014]所述网管系统根据所述采集指令采集对应的数据，并将采集到的数据反馈给所述网络测试装置；
[0015]所述网络测试装置对接收到的数据进行分析。
[0016]在本发明的一种实施例中，所述网络测试装置对接收到的数据进行分析包括:
[0017]所述网络测试装置将接收到的数据汇总后，按照用户标识数据、控制面数据和用户面数据进行拆分；
[0018]所述网络测试装置将拆分后的数据按照用户业务过程和时间进行重组；
[0019]所述网络测试装置对重组后的数据进行分析判断是否存在问题。
[0020]在本发明的一种实施例中，所述网络测试装置对重组后的数据进行分析判断是否存在问题包括:
[0021]根据所述数据所属的业务及业务类型选择对应的业务质量指标，并统计所述业务质量指标值，根据所述业务质量指标值和所述业务质量指标门限值判断所述数据所属业务是否存在业务质量问题；
[0022]和/ 或，
[0023]分析所述数据所属业务的业务过程中的异常原因、交互信令、测量报告、资源消耗信息、网元硬件信息中的至少一种，确定是否存在网络问题。
[0024]在本发明的一种实施例中，所述网络测试装置根据重组后的数据分析存在问题后,还包括:
[0025]根据预先定义的问题规则库，确定问题的具体类型。
[0026]在本发明的一种实施例中，在确定出问题类型后，还包括:将确定出的问题以及分析该问题的依据保存，并通知网络运维人员。
[0027]为了解决上述技术问题，本发明还提供了一种网络测试装置，包括任务设置模块、数据处理模块和数据分析模块；
[0028]所述任务设置模块用于根据设置的任务生成对应的数据采集指令，并发送给网管系统；
[0029]所述数据处理模块用于处理所述网管系统根据所述采集指令采集的数据，并将处理后的数据发送给所述数据分析模块；
[0030]所述数据分析模块用于对接收到的数据进行分析。
[0031]在本发明的一种实施例中，所述数据处理模块处理所述网管系统根据所述采集指令采集的数据包括:
[0032]所述数据处理模块将所述网管系统向其发送的数据汇总后，按照用户标识数据、控制面数据和用户面数据进行拆分；并将拆分后的数据按照用户业务过程和时间进行重组。
[0033]在本发明的一种实施例中，所述数据分析模块对重组后的数据进行分析包括:
[0034]根据所述数据所属的业务及业务类型选择对应的业务质量指标，并统计所述业务质量指标值，根据所述业务质量指标值和所述业务质量指标门限值判断所述数据所属业务是否存在业务质量问题；
[0035]和/ 或，
[0036]分析所述数据所属业务的业务过程中的异常原因、交互信令、测量报告、资源消耗信息、网元硬件信息中的至少一种，确定是否存在网络问题。
[0037]为了解决上述问题，本发明还提供了一种网络测试系统，包括网管系统、与所述网管系统通信连接的网元以及如上所述的网络测试装置；所述网络测试装置与所述网管系统通信连接。
[0038]本发明的有益效果是:
[0039]本发明提供的网络测试方法及其数据采集方法、网络测试装置及系统，在对网络进行测试的过程中，网络测试装置根据任务生成对应的数据采集指令，并发送给网管系统，由网管系统根据该采集指令自动采集对应的数据，并将采集到的数据反馈给网络测试装置进行后续的自动化分析等处理。也即，本发明是通过根据具体的任务向网管系统发送数据采集指令，进而由网管系统自动获取对应的数据，并不需要人工去完成测试数据的采集，因此可降低数据采集的成本，同时可提高数据采集的效率；且在数据采集过程中，不会再受人员技能、天气、地理环境、交通状况、治安等各种外界因素限制，因此可保证数据采集的稳定性，进而保证了后续网络测试的准确性。

【专利附图】

【附图说明】
[0040]图1为本发明实施例一中提供的测试数据采集流程示意图；
[0041]图2为本发明实施例一中提供的网管系统采集数据的流程示意图；
[0042]图3为本发明实施例二中提供的网络测试流程示意图；
[0043]图4为图3中对数据进行分析的流程示意图；
[0044]图5为本发明实施例三中提供的网络测试系统结构示意图；
[0045]图6为本发明实施例三中提供的网络测试装置结构示意图；
[0046]图7为本发明实施例四中提供的网络测试流程示意图。

【具体实施方式】
[0047]下面通过【具体实施方式】结合附图对本发明作进一步详细说明。
[0048]对网络的测试一般包括网络测试数据采集过程、基于采集的数据进行问题分析过程；还可进一步包括对分析出的问题进行问题定位的过程。为了较好的理解本发明，下面结合本发明对上述几个过程进行分别说明。
[0049]实施例一:
[0050]请参考图1，本实施例中，在网络测试过程中，对测试数据的采集过程如下:
[0051]步骤101:网络测试装置根据任务生成对应的数据采集指令，并发送给网管系统；
[0052]步骤102:网管系统根据接收到的采集指令采集对应的数据；
[0053]步骤103:网管系统将采集到的数据反馈给网络测试装置。
[0054]根据上述步骤可知，本实施例中测试数据的采集是基于具体的任务需求生成相应的采集指令，并由网管系统根据该采集指令自动获取相应的数据完成的，因此并不需要人工去采集数据或了解需要采集哪些数据，提升了数据采集的自动化程度，同时可降低数据采集的成本，提高数据采集的效率；且在数据采集过程中，不再受人员技能、天气、地理环境、交通状况、治安等各种外界因素限制，可保证数据采集的稳定性，进而保证后续网络测试的准确性。
[0055]本实施例中，步骤101中网络测试装置根据任务生成对应的数据采集指令时，可根据测试任务(例如信号强度的测试任务、网络性能测试任务、上网速率的测试任务等)、监控任务(例如业务质量监控任务、业务成功率监控任务、业务告警监控任务等)、专题分析任务(例如时延分析任务、业务(例如QQ、微信等业务)分析任务、抖动分析任务、丢包率分析业务等)等各种任务，为各不同的任务分别设置对应的时间周期、对象和专题类型等，进而针对各任务解析得到各任务的数据需求，生成对应的采集指令。且在本实施例中，不同任务的数据采集过程是可以各自分离进行的，且后续的问题分析以及问题定位也可都是可以分离进行的。
[0056]本实施例中，网管系统可以包括无线接入网网管系统和/或移动核心网网管系统，可根据具体的应用场景和具体的任务类型具体选择应用。当当前任务涉及的用户或网元在无线网络和移动网络都有分布时，则需要通过无线接入网网管系统和/或移动核心网网管系统根据对应的采集指令分别采集相应的数据，汇总后再进行后续的问题分析等；当当前任务涉及的网元或用户尽在无线网或移动网分布时，则对应的可仅通过无线接入网网管系统或移动核心网网管系统完成数据的采集。请参见图2所示，网管系统根据网络测试装置发送的采集指令采集对应的数据过程包括:
[0057]步骤201:网管系统根据接收到的采集指令生成对应的数据采集操作指令，并下发给对应的网元；
[0058]步骤202:网元根据接收到的数据采集操作指令采集数据，并将采集到的数据反馈给网管系统。
[0059]本实施例中，网管系统通过上述过程采集的数据可包括整个业务过程中的相关数据，也即包括用户标识数据、用户面数据，还包括控制面数据等。相对现有人工路测的方式采集到的数据更为完整、准确和真实(路测方式是通过模拟用户业务方式采集数据，本实施例是实际用户业务过程数据)。也更利于提高后续的问题分析及定位的准确性。
[0060]实施例二:
[0061]本实施例中网络测试问题分析的过程可基于上述实施例一中的数据采集方法采集的数据进行问题分析；当然并不仅局限于上述实施例一种的数据采集方法，只要采集到的数据包括用户标识数据、用户面数据和控制面数据等即可。下面仍以基于上述实施例一种的数据采集结果为例进行说明，请参见图3所示，该过程包括:
[0062]步骤301:网络测试装置根据任务生成对应的数据采集指令，并发送给网管系统；
[0063]步骤302:网管系统根据接收到的采集指令采集对应的数据；
[0064]步骤303:网管系统将采集到的数据反馈给网络测试装置；
[0065]步骤304:网络测试装置对网管系统反馈的数据进行分析。
[0066]请参见图4所示，本实施例中，上述步骤304中网络测试装置对接收到的数据进行分析包括:
[0067]步骤3041:网络测试装置将接收到的数据汇总后，按照用户标识数据、控制面数据和用户面数据进行拆分；
[0068]步骤3042:网络测试装置将拆分后的数据按照用户业务过程和时间进行重组；
[0069]步骤3043:网络测试装置对重组后的数据进行分析判断是否存在问题；包括分析该数据所属业务的交互过程，和/或统计该数据所述业务的各业务质量指标，判断用户业务过程中是否存在网络问题和/或业务质量问题。为了更好的理解本发明，下面结合具体的分析过程(也即问题定位过程)为例对本发明做进一步的示例性说明:
[0070]分析该数据所属业务的交互过程判断是否存在网络问题的过程时，具体可通过分析数据所属业务的业务过程中的异常原因、交互信令、测量报告、网元资源消耗信息、网元硬件信息等中的至少一种，确定是否存在网络问题。例如覆盖问题、干扰问题、容量问题、系统参数设置问题、硬件隐形故障问题等。
[0071]统计该数据所述业务的各业务质量指标判断是否存在业务质量问题时，可根据数据所属的业务(例如QQ、微信、微博等业务)及业务类型(例如即时通信、视频、VoIP等)选择对应的业务质量指标，并统计这些业务质量指标值，根据得到的业务质量指标值和对应的业务质量指标门限值判断是否存在业务质量问题。例如业务失败、低速率、高时延、高丢包率等。
[0072]在本实施例中，根据上述问题定位过程定位出问题的类别后，可进一步根据预先定义的问题规则库确定问题的具体类型，也即分析发生该问题的具体原因。例如，对于覆盖问题，根据信号强度、业务执行位置到服务小区距离、服务小区覆盖范围，确定该问题的具体类型是弱覆盖、过覆盖、导频污染，还是上行覆盖差。
[0073]本实施例中，还可进一步将确定出的问题以及分析该问题的依据保存，并通知网络运维人员。具体可通过告警方式通知网络运维人员，运维人员可以通过图形界面查看问题，以及问题的具体类型、判断依据等，还可回放整个业务过程。
[0074]可见，本实施例中基于上述采集方法采集的数据进行问题的分析时，分析的是真实用户业务过程数据，可识别、统计业务质量，通过数据拆分以及重组可以回放整业务过程，分析是否存在网络问题。不再需要业务模拟、定点拨测、模拟业务质量评估，能更真实、客观反映用户业务实际质量和问题。
[0075]实施例三:
[0076]为了更好的理解本发明，下面以一个完整的测试系统为例，对本发明做进一步示例性的说明。
[0077]请参见图5所示，该网络测试系统包括网管系统、与网管系统通信连接的网元以及上述实施例中的网络测试装置；网络测试装置与网管系统通信连接。根据上述分析可知，本实施例中的网关系统也可包括无线接入网网管系统和/或移动核心网网管系统。
[0078]请参见图6所示，本实施例中的网络测试装置包括任务设置模块、数据处理模块、数据分析模块；还可包括分析结果呈现模块，其中:
[0079]任务设置模块用于提供任务设置界面(可以使图形界面等)，并根据用户设置的任务生成对应的数据采集指令，并发送给网管系统；
[0080]数据处理模块用于处理网管系统根据采集指令采集的数据，并将处理后的数据发送给数据分析模块；
[0081]数据分析模块用于对接收到的数据进行分析。
[0082]本实施例中，数据处理模块处理网管系统根据采集指令采集的数据包括:
[0083]数据处理模块将所述网管系统向其发送的数据汇总后，按照用户标识数据、控制面数据和用户面数据进行拆分；并将拆分后的数据按照用户业务过程和时间进行重组。
[0084]数据分析模块对重组后的数据进行分析包括:
[0085]数据分析模块根据数据所属的业务及业务类型选择对应的业务质量指标，统计所述业务质量指标值，根据所述业务质量指标值和对应的业务质量指标门限值判断所述数据所属业务是否存在业务质量问题；
[0086]和/ 或，
[0087]分析所述数据所属业务的业务过程中的异常原因、交互信令、测量报告、资源消耗信息、网元硬件信息等中的至少一种，确定是否存在网络问题。
[0088]数据分析模块还可按照上述方式对问题的具体类型进行分析，在此不再赘述。
[0089]本实施例中的分析结果呈现模块可进一步将确定出的问题以及分析该问题的依据保存，并通知网络运维人员。具体可通过告警方式通知网络运维人员，运维人员可以通过图形界面查看问题，以及问题的具体类型、判断依据等，还可回放整个业务过程。
[0090]实施例四:
[0091]下面结合整个网络测试过程为例，对本发明做进一步的说明:请参见图7所示，包括:
[0092]步骤701:用户在网络测试装置提供的界面设置测试任务、专题分析任务或监控任务及对应的任务策略；
[0093]步骤702:网络测试装置根据任务类型、任务策略及对应的任务对象，形成多个数据采集子任务，根据网管系统北向接口，对应每个数据采集指令生成一组MML (MMLMan-Machine Language 人机语言)命令；
[0094]步骤703:网络测试装置将生成的MML命令通过网管北向接口下发给移动核心网网管系统和无线接入网网管系统；
[0095]步骤704:移动核心网网管系统和无线接入网网管系统将MML命令转换成数据采集可操作命令，下发给其管理的网元；
[0096]步骤705:根据数据采集可操作命令，无线接入网和移动核心网上报数据给无线接入网网管系统和移动核心网网管系统；
[0097]步骤706:无线接入网网管系统和移动核心网网管系统将接收到的数据生成数据文件，并将数据文件上报给网络测试装置；
[0098]步骤707:网络测试装置汇总两部分数据，提取用户面数据关键信息，控制面数据关键信息按业务过程进行拆分，再按用户、业务过程、数据类型、时间等进行数据重组；
[0099]步骤708:根据识别出的业务及业务类型，选择适合的指标，统计每个业务质量指标，根据实际统计的业务质量指标值和对应的业务质量指标门限值判断用户业务过程中是否存在业务质量问题；以及分析每次业务过程中的异常原因、交互信令、测量报告、资源消耗，确定是否存在网络问题；
[0100]步骤709:综合分析采集的数据，确定问题方向，根据定义的问题规则库，判断细化原因；
[0101]步骤710:以告警方式在界面上给出提示，网络运维人员选择问题告警，可以查看问题的相关情况。
[0102]可见，发明测试数据的采集由网管系统根据采集指令自动获取相应的数据完成，不需要人工去采集，可提升数据采集的自动化程度，同时可降低数据采集的成本，提高数据采集的效率；且在数据采集过程中，不再受人员技能、天气、地理环境、交通状况、治安等各种外界因素限制，可保证数据采集的稳定性，进而保证后续网络测试的准确性。
[0103]同时，网管系统采集的数据可包括整个业务过程中的相关数据，也即包括用户标识数据、用户面数据，还包括控制面数据等等。相对现有人工路测的方式采集到的数据更为完整和准确，同时数据量相对现有人工路测的方式得到的数据量更小，更利于提高后续的问题分析及定位的准确性，且能降低对网元设备的资源消耗。
[0104]另外，基于上述采集方法采集的数据进行问题的分析时，分析的是真实用户业务过程数据，可识别、统计业务质量，通过数据拆分以及重组可以回放整业务过程，分析是否存在网络问题。不再需要业务模拟、定点拨测、模拟业务质量评估，能更真实、客观反映用户业务实际质量和问题。
[0105]以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属【技术领域】的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
【权利要求】
1.一种网络测试数据采集方法，其特征在于包括: 网络测试装置根据任务生成对应的数据采集指令，并发送给网管系统； 所述网管系统根据所述采集指令采集对应的数据，并将采集到的数据反馈给所述网络测试装置。
2.如权利要求1所述网络测试数据采集方法，其特征在于，所述网管系统根据所述采集指令采集对应的数据包括: 所述网管系统根据所述采集指令生成对应的数据采集操作指令，并下发给对应的网元; 所述网元根据所述数据采集操作指令采集数据，并将采集到的数据反馈给所述网管系统。
3.如权利要求1或2所述网络测试数据采集方法，其特征在于，所述任务为专题分析任务、监控任务或测试任务。
4.如权利要求1或2所述网络测试数据采集方法，其特征在于，所述网管系统包括无线接入网网管系统和/或移动核心网网管系统。
5.一种网络测试方法，其特征在于包括: 网络测试装置根据任务生成对应的数据采集指令，并发送给网管系统； 所述网管系统根据所述采集指令采集对应的数据，并将采集到的数据反馈给所述网络测试装置； 所述网络测试装置对接收到的数据进行分析。
6.如权利要求5所述的网络测试方法，其特征在于，所述网络测试装置对接收到的数据进行分析包括: 所述网络测试装置将接收到的数据汇总后，按照用户标识数据、控制面数据和用户面数据进行拆分； 所述网络测试装置将拆分后的数据按照用户业务过程和时间进行重组； 所述网络测试装置对重组后的数据进行分析判断是否存在问题。
7.如权利要求6所述的网络测试方法，其特征在于，所述网络测试装置对重组后的数据进行分析判断是否存在问题包括: 根据所述数据所属的业务及业务类型选择对应的业务质量指标，并统计所述业务质量指标值，根据所述业务质量指标值和所述业务质量指标门限值判断所述数据所属业务是否存在业务质量问题； 和/或， 分析所述数据所属业务的业务过程中的异常原因、交互信令、测量报告、资源消耗信息、网元硬件信息中的至少一种，确定是否存在网络问题。
8.如权利要求7所述的网络测试方法，其特征在于，所述网络测试装置根据重组后的数据分析存在问题后，还包括: 根据预先定义的问题规则库，确定问题的具体类型。
9.如权利要求8所述的网络测试方法，其特征在于，在确定出问题类型后，还包括:将确定出的问题以及分析该问题的依据保存，并通知网络运维人员。
10.一种网络测试装置，其特征在于，包括任务设置模块、数据处理模块和数据分析模块； 所述任务设置模块用于根据设置的任务生成对应的数据采集指令，并发送给网管系统； 所述数据处理模块用于处理所述网管系统根据所述采集指令采集的数据，并将处理后的数据发送给所述数据分析模块； 所述数据分析模块用于对接收到的数据进行分析。
11.如权利要求10所述的网络测试装置，其特征在于，所述数据处理模块处理所述网管系统根据所述采集指令采集的数据包括: 所述数据处理模块将所述网管系统向其发送的数据汇总后，按照用户标识数据、控制面数据和用户面数据进行拆分；并将拆分后的数据按照用户业务过程和时间进行重组。
12.如权利要求11所述的网络测试装置，其特征在于，所述数据分析模块对重组后的数据进行分析包括: 根据所述数据所属的业务及业务类型选择对应的业务质量指标，并统计所述业务质量指标值，根据所述业务质量指标值和所述业务质量指标门限值判断所述数据所属业务是否存在业务质量问题； 和/或， 分析所述数据所属业务的业务过程中的异常原因、交互信令、测量报告、资源消耗信息、网元硬件信息中的至少一种，确定是否存在网络问题。
13.一种网络测试系统，其特征在于包括网管系统、与所述网管系统通信连接的网元以及如权利要求10-12任一项所述的网络测试装置；所述网络测试装置与所述网管系统通信连接。
【文档编号】H04L12/26GK104283732SQ201310286904
【公开日】2015年1月14日 申请日期:2013年7月9日 优先权日:2013年7月9日
【发明者】胡鹏 申请人:中兴通讯股份有限公司