专利名称：对光同步数字传送体系的网络管理系统软件测试和故障定位的方法
技术领域：
本发明涉及对电信管理网(TMN)的测试和故障定位方法，尤其涉及对光同步数字传送体系(SDH)的网络管理系统软件测试和故障定位的方法。
背景技术：
光同步数字传送网的网络管理系统应纳入电信网管理网(TMN)的范畴。
TMN是一种独立于电信网而专职进行网络管理的电信管理网，TMN的基本概念，是利用一个具备一系列标准接口(包括协议和消息规定)的统一体系结构来提供一种有组织的结构，使各种不同类型的操作系统(网络管理系统软件)与电信设备互联，从而实现电信网的自动化和标准化管理，并提供大量的各种管理功能。TMN采用开放系统互联(OSI)的系统管理概念和工具，诸如管理者/代理的概念和管理目标的使用等，因而TMN可以看作是应用OSI概念进行电信网和电信服务管理的网络。
通信环境的管理是一种信息处理应用。由于通讯环境是分布式的，因而网络管理也是分布式应用。所谓组织模型主要用来描述网络管理中管理任务如何分配和组织，具体说就是描述管理进程担任控制角色(管理者)和被控角色(代理)的能力以及管理者与代理之间的相互关系。管理者(MANAGER)的任务是发送管理命令和接收代理(AGENT)回送的通知；代理的任务是直接管理有关的管理目标，响应管理者发来的命令，并回送反映管理目标行为的通知给管理者。管理者和代理的关系不是一一对应的，一个管理者可以与多个代理进行信息交换，一个代理也可以与多个管理者进行信息交换。
具体到光同步数字传送体系(SDH)，SDH的网络管理系统是整个TMN网管的有机组成部分，因而必须遵循TMN的通用信息模型。
目前，光同步数字传送体系(以下简称传输)的网络管理系统一般由4个层次组成即图形用户界面层(GUI)、管理者层(MANAGER)、代理层(AGENT)和控制目标(MCU)。每一层完成不同的功能，层与层之间通过特定的接口和协议进行联系，GUI提供用户操作界面，MANAGER负责网络的控制管理，AGENT负责网元的管理，MCU则负责各功能单板(或插板)的管理，MCU部分因与硬件结合紧密，通常划归硬件系统，4个层次相互协调完成光同步数字传送体系的网管系统的告警管理、性能管理、配置管理、安全管理、维护管理等五大管理功能。
对于网络管理系统软件的测试，一方面由于光同步数字传送网的网络管理软件内的各层次的相互关联，一般难以对其中某个层次进行单独的测试。并且网管系统管理功能的正确性需要通过硬件系统的运作来验证，测试网络管理系统时也要与硬件系统相连接，即使是单独进行网管系统的测试也脱离不了硬件系统的验证，造成了对SDH硬件资源的占用，同时也存在测试时硬件组网复杂的缺点。
另一方面，由于测试结果只反映于相关硬件系统的输出情况，因此在网络管理系统联调或测试中出现问题时，对问题的定位通常需要花费大量的时间，有时甚至出现无法对问题发生点定位的情况。比如GUI下发一个告警屏蔽的命令，但是设备上相关的单板却没有执行屏蔽操作，为了定位该问题究竟是在GUI、MANAGER、AGENT、MCU还是单板硬件引起的，会花费较多的时间。
传输网管系统的管理模式是集中管理方式，在实际运行中是一套网管系统管理一个或多个传输网络，任何通用版本的网管均须支持已提供的传输网络的组网和保护功能。为适应各种市场需求，各种不同的传输设备不断推出，网上运行的传输网络一般均是各种传输设备的混合组网和保护，而需要采用同一套网管系统来对网络进行管理，这样就要求各版本的网管系统对不同传输设备的各种组网和保护均需提供支持，为此对各版本的网管系统均需进行全面的测试。现在，对光同步网络管理系统进行全面的测试由于要与硬件设备互联，而且测试结果只反应于硬件的相应输出，因此需要大量的时间、人力和设备资源。随着新版本网管和新传输设备的不断推出，测试人员不断进行重复、繁琐的组网和保护测试等网管测试，耗费了大量人力物力资源，网管系统的测试工作量越来越重，测试效率不高。
发明内容
本发明所要解决的技术问题是为了克服现有对光同步数字传送体系(SDH)的网络管理系统软件测试过程中必须结合相应的光同步传送硬件设备，占用硬件资源的技术问题；进一步地，本发明所要解决的技术问题是为了克服现有对光同步数字传送体系(SDH)的网络管理系统软件测试过程中，对发现的测试故障难于定位的技术问题；实现本发明所要解决的技术问题而采取的技术方案概括如下。
本发明提供的对光同步数字传送体系的网络管理系统软件测试的方法，包括以下步骤将测试用例输入并存贮在光同步数字传送体系的网络管理系统的计算机的存储器中；
在网络管理系统软件的各层间通过接口适配程序设置检测点，所述接口适配程序用来根据网络管理系统软件的层之间的接口结构，接入待测试的网络管理系统软件，截取待测试的网络管理系统软件的输出报文；在网络管理系统运行测试用例；在网络管理系统的检测点截取输出报文；将输出的报文与所述测试用例对应的测试用例模板进行比较。
另一方面，本发明提供的对光同步数字传送体系的网络管理系统软件故障定位的方法，包括以下步骤将测试用例输入并存贮在光同步数字传送体系的网络管理系统的计算机的存储器中；在网络管理系统软件的各层间通过接口适配程序设置检测点，所述接口适配程序用来根据网络管理系统软件的层之间的接口结构，接入待测试网络管理系统软件，截取待测试网络管理系统软件的输出报文；通过接口适配程序单独模拟或组合模拟存在故障的网络管理系统软件的不同层；在网络管理系统运行测试用例；在网络管理系统的检测点截取输出报文；将输出的报文与所述测试用例对应的测试用例模板进行比较。
采用本发明技术方案，对光同步数字传送体系(SDH)的网络管理系统软件进行测试时，与现有技术相比，只需对网管输出的报文进行对比判断，将网管系统和相应的SDH硬件设备分离，减少对SDH硬件资源的占用，大大降低了系统测试成本；同时采用本发明的技术方案，可以快速将网管系统的故障问题定位到SDH网管软件具体的层一级。
图1示出了光同步数字传送体系的网络管理系统软件的分层体系软件的分层结构；图2示出了本发明的一个具体实施方式
的测试和故障定位的流程图。
具体实施例方式
首先对本发明的技术方案涉及的几项技术内容分别进行描述。
SDH网络管理系统软件在下文中简称为网管。
第一是对SDH网络管理软件分层测试的技术。在网管的分层体系结构中，存在相应的互操作接口连接不同的层信息，如在GUI层和MANAGER层之间的F接口、在MANAGER层和AGENT层之间的Q3/Qx接口、在AGENT层之间的ECC接口以及在AGENT层与管理目标层之间的S接口(S接口是私有接口)，见附图1。在对网管进行测试时，分别在F接口、Q3/Qx接口、ECC接口、S接口上建立测试点，利用接口适配程序，同时针对测试的不同的网管软件层次分别进行接口适配，分别建立F接口适配程序、Q3/Qx接口适配程序、ECC接口适配程序和S接口适配程序。所述接口适配程序，用来根据网络管理系统软件的层之间的接口结构，接入待测试网络管理系统软件，截取待测试网络管理系统软件的输出报文。通过接口适配程序，在测试时可以分别模拟网管系统的不同层次，以便对其他层次进行单独或组合的测试，具体如下图形用户界面(GUI)模拟，编制GUI侧的F接口适配程序，与管理者层(MANAGER)进行连接，此时通过接口适配程序可模拟GUI向MANAGER发送F口报文，同时接收MANAGER上报的信息，由此可对F口以下层次进行测试；管理者层(MANAGER)模拟，分别编制MANAGER侧的F接口和Q3/Qx接口适配程序，通过接口适配程序可模拟MANAGER对GUI和MANAGER以下网管层次分别进行测试；代理层(AGENT)模拟，编制AGENT侧的Q3/Qx接口适配程序，接口适配程序可模拟AGENT对MANAGER以上层次进行测试；对于ECC接口和S接口，由于ECC接口和S接口与SDH设备硬件紧密结合，直接作用于硬件设备上，无法单独分离测试，为此在AGENT中建立桩模块，在测试点处将相应的接口适配程序嵌入到AGENT之中，同时利用实时操作系统系统(AGENT运行在实时操作系统上)自带的远程登录(Telnet)和监控工具对ECC接口和S接口进行控制和测试，同时可模拟AGENT或控制目标(MCU)对其他层次进行测试。
第二是网管和硬件系统的分离技术传输(SDH)网络系统属于线性系统，如果将网管系统(包含GUI/MANAGER/AGENT部分)当作一个黑箱，用户将待测试的功能划分为不同分类的测试用例，每个测试用例通过在图形用户界面上操作，经过网管系统运行，在测试点输出相应的报文，SDH硬件设备接收到下发的报文进行执行，通过对SDH硬件设备的执行结果测试可验证网管相应功能的正确性。根据相应的接口适配程序，在F接口、Q3/Qx接口、ECC接口、S接口上分别建立测试点。根据此工作模式，可建立测试用例、操作输入、测试点输出报文和硬件执行结果之间的对应关系(设测试用例A1，操作输入B1，报文输出C1，执行结果D1)。
对一个测试用例，对应的操作在GUI上产生一条命令下发，网管运行后，输出结果为一个报文；一个测试用例，对应的操作在GUI上产生一条命令下发，网管运行后，输出结果为多个报文；一个测试用例，对应的操作在GUI上产生多条命令下发，网管运行后，输出结果为多个报文；对整个网管系统的测试用例进行整合，可得到相应硬件执行结果的对应关系。
假设对于网管测试用例A1，在测试点处的输出报文为C1，SDH硬件的执行结果为D1。根据SDH网络系统具有的线性关系，如果在测试点有输出报文C1，则意味着硬件的执行结果将为D1，假设测试网管系统和相应的硬件都是无故障的，由此，测试用例A1的正确性验证可由验证硬件执行结果D1的正确性，转化为验证待测试的网管的输出报文是否为C1。而根据前面网管分层测试所述，通过建立相应的接口适配程序，所述的接口适配程序可截获测试点的输出报文，只要判断截获的报文是否为C1，就可推知硬件执行结果是否为D1，由此验证网管测试用例A1功能的正确性。反之，若测试用例A1的功能是正确的，SDH硬件是无故障的，则通过待测试网管的输出报文是否为C1，根据线形关系，便可推知网络管理系统软件相对于测试用例A1的待测功能是无故障的。
在测试网管系统时，只需测试通过接口适配程序在相应测试点截获的报文，无需再搭建硬件网络去测试执行结果D1。通过采用这种测试方法，可将网管系统的测试与硬件系统分离。
第三是测试用例模板库生成的技术。根据前述的网管和硬件系统的分离技术，在网管系统和硬件系统进行分离后，网管系统的测试的判断基准就着眼于在测试点截获的正确的报文，此处对作为判断基准正确的报文的生成进行介绍。为方便描述，将在测试点截获的正确的报文生成的结果的集合称为测试用例模板库。
测试用例模板库的生成需要结合无故障的SDH硬件系统进行。通过接口适配程序，在网管系统相应的测试点处截取测试点处输出的报文。对于测试用例1，在网管系统测试点输出的报文经测试工具按指定规则处理，生成测试用例库1；同时，网管系统将测试点输出报文下发到硬件系统，硬件系统对接收到的报文进行执行，得到一个与测试用例1相对应的执行结果，测试人员对硬件系统的执行结果进行测试，如果执行结果正确，则将测试用例库1转入测试用例模板库，对应测试用例模板库中的测试用例模板1。如果执行结果错误，则将测试用例库1扔掉。如是类推，对测试用例N(N≥1)重复上述过程。随着测试的不断进行，SDH网管系统逐渐稳定，测试用例模板库中的测试用例模板也逐渐积累，逐渐得以完善。根据相应的接口适配程序，所述测试点分别建立在F接口、Q3/Qx接口、ECC接口、S接口上，所述测试用例模板库对应于相应的测试点。
第四是网管系统的快速测试和故障定位的技术。对一个新的网管版本后，要对其进行全面的测试，一般为此需搭建各种软、硬件系统支持组网进行测试，为实现全面测试，需要很大的工作量。网管系统快速测试技术的主要应用领域是进行网管系统的回归测试，其中测试用例模板库是进行快速测试的前提和基础。新版本网管系统提交测试后，在原有测试用例模板库的基础上，进行系统的回归测试，测试系统原有的各种组网和保护及管理功能。测试人员从上述经过验证的测试用例1---测试用例N，分别对网管系统进行测试，利用接口适配程序，在相应的测试点处截取网管系统下发到硬件系统的报文，生成测试用例库1---测试用例库N，并将生成的测试用例库与相应的测试用例模板库作为参照基准数据进行比较。如果对应某一测试用例，两者的数据相一致，这表明网管系统通过相应测试用例，相应的功能正确；如果，两者的数据不一致，则表明新提交的网管系统在本测试用例上出错，相应的功能实现不了，存在故障。比较的结果可以通过计算机显示器显示。在报文比较中，由于可能出现系统内部定时或随机下发的专用报文，为保证接口适配程序的正常运作，需编制专门的过滤器来过滤冗余的报文信息。一旦发现比较错误，接口适配程序自动记录前后报文的对比信息，通过此方式，可将故障直接定位在报文一级，同时再用该测试用例通过对网管系统的进行按上述网管分层测试技术进行分层的测试，可直接对系统错误进行确切的定位，进而为解决网管系统的故障提供了有效的手段，为此使得网管系统的测试和故障解决都得以高效进行。在进行故障定位时，通过接口适配程序，在测试时可以分别模拟网管系统的不同层次，以便对其他层次进行单独或组合的测试。例如，测试出网管故障时，可通过MANAGER侧的F接口和Q3/Qx接口适配程序，对管理者层(MANAGER)模拟，接入待测网管，可模拟MANAGER层对GUI和MANAGER以下网管层次分别进行测试，此时模拟的MANAGER层的功能是正确的。在待测网管上运行使待测网管产生故障测试用例，若此时在测试点处截获得报文与相应的测试用例模板库中报文信息一致，则可判断待测网管的被模拟的管理者层(MANAGER)的功能发生故障；若不一致，继续单独模拟或组合模拟(模拟两个或两个以上的层)其他层次的网管系统，模拟的层或层的组合的功能是正确的，运行使待测网管产生故障测试用例，直至在测试点处截获得报文与相应的测试用例模板库中报文信息一致，即可将故障定位至待测网管的被模拟的某一层或组合的层处。
由于网管系统快速测试时与硬件系统分离，在进行回归测试时无需搭建硬件环境，只是在进行新功能测试时需要搭建硬件环境，回归测试不再受硬件资源的限制；如果在测试用例输入方面进行改进，结合采用自动、半自动的脚本输入工具(在后面进行描述)，即可对系统进行自动、半自动的高速测试，系统回归测试时间将大大缩短，而测试的可靠性则大大加强。
第五是与脚本输入工具相结合的网管系统自动测试的技术。要进行网管系统的自动测试，其前提是在测试用例的输入方面要自动化。在此方面有两种实现方法，一是购买商用化的脚本输入工具，二是自行开发脚本输入工具。根据系统的实际情况和需求，一般来说是两者结合进行。脚本输入工具提供两种工作模式脚本生成模式、脚本回放模式。脚本生成模式用于生成测试用脚本，测试人员在通过计算机在网管系统上进行测试用例的操作，脚本输入工具自动将测试人员进行的操作生成脚本，脚本生成后，测试人员可对脚本进行编辑、整理，根据测试需要对脚本进行组合或添加相关功能，修改完毕后保存为不同的测试用脚本库，与测试用例相对应。脚本回放模式用于对生成的脚本进行回放，先启动脚本输入工具的脚本回放模式，此时脚本输入工具根据测试人员制定的回放规则自动回放脚本库，脚本库回放后，自动产生相应的测试用例对网管系统进行操作，这些操作与测试人员进行的手工操作完全相同，网管系统执行后再产生相应的报文输出，接口适配程序对测试用例进行快速测试并对结果进行记录和比较，判断是否有故障。通过与脚本输入工具相结合，测试用例的输入运行得以自动化进行，这样，网管系统就能够实现自动化的快速测试。
下面将结合附图2，举例说明本发明的一个实施的方式。
在对网管软件进行测试操作时，首先执行步骤201，将测试用例输入网管计算机，存储在程序存储器；然后执行步骤202，在网管计算机运行测试用例；接着执行步骤203，通过接口适配程序，在网管软件的检测点截取网管的输出报文；接着执行步骤204，将输出报文与所述测试用例对应的测试用例模板进行比较，若比较结果一致，执行步骤205，输出待测网管与测试用例对应的功能正确的结论；若比较结果不一致，执行步骤211，输出待测网管与测试用例对应的功能错误的结论，并同时进行故障定位而转到步骤206；执行步骤206，通过接口适配程序单独模拟或组合模拟存在故障的网络管理系统软件的不同层；执行步骤207，运行使待测网管产生故障的测试用例；执行步骤208，通过接口适配程序，在网管软件的检测点截取网管的输出报文；执行步骤209，将输出报文与所述测试用例对应的测试用例模板进行比较，若比较结果一致，执行步骤210，输出被模拟的网管的一个层或多个层的组合的相应功能错误，出现故障，若比较结果不一致，转到执行步骤206。
采用本发明技术方案，对光同步数字传送体系(SDH)的网络管理系统软件进行测试时，与现有技术相比，只需对网管输出的报文进行对比判断，将网管系统和相应的SDH硬件设备分离，减少对SDH硬件资源的占用，大大降低了系统测试成本；同时采用本发明的技术方案，可以快速将网管系统的故障问题定位到SDH网管软件具体的层一级。
尽管参照实施例对所公开的涉及对光同步数字传送体系(SDH)的网络管理系统软件测试和故障定位的方法进行了特别描述，本领域技术人员将能理解，在不偏离本发明的范围和精神的情况下，可以对它进行形式和细节的种种修改。因此，以上所建议的但不局限的修改都在本发明的范围之内。
权利要求
1.对光同步数字传送体系的网络管理系统软件测试的方法，其特征在于包括以下步骤将测试用例输入并存贮在光同步数字传送体系的网络管理系统的计算机的存储器中；在网络管理系统软件的各层间通过接口适配程序设置检测点，所述接口适配程序用来根据网络管理系统软件的层之间的接口结构，接入待测试的网络管理系统软件，截取待测试的网络管理系统软件的输出报文；在网络管理系统运行测试用例；在网络管理系统的检测点截取输出报文；将输出的报文与所述测试用例对应的测试用例模板进行比较。
2.根据权利要求1所述的测试方法，其特征在于还包括以下步骤在光同步数字传送体系的网络管理系统的计算机显示设备上输出比较结果。
3.根据权利要求1或2所述的方法，其特征在于所述在网络管理系统运行测试用例的步骤还包括以下步骤测试用例脚本库中的测试用例按设定的规则自动在网络管理系统运行。
4.根据权利要求1或2所述的测试方法，其特征在于所述将输出的报文与所述测试用例对应的测试用例模板进行比较步骤还包括以下步骤过滤冗余的报文信息的步骤，所述冗余的报文信息是指网络管理系统内部定时或随机下发的专用报文。
5.对光同步数字传送体系的网络管理系统软件故障定位的方法，其特征在于包括以下步骤将测试用例输入并存贮在光同步数字传送体系的网络管理系统的计算机的存储器中；在网络管理系统软件的各层间通过接口适配程序设置检测点，所述接口适配程序用来根据网络管理系统软件的层之间的接口结构，接入待测试的网络管理系统软件，截取待测试网络管理系统软件的输出报文；通过接口适配程序单独模拟或组合模拟存在故障的网络管理系统软件的不同层；在网络管理系统运行测试用例；在网络管理系统的检测点截取输出报文；将输出的报文与所述测试用例对应的测试用例模板进行比较。
6.根据权利要求5所述的故障定位的方法，其特征在于所述将输出的报文与所述测试用例对应的测试用例模板进行比较的步骤还包括以下步骤若比较结果一致，则输出故障定位在被模拟的网络管理系统软件的层；若比较结果不一致，则继续执行所述通过接口适配程序单独模拟或组合模拟存在故障的网络管理系统软件的不同层的步骤。
7.根据权利要求5或6所述的故障定位的方法，其特征在于所述在网络管理系统运行测试用例的步骤还包括以下步骤测试用例脚本库中测试用例按设定的规则自动在网络管理系统运行。
8.根据权利要求5或6所述的故障定位的方法，其特征在于所述将输出的报文与所述测试用例对应的测试用例模板进行比较步骤还包括以下步骤过滤冗余的报文信息的步骤，所述冗余的报文信息是指网络管理系统内部定时或随机下发的专用报文。
全文摘要
本发明公开了对SDH的网络管理系统软件测试和故障定位的方法，所述的测试方法包括以下步骤将测试用例输入并存贮在光同步数字传送体系的网络管理系统的计算机的存储器中；在网络管理系统软件的各层间通过接口适配程序设置检测点，所述接口适配程序用来根据网络管理系统软件的层之间的接口结构，接入待测试的网络管理系统软件，截取待测试的网络管理系统软件的输出报文；在网络管理系统运行测试用例；在网络管理系统的检测点截取输出报文；将输出的报文与所述测试用例对应的测试用例模板进行比较。采用本发明的技术方案，只需对网管输出的报文进行对比判断，可以将网管系统和相应的SDH硬件设备分离；同时可以快速故障问题定位到网管具体的层一级。
文档编号H04B10/08GK1430346SQ0113809
公开日2003年7月16日 申请日期2001年12月31日 优先权日2001年12月31日
发明者何庭宗 申请人:深圳市中兴通讯股份有限公司上海第二研究所