专利名称：一种基于Windows平台多服务器多应用的自动化测试方法
技术领域：
本发明涉及计算机多服务器应用性能测试领域，具体地说是一种基于Windows平台多服务器多应用的自动化测试方法。
背景技术：
随着社会科技的发展，服务器应用种类也在不断增加，所以最终用户涉及Windows平台的应用类型也在不断增加，客户需要对基于Windows平台的服务器应用性能有一定了解，服务器厂商也在努力提供这些详细数据以指导客户选型。目前，在传统单服务器单应用的紧耦合架构下的测试模型，如果一款服务器每种配置每种应用都进行测试，工作量是巨大的，测试周期是漫长的。在产品线较长的厂商，问题会更加严重。在实际的工作中，服务器厂商在开发方案前，用户在选择和采购服务器前，都需要对服务器在某种应用下的性能进行评估测试，确保其良好的性能和稳定性。这样就必须进行测试确认工作，本方法就是为了有效地简化测试工作，缩短测试周期。
发明内容
本发明的技术任务是解决现有技术的不足，提供一种基于Windows平台多服务器多应用的自动化测试方法。本发明的技术方案是按以下方式实现的，待测服务器及软件包括:一台或多台服务器，STAF和STAX，其中:
A、在待测服务器上安装部署Windows系统、应用软件及STAF，并部署需要测试的应用，包括:WEB服务、数据库服务、邮件服务、FTP服务；
B、在客户端服务器上安装相应压力测试软件及STAF，仅在主客户安装STAX；
C、通过STAX同时开启、关闭测试项及监控测试状态，以简化测试过程和提高工作效
率；
应用性能测试
首先，在被测服务器上安装Windows系统，然后按下列要求搭建测试环境:
O邮件服务器性能测试
操作系统为Windows 2003 SP2标准版；
A.如下方法安装ASP.NET、NNTP和SMTP服务:
(1)把WindowsServer 2003的系统盘放入光驱；
(2)在控制面板里，打开添加或删除程序；
(3)在面板的左侧,选择添加/删除Windwos组件；
(4)选择应用服务，点击详细按钮，在复选框中选择ASP.NET;
(5)其它保持不变；
(6)选择Internet Information Services (IIS)点击详细按钮；
(7)在复选框中选择NNTP和SMTP服务；(8)点击应用退出 按如下方法安装 Microsoft Exchange 2003 Server:
(1)点击开始一运行，并在文本框中输入“dcpiOmo”，单击“确定”按钮执行输入的命令)，出现Active Directory安装向导；
(2)单击“下一步”按钮，出现“操作系统兼容性”提示对话框；
(3)单击“下一步”按钮，出现“域控制器类型”对话框。选中“新域的域控制器”单选按钮；
(4)单击“下一步” 按钮，出现“创建一个新域”对话框。选中“在新林中的域”单选按
钮
(5)单击“下一步”按钮，出现“新的域名”对话框。在“新域的DNS全名”文本框中，输入完整的DNS名称,如“vm-test.com” ；
(6)单击“下一步”按钮，出现“NetBIOS域名”对话框。系统自动将DNS名称的前部分作为NetBIOS名称；
(7)单击“下一步”按钮，出现“数据库和日志文件文件文件夹”对话框；
(8)单击“下一步”按钮，出现“共享的系统卷”对话框；
(9)单击“下一步”按钮，出现“DNS注册诊断”对话框；
(10)单击“下一步”按钮，出现“权限”对话框；
(11)单击“下一步”按钮，出现“目录服务还原模式的管理员密码”对话框。输入“还原模式密码”和“确认密码”。还原模式的密码在该服务器目录服务还原时使用；
(12)单击“下一步”按钮，出现“摘要”信息对话框。可查看域服务器的配置内容，如果需要修正，可单击“上一步”按钮返回；
(13)单击“下一步”按钮，开始配置ActiveDirectory,单击“跳过DNS安装”按钮，跳过DNS安装；
(14)完成ActiveDirectory配置后，出现“正在完成Active Directory安装向导”对话框，单击“完成”按钮，出现重新启动计算机对话框；
(15)单击“立即重新启动”按钮,重新启动Windows系统,完成ActiveDirectory和域控制器的安装；
B.安装STAF
Cl)下载相应的SATF版本，STAF341-1ntel32.exe根据实际版本而定；
(2)直接点击运行，默认安装即可；
(3)修改STAF.cfg文件，vi c:/staf/bin/STAF.cfg，添加测试环境中所有IP地址，如
下:
#Turn on tracing of internal errors and deprecated optionstrace enable tracepoints 〃error deprecated"
#Enable TCP/IP connectionsinterface tcp library STAFTCP
#Set default local trust
trust machine local://local level 5trust machine 192.168.* level 5#Default Service Loader Serviceserviceloader library STAFDSLS
2)JAVA服务器
操作系统为64位Windows 2003 SP2标准版；
A.安装SPECjbb2005，默认安装即可；
B.安装BEAJrokit,默认安装既可；
C.安装ApacheAnt,其解压后复制到:c:\ant目录下；
D.安装STAF ;
Cl)下载相应的SATF版本，STAF341-1ntel64.exe根据实际版本而定；
(2)直接点击运行，默认安装即可；
修改STAF.cfg文件，vi c:/staf/bin/STAF.cfg，添加测试环境中所有IP地址，如下:
#Turn on tracing of internal errors and deprecated optionstrace enable tracepoints 〃error deprecated"
#Enable TCP/IP connectionsinterface tcp library STAFTCP
#Set default local trust
trust machine local://local level 5trust machine 192.168.* level 5
#Default Service Loader Serviceserviceloader library STAFDSLS
3)客户端
需要两台物理机做为压力端，安装Windows 2003 SP2标准版，并加入到由邮件服务器创建的域中； 需要安装软件:
A.安装BEA JRockit
(1)在Welcome 界面，点击 Next.(2)在Optional Tools 界面，选择 Mercury profiling tools,点击 Next.(3)安装目录，选择默认目录即可；
(4)点击完成；
B.安装Cygwin,在选择安装包时,选择全部,其余设置默认即可；
C.安装Microsoft Outlook 2003 和 LoadSim,默认安装即可；
D.安装STAF ;
Cl)下载相应的SATF版本，STAF341-1ntel32.exe根据实际版本而定；
(2)直接点击运行，默认安装即可；
(3)修改STAF.cfg文件，vi c:/staf/bin/STAF.cfg，添加测试环境中所有IP地址，如
下:
#Turn on tracing of internal errors and deprecated optionstrace enable tracepoints 〃error deprecated"
#Enable TCP/IP connectionsinterface tcp library STAFTCP
#Set default local trust
trust machine local://local level 5trust machine 192.168.* level 5
#Default Service Loader Serviceserviceloader library STAFDSLS。所述的测试方法，按测试需求通过客户端向待测服务器上启用的多种应用服务进行加压，具体步骤如下::
1)确认所有测试机的系统时间同步在10秒以内；
2)在主客户端开启STAX:
java -jar C:\STAF\services\stax\STAXMon.jar ；
3)打开STAX监控窗口，点击SubmitNew Job按钮，会显示Job Info标签，点击XMLJob File,勾选 local machine ；
4)在Filename框内，输入定义了Java和邮件测试策略的XML文件，通过自动调用客户端向java服务器进行加压；通过自动调用LoadSim软件，向Exchange服务器进行加压，邮件服务器根据客户要求更换为Sendmail ；
5)在JobOptions选项，点击Job Name项，输入测试结果文件的保存路径和名称，名称尽可能多的包含测试信息，以方便日后查询；
6)点击Function标签,选择default按钮,最后点击SubmitNew Job按钮，就会开始测试;
7)此时在STAX监控窗口能查看各项负载的测试状况，包括=Java和Mail服务器的测试状态。所述的自动化测试方法测试还包括:可同时运行多台服务器上的多个测试用例，以给每台待测服务器足够的压力，同时监控测试情况，并能简便的调整测试压力、更换被测试服务器及其测试用例，以提高测试环境的使用效率。本发明的有益效果:以Windows平台多服务多应用的自动化应用性能测试为核心，通过该测试方法的整理和规范，形成标准化的操作，简化测试工作，缩短测试周期，准确定位系统瓶颈，从而保证产品性能测试结果的有效性。这种测试方法能够保证测试工作的质量和效率，并且对产品研发、采购、方案开发等工作提供数据支持。该方法不仅能有效减少浪费在重复性手工测试上的时间，而且能创建优良可靠的测试过程，减少人为错误，还能增强待测试产品及其应用的覆盖率，该方法适用于所有Windows操作系统。
图1是测试系统结构示意图。
具体实施例方式下面结合附图对本发明的方法作进一步详细说明。
鉴于上述所存在的问题，本发明的目的是提供一种基于Windows平台多服务器多应用的自动化测试方法，通过该方法可以有效简化测试工作、缩短测试周期。
本发明的目的是通过以下技术实现的:
本发明提供了一种基于Windows平台多服务器多应用的自动化测试方法，包括:
1、基于Windows平台多服务多应用的自动化测试方法，需要通过STAF和STAX两款软
件；
2、在测试过程中可以简化测试工作，缩短测度周期；
3、具体的应用、服务器数量和配置可由客户和服务器厂商灵活掌控，所述的待测服务器及软件包括:
一台或多台服务器。STAF 和 STAX。应用性能测试
首先，在被测服务器上安装经过认证的Windows系统，然后，根据实际要求搭建测试环境，下边仅以邮件和Javay应用为例。应用性能测试
首先，在被测服务器上安装Windows系统，然后按下列要求搭建测试环境:
1.邮件服务器性能测试
操作系统为Windows 2003 SP2标准版；
A.如下方法安装ASP.NET、NNTP和SMTP服务:
(1)把WindowsServer 2003的系统盘放入光驱；
(2)在控制面板里，打开添加或删除程序；
(3)在面板的左侧,选择添加/删除Windwos组件；
(4)选择应用服务(但不要在左边的多选框中选它)；
(5)点击详细按钮；
(6)在复选框中选择ASP.NET ；
(7)其它保持不变；
(8)选择InternetInformation Services (IIS)(不要选择或取消它左边的多选
框)；
(9)点击详细按钮；
(10)在复选框中选择NNTP和SMTP服务；
(11)点击应用退出；
按如下方法安装 Microsoft Exchange 2003 Server:
(1)点击开始一运行，并在文本框中输入“dcpiOmo”，单击“确定”按钮执行输入的命令)，出现Active Directory安装向导；
(2)单击“下一步”按钮，出现“操作系统兼容性”提示对话框；
(3)单击“下一步”按钮，出现“域控制器类型”对话框。选中“新域的域控制器”单选按钮；
(4)单击“下一步”按钮，出现“创建一个新域”对话框。选中“在新林中的域”单选按
钮；
(5)单击“下一步”按钮，出现“新的域名”对话框。在“新域的DNS全名”文本框中，输入完整的DNS名称,如“vm-test.com” ；(6)单击“下一步”按钮，出现“NetBIOS域名”对话框。系统自动将DNS名称的前部分作为NetBIOS名称；
(7)单击“下一步”按钮，出现“数据库和日志文件文件文件夹”对话框；
(8)单击“下一步”按钮，出现“共享的系统卷”对话框；
(9)单击“下一步”按钮，出现“DNS注册诊断”对话框；
(10)单击“下一步”按钮，出现“权限”对话框；
(11)单击“下一步”按钮，出现“目录服务还原模式的管理员密码”对话框。输入“还原模式密码”和“确认密码”。还原模式的密码在该服务器目录服务还原时使用；
(12)单击“下一步”按钮，出现“摘要”信息对话框。可查看域服务器的配置内容，如果需要修正，可单击“上一步”按钮返回；
(13)单击“下一步”按钮，开始配置ActiveDirectory,单击“跳过DNS安装”按钮，跳过DNS安装；
(14)完成ActiveDirectory配置后，出现“正在完成Active Directory安装向导”对话框。单击“完成”按钮，出现重新启动计算机对话框；
(15)单击“立即重新启动”按钮,重新启动Windows系统,完成ActiveDirectory和域控制器的安装；
B.安装STAF Cl)下载相应的SATF版本，如:STAF341-1ntel32.exe根据实际版本而定；
(2)直接点击运行，默认安装即可；
(3)修改STAF.cfg文件，vi c:/staf/bin/STAF.cfg，添加测试环境中所有IP地址，如
下:
#Turn on tracing of internal errors and deprecated optionstrace enable tracepoints 〃error deprecated"
#Enable TCP/IP connectionsinterface tcp library STAFTCP
#Set default local trust
trust machine local://local level 5trust machine 192.168.* level 5
#Default Service Loader Serviceserviceloader library STAFDSLS
2.JAVA服务器
操作系统为64位Windows 2003 SP2标准版；
A.安装SPECjbb2005 默认安装即可
B.安装BEA Jrokit 默认安装既可
C.安装Apache Ant
其解压后复制到:c:\ant目录下
D.安装STAF(1)下载相应的SATF版本，如:STAF341-1ntel64.exe根据实际版本而定；
(2)直接点击运行，默认安装即可；
(3)修改STAF.cfg文件，vi c:/staf/bin/STAF.cfg，添加测试环境中所有IP地址，如
下:
#Turn on tracing of internal errors and deprecated optionstrace enable tracepoints 〃error deprecated"
#Enable TCP/IP connectionsinterface tcp library STAFTCP
#Set default local trust
trust machine local://local level 5trust machine 192.168.* level 5
#Default Service Loader Serviceserviceloader library STAFDSLS
3.客户端
需要两台物理机做为压力端，安装Windows `2003 SP2标准版，并加入到由邮件服务器创建的域中；`
需要安装软件:
1)安装BEA JRockit ；
(1)在Welcome 界面，点击 Next ；
(2)在Optional Tools 界面，选择 Mercury profiling tools,点击 Next ;
(3)安装目录，选择默认目录即可；
(4)点击完成；
安装Cygwin
在选择安装包时，选择全部，其余设置默认即可；
安装 Microsoft Outlook 2003 和 LoadSim ；
默认安装即可；
2)安装STAF
Cl)下载相应的SATF版本，如:STAF341-1ntel32.exe根据实际版本而定；
(2)直接点击运行，默认安装即可；
(3)修改STAF.cfg文件，vi c:/staf/bin/STAF.cfg，添加测试环境中所有IP地址，如
下:
#Turn on tracing of internal errors and deprecated optionstrace enable tracepoints 〃error deprecated"
#Enable TCP/IP connectionsinterface tcp library STAFTCP
#Set default local trust
trust machine local://local level 5trust machine 192.168.* level 5
#Default Service Loader Serviceserviceloader library STAFDSLS
本发明的具体实现过程，按测试需求通过客户端向待测服务器上启用的多种应用服务进行加压，本文档仅以web和数据库应用为例，:
1、确认所有测试机的系统时间同步在10秒以内；
2、在主客户端开启STAX:
java -jar C:\STAF\services\stax\STAXMon.jar ；
3、打开STAX监控窗口，点击SubmitNew Job按钮，会显示Job Info标签，点击XML JobFile,勾选 local machine ；
4、在Filename框内，输入定义了Java和邮件测试策略(通过自动调用客户端向java服务器进行加压；通过自动调用LoadSim软件，向Exchange服务器进行加压，邮件服务器可根据客户要求更换为 Sendmail)的 XML 文件，如:C: \benchmark\xml\Java & Mail_main.xml ；
5、在JobOptions选项，点击Job Name项，输入测试结果文件的保存路径和名称，名称尽可能多的包含测试信息，以 方便日后查询，以本档为例:
C:\benchmark\results\Results — Java & Mail ；
6、点击Function标签,选择default按钮,最后点击SubmitNew Job按钮，就会开始测试;
7、此时在STAX监控窗口可以查看各项负载的测试状况，以本文为例，如Java和Mail服务器的测试状态。综上所述，本发明有效的简化服务器厂商、系统集成商和最終客户等对基于Windows平台多种应用的服务性能的量化方法，缩短了测试周期，其测试结果不但能为服务器厂商、系统集成商提供精确性能测试数据，还能够指导用户做服务器选型。以上所述，仅为本发明较佳的具体实施方式
，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可以轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。本发明有效的简化服务器厂商、系统集成商和最終客户等对基于Windows平台多种应用的服务性能的量化方法，缩短了测试周期，其测试结果不但能为服务器厂商、系统集成商提供精确性能测试数据，还能够指导用户做服务器选型。以上所述，仅为本发明较佳的具体实施方式
，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可以轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。所述的自动化测试方法还包括:可同时运行多台服务器上的多个测试用例，以给每台待测服务器足够的压力，同时监控测试情况，并能简便的调整测试压力、更换被测试服务器及其测试用例，以提高测试环境的使用效率。除本发明的说明书公开的技术特征外均为本专业技术人员的公职技术。
权利要求
1.一种基于Windows平台多服务器多应用的自动化测试方法，其特征在于，待测服务器及软件包括:一台或多台服务器，STAF和STAX，其中: A、在待测服务器上安装部署Windows系统、应用软件及STAF，并部署需要测试的应用，包括:WEB服务、数据库服务、邮件服务、FTP服务； B、在客户端服务器上安装相应压カ测试软件及STAF，仅在主客户安装STAX； C、通过STAX同时开启、关闭测试项及监控测试状态，以简化测试过程和提高工作效率； 1)邮件服务器性能测试 操作系统为Windows 2003 SP2标准版； A.如下方法安装ASP.NET、NNTP和SMTP服务: (1)把WindowsServer 2003的系统盘放入光驱； (2)在控制面板里，打开添加或删除程序； (3)在面板的左侧,选择添加/删除Windwos组件； (4)选择应用服务，点击详细按钮，在复选框中选择ASP.NET; (5)其它保持不变； (6)选择Internet Information Services (IIS)点击详细按钮； (7)在复选框中选择NNTP和SMTP服务； (8)点击应用退出； 按如下方法安装 Microsoft Exchange 2003 Server: (1)点击开始一运行，并在文本框中输入“dcpromo”，单击“确定”按钮执行输入的命令)，出现Active Directory安装向导； (2)单击“下一歩”按钮，出现“操作系统兼容性”提示对话框； (3)单击“下一歩”按钮，出现“域控制器类型”对话框，选中“新域的域控制器”单选按钮； (4)单击“下一歩”按钮，出现“创建ー个新域”对话框，选中“在新林中的域”单选按钮 (5 )单击“下一歩”按钮，出现“新的域名”对话框，在“新域的DNS全名”文本框中，输入完整的DNS名称,如“vm-test.com” ； (6)单击“下一歩”按钮，出现“NetBIOS域名”对话框；系统自动将DNS名称的前部分作为NetBIOS名称； (7)单击“下一歩”按钮，出现“数据库和日志文件文件文件夹”对话框； (8)单击“下一歩”按钮，出现“共享的系统卷”对话框； (9)单击“下一歩”按钮，出现“DNS注册诊断”对话框； (10)单击“下一歩”按钮，出现“权限”对话框； (11)单击“下一歩”按钮，出现“目录服务还原模式的管理员密码”对话框，输入“还原模式密码”和“确认密码”，还原模式的密码在该服务器目录服务还原时使用； (12)单击“下一歩”按钮，出现“摘要”信息对话框，可查看域服务器的配置内容，如果需要修正，可单击“上一歩”按钮返回； (13)单击“下一歩”按钮，开始配置ActiveDirectory,单击“跳过DNS安装”按钮，跳过DNS安装；(14)完成ActiveDirectory配置后，出现“正在完成Active Directory安装向导”对话框，单击“完成”按钮，出现重新启动计算机对话框； (15)单击“立即重新启动”按钮,重新启动Windows系统,完成ActiveDirectory和域控制器的安装； B.安装STAF (1)下载相应的SATF版本，STAF341-1ntel32.exe根据实际版本而定； (2)直接点击运行，默认安装即可；(3)修改STAF.cfg文件，vi c:/staf/bin/STAF.cfg，添加测试环境中所有IP地址，如下:#Turn on tracing of internal errors and deprecated optionstrace enable tracepoints error deprecated,,#Enable TCP/IP connectionsinterface tcp library STAFTCP#Set default local trust trust machine local://local level 5trust machine 192.168.* level 5#Default Service Loader Serviceserviceloader library STAFDSLS 2)JAVA服务器测试 操作系统为64位Windows 2003 SP2标准版； A.安装SPECjbb2005，默认安装即可； B.安装BEAJrokit，默认安装既可； C.安装ApacheAnt，其解压后复制到:c: \ant目录下； D.安装STAF ; (1)下载相应的SATF版本，STAF341-1ntel64.exe根据实际版本而定； (2)直接点击运行，默认安装即可； 修改STAF.cfg文件，vi c:/staf/bin/STAF.cfg，添加测试环境中所有IP地址，如下:#Turn on tracing of internal errors and deprecated optionstrace enable tracepoints error deprecated,,#Enable TCP/IP connectionsinterface tcp library STAFTCP#Set default local trusttrust machine local://local level 5trust machine 192.168.* level 5#Default Service Loader Serviceserviceloader library STAFDSLS 3)客户端测试 需要两台物理机做为压カ端，安装Windows 2003 SP2标准版，并加入到由邮件服务器创建的域中；需要安装软件: A.安装BEA JRockit (1)在Welcome 界面，点击 Next ； (2)在Optional Tools 界面，选择 Mercury profiling tools,点击 Next ; (3)安装目录，选择默认目录即可； (4)点击完成； B.安装Cygwin,在选择安装包时,选择全部,其余设置默认即可； C.安装Microsoft Outlook 2003 和 LoadSim,默认安装即可； D.安装STAF Cl)下载相应的SATF版本，STAF341-1ntel32.exe根据实际版本而定； (2)直接点击运行，默认安装即可； (3)修改STAF.cfg文件，vi c:/staf/bin/STAF.cfg，添加测试环境中所有IP地址，如下:#Turn on tracing of internal errors and deprecated optionstrace enab le tracepoints 〃error deprecated"#Enable TCP/IP connectionsinterface tcp library STAFTCP#Set default local trusttrust machine local://local level 5trust machine 192.168.* level 5#Default Service Loader Serviceserviceloader library STAFDSLS。
2.根据权利要求1所述的测试方法，其特征在于，按测试需求通过客户端向待测服务器上启用的多种应用服务进行加压，具体步骤如下:: 1)确认所有测试机的系统时间同步在10秒以内； 2)在主客户端开启STAX:java -jar C:\STAF\services\stax\STAXMon.jar ； 3)打开STAX监控窗口，点击SubmitNew Job按钮，会显示Job Info标签，点击XMLJob File,勾选 local machine ； 4)在Filename框内，输入定义了Java和邮件测试策略的XML文件，通过自动调用客户端向java服务器进行加压；通过自动调用LoadSim软件，向Exchange服务器进行加压，邮件服务器根据客户要求更换为Sendmail ； 5)在JobOptions选项，点击Job Name项，输入测试结果文件的保存路径和名称，名称尽可能多的包含测试信息，以方便日后查询； 6)点击Function标签,选择default按钮,最后点击SubmitNew Job按钮，就会开始测试; 7)此时在STAX监控窗口能查看各项负载的测试状况，包括=Java和Mail服务器的测试状态。
全文摘要
本发明提供一种基于Windows平台多服务器多应用的自动化测试方法，基于以Windows平台多服务多应用的自动化应用性能测试为核心，通过该测试方法的整理和规范，形成标准化的操作，简化测试工作，缩短测试周期，准确定位系统瓶颈，从而保证产品性能测试结果的有效性。这种测试方法能够保证测试工作的质量和效率，并且对产品研发、采购、方案开发等工作提供数据支持。该方法不仅能有效减少浪费在重复性手工测试上的时间，而且能创建优良可靠的测试过程，减少人为错误，还能增强待测试产品及其应用的覆盖率，该方法适用于所有Windows操作系统。
文档编号G06F11/36GK103092758SQ20131002868
公开日2013年5月8日 申请日期2013年1月25日 优先权日2013年1月25日
发明者杨磊, 乔鑫 申请人:浪潮电子信息产业股份有限公司