操作系统综合性能评价方法和系统的制作方法
【专利摘要】一种操作系统综合性能评价方法和系统，其方法包括步骤：确定测试应用场景的密集型剖面集合以及每个密集型剖面集合分布值；根据所述密集型剖面集合确定密集型剖面的负载集合以及负载集合权重；确定待评价操作系统的功能集合，且根据功能集合中每个功能受负载集合中每个负载影响的强弱得到判断矩阵，并根据所述判断矩阵、每个密集型剖面集合分布值以及负载集合权重确定功能集合权重；根据所述功能集合确定指标集合以及指标集合权重，并对所述指标集合进行同度量处理得到评价矩阵；根据所述功能集合权重、指标集合权重以及评价矩阵确定最终综合评价值。根据本发明方案，能够实现对操作系统的性能进行全面评价，评价结果准确且可靠。
【专利说明】操作系统综合性能评价方法和系统
【技术领域】
[0001]本发明涉及计算机【技术领域】，特别是涉及一种操作系统综合性能评价方法和系统。
【背景技术】
[0002]操作系统是实现用户与计算机进行交互的工具，同时也是计算机硬件与其他软件的交互工具。操作系统的功能包括管理计算机系统的硬件、软件及数据资源，控制程序运行，改善人机界面，为其它应用软件提供支持等，这些功能使计算机系统的所有资源最大限度地发挥作用，为用户提供了各种形式的用户界面，为其它软件的开发提供必要的服务和相应的接口。
[0003]目前对于操作系统的性能瓶颈分析大多停在系统外围，即仅仅是分析操作系统的参数设置、机器内存、磁盘速度、网络负载过重等内容，主要采用基准测试的方法对操作系统性能进行测试。基准测试可分成两种:第一种是微观测试方法，主要是针对操作系统特定的核心操作性能的测试，第二种是宏观测试方法，针对操作系统整体性能的测试。上述两种基准测试均是通过设计科学的测试方法、测试工具和测试系统，实现对一类测试对象的某项性能指标进行定量的和可对比的测试。例如，对计算机CPU (Central Processing Unit,中央处理器)进行浮点运算、数据访问的带宽和延迟等指标的基准测试，可以使用户清楚地了解每一款CPU的运算性能及作业吞吐能力是否满足应用程序的要求；再如对数据库管理系统的 ACID (Atomicity, Consistency, Isolat1n, Durability,原子性、一致性、独立性和持久性)、查询时间和联机事务处理能力等方面的性能指标进行基准测试。然而，上述现有的操作系统性能测试技术，偏向于测试计算机硬件方面的性能，而且只是针对操作系统的某个部分或某个子系统的性能进行测试，测试结果并不准确。
【发明内容】
[0004]基于此，有必要针对【背景技术】中现有的操作系统性能测试技术，偏向于测试计算机硬件方面的性能，而且只是针对操作系统的某个部分或某个子系统的性能进行测试的问题，提供一种操作系统综合性能评价方法，能够实现对操作系统的性能进行全面评价，评价结果准确且可靠。
[0005]为实现上述目的，本发明实施例采用的技术方案如下:
[0006]一种操作系统综合性能评价方法，包括步骤:
[0007]确定测试应用场景的密集型剖面集合以及每个密集型剖面集合分布值；
[0008]根据所述密集型剖面集合确定密集型剖面的负载集合以及负载集合权重；
[0009]确定待评价操作系统的功能集合，且根据功能集合中每个功能受负载集合中每个负载影响的强弱得到判断矩阵，并根据所述判断矩阵、每个密集型剖面集合分布值以及负载集合权重确定功能集合权重；
[0010]根据所述功能集合确定指标集合以及指标集合权重，并对所述指标集合进行同度量处理得到评价矩阵；
[0011]根据所述功能集合权重、指标集合权重以及评价矩阵确定最终综合评价值。
[0012]根据上述的一种操作系统综合性能评价方法，本发明方案还提供一种操作系统综合性能评价系统，包括密集型剖面集合模块、负载集合模块、功能集合模块、评价矩阵模块、最终综合评价值模块；
[0013]所述密集型剖面集合模块确定测试应用场景的密集型剖面集合以及每个密集型剖面集合分布值；
[0014]所述负载集合模块根据密集型剖面集合确定密集型剖面的负载集合以及负载集合权重；
[0015]所述功能集合模块确定待评价操作系统的功能集合，且根据功能集合中每个功能受负载集合中每个负载影响的强弱得到判断矩阵，并根据所述判断矩阵、每个密集型剖面集合分布值以及负载集合权重确定功能集合权重；
[0016]所述评价矩阵模块根据所述功能集合确定指标集合以及指标集合权重，并对所述指标集合进行同度量处理得到评价矩阵；
[0017]所述最终综合评价值模块根据所述功能集合权重、指标集合权重以及评价矩阵确定最终综合评价值。
[0018]根据本发明方案，先是测试应用场景的密集型剖面集合以及每个密集型剖面集合分布值；然后根据所述密集型剖面集合确定密集型剖面的负载集合以及负载集合权重；进一步地确定待评价操作系统的功能集合，且根据功能集合中每个功能受负载集合中每个负载影响的强弱得到判断矩阵，并根据所述判断矩阵、每个密集型剖面集合分布值以及负载集合权重确定功能集合权重；再根据所述功能集合确定指标集合以及指标集合权重，并对所述指标集合进行同度量处理得到评价矩阵；最后根据上述得到的功能集合权重、指标集合权重以及评价矩阵得到最终综合评价值。通过对操作系统的性能进行全面评价，进而确定功能集合权重、指标集合权重以及评价矩阵这些数据，得到最终的综合评价值，评价结果准确且可靠。
【专利附图】
【附图说明】
[0019]图1为本发明操作系统综合性能评价方法第一实施例流程图；
[0020]图2为本发明操作系统综合性能评价方法评价模型图；
[0021]图3为本发明操作系统综合性能评价方法第二实施例流程图；
[0022]图4为本发明操作系统综合性能评价系统实施例结构图。
【具体实施方式】
[0023]为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的【具体实施方式】仅仅用以解释本发明，并不限定本发明的保护范围。
[0024]请参阅图1，为本发明操作系统综合性能评价方法第一实施例流程图；
[0025]步骤SlOl:确定测试应用场景的密集型剖面集合以及每个密集型剖面集合分布值；
[0026]所述应用场景是指测试操作系统所采用的场景，用来模拟真实用户与系统或软件进行交互的一系列操作，例如3D(3Dimens1ns,三维)网络游戏应用场景、Web (互联网)服务应用场景、气象服务应用场景等；具体地，所述3D网络游戏应用场景可以包括图形处理密集型剖面以及通信密集型剖面；所述Web服务应用场景可以包括存储密集型剖面以及网络密集型剖面；所述气象服务应用场景可以包括计算密集型剖面、存储密集型剖面以及网络密集型剖面；所述确定测试应用场景的密集型剖面集合则是指确定测试操作系统所采用的场景包括那些密集型剖面，进而可以确定该些密集型剖面集合分布值。例如，假设密集型剖面集合为P= (P1, P。，…Pk)，则密集型剖面集合分布值为Wpi = (Wpl, Wp2,…Wpk)T，且满足约束条件EtiwPi = I即密集型剖面集合分布值为与密集型剖面集合对应的一个转置矩阵，而且所有集型剖面集合分布值累加等于数值I ;上述具体数值可以则根据现有的层次分析法结合测试数据计算得到。
[0027]步骤S102:根据所述密集型剖面集合确定密集型剖面的负载集合以及负载集合权重；
[0028]所述根据所述密集型剖面集合确定密集型剖面的负载集合可以是指在测试操作系统中密集型剖面所加载的负载组成的负载集合；具体地，例如所述图形处理密集型剖面可以包括CPU (Central Processing Unit,中央处理器)负载、磁盘1 (磁盘读/写)负载、内存负载，所述通信密集型剖面可以包括网络负载、并行计算负载、Web(互联网)服务负载；在此应当指出，所述图形处理密集型剖面、通信密集型剖面、存储密集型剖面、网络密集型剖面等该些集型剖面包括的负载可以根据实际情况而定。进一步地，假设负载集合为S
=(S1, S2,…St)，则负载集合权重为Ws = (Wsl，WyWst)7且满足约束条件Σ?=1?^; = I，
即负载集合权重为与负载集合对应的一个转置矩阵，而且所有负载集合权重累加等于数值I;上述具体数值可以则根据现有的层次分析法结合测试数据计算得到。
[0029]步骤S103:确定待评价操作系统的功能集合，且根据功能集合中每个功能受负载集合中每个负载影响的强弱得到判断矩阵，并根据所述判断矩阵、每个密集型剖面集合分布值以及负载集合权重确定功能集合权重；
[0030]所述确定待评价操作系统的功能集合可以是指确定需要评价操作系统的那些功能，例如，确定待评价操作系统的功能集合可以包括处理器功能、内存功能、文件系统功能、磁盘1 (磁盘读/写)功能、进程间通讯功能、网络功能、Cache (高速缓冲存储器)功能；在此应当指出，确定待评价操作系统的功能集合包括那些功能可以根据具体情况而定。进一步地，假设功能集合为F = (F1, F2,…Fn)，则功能集合权重为Wf = (WF1，Wf2…WFn)T且满足约束条件.Σ?=1Μ/^ = I，即功能集合权重为与功能集合对应的一个转置矩阵，而且所有功能集合权重累加等于数值I ;上述具体数值可以则根据现有的层次分析法结合测试数据计算得到。
[0031]进一步地，在一个实施例中，所述通过所述负载集合，确定功能集合中每个功能受负载集合中每个负载影响的强弱得到判断矩阵可以包括步骤:
[0032]将功能受负载的影响从弱到强分为N个等级，且将所述N个等级从弱到强量化为从小到大的数值；
[0033]根据预设判断条件，判断所述功能集合中每个功能受负载集合中每个负载影响强弱的等级，由所述等级确定对应的量化数值，根据所述量化数值构成判断矩阵。
[0034]在一个实施例中，例如可以将功能受负载的影响从弱到强分为8个等级，每个等级从弱到强量化为数值0，1，2，3，4，5，6，7 ;进而根据预设判断条件，判断所述功能集合中每个功能受负载集合中每个负载影响强弱的等级，由所述等级确定对应的量化数值，根据所述量化数值构成判断矩阵。其中，所述预设判断条件可以在对操作系统进行测试时根据测试要求而设定。
[0035]应当指出，将功能受负载的影响从弱到强分为多个等级的等级个数可以为其他等级个数；例如，也可以将功能受负载的影响从弱到强分为9个等级，每个等级从弱到强量化为数值0，1，2，3，4，5，6，7，8;将功能受负载的影响从弱到强分的等级越多，测试的效果更佳。
[0036]进一步地，在一个实施例中，所述根据判断矩阵、密集型剖面集合分布值以及负载集合权重得到功能集合权重包括步骤:
[0037]分别将所述每个密集型剖面集合分布值与判断矩阵以及负载集合权重相乘后求和得到功能被影响的强弱数值；
[0038]将所述功能被影响的强弱数值再归一化处理得到功能集合权重。
[0039]在一个实施例中，假设，以％表示功能被影响的强弱数值，Wf表示功能集合权重，
Wpi表示密集型剖面集合分布值，Pnxt表示判断矩阵，ws表示负载集合权重；则可以通过下述方程式进行计算:
[0041]对Wf"进行归一化处理得到wF。
[0042]步骤S104:根据所述功能集合确定指标集合以及指标集合权重，并对所述指标集合进行同度量处理得到评价矩阵；
[0043]所述指标集合可以是指待评价操作系统的功能集合包括的指标，例如，假设功能集合包括处理器功能、内存功能、文件系统功能、磁盘10(磁盘读/写)功能、进程间通讯功能、网络功能、Cache (高速缓冲存储器)功能，则所述指标集合可以包括CPU (中央处理器)处理基本数据指标、多核CPU下资源转移指标、多应用程序运行时间指标、内存堆分配指标、、内存斥锁指标、文件创建延迟指标、文件数据块分配时间指标、文件元信息inode (索引节点)读取时间指标、读文件指标、写文件指标、信号处理调用延迟指标、信号量调用延迟指标、TCP (传输控制协议)带宽、UDP (用户数据报协议)带宽、TCP连接延迟指标、创建Socket响应时间、读/写Socket (套接字)响应时间、TLB (传输后备缓冲器)块表指标、Cache (高速缓存)行数指标、Cache命中率指标；应当指出，所述指标集合还可以包括其他指标，在此不再一一列举。
[0044]具体地，所述对指标集合进行同度量处理得到评价矩阵可以通过下述公式计算得到:
[0045]R= LrijJmXn
【权利要求】
1.一种操作系统综合性能评价方法，其特征在于，包括步骤: 确定测试应用场景的密集型剖面集合以及每个密集型剖面集合分布值； 根据所述密集型剖面集合确定密集型剖面的负载集合以及负载集合权重； 确定待评价操作系统的功能集合，且根据功能集合中每个功能受负载集合中每个负载影响的强弱得到判断矩阵，并根据所述判断矩阵、每个密集型剖面集合分布值以及负载集合权重确定功能集合权重； 根据所述功能集合确定指标集合以及指标集合权重，并对所述指标集合进行同度量处理得到评价矩阵； 根据所述功能集合权重、指标集合权重以及评价矩阵确定最终综合评价值。
2.根据权利要求1所述的操作系统综合性能评价方法，其特征在于，所述通过所述负载集合，确定功能集合中每个功能受负载集合中每个负载影响的强弱得到判断矩阵包括步骤: 将功能受负载的影响从弱到强分为N个等级，且将所述N个等级从弱到强量化为从小到大的数值； 根据预设判断条件，判断所述功能集合中每个功能受负载集合中每个负载影响强弱的等级，由所述等级确定对应的量化数值，根据所述量化数值构成判断矩阵。
3.根据权利要求1所述的操作系统综合性能评价方法，其特征在于，所述根据判断矩阵、密集型剖面集合分布值以及负载集合权重得到功能集合权重包括步骤: 分别将所述每个密集型剖面集合分布值与判断矩阵以及负载集合权重相乘后求和得到功能被影响的强弱数值 将所述功能被影响的强弱数值再归一化处理得到功能集合权重。
4.根据权利要求3所述的操作系统综合性能评价方法，其特征在于，所述对指标集合进行同度量处理得到评价矩阵通过下述公式计算得到:
其中，I ^ i ^ m, I ^ j ^ n, R为评价矩阵为待评价的操作系统的个数，n为评价指标个数，(^为数据值矩阵。
5.根据权利要求4所述的操作系统综合性能评价方法，其特征在于，所述根据功能集合权重、指标集合权重以及评价矩阵得到最终综合评价值包括步骤: 将所述功能集合权重与所述指标集合权重以及所述评价矩阵相乘得到最终综合评价值。
6.一种操作系统综合性能评价系统，其特征在于，包括密集型剖面集合模块、负载集合模块、功能集合模块、评价矩阵模块、最终综合评价值模块； 所述密集型剖面集合模块确定测试应用场景的密集型剖面集合以及每个密集型剖面集合分布值；所述负载集合模块根据密集型剖面集合确定密集型剖面的负载集合以及负载集合权重； 所述功能集合模块确定待评价操作系统的功能集合，且根据功能集合中每个功能受负载集合中每个负载影响的强弱得到判断矩阵，并根据所述判断矩阵、每个密集型剖面集合分布值以及负载集合权重确定功能集合权重； 所述评价矩阵模块根据所述功能集合确定指标集合以及指标集合权重，并对所述指标集合进行同度量处理得到评价矩阵； 所述最终综合评价值模块根据所述功能集合权重、指标集合权重以及评价矩阵确定最终综合评价值。
7.根据权利要求6所述的操作系统综合性能评价系统，其特征在于，所述功能集合模块包括量化单元、判断单元； 所述量化单元将功能受负载的影响从弱到强分为N个等级，且将所述N个等级从弱到强量化为从小到大的数值； 所述判断单元根据预设判断条件，判断所述功能集合中每个功能受负载集合中每个负载影响强弱的等级，由所述等级确定对应的量化数值，根据所述量化数值构成判断矩阵。
8.根据权利要求6所述的操作系统综合性能评价系统，其特征在于，所述功能集合模块还包括相乘单元、归一化单元: 所述相乘单元分别将所述每个密集型剖面集合分布值与判断矩阵以及负载集合权重相乘后求和得到功能被影响的强弱数值； 所述归一化单元将所述功能被影响的强弱数值再归一化处理得到功能集合权重。
9.根据权利要求8所述的操作系统综合性能评价系统，其特征在于，所述评价矩阵模块对指标集合进行同度量处理得到评价矩阵通过下述公式计算得到:
其中，I≤ i ≤ m, I≤ j≤ n, R为评价矩阵为待评价的操作系统的个数，n为评价指标个数，(^为数据值矩阵。
10.根据权利要求9所述的操作系统综合性能评价系统，其特征在于，所述最终综合评价值模块将所述功能集合权重与所述指标集合权重以及所述评价矩阵相乘得到最终综合评价值。
【文档编号】G06F11/36GK104182342SQ201410418055
【公开日】2014年12月3日 申请日期:2014年8月22日 优先权日:2014年8月22日
【发明者】杨春晖, 熊婧, 夏仲平, 林军, 王雅瑜 申请人:工业和信息化部电子第五研究所