一种基于大数据环境的业务运行状态评估算法及系统的制作方法

本发明涉及信息
技术领域：
，尤其涉及一种基于大数据环境的业务运行状态评估算法及一种基于大数据环境的业务运行状态评估系统。
背景技术：
：大数据是信息技术发展的一个新时代，代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难，代表着大数据处理所需的新的技术和方法，也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。当前大数据是it行业中关注度最高，发展最快，市场需求最旺盛的技术之一。根据研究报告显示，2020年全球新建和复制的信息量已经超过40zb；而中国的数据量则会在2020年超过8zb。除了数据量的增长，数据类型也越来越复杂。根据中国信息通信研究院发布的《2015年中国大数据发展调查报告》显示，2015年中国大数据市场规模将达到115.9亿元，增速达38％。此外，预计2016至2018年中国大数据市场规模还将维持40％左右的高速增长。目前各个行业中都陆续开展大数据相关的业务建设，比如在高校中，利用大数据分析学生的行为轨迹，提供学生预警业务。又比如在交通行业，利用大数据技术，可以将全市范围内的交通情况作分析，提供事故多发路段和时间段关系分析预警业务。大数据作为云计算后起的新技术，超过80％的大数据业务部署在云计算平台，这种新起的业务和技术结合的方式对业务和技术运维人员有着巨大的挑战。在云计算环境下，一个大数据业务系统通常由多个虚拟主机组成，任何一个主机的运行状态都会影响到大数据业务的可用性，所以要全面了解大数据业务系统的运行状况，就需要了解所有虚拟主机的运行情况和虚拟主机运行的各项指标，综合各项指标获得大数据业务系统整体运行的情况。大数据部署在云计算平台上会存在比较多的问题，除了上一段中提到的每个大数据业务都由许多虚拟主机组成。大数据业务系统运行状态除了会受到这些虚拟主机影响之外，还会受到这些虚拟机所在的物理机以及该物理机上其他的虚拟机的影响。毫无疑问，当物理机出现故障的时候，物理机上面包括大数据业务在内的所有的虚拟机都会受到影响。另外一种情况，这些虚拟机都公用一台物理服务器的资源，如cpu、内存、存储、网络等，一旦其他业务的虚拟机占用了过多的资源，导致大数据业务虚拟机无法正常工作，将会导致大数据业务的数据丢失等业务故障。我们假设一个大数据业务由5台虚拟机组成，这5台虚拟机位于5台物理服务器上，除了大数据业务的虚拟机之外，每台物理机都还存在10台的其他业务虚拟机。那么，管理运维人员在日常的工作中，一个大数据业务管理的范围是：5台物理机以及物理机上面的55台虚拟机。如果管理人员需要负责10个大数据业务，那么需要维护关注的范围也就足够大了。因此在当前技术发展潮流下，大数据业务部署在云计算平台上是大势所趋，也是目前的主要潮流。这对技术管理人员来说，需要耗费大量的人力去检索去维护。现有市场上有很多传统的云计算管理平台，它们可以提供虚拟化环境的统一的管理和运维监控，包括对底层物理机、存储、交换机等物理设置进行容量监控，或者有一些品牌的云计算管理平台可以监控物理服务器的传感器，实时监控它们的温湿度、电源、风扇等状态。同时针对虚拟机，可以监控虚拟机的各个资源的使用率，如cpu、内存、存储、网络的使用率等。现有的云计算管理平台虽然监控到物理机和虚拟机，但是监控的颗粒度比较粗糙，总结来说，现有的技术的缺点如下：1、影响大数据业务系统的因素有很多，数据分散，并且展示的数据不全，需要手动切换展示的内容或者不支持切换，导致操作复杂或者无法获取详细的故障原因。2、这些管理软件缺乏业务系统的概念，无法对大数据业务进行统一的有关联的监控分析。它们将虚拟主机当作一个单独的个体来看待，每一个虚拟主机都单独进行监控和管理，忽视了作为一个业务系统的一部分，虚拟主机之间的联系，当其它组件出现故障时，单个虚拟主机运行状态再好，业务系统也无法访问。技术实现要素：本发明所要解决的技术问题在于，提供一种基于大数据环境的业务运行状态评估算法，可减少人工检查大数据业务系统运行状态的工作量，并协助管理员更能直观地了解大数据业务系统运行的情况。本发明所要解决的技术问题还在于，提供一种结构简单、准确性高的基于大数据环境的业务运行状态评估系统，可减少故障排查的时间。为了解决上述技术问题，本发明提供了一种基于大数据环境的业务运行状态评估算法，包括：s1，采集所有虚拟主机的参数指标；s2，将属于同一个虚拟主机上的参数指标进行分类，获得各子分类的指标数据；s3，分别将各子分类的指标数据按照算法进行计算，获得各子分类的数值；s4，将各子分类的数值及各子分类的数值对应的运行状态进行显示；s5，加权计算所有虚拟机的同类子分类的数值，并将同类子分类的数值及同类子分类的数值对应的运行状态进行显示。作为上述方案的改进，所述参数指标包括cpu参数、内存参数、存储参数、网络参数及读写io参数。作为上述方案的改进，将属于同一个虚拟主机上的参数指标进行分类时，所述分类类型包括健康类、风险类及效率类。作为上述方案的改进，所述步骤s3包括：对各子分类的指标数据进行分项计算，获得各子项的数值；根据各子分类的计算比例对各子项的数值进行带权计算，获得各子项的带权值；根据各子项的带权值获得各子分类的数值。相应地，本发明还提供了一种基于大数据环境的业务运行状态评估系统，包括：采集模块，用于采集所有虚拟主机的参数指标；分类模块，用于将属于同一个虚拟主机上的参数指标进行分类，获得各子分类的指标数据；计算模块，用于分别将各子分类的指标数据按照算法进行计算以获得各子分类的数值，并用于加权计算所有虚拟机的同类子分类的数值；显示模块，用于将各子分类的数值及各子分类的数值对应的运行状态进行显示，并用于将同类子分类的数值及同类子分类的数值对应的运行状态进行显示。作为上述方案的改进，所述计算模块包括：第一计算子模块，用于分别将各子分类的指标数据按照算法进行计算以获得各子分类的数值；第二计算子模块，用于加权计算所有虚拟机的同类子分类的数值。作为上述方案的改进，所述第一计算模块包括：分项计算单元，用于对各子分类的指标数据进行分项计算，获得各子项的数值；带权计算单元，用于根据各子分类的计算比例对各子项的数值进行带权计算，获得各子项的带权值；数值计算单元，用于根据各子项的带权值获得各子分类的数值。作为上述方案的改进，所述基于大数据环境的业务运行状态评估系统还包括存储模块，用于存储所有虚拟主机的参数指标。作为上述方案的改进，所述参数指标包括cpu参数、内存参数、存储参数、网络参数及读写io参数。作为上述方案的改进，将属于同一个虚拟主机上的参数指标进行分类时，所述分类类型包括健康类、风险类及效率类。实施本发明，具有如下有益效果：本发明可以减少人工检查大数据业务系统运行状态的工作量，并协助管理员更能直观地了解大数据业务系统运行的情况，减少故障排查的时间。具体地，本发明具有以下有益效果：1、通过构建业务管理模式对大数据业务进行管理，综合性强；2、在虚拟机层面上，根据算法评估虚拟机的健康值、风险值、效率值，更为全面；3、在业务层面上，根据算法全面评估大数据业务的运行情况。评估范围包括业务直接关联虚拟机和次相关虚拟机的加权计算，计算内容包括健康值、风险值、效率值；4、算法中涉及到的权重指标值都是可以自定义的，可以根据用户实际需求自定义，灵活性强。附图说明图1是本发明基于大数据环境的业务运行状态评估算法的第一实施例流程图；图2是本发明基于大数据环境的业务运行状态评估算法的第二实施例流程图；图3是hdfs业务系统的结构示意图；图4是本发明基于大数据环境的业务运行状态评估系统的第一实施例结构示意图；图5是本发明基于大数据环境的业务运行状态评估系统的第二实施例结构示意图；图6是本发明基于大数据环境的业务运行状态评估系统的第三实施例结构示意图。具体实施方式为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。仅此声明，本发明在文中出现或即将出现的上、下、左、右、前、后、内、外等方位用词，仅以本发明的附图为基准，其并不是对本发明的具体限定。参见图1，图1显示了本发明基于大数据环境的业务运行状态评估算法的第一实施例，其包括：s101，采集所有虚拟主机的参数指标；所述参数指标包括cpu参数、内存参数、存储参数、网络参数及读写io参数，但不以此为限制。s102，将属于同一个虚拟主机上的参数指标进行分类，获得各子分类的指标数据；将属于同一个虚拟主机上的参数指标进行分类时，所述分类类型包括健康类、风险类及效率类，但不以此为限制。s103，分别将各子分类的指标数据按照算法进行计算，获得各子分类的数值；s104，将各子分类的数值及各子分类的数值对应的运行状态进行显示；s105，加权计算所有虚拟机的同类子分类的数值，并将同类子分类的数值及同类子分类的数值对应的运行状态进行显示。参见图2，图2显示了本发明基于大数据环境的业务运行状态评估算法的第一实施例，其包括：s201，采集所有虚拟主机的参数指标；所述参数指标包括cpu参数、内存参数、存储参数、网络参数及读写io参数，但不以此为限制。s202，将属于同一个虚拟主机上的参数指标进行分类，获得各子分类的指标数据；将属于同一个虚拟主机上的参数指标进行分类时，所述分类类型包括健康类、风险类及效率类，但不以此为限制。s203，对各子分类的指标数据进行分项计算，获得各子项的数值；s204，根据各子分类的计算比例对各子项的数值进行带权计算，获得各子项的带权值；s205，根据各子项的带权值获得各子分类的数值。s206，将各子分类的数值及各子分类的数值对应的运行状态进行显示；s207，加权计算所有虚拟机的同类子分类的数值，并将同类子分类的数值及同类子分类的数值对应的运行状态进行显示。下面结合具体的例子对本发明做进一步的描述：如图3所示，该大数据hdfs业务系统中，有4个虚拟机承载该业务，这三个虚拟机分别是1个namenode，3个datanode。namenode位于physicalserverone，该物理机上还有两个虚拟机vm；datanodeone位于physicalservertwo,该物理机上还有两个虚拟机vm；datanodeone位于physicalserverthree,该物理机上还有两个虚拟机vm；datanodeone位于physicalserverfour，该物理机上还有两个虚拟机vm。那么与hdfs业务系统相关联的物理服务器有3台，业务直接关联虚拟机4台，附属关联虚拟机8台。步骤一，采集hdfs业务系统中所有虚拟主机的参数指标；具体的参数指标如下表所示：步骤二，将hdfs业务系统中属于同一个虚拟主机上的参数指标划分为健康类、风险类及效率类三大子分类，并获得各子分类的指标数据；其中，预设健康类的权重为50、风险类的权重为30、效率类的权重为20。具体地，健康类的指标数据如下表所示：风险类的指标数据如下表所示：序号指标名称单位触发条件1cpu等待时间毫秒在定义的区间内2cpu就绪时间毫秒在定义的区间内3内存共享量kb不为“0”4内存交换量kb不为“0”5内存回收量kb不为“0”6内存授权量kb在定义的区间内7内存压缩量kb不为“0”8磁盘读取滞后时间毫秒在定义的区间内9cpu需求值mhz在定义的区间内10cpu限额mhz不为“0”11网络数据上行速度kbps在定义的区间内12网络丢包数数字不为“0”13内存限额兆，mb不为“0”14存储io限额数字不为“0”15虚拟主机快照空间mb在定义的区间内效率类的指标数据如下表所示：步骤三，分别将各子分类的指标数据按照算法进行计算，获得各子分类的数值；健康类：根据物理服务器的mhz绝对值将cpu的利用率划分成0％-10、10％-50％、50％-70％、70％-90％、90％-100％等5个分数区间。当cpu使用率在某个区间时，计算出对应的cpu负载分值。同样的，将内存使用率划分成0％-30％、30％-80％、80％-100％3个区间，根据区间计算出对应的内存使用率分值。虚拟主机内存的活动量是虚拟主机所占的总内存中实际活动的量。内存授权量为底层操作系统运行虚拟主机实际使用的量，与活动量结合计算。根据内存使用率评分以及内存实际活动资源量评分两个子项带权计算出整体分值，得到最终的内存负载评分。存储分值的计算主要采用：取磁盘读取滞后时间以及磁盘写入滞后时间指标中最大的值作为参考指标。划分成4个区间，分别为：0-10ms、10-50ms、50-100ms、>100ms，根据实时值，计算出存储负载分值。使用网卡总体传输速率，计算出网络使用率的百分比。再将百分比换算成网络负载评分。风险类：自定义各个风险项的重要程度，比如设置红色风险项为最高级，黄色风险项为次高级，以此类推。并为分类的风险项指标设置分值，一旦告警触发，就就行扣分。然后据资源的总体负载评分减去告警产生的扣分值，得到总体的运行情况。一个红色风险项触发扣15分，一个黄色风险项触发扣5分。效率类：在一周时间内，采集计算点，分别计算虚拟机的cpu、内存、磁盘的闲置率，判断这些采集点是否为闲置点。在规定的时间段内，若采集点大于某数值，则虚拟机被视为在该时间段内是闲置的。采集点cpu闲置：cpu使用率低于设定值；采集点内存闲置：内存活动量/内存的授权量低于设定的值；采集点磁盘闲置：磁盘使用率(查看读写情况)；虚拟机闲置：某时间段内，虚拟机cpu闲置率高于预定值，内存闲置率高于预定值、磁盘闲置率高于预定值，就可以判断在这一周时间内该虚拟机是闲置的。值得注意的是，上述提到的采集周期(上面是一周内)、采集点的数量、各指标的设定值、闲置点等都是可以自定义的。比如我们可以设定一个月内，每隔30分钟采集一次cpu、内存、磁盘的数值判断采集点下指标是否闲置。如cpu使用率低于30％则cpu是闲置的，内存使用率低于10％内存是闲置的，存储使用率低于50％存储是闲置。通过计算可知这个月内共用m个采集点。当上述cpu闲置比率大于98％(n/m*100％，98％设定值)，内存闲置率大于80％(n/m*100％，80％设定值)，io闲置率大于95％(n/m*100％，95％设定值)时，该虚拟机这个月内是闲置的。步骤四，将各子分类的数值及各子分类的数值对应的运行状态进行显示；步骤五，加权计算所有虚拟机的同类子分类的数值，并将同类子分类的数值及同类子分类的数值对应的运行状态进行显示。可以自定义业务相关虚拟机的权重，然后进行加权计算。本实例中，与hdfs业务系统相关联的物理服务器有3台，业务直接关联虚拟机4台，附属关联虚拟机8台。因为namenode4是hdfs管理节点，相对其他业务内的虚拟机更加重要，所以权重是30，其他业务内的虚拟机权重是20。同理，次相关虚拟机vm7和vm8会直接影响到namenode4的运行性能，所以权重是2，而其他的次相关虚拟机的权重是1。hdfs业务系统相关虚拟机以及根据关联关系的权重设置表如下：加权计算每个虚拟机的健康值、风险值、效率值可以得到这个业务系统的相关运行指标即业务系统的健康值、风险值、效率值，并进行显示。参见图4，图4显示了本发明基于大数据环境的业务运行状态评估系统100的第一实施例，其包括：采集模块1，用于采集所有虚拟主机的参数指标；其中，所述参数指标包括cpu参数、内存参数、存储参数、网络参数及读写io参数，但不以此为限制。分类模块2，用于将属于同一个虚拟主机上的参数指标进行分类，获得各子分类的指标数据；具体地，将属于同一个虚拟主机上的参数指标进行分类时，所述分类类型包括健康类、风险类及效率类，但不以此为限制。计算模块3，用于分别将各子分类的指标数据按照算法进行计算以获得各子分类的数值，并用于加权计算所有虚拟机的同类子分类的数值；显示模块4，用于将各子分类的数值及各子分类的数值对应的运行状态进行显示，并用于将同类子分类的数值及同类子分类的数值对应的运行状态进行显示。如图5所示，所述计算模块3包括：第一计算子模块31，用于分别将各子分类的指标数据按照算法进行计算以获得各子分类的数值；第二计算子模块32，用于加权计算所有虚拟机的同类子分类的数值。进一步，所述第一计算模块31包括：分项计算单元311，用于对各子分类的指标数据进行分项计算，获得各子项的数值；带权计算单元312，用于根据各子分类的计算比例对各子项的数值进行带权计算，获得各子项的带权值；数值计算单元313，用于根据各子项的带权值获得各子分类的数值。参见图6，图6显示了本发明基于大数据环境的业务运行状态评估系统的第三实施例，与图3所示的第一实施例不同的是，本实施例中还包括存储模块5，用于存储所有虚拟主机的参数指标，可实现参数指标的长期存储。由上可知，本发明可以减少人工检查大数据业务系统运行状态的工作量，并协助管理员更能直观地了解大数据业务系统运行的情况，减少故障排查的时间。具体地，本发明具有以下有益效果：1、通过构建业务管理模式对大数据业务进行管理，综合性强；2、在虚拟机层面上，根据算法评估虚拟机的健康值、风险值、效率值，更为全面；3、在业务层面上，根据算法全面评估大数据业务的运行情况。评估范围包括业务直接关联虚拟机和次相关虚拟机的加权计算，计算内容包括健康值、风险值、效率值；4、算法中涉及到的权重指标值都是可以自定义的，可以根据用户实际需求自定义，灵活性强。以上所述是本发明的优选实施方式，应当指出，对于本
技术领域：
的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。当前第1页12