一种基于大数据分析的云资源效能评估方法与流程

1.本发明公开一种方法，涉及云资源评估技术领域，具体地说是一种基于大数据分析的云资源效能评估方法。


背景技术：

2.随着移动端和互联网的到来，云资源成为承载各类通信网络和业务的基础资源。在云资源大规模建设使用的同时，也带来了云资源效能的问题。云资源效能主要涉及的问题，如云资源使用情况怎么样，利用率如何问题，再如现有云资源是否满足需要或者有浪费等问题。而云资源可能成为了使用方黑盒子，但还没有合理云资源效能评估方法对其评估，从而使各大运营商及企业在使用云资源时候，根据技术人员评估，进行云资源的申请和使用，容易造成云资源闲置率高和企业运营成本的增加。


技术实现要素：

3.本发明针对现有技术的问题，提供一种基于大数据分析的云资源效能评估方法，面向业务分析云资源消耗数据，以实现优化资源模型、降低单位用户资源消耗，提升云资源效能的目标，实现质量、效率和成本三者平衡。
4.本发明提出的具体方案是：
5.一种基于大数据分析的云资源效能评估方法，通过网元的南向接口，获取云资源中网元、主机、虚机及网络设备的资源数据和性能数据，并将资源数据和性能数据注入hive，
6.同时根据云资源中网元、主机、虚机及网络设备之间的业务和逻辑连接关系，组织创建主机、虚机及网元的资源分析模型及相关业务分析模型，并根据云资源中网元、主机、虚机及网络设备之间的业务和逻辑连接关系构建网元到路由器的逻辑拓扑图，
7.根据分析计算，将hive中数据汇总到各类资源分析模型及相关业务分析模型中，根据时间维度、空间维度、设备维度及业务维度再次汇总数据，利用微服务技术及各类资源分析模型及相关业务分析模型按照维度进行资源分析。
8.进一步，所述的一种基于大数据分析的云资源效能评估方法中所述将资源数据和性能数据注入hive，包括：
9.利用大数据分析方法清洗处理所述资源数据和性能数据，将清洗处理后的所述资源数据和性能数据注入hive。
10.进一步，所述的一种基于大数据分析的云资源效能评估方法中所述进行资源分析，包括：
11.利用各类资源分析模型及相关业务分析模型按照时间维度、空间维度、设备维度及业务维度分析物理资源、虚拟资源和性能数据进行关联配置和指标关联波动的情况。
12.进一步，所述的一种基于大数据分析的云资源效能评估方法中所述进行资源分析后，分别根据时间维度、空间维度、设备维度及业务维度进行分析结果的展示。
13.同时本发明还提供一种基于大数据分析的云资源效能评估系统，包括采集模块和分析模块，
14.采集模块通过网元的南向接口，获取云资源中网元、主机、虚机及网络设备的资源数据和性能数据，并将资源数据和性能数据注入hive，
15.分析模块根据云资源中网元、主机、虚机及网络设备之间的业务和逻辑连接关系，组织创建主机、虚机及网元的资源分析模型及相关业务分析模型，并根据云资源中网元、主机、虚机及网络设备之间的业务和逻辑连接关系构建网元到路由器的逻辑拓扑图，
16.根据分析计算，将hive中数据汇总到各类资源分析模型及相关业务分析模型中，根据时间维度、空间维度、设备维度及业务维度再次汇总数据，利用微服务技术及各类资源分析模型及相关业务分析模型按照维度进行资源分析。
17.进一步，所述的一种基于大数据分析的云资源效能评估系统中所述采集模块将资源数据和性能数据注入hive，包括：
18.利用大数据分析方法清洗处理所述资源数据和性能数据，将清洗处理后的所述资源数据和性能数据注入hive。
19.进一步，所述的一种基于大数据分析的云资源效能评估系统中所述分析模块进行资源分析，包括：
20.利用各类资源分析模型及相关业务分析模型按照时间维度、空间维度、设备维度及业务维度分析物理资源、虚拟资源和性能数据进行关联配置和指标关联波动的情况。
21.进一步，所述的一种基于大数据分析的云资源效能评估系统中还包括展示模块，所述分析模块进行资源分析后，所述展示模块分别根据时间维度、空间维度、设备维度及业务维度进行分析结果的展示。
22.本发明还提供计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行所述的一种基于大数据分析的云资源效能评估方法。
23.本发明的有益之处是：
24.本发明提供一种基于大数据分析的云资源效能评估方法，利用性能数据等进行大数据分析，结合资源数据，实现云资源管理、拓扑呈现、性能管理及分析、多维度效能分析，分析出了网元、服务器、虚机等负载情况、功耗情况及资源利用率情况，对资源的合理分配提供了潜在手段。
附图说明
25.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
26.图1是本发明方法应用框架示意图。
具体实施方式
27.nfvo：ns生命周期的管理模块，同时负责协调ns、组成ns的vnfs以及承载各vnf的
虚拟资源的控制和管理。
28.hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为mapreduce任务进行运行。
29.postgresql是对象关系型数据库管理系统，支持大部分sql标准并且提供了许多其他现代特性:复杂查询、外键、触发器、视图、事务完整性、mvcc。
30.下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
31.本发明提供一种基于大数据分析的云资源效能评估方法，通过网元的南向接口，获取云资源中网元、主机、虚机及网络设备的资源数据和性能数据，并将资源数据和性能数据注入hive，
32.同时根据云资源中网元、主机、虚机及网络设备之间的业务和逻辑连接关系，组织创建主机、虚机及网元的资源分析模型及相关业务分析模型，并根据云资源中网元、主机、虚机及网络设备之间的业务和逻辑连接关系构建网元到路由器的逻辑拓扑图，
33.根据分析计算，将hive中数据汇总到各类资源分析模型及相关业务分析模型中，根据时间维度、空间维度、设备维度及业务维度再次汇总数据，利用微服务技术及各类资源分析模型及相关业务分析模型按照维度进行资源分析。
34.本发明方法以大数据数据技术为手段，面向业务分析云资源消耗数据，以实现优化资源模型、降低单位用户资源消耗，提升云资源效能的目标，实现质量、效率和成本三者平衡。
35.具体应用中，在本发明方法的一些实施例中，基于大数据分析评估云资源效能时，通过网元的南向接口，获取云资源中网元、主机、虚机及网络设备的资源数据和性能数据，并利用大数据分析方法清洗处理所述资源数据和性能数据，将清洗处理后的资源数据和性能数据注入hive，
36.同时根据云资源中网元、主机、虚机及网络设备之间的业务和逻辑连接关系，组织创建主机、虚机及网元的资源分析模型及相关业务分析模型，其中资源分析模型，如vnf性能分析模型、服务器功耗模型、服务器负载模型、网元负载模型、碳排放分析模型、资源利用率模型等，
37.并根据云资源中网元、主机、虚机及网络设备之间的业务和逻辑连接关系构建网元到路由器的逻辑拓扑图，
38.根据分析计算，将hive中数据汇总到各类资源分析模型及相关业务分析模型中，根据时间维度、空间维度、设备维度及业务维度再次汇总数据，利用微服务技术及各类资源分析模型及相关业务分析模型按照维度进行资源分析，其中利用各类资源分析模型及相关业务分析模型按照时间维度、空间维度、设备维度及业务维度分析物理资源、虚拟资源和性能数据进行关联配置和指标关联波动的情况，为云资源分配及使用的合理性提供依据。
39.并在所述进行资源分析后，分别根据时间维度、空间维度、设备维度及业务维度进行分析结果的展示，如可根据不同时间粒度进行性能分析，并支持连续、不连续的方式，
40.基于云资源及关联关系，直观呈现云资源拓扑关系，结合性能等数据，能看到云资源使用情况，分析静态、动态的效能情况，并可及时调整。
41.同时本发明还提供一种基于大数据分析的云资源效能评估系统，包括采集模块和
分析模块，
42.采集模块通过网元的南向接口，获取云资源中网元、主机、虚机及网络设备的资源数据和性能数据，并将资源数据和性能数据注入hive，
43.分析模块根据云资源中网元、主机、虚机及网络设备之间的业务和逻辑连接关系，组织创建主机、虚机及网元的资源分析模型及相关业务分析模型，并根据云资源中网元、主机、虚机及网络设备之间的业务和逻辑连接关系构建网元到路由器的逻辑拓扑图，
44.根据分析计算，将hive中数据汇总到各类资源分析模型及相关业务分析模型中，根据时间维度、空间维度、设备维度及业务维度再次汇总数据，利用微服务技术及各类资源分析模型及相关业务分析模型按照维度进行资源分析。
45.上述系统内的各模块之间信息交互、执行可读程序过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
46.同样地本发明系统能够利用性能数据等进行大数据分析，结合资源数据，实现云资源管理、拓扑呈现、性能管理及分析、多维度效能分析，分析出了网元、服务器、虚机等负载情况、功耗情况及资源利用率情况，对资源的合理分配提供了潜在手段。
47.以及本发明提供计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行所述的一种基于大数据分析的云资源效能评估方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。
48.在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
49.用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd+rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上下载程序代码。
50.此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
51.此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的cpu等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
52.需要说明的是，上述各流程和各系统结构中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
53.以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。