一种节点管理的方法及设备与流程

文档序号:13512809阅读:148来源:国知局
一种节点管理的方法及设备与流程

本申请涉及通信网络技术领域,尤其涉及一种节点管理的方法及设备。



背景技术:

当前,在采用网络功能虚拟化(networkfunctionvirtualization,nfv)技术的数据中心网络中,每个数据中心网络中部署有多个虚拟化基础设施管理器(virtualinfrastructuremanager,vim),每个vim被预分配有数个诸如服务器的物理节点。当数据中心网络有部署虚拟机(virtualmachine,vm)的请求时,数据中心网络中的管理设备会选取一个vim,再由该vim将待部署的vm部署在自己管理的物理节点上。

但是,当vim管理的物理节点的数量较少,且物理节点的可用资源不足以支持部署vm的需求时,需由网管人员对待增加的物理节点进行设置,从而将待增加的物理节点分配给该vim,以供该vim部署vm所用。可见,在业务质量需求较高且业务需求变化频繁的场景中,很可能每次执行业务时,均需为vim分配新的物理节点,导致设置物理节点的频率较高。



技术实现要素:

本申请提供一种节点管理的方法及设备,用于解决在业务质量需求较高且业务需求变化频繁的场景中,设置物理节点的频率较高的问题。

为达到上述目的,本申请采用如下技术方案:

第一方面,本申请提供一种节点管理的方法,该方法包括:

数据中心基础设施管理器(datacenterinfrastructuremanager,dim)接收目标vim的物理节点请求;

响应于所述物理节点请求,所述dim在同一网络的已注册物理节点中确定目标物理节点,并为所述目标vim分配所述目标物理节点,所述已注册物理节点为所述同一网络中已经注册到所述dim中的物理节点。

第二方面,本申请提供一种设备,该设备包括:

收发器,用于接收目标虚拟化基础设施管理器vim的物理节点请求,所述物理节点请求用于请求部署待部署虚拟机vm所需的物理节点;

处理器,用于响应所述物理节点请求,并在同一网络的已注册物理节点中确定目标物理节点,并为所述目标vim分配所述目标物理节点,所述已注册物理节点为所述同一网络中已经注册到所述设备中的物理节点。

第三方面,本申请提供一种计算机可读存储介质,计算机可读存储介质中存储有一个或多个程序,一个或多个程序包括计算机执行指令,当上述设备的处理器执行该计算机执行指令时,该设备执行上述第一方面及其各种可选的实现方式中任意之一所述的节点管理的方法。

与现有技术中在业务质量需求较高且业务需求变化频繁的场景中,设置物理节点的频率较高相比,本申请中在现有的虚拟化网络架构中增加了新部件dim,dim接收目标vim的物理节点请求,然后dim在已注册的物理节点中确定目标物理节点,并将目标物理节点分配给vim,以供vim部署vm所用。可见,即使当前业务质量需求较高且业务需求变化频繁,由于网络中的全部物理节点已经注册在dim中,所以,当目标vim向dim发起物理节点请求时,dim在已注册的物理节点中确定一个满足物理节点请求的目标物理节点,并将目标物理节点分配给发起物理节点请求的vim,显然,本申请的流程中,当vim请求物理节点时,dim可自动为该vim分配已注册的物理节点,无需网管人员对物理节点进行设置。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种nfv逻辑架构的示例性示意图;

图2为本申请实施例提供的一种nfv实际网络架构的示例性示意图;

图3为本申请实施例提供的一种节点管理的方法的流程图;

图4为本申请实施例提供的另一种节点管理的方法的流程图;

图5为本申请实施例提供的另一种节点管理的方法的流程图;

图6为本申请实施例提供的设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。

首先,对本申请实施例的nfv逻辑架构进行说明,本申请实施例的nfv逻辑架构如图1所示。

运营支撑系统/业务支撑系统(operationsupportsystem/businesssupportsystem,oss/bss),用于业务运营和管理,还可以提供网优功能。

网元管理器(elementmanagement,em),用于对虚拟化网络功能(virtualizationnetworkfunction,vnf)进行业务方面的管理。

网络功能虚拟化设施(networkfunctionvirtualizationinfrastructure,nfvi)为一个资源池,包含虚拟化层、物理资源和虚拟资源。其中,物理资源包括物理计算资源、物理存储资源、物理网络资源;虚拟资源包括虚拟计算资源、虚拟存储资源、虚拟网络资源。

管理编排器(managementandorchestration,mano),用于nfv网络的整体管理和编排。由网络功能虚拟化编排器(networkfunctionvirtualizationorchestrator,nfvo)、虚拟化网络功能管理器(virtualizationnetworkfunctionmanager,vnfm)以及vim组成。

其中,nfvo用于管理网络业务(networkservice,ns)的生命周期,并协调ns生命周期的管理、协调vnf生命周期的管理、协调nfvi各类资源的管理,以此确保所需各类资源与连接的优化配置。

vnfm,用于管理vnf的生命周期,如vnf的上线、下线、安装、更新、扩缩容与终结。

需要强调的是,在本申请中,在现有nfv架构的基础上新增了部件dim,如图1所示,该dim与vim、vnfm、nfvo和nfvi之间均具有相关接口。该dim还可以通过与物理节点之间的接口,管理物理节点以及物理节点对应的物理资源,并通过该dim与vim之间的接口指示vim对虚拟资源进行管理。即通过dim可以统一管理网络中的物理资源和虚拟资源。

vim,用于控制vnf的虚拟资源分配,如用于控制虚拟计算资源,虚拟存储资源和虚拟网络资源的分配。

对应于图1,本申请实施例可以应用于如图2所示的系统中,该系统包括:部署管理器、dim、vim、物理节点,以及部署在每个物理节点中的vm。

其中,部署管理器对整个系统具有管理的功能。

dim可以连接并管理多个vim,每个vim可以连接并管理多个物理节点,每个物理节点中部署有vm。通常,在同一网络仅部署一个dim,该dim用于统一管理该网络中的物理节点,物理节点对应的物理资源以及该网络中的虚拟资源。

需要说明的是,dim需与上述同一网络进行绑定,并且,dim需向nfvo进行注册,以使得nfvo存储dim与上述同一网络的关联信息,其中,关联信息包括dim的标识、dim的版本信息、与dim绑定的同一网络的网络标识等。

vim,用于管理各个物理节点,并执行在各个物理节点中部署vm的相关操作。

为了解决在业务质量需求较高且业务需求变化频繁的场景中,设置物理节点的频率较高的问题,本申请实施例提供一种节点管理的方法,该方法可以应用于如图1、图2所示的dim,如图3所示,该方法包括:

步骤301、dim接收目标vim的物理节点请求,该物理节点请求用于请求部署待部署vm所需的物理节点。

当目标vim管理的物理节点的数量较少,且物理节点的可用资源不足以支持部署vm的需求时,目标vim可以向dim发起物理节点请求,以请求dim为其分配相应的物理节点;或者,目标vim当前管理的物理节点数量较多,且物理节点的可用资源能够满足部署vm需求,目标vim仍然可以向dim请求新的物理节点。

步骤302、响应于物理节点请求,dim在同一网络的已注册物理节点中确定目标物理节点,并为目标vim分配目标物理节点,已注册物理节点已经注册到dim中。

需要说明的是,在执行图3所示的方法流程之前,新增的物理节点需预先注册到dim中。示例性地,当机房中新增物理节点时,新增的物理节点可以在上电之后自动向dim发起注册请求,然后dim为每一个物理节点分配一个标识(identification,id),并存储新增物理节点的注册信息,其中,注册信息包括单个物理节点的标识和单个物理节点的性能信息,例如,性能信息可以为该物理节点的内存、硬盘、中央处理器(centralprocessingunit,cpu)的利用率。从而在后续流程中,当目标vim向dim发起物理节点请求时,dim可以采取一定的选择策略选取一个目标物理节点。示例性地,dim可以选取内存利用率最低的物理节点,也可以选取内存、硬盘、cpu的总利用率最低的物理节点,进而在为vim分配物理节点之后,vim能够在分配的物理节点上部署vm。

作为一种可能的实现方式,dim还可以将各个物理节点的注册信息上传至nfvo。

值得注意的是,在图2中,仅仅示例性地画出了每个vim管理的原有物理节点,并未将新增的物理节点画出。

与现有技术中在业务质量需求较高且业务需求变化频繁的场景中,设置物理节点的频率较高相比,本申请中在现有的虚拟化网络架构中增加了新部件dim,dim接收目标vim的物理节点请求,然后dim在已注册的物理节点中确定目标物理节点,并将目标物理节点分配给vim,以供vim部署vm所用。可见,即使当前业务质量需求较高且业务需求变化频繁,由于网络中的全部物理节点已经注册在dim中,所以,当目标vim向dim发起物理节点请求时,dim在已注册的物理节点中确定一个满足物理节点请求的目标物理节点,并将目标物理节点分配给发起物理节点请求的vim,显然,本申请的流程中,当vim请求物理节点时,dim可自动为该vim分配已注册的物理节点,无需网管人员对物理节点进行设置。

在本申请实施例的另一种实现方式中,对选取目标vim的流程进行了说明,如图4所示,在执行步骤301、dim接收目标vim的物理节点请求之前,还需执行步骤401和步骤402。

步骤401、dim接收部署管理器发送的vm部署请求。

步骤402、dim根据预设策略和vm部署请求确定目标vim。

其中,目标vim的可用资源大于vm部署请求中携带的待部署vm所需的资源。

预设策略包括:

确定同一网络中负荷最低的vim为目标vim;

确定同一网络中资源利用率最低的vim为目标vim;

确定同一网络中资源利用均衡值最高的vim为目标vim。

其中,资源利用均衡值为其中,xi为单个vim中第i类资源的资源利用率,u为单个vim中所有类型资源的资源利用率的算数平均值,xi、u均为正数,n为单个vim中资源类型的数量,n、i均为正整数。

假定当前网络中有vim1、vim2和vim3。其中,各个vim的资源情况如表1所示:

表1

对于上述表1,vim1管理的资源情况为:cpu的总个数是10个,当前已用cpu为1个,即cpu的资源利用率为内存64gb,当前已用内存32gb,即内存的资源利用率为硬盘100gb,硬盘当前已用50gb,即硬盘的资源利用率为带宽20g,当前已用带宽为1g,即带宽的资源利用率为vim2管理的资源情况为:cpu的总个数是12个,当前已用cpu为2个,即cpu的资源利用率为内存64gb,当前已用内存16gb,即内存的资源利用率为硬盘60gb,当前已用硬盘10gb,即硬盘的资源利用率为带宽30g,当前已用带宽为2g,即带宽的资源利用率为vim3管理的资源情况为:cpu的总个数是8个,当前已用cpu为1个,即cpu的资源利用率为内存64gb,当前已用内存4gb,即内存的资源利用率为硬盘60gb,当前已用硬盘12gb,即硬盘的资源利用率为带宽100g,当前已用带宽为40g,即带宽的资源利用率为

示例性地,若预设策略为确定同一网络中内存负荷最低的vim为目标vim,则选取当前已用内存最少的vim3作为目标vim。

若预设策略为确定同一网络中硬盘利用率最低的vim为目标vim,由于vim1的硬盘利用率为vim2的硬盘利用率为vim3的硬盘利用率为则选取硬盘利用率最少的vim2作为目标vim。

若预设策略为确定同一网络中资源利用均衡值最高的vim为目标vim,对于vim1,u为vim1的资源利用均衡值为:

对于vim2,u为vim2的资源利用均衡值为:

对于vim3,u为vim3的资源利用均衡值为:

由于vim2的资源利用均衡值最高,所以dim选取vim2为目标vim。

可以理解的是,采取上述预设策略选取的vim为性能较优的vim。

需要说明的是,在现有技术中,当vm发生故障时,vim将故障信息上报至管理平台,由操作管理平台的网管人员对故障的类型做出判断,以对vm进行运维。但是,通常,仅仅通过vm的故障信息难以对故障的具体类型进行判断,基于此,本申请实施例的另一种实现方式中,通过对物理节点的故障信息和部署在该物理节点上的vm的故障信息进行关联,实现了较为准确的故障定位,如图5所示,在步骤302、dim为vim分配目标物理节点之后,还可以执行步骤501和步骤502。

步骤501、dim获取同一网络中各个物理节点的故障信息和各个vm的故障信息。

需要说明的是,通常,物理节点上设置有两种类型的接口,其中,一种为硬件管理接口,dim可以采用智能平台管理接口(intelligentplatformmanagementinterface,ipmi)协议调用物理节点的硬件管理接口,以采集该物理节点的故障信息。

物理节点上设置的另一种接口为以太网接口,dim可以采用网络互连协议(internetprotocol,ip)调用物理节点的以太网接口,以采集该物理节点的故障信息。例如,如图2中,dim调用物理节点一的以太网接口来获取物理节点一的故障信息,该故障信息表征物理节点一未发生故障。

需要说明的是,若dim无法解析故障信息,则dim将故障信息上传给vnfm或者nfvo,由vnfm或者nfvo解析后,将解析好的故障信息返回dim。

值得强调的是,现有技术中,通过vim获取各个物理节点的故障信息,具体实现方式为:在每个物理节点中安装一个管理软件,vim通过与物理节点中的管理软件通信来获取该物理节点的故障信息。在本申请实施例中,dim通过物理节点的接口来获取物理节点的故障信息,dim无需与管理软件进行通信,所以,无需为每个物理节点安装管理软件,即本申请实施例的方案可以应用在物理节点的管理软件已经卸载的场景中,扩展了节点管理方法的应用范围。

作为一种可能的实现方式,dim获取每个vm的故障信息具体可以实现为:网络中每个vim获取各自管理的vm的故障信息,然后dim通过调用各个vim的接口来获取各个vim管理的vm的故障信息。其中,每个vim管理预设数量的vm。

结合上述举例,如图2所示,vim1管理物理节点一和物理节点二,其中,物理节点一中部署有vm1、vm2,物理节点二中部署有vm3;vim2管理物理节点三、物理节点四和物理节点五,其中,物理节点三中部署有vm4,物理节点四中部署有vm5,物理节点五中部署有vm6,vim3管理物理节点六和物理节点七,其中,物理节点六中部署有vm7,物理节点七中部署有vm8和vm9。示例性地,vim1周期性地获取vm1至vm3的故障信息,并通过自身的接口将获取的故障信息上报给dim。假定,vim1获取的vm1至vim3的故障信息分别为:vm1发生故障,vim2、vim3未发生故障;vim2获取vm4至vm6的故障信息,并通过自身的接口将获取的故障信息上报给dim,vim3获取vm7至vm9的故障信息,并通过自身的接口将获取的故障信息上报给dim。

可以理解的是,上述vim可以采集自身管理的vm的故障信息,并上报给dim,dim也可以向vim发起获取vm故障信息的请求,以指示vim获取并上报自身管理的vm的故障信息。

步骤502、dim对物理节点的故障信息与vm的故障信息进行关联。

其中,vm的故障信息与该vm所在的物理节点的故障信息相关联。

示例性地,dim获取的各个vm的故障信息和各个物理节点的故障信息为:物理节点一的网卡损坏、物理节点三的网卡损坏、物理节点五的接口失效,vm1、vm6、vm9发生故障。然后,dim可以根据物理节点与vm的对应关系,对物理节点的故障信息与vm的故障信息进行关联。由于vm1部署在物理节点一上,vm6部署在物理节点五上,vm9部署在物理节点七上,所以,dim对物理节点一的故障信息和vm1的故障信息进行关联,对物理节点五的故障信息和vm6的故障信息进行关联,对物理节点七的故障信息与vm9的故障信息进行关联,对物理节点三的故障信息与vm4的故障信息进行关联。在此之后,dim可以将关联之后的信息输出在运维信息界面,作为一种可能的实现方式,dim输出如表2所示的关联信息。

表2

可以理解的是,本申请实施例中,将物理节点的故障信息与部署在该物理节点上的vm的故障信息进行关联、输出,进而网管人员在获取该关联信息之后,可以了解到部署有故障vm的物理节点是否也发生故障,若该物理节点也发生故障,则网管人员通过后续的判断可以确定该vm的故障是否由该物理节点导致。例如,如表2所示,vm1发生故障,同时,网管人员在运维信息界面中得知,部署有vm1的物理节点一也发生故障,且物理节点一的网卡损坏,则网管人员可以通过为物理节点一更换网卡的方式来确定vm1的故障是否由物理节点一导致,若更换网卡后,vm1能正常通信,则说明vm1的故障由物理节点一的网卡损坏导致。可见,相比于现有技术中,在运维信息界面输出各个vm的故障信息,或者输出物理节点的故障信息,导致网管人员无法快速的判断vm的故障原因,本申请实施例的方案中,将vm的故障信息和部署有该vm的物理节点的故障信息进行关联,进而当vm无法进行正常的通信时,网管人员可以通过运维信息界面中的与故障vm关联的物理节点的故障信息,快速判断导致vm故障的原因,并对故障进行修复,提升了运维的效率。

需要说明的是,在本申请实施例的另一种实现方式中,在步骤302、dim为目标vim分配目标物理节点之后,还可以执行以下步骤:目标vim为待部署vm分配目标虚拟资源,并在目标物理节点上部署待部署vm。

作为一种可能的实现方式,部署管理器可以向dim发送资源回收/vm关闭请求,然后dim进行资源回收/关闭vm,或者,dim调用vim的接口执行资源回收的相关操作。

在本申请实施例中,dim为vim分配部署vm所需的目标物理节点,再由vim为待部署vm分配所需的虚拟资源,并在目标物理节点上部署待部署vm。因此,与现有技术中,各个vim管理各自的物理资源和虚拟资源,无法统一调度网络中的物理资源、虚拟资源相比,本申请实施例中,新增的dim可以直接调度网络中的物理资源,且dim可以调度vim,再由vim调度自身管理的虚拟资源,即dim可以间接调度网络中的虚拟资源,从而通过dim可以统一调度网络中的物理资源和虚拟资源。

以下对本申请实施例的方法进行详细说明。

在本申请另一实施例提供了一种节点管理的方法,该方法包括:

步骤601、dim接收部署管理器发送的vm部署请求,该vm部署请求携带有待部署vm所需的资源。

步骤602、dim根据预设策略和vm部署请求确定目标vim,目标vim的可用资源大于vm部署请求中携带的待部署vm所需的资源。

可以理解的是,在网络中部署vm时,dim需执行步骤602,以选取性能较优的vim,然后由该性能较优的vim负责部署vm。

例如,预设策略为确定网络中内存负荷最低的vim为目标vim,则如表1所示,选取当前已用内存最少的vim3作为目标vim。

步骤603、dim接收目标vim的物理节点请求。

步骤604、响应于物理节点请求,dim在同一网络的已注册物理节点中确定目标物理节点,并为目标vim分配目标物理节点,已注册物理节点为同一网络中已经注册到dim中的物理节点。

可以理解的是,当vim请求新的物理节点之后,dim为该vim分配新的物理节点,并且该vim可以在新物理节点上部署待部署vm。

步骤605、dim获取同一网络中各个物理节点的故障信息和各个vm的故障信息。

其中,dim通过物理节点的硬件管理接口获取物理节点的故障信息,或者,dim通过物理节点的以太网口获取物理节点的故障信息。

dim获取vm的故障信息具体可以实现为:首先,同一网络中vim获取自身管理的vm的故障信息,以使得dim通过该vim的接口来获取该vim管理的vm的故障信息。

需要说明的是,步骤605可以在网络构建完成之后进行,即并不局限于在dim为vim分配新的目标物理节点之后进行。

步骤606、dim对物理节点的故障信息与vm的故障信息进行关联,其中,vm的故障信息与该vm所在的物理节点的故障信息相关联。

本申请实施例提供一种设备,如图6所示,该设备包括存储器601,处理器602,收发器603,总线604。

存储器601可以是只读存储器(readonlymemory,rom),静态存储设备,动态存储设备或者随机存取存储器(randomaccessmemory,ram)。存储器601可以存储操作系统和其他应用程序。在通过软件或者固件来实现本申请实施例提供的技术方案时,用于实现本申请实施例提供的技术方案的程序代码保存在存储器601中,并由处理器602来执行。

收发器603用于设备与其他设备或通信网络,例如但不限于以太网,无线接入网(radioaccessnetwork,ran),无线局域网(wirelesslocalareanetwork,wlan)等之间的通信。

处理器602可以采用通用的cpu,微处理器,应用专用集成电路(applicationspecificintegratedcircuit,asic),或者一个或多个集成电路,用于执行相关程序,以实现本申请实施例所提供的技术方案。

总线604可包括一通路,在该设备各个部件(例如存储器601、收发器603和处理器602)之间传送信息。

应注意,尽管图6所示的硬件仅仅示出了存储器601、收发器603、和处理器602以及总线604,但是在具体实现过程中,本领域的技术人员应当明白,该设备还包含实现正常运行所必须的其他器件。同时,根据具体需要,本领域的技术人员应当明白,还可包含实现其他功能的硬件器件。

具体的,图6所示的设备用于实现图3至图5实施例所示的方法时,该设备中的收发器603,用于接收目标vim的物理节点请求,物理节点请求用于请求部署待部署vm所需的物理节点;

处理器602,用于响应物理节点请求,并在同一网络的已注册物理节点中确定目标物理节点,并为目标vim分配目标物理节点,已注册物理节点为同一网络中已经注册到设备中的物理节点。

在本申请实施例的另一种实现方式中,收发器603,还用于接收部署管理器发送的vm部署请求;

处理器602,还用于响应vm部署请求,并根据预设策略在同一网络的vim中确定目标vim;

预设策略包括:

确定同一网络中负荷最低的vim为目标vim;

确定同一网络中资源利用率最低的vim为目标vim;

确定同一网络中资源利用均衡值最高的vim为目标vim。

在本申请实施例的另一种实现方式中,处理器602,还用于获取同一网络中各个物理节点的故障信息和各个vm的故障信息;对物理节点的故障信息与vm的故障信息进行关联,其中,单个vm的故障信息与单个vm所在的物理节点的故障信息相关联。

在本申请实施例的另一种实现方式中,处理器602,具体用于通过单个物理节点的硬件管理接口或以太网接口,获取单个物理节点的故障信息;

处理器602,具体还用于通过各个vim的接口来获取各个vim管理的vm的故障信息,其中,每个vim管理预设数量的vm;

资源利用均衡值其中,xi为单个vim中第i类资源的资源利用率,u为单个vim中所有类型资源的资源利用率的算数平均值,xi、u均为正数,n为单个vim中资源类型的数量,n、i均为正整数。

本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有一个或多个程序,一个或多个程序包括指令,当上述设备的处理器执行该指令时,该设备执行上述方法实施例所示的方法流程中设备执行的各个步骤。

其中,计算机可读存储介质,例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(randomaccessmemory,ram)、只读存储器(read-onlymemory,rom)、可擦式可编程只读存储器(erasableprogrammablereadonlymemory,eprom)、光纤、便携式紧凑磁盘只读存储器(compactdiscread-onlymemory,cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘,硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例的方法。

以上,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1