接入底盘节点和利用接入底盘节点进行数据转发的方法

文档序号:7978921阅读:276来源:国知局
接入底盘节点和利用接入底盘节点进行数据转发的方法
【专利摘要】本发明提出了一种接入底盘节点和利用接入底盘节点进行数据转发的方法。该接入底盘节点包括:多个第一处理单元,用于接收并解封装来自用户终端的第一数据包,以获取第一数据包中的数据载荷;用户侧交换单元,用于将来自多个第一处理单元的数据载荷分别交换到转发处理单元的任一个或者任多个规定的入端口;转发处理单元,用于确定所述数据载荷的在虚拟节点内部的出虚拟接口,并从所述出虚拟接口转发数据;网络侧交换单元,用于将来自所述转发处理单元所转发的数据载荷交换到网络侧交换单元的对应的出端口;以及多个第二处理单元,用于将接收到的数据载荷封装为第二数据包,并转发到下一跳虚拟底盘节点。
【专利说明】接入底盘节点和利用接入底盘节点进行数据转发的方法
【技术领域】
[0001]本发明涉及通信网络,尤其涉及接入底盘节点和利用接入底盘节点进行数据转发的方法。
【背景技术】
[0002]网络虚拟化是一种方法,根据该方法,多种网络实例能够在一个共同的物理网络基础设施上共存。网络虚拟化与现有的虚拟私有网络(Virtual Private Network, VPN)存在许多差异,其中,VPN仅提供流量隔离。而相对地,网络虚拟化的功能不仅仅是流量隔离,网络虚拟化需要完全的控制以及对虚拟网络(virtual networks,VNets)的潜在的完全的客户化,其中,包括在未来的虚拟化网络基础设施上同时运行非IP的网络和现有的因特网。每个这种虚拟网络可以根据不同的设计准则建立,并且可以为特殊的网络业务进行定制化,以根据需求提供为特殊的网络业务和用户需求进行定制的虚拟网络。此外,网络虚拟化带来了网络中的新的角色和业务类型。
[0003]现在,对未来网络的网络虚拟化有一些相关研究。接入网是未来网络的一个重要组成部分。因此,必须在虚拟网络中提供多种虚拟接入网络(Virtual Access Network,VAN)的共存。在本说明书中,物理接入网络基础设施被定义为接入基础设施,该接入基础设施包括四种节点:接入底盘节点(Access Substrate node),交换底盘节点(SwitchingSubstrate node),路由底盘节点(Routing Substrate node)和计算池。接入底盘节点能够提供多个共存在该接入底盘节点之上的虚拟接入实体(Virtual Access Entities,VAE)。交换底盘节点能够提供多个共存在该交换底盘节点之上的虚拟交换实体(VirtualSwitching Entities, VSE)。路由底盘节点能够提供多个共存在该路由底盘节点之上的虚拟路由实体(Virtual Routing Entities, VRE)。计算池能够提供在计算池上共存的多个虚拟接入网络控制实体(Virtual Access Network Control Entities, VANCE)。如果虚拟接入网络将其控制面从每个网络元素向上提升并集中在一个服务器,该例子就可以是一个VANCE。VANCE也可以位于接入底盘的计算池中。
[0004]图1示出了三种基本的VNet提供者的角色,如下所述:
[0005]以TCP/IP结构为例进行说明,但是,本领域技术人员可以理解,本发明中所适用的网络并不仅仅涉及基于TCP/IP协议的网络。
[0006]基础设施提供者(Infrastructure Provider, I NP):负责维护物理网络资源,例如,路由器、链路、无线基础设施,等,并使能这些资源的虚拟化。通过这些接口,INP使得虚拟网络提供者可以使用虚拟资源和部分虚拟拓扑结构,虚拟网络提供者是INP的客户。
[0007]虚拟网络提供者(Virtual Network Provider, VNP):使用由一个或多个INP或者其他VNP提供的虚拟资源和部分虚拟拓扑结构构建虚拟网络。该角色增加了层级的非直接性。资源控制接口被用于请求和配置这些虚拟资源,这些资源由INP拥有并提供给VNP。一个新建的VNet可以被虚拟网络运营者或者其他VNP使用,其可以递归地使用新建的VNet以建立更大的VNet。[0008]虚拟网络运营者(The Virtual Network Operator,VNO):用于运行、控制、和管理VNet以提供业务。当由VNP和VNO建立了 VNet后,VNO可以管理访问构成VNet的虚拟资源,允许VNO像传统的网络运营者管理物理网络资源一样配置和管理虚拟资源。在INP和VNO之间引入VNP的主要的原因是实现VNO产生大量的端到端的VNet,而不需要它们与潜在的多个INP建立业务关系,以实现广泛的覆盖。反之,VNO典型地仅仅处理单个VNP,该VNP处理与INP之间的关系。此外,VNP的角色允许为特定的业务提供网络的专门的业务,而不需要实际运营这些网络。然而,该角色可以用于多种不同的方式,此外,角色与业务实体之间也不需要具有一一对应的关系。
[0009]应用场景
[0010]对于固定接入网络,将给出3种虚拟网络的应用场景:
[0011]应用场景1:
[0012]固定接入网络(Fixed Access, FA)运营者的新的角色:作为INP (INP将接入网络批发或者租赁给VN0)或者作为VNO
[0013]许多定制的虚拟化接入网络可以在未来的固定接入网络基础设施上建立。因此,FA网络运营者可以或者作为INP将该定制化的虚拟接入网络批发给VN0,或者作为VN0。该新的业务模型相对于现有的业务模型:运营者VS个人用户或者企业用户。
[0014]应用场景2:
[0015]将新的技术转化为产品的更低的壁垒
[0016]可以提供虚拟网络用于测试新的技术与现有的固定网络的并发情况,该固定网络运行在另一个虚拟网络上,而不影响生产系统。
[0017]应用场景3:
[0018]将虚拟网络用于网络管理员和运营者训练的目的
[0019]3.问题
[0020]作为整个互联网的一部分,固定接入网络需要成为虚拟化的元件。因此,接入底盘节点首先必须容纳虚拟接入节点。但是目前为止还没有如何组成接入底盘节点的方案。
[0021]目前为止不存在接入底盘节点的解决方案,但是,现有技术中有路由器和交换机的方案。
[0022]现有的思科的用于交换机的虚拟设备内容(Virtual Device Context, VDC)和安全域路由器(Secure Domain Router, SDR)都是用于将单个的物理系统分割成多个逻辑上分离的路由器。
[0023]现有的思科的安全域路由器基本上相当于将多个硬件路由器放入一个机架中。仅有背板、机架和电源是共享的。
[0024]用于交换机的虚拟设备内容(VDC)允许交换机在设备级别被虚拟化。每个被配置的VDC将自己作为一个独特的交换机,以连接在该物理交换机框架内的用户。这些独特的VDC控制面软件共享公共的主控制板硬件,作为不同的虚拟控制面运行在相同的硬件CPU系统中。不同的逻辑交换机的VDC交换机平面是硬件上独立的:每个逻辑交换机具有其各自的硬件交换机平面。
[0025]主要的缺点:
[0026]1.不支持多虚拟路由器/以太交换机共享一个物理接口。但是在接入网中,在多个虚拟接入节点之间共享物理接口是必须的:因为一个家庭网络用户可以同时访问不同的虚拟网络的业务。
[0027]2.在物理接口(Physical Interface,PI)和转发控制模块(Forwarding ProcessModule, FPM)之间存在固定的连接,妨碍了 PI与FPM之间的灵活的组合。从而阻止了将多个业务灵活地聚合到一些FPM,从而进一步引起更大的可能的能量的浪费、低可用性和低效率的FPM资源利用率:
[0028]例如,将来自不同的PI的多个业务聚合到最小数目的激活的FPM(相比于将多个业务分布在多个激活的FPM)可以减少能源(保持最少数目的FPM处于开的状态)。PI与FPM之间的当前的固定的绑定不可能实现上述功能。当FPM A (业务A的原FPM)失效时,将业务A从PI A引导至FPM B,可以极大地提高虚拟节点的可用性。PI与FPM之间的当前的固定的绑定不可能实现上述功能。
[0029]例如,将来自PI A的IOK包/秒的业务A引导至FPM B,该FPMB恰好有12K包/秒的处理能力,意味着比将来自PI A的IOK包/秒的业务A引导至有100K包/秒的处理能力的FPM更高效的FPM资源利用率。在PI和FPM之间的当前的固定的绑定不可能实现上述功能。
[0030]3.没有系统化的动态的配置功能和系统化的基础设施管理功能,虚拟路由器或者虚拟以太网交换机通过静态的配置命令形成,而非动态的配置和动态的管理。
[0031]4.在虚拟节点和物理资源之间没有抽象,这将妨碍生命移植、重启或者克隆。例如,当虚拟节点或虚拟交换机发生生命移植、重启或者克隆时,通常希望虚拟节点的地址不发生变化。但是如果没有网络管理器,虚拟节点的地址将直接被配置为底盘节点的物理接口地址,从而导致虚拟接口地址在生命移植,重启或者克隆时发生变化,从而进一步影响由虚拟接入网络承载的业务。
[0032]因此,需要一种可以解决上述问题的接入底盘节点的结构。

【发明内容】

[0033]本发明提出了解决上述技术问题的接入底盘节点。
[0034]根据本发明的第一方面,提供了一种用于处理上行数据流的接入底盘节点,其中,该接入底盘节点用于将来自用户终端的数据接入不同的虚拟网络中,该接入底盘节点包括:多个第一处理单元,用于接收并解封装来自用户终端的第一数据包,以获取第一数据包中的数据载荷,其中,所述数据载荷中包含虚拟网络标识、虚拟节点标识、虚接口标识以及虚拟网络数据包的优先级ID ;用户侧交换单元,用于根据第一上行虚拟接口映射表,将来自多个第一处理单元的数据载荷分别交换到转发处理单元的任一个或者任多个规定的入端口 ;转发处理单元,用于从所述入端口接收来自用户侧交换单元的数据载荷,并根据上行转发表,将数据载荷中的所述虚拟节点标识替换为下一跳节点的交换机标识,确定所述数据载荷的在虚拟节点内部的出虚拟接口,并从所述出虚拟接口转发数据;网络侧交换单元,用于根据第一上行虚拟接口映射表中的虚拟接口和虚拟接口,将来自所述转发处理单元所转发的数据载荷交换到网络侧交换单元的对应的出端口 ;以及多个第二处理单元,用于将接收到的数据载荷封装为第二数据包,并转发到下一跳虚拟底盘节点,其中,所述第一数据包和所述第二数据包采用相同的封装协议。[0035]根据本发明的第二方面,提供了一种用于处理下行数据流的接入底盘节点,其中,该接入底盘节点容纳多个不同的虚拟节点,不同的虚拟节点用于为用户终端接入不同的虚拟网络,该接入底盘节点包括:多个第二处理单元,用于接收来自上一跳虚拟底盘节点的第三数据包,解封装第三数据包的包头,从而获取数据载荷;网络侧交换单元,用于根据第一下行虚拟接口映射表,将来自所述第二处理单元的出端口的数据载荷交换到转发处理单元;转发处理单元,用于从入端口接收来自网络侧交换单元的数据载荷,并根据下行转发表,确定在虚拟节点内部的虚拟节点的出接口,并将数据载荷中的虚拟节点标识和虚拟接口标识分别替换为用户终端的用户设备标识和用户设备的虚拟标识,然后将经过替换的数据载荷经由该确定的虚拟节点的出接口向用户侧交换单元发送;用户侧交换单元,用于根据第一下行虚拟接口映射表,将来自转发处理单元的数据载荷分别交换到多个第一处理单元的任一个或者任多个中;多个第一处理单元,用于将接收到的数据载荷封装为第四数据包,并将该第四数据包发送给用户终端,其中,所述数据载荷中包含虚拟网络标识、虚拟节点标识、虚接口标识以及虚拟网络数据包的优先级ID。
[0036]根据本发明的第三方面,提供了一种在接入底盘节点中用于处理上行数据流的方法,其中,该接入底盘节点用于将来自用户终端的数据接入不同的虚拟网络中,该方法包括:在多个第一处理单元中接收并解封装来自用户终端的第一数据包,以获取第一数据包中的数据载荷,其中,所述数据载荷中包含虚拟节点标识和虚接口标识、虚网络标识、虚网络数据包优先级标识;在用户侧交换单元中根据第一上行虚拟接口映射表,将来自多个第一处理单元的数据载荷分别交换到转发处理单元的任一个或者任多个规定的入端口 ;在转发处理单元中从所述入端口接收来自用户侧交换单元的数据载荷,并根据上行转发表,将数据载荷中的所述虚拟节点标识替换为交换机标识,确定所述数据载荷的在虚拟节点内部的出虚拟接口,并从所述出虚拟接口转发数据;在网络侧交换单元中根据第一上行虚拟接口映射表中的虚拟接口和虚拟接口,将来自所述转发处理单元所转发的数据载荷交换到网络侧交换单元的对应的出端口 ;以及在多个第二处理单元中将接收到的数据载荷封装为第二数据包,并转发到下一跳虚拟底盘节点,其中,所述第一数据包和所述第二数据包采用相同的封装协议。
[0037]根据本发明的第四方面,提供了一种在接入底盘节点用于处理下行数据流的方法,其中,该接入底盘节点容纳多个不同的虚拟节点,不同的虚拟节点用于为用户终端接入不同的虚拟网络,该方法包括:在多个第二处理单元中接收来自上一跳虚拟底盘节点的数据,解封装第三数据包的包头,从而获取数据载荷;在网络侧交换单元中根据第一下行虚拟接口映射表,将来自所述第二处理单元的出端口的数据载荷交换到转发处理单元;在转发处理单元中从入端口接收来自网络侧交换单元的数据载荷,并根据下行转发表,确定在虚拟节点内部的虚拟节点的出接口,并将数据载荷中的虚拟节点标识和虚拟接口标识分别替换为用户终端的用户设备标识和用户设备的虚拟标识,然后将经过替换的数据载荷经由该确定的虚拟节点的出接口向用户侧交换单元发送;在用户侧交换单元中根据第一下行虚拟接口映射表,将来自转发处理单元的数据载荷分别交换到多个第一处理单元的任一个或者任多个中;在多个第一处理单元中将接收到的数据载荷封装为第四数据包,并将该第四数据包发送给用户终端。【专利附图】

【附图说明】
[0038]通过参照附图阅读以下所作的对非限制性实施例的详细描述,本发明的其它特征、目的和优势将会更为明显。
[0039]图1示出了现有技术中的虚拟网络提供者的角色拓扑图;
[0040]图2示出了虚拟网络的使用场景I ;
[0041]图3示出了接入底盘节点的高层逻辑功能结构;
[0042]图4示出了系统化合动态的配置功能分配图;
[0043]图5示出了系统化的管理功能分配图;
[0044]图6示出了接入底盘节点的结构示意图;
[0045]图7示出了根据VNO的请求的虚拟接入网络I的拓扑结构示意图;
[0046]图8示出了根据本发明的一个实施例的VAN的ANl中的配置参数以转发上行数据流;
[0047]图9示出了根据本发明的一个实施例的VAN的ANl中的配置参数以转发下行数据流。
[0048]其中,相同或相似的附图标记表示相同或相似的步骤特征或装置/模块。
【具体实施方式】
[0049]本发明中的改进点主要体现在以下几点:
[0050]1.使用在LVM和FPM之间的交换结构,以去除在PI和FPM之间的僵化的绑定
[0051]通过交换结构,从一个PI进入接入底盘节点的VNet的业务可以被交换到任何FPM,以用于转发处理。相对地,从FPM输出的任何业务可以被交换到任何PI (LVM)。进入的流量被交换到FPM所根据的交换表、或者相反操作所根据的交换表应该由在接入底盘节点中的配置功能所设定。根据该转发表,接入底盘节点可以:
[0052]使得接入底盘节点更环保:通过交换,从不同的PI进入的多个业务可以聚合在最小数目的激活的FPM中,(相比于将多个业务分布在多个激活的FPM)可以减少能源(保持最少数目的FPM处于开的状态)。
[0053]提高可用性:当FPM A (业务A的原FPM)失效时,将来自PIA的业务A引导至FPMB0
[0054]提高FPM资源利用率:例如,交换机将来自PI A的IOK包/秒的业务A引导至FPMB,该FPM B恰好有12K包/秒的处理能力,意味着比将来自PI A的IOK包/秒的业务A弓丨导至有100K包/秒的处理能力的FPM更高效的FPM资源利用率。
[0055]2.使用配置代理和网络管理器实现在接入底盘节点的自动的资源分配,以形成系统化的动态VNet配置功能。
[0056]同时,网络控制抽象了物理网络参数(例如在接入底盘物理接口地址与虚拟接入节点的接口地址之间的映射)以及使得位于虚拟底盘节点上的虚拟接入节点能够使用其自己的网络参数, 以及具有不随着接入底盘节点的改变而改变的特征。
[0057]配置代理 与INP的配置服务器通信和交互,执行INP的配置服务器的命令,并向配置服务器反馈执行结果。该执行通过网络管理器进行。
[0058]在VANet配置过程中,当VNP请求虚拟接入节点时,在资源发现和选择过程之后,最终VNP和INP确定为接入底盘节点分配虚拟接入节点。然后,该接入底盘节点需要通知网络管理器为VNet设定一系列的参数,并创建一组包括该虚拟接入节点的映射表/条目。这些参数和映射表然后在LVM,交换机模块上进行设定。
[0059]3.使用“ INP管理代理”和“监控和执行”以支持系统化的INP基础设施管理
[0060]4.为每个物理接口增加链路虚拟化管理器(Link Virtualization Manager,LVM)模块,LVM的功能与现有的DSLAM中的QoS实现不同
[0061]在物理接口之后增加链路虚拟化管理器的目的在于:
[0062]对于固定接入网络,因为家庭网络的用户可以同时访问多个虚拟网络,例如,访问不同VNet中的业务,如应用场景1-3所示,因此,接入底盘节点应该能够提供比VDC或SDR更精细(或者更小)的颗粒度,也即,接入底盘节点的每个物理接口应该允许多个虚拟接入网络之间共享。
[0063]因此,需要LVM根据业务等级协议(Service Level Agreement, SLA)基于VNet在VNP和INP之间对流量整形。应该在接入底盘节点中通过配置功能由LVM设定与SLA相对应的VNet的业务轮廓。
[0064]与在ISAM(现有的接入设备)中当前的QoS实现的不同的功能:
[0065]包过滤:将基础设施协议流量(例如,与当前的地址解析协议ARP类似的包)滤波至基础设施接入网络的控制实体
[0066]可选的:
[0067]安全控制:根据SLA提供安全等级。
[0068]恢复管理:根据SLA提供能够从一个或多个故障中恢复的链路能力
[0069]可用性管理:根据SLA提供可用性管理。“可用性”可以被描述为链路连通并运行的百分比。其也可以由例如故障、维修的平均时间等参数来描述。
[0070]通过与现有设备的上述区别特征,接入底盘节点可以作为虚拟接入节点的容器。
[0071]在实际的物理结构中,基础设施控制功能,例如与配置相关的功能和与管理相关的功能,可以被安排在具有CPU系统的板上(可以是分立的)。而对于LVM和交换功能,物理层处理模块可以位于接入底盘节点的转发平面上。
[0072]以下,将分为3部分,对本发明进行描述。
[0073]在第一部分将描述接入底盘节点的功能元件,在第二部分举例说明如何在虚拟底盘节点上自动地提供虚拟接入节点,并与在其他底盘节点上的其他虚拟节点形成一个虚拟接入网络。
[0074]在第三部分将描述在第二部分的虚拟接入网络的数据流量的(下行和上行的)转发过程。
[0075]1.功能元件
[0076]1.1配置代理:
[0077]功能:如图3所示,配置代理与INP的配置服务器通信和交互,执行INP的配置服务器的命令并且向配置服务器响应执行结果。执行通过网络管理器实现。
[0078]在VANet配置过程中,当VNP请求虚拟接入节点时,在资源发现和选择过程之后,最终VNP和INP确定为接入底盘节点分配虚拟接入节点。然后,该接入底盘节点需要进行以下操作:[0079]通知网络管理器为包括该虚拟接入节点的VNet设定一系列的参数,并创建一组包括该虚拟接入节点的映射表/条目。这些参数和映射表然后在其他模块,例如,VANet访问控制,LVM, USS,NSS中,上进行设定。其中,USS表示用户侧交换,NSS表示网络侧交换。
[0080]例如,通知网络管理器为VNO访问控制器形成两个表:
[0081]VANet绑定表:在VANet ID与VNO ID之间的映射表
[0082]VNO A&A (Authentication and Authorization 认证和授权)表:在 VNO ID 和其ID信任状材料之间的映射表
[0083]例如,通知网络管理器将QoS参数写入对应的LVM中,从而根据SLA提供虚拟链路的QoS
[0084]或者,例如,通知网络管理器为该VANet创建或者维护“虚拟接口映射表”,并将这些表写入USS和NSS或者为USS和NSS更新这些表的条目。
[0085]1.2网络管理
[0086]该功能至少包括:将在接入底盘节点上分配的资源绑定至虚拟接入节点和该虚拟接入节点所关联的VANet。该操作可能是:设置不同的映射表或者参数,以形成虚拟接入节点并维护这些表和参数,以使得虚拟接入节点资源的使用不违反SLA。
[0087]这些表的一个例子是:为VANet创建或者维护“虚拟接口映射表”,并将这些表写A USS和NSS或者向USS和NSS更新这些表中的条目。当是第一次将VANet的虚拟接入节点配置在接入底盘节点上时,网络管理器需要创建上述的表,如果VANet在之前已经为这些接入底盘节点配置了资源,当前仅仅是创建另一个新的虚拟接入节点或者为现有的虚拟接入节点创建新的虚拟接口,网络管理器需要为上述的表创建一组或者一个新的条目。其他维护的操作包括条目的更改,条目的删除,等。
[0088]该“虚拟接口映射表”是虚拟接入节点和虚拟接口 ID或虚拟接口地址与接入底盘节点的物理信道的物理端口 ID之间的映射表。该表显示了哪个虚拟接入节点的哪个虚拟接口被连接到虚拟底盘节点的哪个物理端口。该表格被通过网络管理器写入USS和NSS。该表格使得USS识别出它应该将上行流量转发至哪个虚拟接口,或者将下行流量转发至哪个LVM,其中,每个LVM对应于物理层处理模块。该表使得NSS识别出它应该将上行流量转发至哪个LVM,其中,每个LVM对应于上行物理层处理模块,或者将下行流量转发至哪个虚拟接口。每个VANet具有“虚拟接口映射表格”。VANet在一个接入底盘节点中可以具有多个虚拟接入节点。虚拟接口映射表包括以下栏:虚拟接入节点ID,目的虚拟接口 ID/地址,物理端口 ID (上行)/物理层处理模块ID (下行),交换机的出口端口号码。
[0089]如果“虚拟接口 ID”是虚拟接口的地址,其可以是默认值,例如,该虚拟接口的ID或者名称,然后当由VNO为该虚拟接口配置地址后,虚拟接口的ID可以进一步由网络管理器更新。
[0090]另一个设定参数的例子是:由网络管理器将每个VAN的QoS参数设置给LVM。
[0091]此处的管理器并不仅仅意味着管理资源,还意味着抽象物理网络参数和特征,使得位于该接入底盘节点上的虚拟接入节点使用其自身的网络参数和特征,这些参数和特征不随着接入底盘节点的变化而变化。因此,当虚拟接入节点迁移到不同的接入底盘节点时,或者被重启或者克隆时,其网络相关的参数和特征可以保持不变。
[0092]1.3LVM[0093]过滤一些包,例如为接入底盘节点的协议过程过滤ARP (地址解析协议,AddressResolution Protocol)包。
[0094]为了提供虚拟链路连接以组成VAN,每个物理端口应具有一个LVM。其功能包括:
[0095]包过滤:
[0096]QoS管理:去往不同的虚拟接入网络的流量和由不同的接入底盘网络发来的流量应该根据在INP和VNP之间的SLA进行整形。
[0097]可选的:
[0098]安全控制:根据SLA提供安全等级。
[0099]恢复管理:根据SLA提供能够从一个或多个故障中恢复的链路能力
[0100]可用性管理:根据SLA提供可用性管理。“可用性”可以被描述为链路连通并运行的百分比(例如,99.99%)。其也可以由例如故障、维修的平均时间等参数来描述。
[0101]交换功能:用户侧交换(User Side Switch, USS)和网络侧交换(Network SideSwitch, NSS)
[0102]1.4
[0103]交换功能:
[0104]用户侧交换(UserSide Switch) + 网络侧交换(Network Side Switch)
[0105]1.4.1滤除INP的控制和管理流量
[0106]对于进入USS和NSS的流量:过滤所有的INP控制和管理流量,并将它们发往在接入底盘节点中的INP的控制和管理软件。这些控制和管理软件包括本说明书中所公开的
1.1和1.2的全部内容。
[0107]对于流出流量:从在接入底盘节点中的INP的控制和管理软件接收INP的控制和管理流量,并将其发往NSS或者USS的对应的流出端口。
[0108]1.4.2数据流量分发:
[0109]对于进入的来自用户的流量和流向用户的流量,USS的功能是:
[0110]a.识别来自用户的流量应该被发往服务虚拟接入网络的哪个虚拟接入节点。识别来自虚拟接入节点的流量应该被发往哪个用户。通过该功能,尽管用户的与接入底盘节点的物理连接是固定的,用户能够逻辑地同时地或者非同时地连接到不同的虚拟接入网络。因此,用户能够同时或者非同时地选择不同的VAN业务。
[0111]b.在同一个接入底盘节点的不同的虚拟接入节点之间交换:
[0112]软件或者硬件交换。当虚拟接入节点在同一个接入底盘节点中具有两个或两个以上虚拟接入节点时,并需要在这些节点之间进行通信时,该功能可以实现上述需求。
[0113]为了实现上述功能,基于多张表进行交换功能进行工作。每个VANet具有一张表,每个表的条目具有以下栏:目的物理端口地址,目的虚拟接口地址,交换机的出口端口号码。这些表被创建并保存在网络管理器功能中。
[0114]对于从网络侧进入的流量,以及从网络侧流出的流量:需要NSS功能。NSS与USS类似,因此,在此不予赘述。
[0115]这些结构的优点
[0116]使得容器结构与容器的内容结构去耦合。该结构允许虚拟接入节点的现场迁移、重启,克隆,而不改变虚拟接入节点的接口地址。[0117]2.配置过程
[0118]2.1配置背景
[0119]为了示例VANet的配置过程,首先描述VANet配置架构,如图4所示。
[0120]在INP中存在重要的两个元素:物理视图和配置服务器
[0121]物理视图:
[0122]INP具有物理网络资源的数据库,将其命名为物理视图。物理视图包括至少以下信息:基础设施接入网络元素列表,基础设施拓扑结构,当前的激活的虚拟固定接入网络ID列表。对于每个基础设施接入网络元素,包括:节点ID,节点位置,接口 ID,类型,带宽,媒介,状态,节点能力,激活的节点分片ID和相关的VNet ID,关联和在分配功能板之间的约束关系。
[0123]配置服务器:该服务器与VNP和INP的底盘节点交互,如图5所示。
[0124]当VNO向VNP发起了 VNet配置请求时,VNP将该请求转化为资源请求,并将该资源请求发给INP的配置服务器。然后,INP的配置服务器从其物理视图反馈可用的资源。然后,VNP将VNO请求与来自INP的资源对相匹配,通过与INP协商,VNP至少选择一组匹配的资源,然后INP将选出的匹配的资源分配给VN0。本发明旨在详细描述最后一个步骤,也即分配步骤,也即INP如何将选出的匹配的资源分配给VN0。
[0125]2.2配置的实例
[0126]2.2.1VNO要求VNP为其提供VANet。VANet I如图7所示。如图7所示,对VANetI的主要的要求是:
[0127]连接两个用户:用户I通过DSL线路连接到AN1,用户2通过GPON光纤连接到AN1。
[0128]VANetl具有3个虚拟网络元素:AN1,Sffl和ERl (Edge Router,边缘路由器)
[0129]用户I连接到ANl的虚拟接口 1,命名为VI I,用户2连接到ANl的虚拟接口 2,命名为VI 2。ANl通过虚拟接口 3连接到SWl,我们将虚拟接口 3命名为VI 3。
[0130]AN I的QoS要求:在VI I中下行不大于2Mbit/s,上行不大于600kbit/s ;在VI 2中下行不大于5Mbit/s,上行不大于IMbit/s ;在VI 3中下行不大于10Mbit/s,上行不大于10Mbit/s.[0131]2.2.2
[0132]VNP与INP协商VNO的请求,然后它们确定AN I能够在INP的接入底盘节点I中被配置。因为用户I和用户2都连接到接入底盘节点I。用户I被连接到接入底盘节点I的物理层处理模块5,也即DSL接口,用户2被连接到接入底盘节点I的物理层处理模块9,也即GPON接口。SW I可以在INP的交换底盘节点I中被配置,因为接入底盘节点I的物理层处理模块10连接至交换底盘节点I。ERl可以被在INP中的路由底盘节点I所配置,因为以太链路连接交换底盘节点I和路由底盘节点I。
[0133]2.2.3
[0134]然后,INP的配置服务器告知接入底盘节点I的“VANet配置代理”为ANl分配资源并形成AN1。同时,INP的配置服务器还告知交换底盘节点I和路由底盘节点I分配资源以分配形成SW I和ER I。并告知底盘节点ANl的在上行方向的下一跳节点是SWl的VII,Sff I的在上行方向的下一跳节点是ER I。在下行方向,ERl的下一跳是SWl的VI 2,AN I的VI 3是SW I的下一跳节点。然后,网络管理器需要这些拓扑结构信息以创建表。本文中将主要关注在接入底盘节点I中的配置过程,而省略在交换底盘节点I和路由底盘节点I中的资源绑定过程。
[0135]2.2.4
[0136]当接入底盘节点I的“VANet配置代理”接收了来自INP配置服务器的命令
[0137]首先,VANet配置代理通知网络管理器为VNO访问控制器形成两个表:VANetID (VANet I)与VNO ID之间的映射表;以及VNO ID与其信用状材料之间的映射表。
[0138]其次,VANet配置代理通知网络管理器将QoS参数写入LVM。将VI I的参数写入LVM 5 (用于物理层处理模块5);将VI 2的参数写入LVM 9 (用于物理层处理模块9);将VI3的参数写入LVMlO (用于物理层处理模块10)。
[0139]再次,VANet配置代理通知网络管理器为US S和NS S创建“虚拟接口映射表(Virtuallnterface Mapping Tables, VIMT) ”。VAN I 的 USS 的 VIMT 由 2 个子表构成:VANI的上行子表,VAN I的下行子表。VAN I的NS S的VMT也具有2个子表:VAN I的上行子表和VAN I的下行子表。所有的子表如图8所不。
[0140]2.2.5
[0141]网络管理器将其“绑定完成”的状态反馈给VANet配置代理。VANet配置代理更新其物理视图:物理视图管理器标记已分配的资源的状态,并且修改已分配资源和可用资源的统计数据。
[0142]2.2.6
[0143]当所有的虚拟节点(AN1,Sffl, ERl)均完成了资源绑定后,INP配置服务器向VNP反馈被配置的VAN,VNP将被配置的VANet呈现给VNO。
[0144]3.数据转发过程
[0145]3.1上行路径转发
[0146]用户I使用载有应用程序的PC,用户I希望同与ERl连接的VAN I的服务器(图7中的视频服务器)通信。需要有VANl协议栈,其包括VAN I的网络和上层服务。该协议栈由VAN I的VNO提供。VAN I的协议栈应该事先被配置有下一跳虚拟节点(虚拟节点ID+虚拟接口 ID或者虚拟接口地址),从而允许用户I的PC知道VAN I的条目。
[0147]对于来自用户I的发往服务器的数据流量(上行流量),在接入底盘节点中转发的数据流量如图4的上行路径所示。
[0148]首先,当在用户I的PC上的应用程序发送数据包至VAN I,数据被由PC中的VANI的协议栈所封装。来自用户I的物理层包(也即第一数据包)包括物理层包头,链路层包头,VNet ID,下一跳虚拟节点头,虚拟网络数据包的优先级ID、VNet包头(包括源节点ID/地址和目的节点ID/地址),VNet数据包。当物理层包到达接入底盘节点(图9中的A点),该数据包应该从物理层处理模块5进入接入底盘节点。在该模块处理后(图9中的B点),从物理层包中解封装链路层帧。该物理层处理模块是第一处理单元的一个例子。虽然在本实施例中以物理层处理模块为例对第一处理单元进行说明,本领域技术人员可以理解,该第一处理单元也可以基于其他非TCP/IP协议进行处理。对于GPON物理接口:可选地,可以增加如下表格:GEM端口,虚拟网流量的优先级ID。这个表格用来对上行的数据包根据其GEM端口号更新这个数据包的“虚拟网流量的优先级ID”,也可以不用这个表,不更新这个数据包的虚拟网流量的优先级ID,而仍保持这个包进入本接入底盘节点之前“虚拟网流量的优先级ID”的值,视接入底盘节点部署的具体方式而定。GEM表示GPON封装方法,也即 GPON Encapsulation Method。
[0149]第二,链路层帧从点B进入LVM 5,如图4所示。在LVM的解封装、流量整形和数据过滤以后,LVM 5确定该数据包应该发往USS的端口 5。该过滤功能确定一些包应该由INP功能处理,例如ARP数据包,而另一些包应该发往USS。本领域技术人员可以理解,当不需要对数据进行整形过滤时,该LVM模块是可以省略的。SLA是Service Agreement Level,就是运营商承诺的给用户提供的服务等级。提供虚拟节点时底盘节点通过在LVM里面设置与SLA对应相的参数得到。这些参数应该是InPME根据用户的SLA以及物理视图计算得出。LVM里面包括队列调度、队列管理功能、安全管理、恢复管理、可用性管理等功能,这些功能是与网络管理器的功能相并列的功能。
[0150]第三,USS (用户侧交换单元)获取数据包并判断应该使用哪个VMT,以基于数据包中的VNet ID进行查找。在确定了需要使用VMT的USS上行子表进行查找后(因为数据是上行的),USS根据虚拟节点ID和虚拟接口 ID”作为关键词查找VMT的USS上行子表。匹配结果显示它应该将数据包通过USS的端口 2发送至虚拟接入节点资源模块的PPl。
[0151]第四,数据包到达虚拟接入节点资源模块的PP1。通过虚拟接入节点AN I的内部处理(处理过程应由VAN I的VNO定义),例如,通过转发处理单元,AN I确定其下一跳虚拟节点为SW I的VI I。输出虚拟节点是VI 3。然后,数据包的下一跳虚拟节点包头被设置为SW 1ID+VI IID0然后,该数据包被从AN I的VI 3发出,然后到达NSS的端口 8。
[0152]第五,当NS S(网络侧交换单元)从端口 8收到数据包,它确定基于数据包的VNetID应该查找哪个VMT表。在确定使用了 VMT的NSS上行子表后(因为数据是上行数据),NSS使用数据包中的下一跳虚拟节点包头域中的SW ID+虚拟接口 ID作为关键字,查找VMTl的NSS上行子表。匹配结果显示其应该将数据包通过NSS的端口 10发送至LVM10。然后,NSS相应地将数据包通过NSS的端口 10发送至LVM 10。
[0153]第六,LVM 10获取数据包,进行流量整形以及用链路层包头封装数据包。然后,其将链路层数据包发送至物理层处理模块。本领域技术人员可以理解,当不需要对数据进行整形过滤时,该LVM模块是可以省略的。
[0154]第七,物理层处理模块获取链路层数据帧,并将其封装至物理层包。然后,其将物理层包(也即第二数据包)发送至SW I所位于的交换底盘节点上。该物理层处理模块是第二处理单元的一个例子。虽然在本实施例中以物理层处理模块为例对第二处理单元进行说明,本领域技术人员可以理解,该第二处理单元也可以基于其他非TCP/IP协议进行处理,也即,该第二处理单元进行与第一处理单元相逆的操作。
[0155]第八,在SW I的交换底盘节点以及SW I的处理后,数据包应该被发送至ER I的路由底盘节点。
[0156]第九,在路由底盘节点以及ER I的处理后,数据包到达服务器。
[0157]3.2下行路径转发
[0158]VANl中的服务器应该具有VAN I的协议栈。其包括VAN I的网络和上层服务。该协议栈由VAN I的VNO提供。VANl的协议栈应该事先被配置有下一跳虚拟节点(虚拟节点ID+虚拟接口 ID或者虚拟接口地址),从而允许服务器知道VAN I的条目。
[0159]对于来自服务器的数据(下行),在接入底盘节点中转发的数据业务由图4中的下行路径所示:
[0160]首先,当服务器发送数据包至VAN 1,数据被由服务器中的VAN I的协议栈所封装。来自服务器的物理包(第三数据包)包括物理层包头,链路层包头,VNet ID,下一跳虚拟节点头,VNet包头(包括源节点ID/地址目的节点ID/地址),虚拟网流量的优先级ID,VNet数据包。当来自服务器的数据包通过ERl和ERl的底盘节点以及SWl和SW I的底盘节点进入接入底盘节点(图9中的点G)时,该数据包是物理层包,其在喜爱一条虚拟节点头域中包括AN1+VI 3。该物理层包通过物理层模块10进入接入底盘节点。在该模块处理后(图9中的G点),从物理层包中解封装链路层帧。
[0161]第二,链路层帧从点G进入LVM 10,如图4所示。在LVM的解封装、流量整形和数据过滤以后,LVM 5确定该数据包应该发往USS的端口 5。该过滤功能确定一些包应该由INP功能处理,例如ARP数据包,而另一些包应该发往USS。本领域技术人员可以理解,当不需要对数据进行整形过滤时,该LVM模块是可以省略的。
[0162]第三,NSS获取数据包并判断应该使用哪个VMT,以基于数据包中的VNet ID进行查找。在确定了需要使用VIMT的NSS下行子表进行查找后(因为数据是下行的),NSS根据下一跳虚拟节点头的域中的虚拟节点ID ANl和虚拟接口 ID VI3作为关键词查找VMT的NSS下行子表。匹配结果显示它应该将数据包通过NSS的端口 8发送至虚拟接入节点资源模块的PP8。然后,NSS将数据包通过NSS的端口 8发送至虚拟接入节点资源模块的PP8。
[0163]第四,数据包到达虚拟接入节点资源模块的PP8。通过虚拟接入节点AN I的内部处理(处理过程应由VAN I的VNO定义),AN I确定其下一跳虚拟节点为SW I的VI I。输出虚拟节点是VI 3。然后,数据包的下一跳虚拟节点包头域被设置为用户IPC ID+用户IPC的VIl ID。然后,该数据包被从AN I的VI I发出,然后到达USS的端口 2。
[0164]第五,当USS从端口 2收到数据包,它确定基于数据包的VNetID应该查找哪个VIMT表。在确定使用了 VMT的USS下行子表后(因为数据是下行数据),USS使用数据包中的下一跳虚拟节点包头的域中的“虚拟节点ID (用户IPC ID) +虚拟接口 ID (用户IPC的VIlID VI I)”作为关键字,查找VMTl的USS下行子表。
[0165]匹配结果显示其应该将数据包通过USS的端口 5发送至LVM5。然后,USS相应地将数据包通过USS的端口 5发送至LVM 5。
[0166]第六,LVM 5获取数据包,进行流量整形以及用链路层包头封装数据包。然后,其将链路层数据包发送至物理层处理模块。本领域技术人员可以理解,当不需要对数据进行整形过滤时,该LVM模块是可以省略的。
[0167]第七,物理层处理模块5获取链路层数据帧,并将其封装至物理层包(第四数据包)。然后,其将物理层包发送至用户I的PC。
[0168]该虚网流量的优先级ID将为物理接口的进一步转发提供QoS依据。因此,对于GPON物理接口:增加如下转发表格:VANet ID, VNode ID, VI ID,虚拟网流量的优先级ID,GEM 端口,下一跳 Infrastructure ID。这个表格可以由 INP ME (Infrastructure ProviderManagement Entity)静态提供,也可以动态学习得到。动态学习的机制不限于现有的方式。这个表格使得GPON物理接口能够根据数据包的域中“VANet ID, VNode ID, VI ID,虚拟网流量的优先级ID”这四个字段查到该数据包对应的GEM端口号以及下一跳Infrastructure节点的ID。[0169]以上对本发明的实施例进行了描述,但是本发明并不局限于特定的系统、设备和具体协议,本领域内技术人员可以在所附权利要求的范围内做出各种变形或修改。
[0170]那些本【技术领域】的一般技术人员可以通过研究说明书、公开的内容及附图和所附的权利要求书,理解和实施对披露的实施方式的其他改变。在权利要求中,措词“包括”不排除其他的元素和步骤,并且措辞“一个”不排除复数。在本发明中,“第一”、“第二”仅表示名称,不代表次序关系。在发明的实际应用中,一个零件可能执行权利要求中所引用的多个技术特征的功能。权利要求中的任何附图标记不应理解为对范围的限制。
【权利要求】
1.一种用于处理上行数据流的接入底盘节点,其中,该接入底盘节点用于将来自用户终端的数据接入不同的虚拟网络中,该接入底盘节点包括: 多个第一处理单元,用于接收并解封装来自用户终端的第一数据包,以获取第一数据包中的数据载荷,其中,所述数据载荷中包含虚拟网络标识、虚拟节点标识、虚接口标识以及虚拟网络数据包的优先级ID ; 用户侧交换单元,用于根据第一上行虚拟接口映射表,将来自多个第一处理单元的数据载荷分别交换到转发处理单元的任一个或者任多个规定的入端口; 转发处理单元,用于从所述入端口接收来自用户侧交换单元的数据载荷,并根据上行转发表,将数据载荷中的所述虚拟节点标识替换为下一跳节点的交换机标识,确定所述数据载荷的在虚拟节点内部的出虚拟接口,并从所述出虚拟接口转发数据; 网络侧交换单元,用于根据第一上行虚拟接口映射表中的虚拟接口和虚拟接口,将来自所述转发处理单元所转发的数据载荷交换到网络侧交换单元的对应的出端口 ;以及多个第二处理单元,用于将接收到的数据载荷封装为第二数据包,并转发到下一跳虚拟底盘节点,其中,所述第一数据包和所述第二数据包采用相同的封装协议。
2.根据权利要求1所述的接入底盘节点,还包括第一链路虚拟化管理器和第二链路虚拟化管理器,其中, 所述第一链路虚拟化管理器用于根据业务等级规则,对来自所述第一处理单元的数据载荷的数据流量进行整形,以生成经处理的数据载荷,并将所述经处理的数据载荷提供给所述用户侧交换单元; 所述用户侧交换单元还用于根据第一上行虚拟接口映射表,将来自所述第一链路虚拟化管理器的所述经处理的数据载荷分别交换到所述转发处理单元的任一个或者任多个规定的入端口; 所述第二链路虚拟化管 理器用于对来自所述网络侧交换单元的数据载荷的数据包进行整形处理,以生成经处理的数据载荷,并将所述经处理的数据载荷提供给所述第二处理单元。
3.根据权利要求1所述的接入底盘节点,其中,所述第一和第二链路虚拟化管理器还用于: 根据所述业务等级规则,提供安全控制和/或故障保护机制和/或可用性管理。
4.根据权利要求1所述的接入底盘节点,还包括: 配置代理模块,用于接收来自基础设施网络提供者的配置服务器的配置指令; 当需要设置虚拟接入节点时,将该配置指令提供给网络超级管理器,以用于指示该网络超级管理器为该虚拟接入节点建立映射表。
5.根据权利要求4所述的接入底盘节点,其中,该网络超级管理器还用于: -接收来自配置代理模块的配置指令; -根据该配置指令,建立虚拟接入节点与分配的物理资源、以及虚拟网络之间的映射表。
6.根据权利要求2所述的接入底盘节点,其中,还包括网络超级管理器,用于为所述第一链路虚拟化管理器和所述第二链路虚拟化管理器提供服务质量参数。
7.一种用于处理下行数据流的接入底盘节点,其中,该接入底盘节点容纳多个不同的虚拟节点,不同的虚拟节点用于为用户终端接入不同的虚拟网络,该接入底盘节点包括:多个第二处理单元,用于接收来自上一跳虚拟底盘节点的第三数据包,解封装第三数据包的包头,从而获取数据载荷; 网络侧交换单元,用于根据第一下行虚拟接口映射表,将来自所述第二处理单元的出端口的数据载荷交换到转发处理单元; 转发处理单元,用于从入端口接收来自网络侧交换单元的数据载荷,并根据下行转发表,确定在虚拟节点内部的虚拟节点的出接口,并将数据载荷中的虚拟节点标识和虚拟接口标识分别替换为用户终端的用户设备标识和用户设备的虚拟标识,然后将经过替换的数据载荷经由该确定的虚拟节点的出接口向用户侧交换单元发送; 用户侧交换单元,用于根据第一下行虚拟接口映射表,将来自转发处理单元的数据载荷分别交换到多个第一处理单元的任一个或者任多个中; 多个第一处理单元,用于将接收到的数据载荷封装为第四数据包,并将该第四数据包发送给用户终端,其中,所述数据载荷中包含虚拟网络标识、虚拟节点标识、虚接口标识以及虚拟网络数据包的优先级ID。
8.根据权利要求7所述的接入底盘节点,还包括第一链路虚拟化管理器和第二链路虚拟化管理器,其中,所述第二链路虚拟化管理器用于根据业务等级规则,对来自所述第二处理单元的数据载荷的数据流量进行整形,以生成经处理的数据载荷,并将所述经处理的数据载荷提供给所述网络侧交换单元; 所述网络侧交换单元还用于根据第一下行虚拟接口映射表,将来自所述第二链路虚拟化管理器的所述经处理的数据载荷分别交换到所述转发处理单元; 所述第一链路虚拟化管理器用于对来自所述用户侧交换单元的所述数据载荷进行整形处理,以生成经处理的数据载荷,并将所述经处理的数据载荷提供给所述第一处理单元。
9.根据权利要求7所述的接入底盘节点,其中,所述第一和第二链路虚拟化管理器还用于: 根据所述业务等级规则,提供安全控制和/或故障保护机制和/或可用性管理。
10.根据权利要求7所述的接入底盘节点,还包括: 配置代理模块,用于接收来自基础设施网络提供者的配置服务器的配置指令; 当需要设置虚拟接入节点时,将该配置指令提供给网络超级管理器,以用于指示该网络超级管理器为该虚拟接入节点建立映射表。
11.根据权利要求10所述的接入底盘节点,其中,该网络超级管理器还用于: -接收来自配置代理模块的配置指令; -根据该配置指令,建立虚拟接入节点与分配的物理资源、以及虚拟网络之间的映射表。
12.根据权利要求8所述的接入底盘节点,其中,还包括网络超级管理器,用于为所述第一链路虚拟化管理器和所述第二链路虚拟化管理器提供服务质量参数。
13.一种在接入底盘节点中用于处理上行数据流的方法,其中,该接入底盘节点用于将来自用户终端的数据接入不同的虚拟网络中,该方法包括: 在多个第一处理单元中接收并解封装来自用户终端的第一数据包,以获取第一数据包中的数据载荷,其中,所述数据载荷中包含虚拟节点标识和虚接口标识、虚网络标识、虚网络数据包优先级标识; 在用户侧交换单元中根据第一上行虚拟接口映射表,将来自多个第一处理单元的数据载荷分别交换到转发处理单元的任一个或者任多个规定的入端口; 在转发处理单元中从所述入端口接收来自用户侧交换单元的数据载荷,并根据上行转发表,将数据载荷中的所述虚拟节点标识替换为交换机标识,确定所述数据载荷的在虚拟节点内部的出虚拟接口,并从所述出虚拟接口转发数据; 在网络侧交换单元中根据第一上行虚拟接口映射表中的虚拟接口和虚拟接口,将来自所述转发处理单元所转发的数据载荷交换到网络侧交换单元的对应的出端口 ;以及 在多个第二处理单元中将接收到的数据载荷封装为第二数据包,并转发到下一跳虚拟底盘节点,其中,所述第一数据包和所述第二数据包采用相同的封装协议。
14.一种在接入底盘节点用于处理下行数据流的方法,其中,该接入底盘节点容纳多个不同的虚拟节点,不同的虚拟节点用于为用户终端接入不同的虚拟网络,该方法包括: 在多个第二处理单元中接收来自上一跳虚拟底盘节点的数据,解封装第三数据包的包头,从而获取数据载荷; 在网络侧交换单元中根据第一下行虚拟接口映射表,将来自所述第二处理单元的出端口的数据载荷交换到转发处理单元; 在转发处理单元中从入端口接收来自网络侧交换单元的数据载荷,并根据下行转发表,确定在虚拟节点内部的虚拟节点的出接口,并将数据载荷中的虚拟节点标识和虚拟接口标识分别替换为用户终端的用户设备标识和用户设备的虚拟标识,然后将经过替换的数据载荷经由该确定的虚拟节点的出接 口向用户侧交换单元发送; 在用户侧交换单元中根据第一下行虚拟接口映射表,将来自转发处理单元的数据载荷分别交换到多个第一处理单元的任一个或者任多个中; 在多个第一处理单元中将接收到的数据载荷封装为第四数据包,并将该第四数据包发送给用户终端。
【文档编号】H04L12/46GK103428061SQ201210149489
【公开日】2013年12月4日 申请日期:2012年5月14日 优先权日:2012年5月14日
【发明者】姚春燕, 梁铮, 宾梵翔 申请人:上海贝尔股份有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1