一种数据中心网络组网的方法以及数据中心网络与流程

本发明涉及网络技术领域，更具体地，涉及一种数据中心网络组网的方法以及数据中心网络。

背景技术：

在数据中心(datacenter)中，机架单元(rackunit，或简称rack)可以容纳多个服务器。每个服务器可被配置用于管理一个或者多个虚拟机vm(virtualmachine)。机架单元中的服务器和机架上(top-of-rack，tor)的交换机相连，机架上的交换机(torswitch)通过spine交换机(spineswitch)或者spine交换机网络(spinefabric)和其他的机架上的交换机相连。在数据中心中，机架上的交换机和spine交换机构成的网络，用来实现处于不同机架单元的设备(物理机和/或虚拟机)之间的数据通信。

随着云计算和大数据应用的快速发展，数据中心网络已经成为近年来学术界以及产业界各方研究的热点。随着数据中心规模的不断增大，对数据中心网络也提出越来越多的要求。

现有技术一是比较常用的spine-leaf两层网络架构，这种架构由spine、leaf两层交换机构成，leaf交换机通常被配置在服务器机架的顶端，作为服务器机架的接入式交换机，也称作机架上(top-of-rack，tor)交换机，spine交换机作为汇聚(aggregation)交换机。这类网络架构中所包括的spine交换机以及leaf交换机之间采用clos网络连接(即spine交换机层的每台spine交换机和leaf交换机层的每台leaf交换机均相连)。采用spine-leaf二层平面网络架构，数据中心规模取决于spine交换机下行端口的数量，因此该架构无法适用于大型或者超大型规模的数据中心的构建。

基于此，现有技术二在spine-leaf两层网络架构的基础上，新增一层core层，即构成core-spine-leaf三层平面网络架构。spine交换机和leaf交换机之间采用clos网络连接，形成网络单元，core交换机层与各网络单元内的spine交换机之间也采用clos网络连接，通过core交换机层的转发，能够实现多个网络单元组成一个更大规模的网络。采用现有技术二，一定程度上解决了数据中心规模扩容的问题，但是，从数据中心网络的架设来看，该架构需要在网络单元之外部署core层，增加了网络的复杂度以及网络管理与维护成本。

技术实现要素：

鉴于此，本发明实施例提供了一种数据中心网络组网的方法以及数据中心网络，以降低网络架设的复杂度，以及提高管理维护效率。

第一方面，提供了一种数据中心网络的组网方法，包括：提供至少两个部署单元，其中，每个部署单元包括至少两台spine交换机以及至少一台leaf交换机；在每个部署单元内，建立当前部署单元内每台leaf交换机分别和当前部署单元内spine交换机中的至少两台spine交换机的连接；在每两个部署单元之间，建立第一部署单元内至少一台spine交换机和第二部署单元内的至少一台spine交换机的直接连接。在上述提供的实现方式中，通过建立部署单元之间的spine交换机之间的连接，实现跨部署单元之间的通信需求。

结合第一方面，第一种可能的实现方式是，在每个部署单元内，建立该部署单元内每台spine交换机和该部署单元内每台leaf交换机的连接。在本实施方式中，部署单元内的spine交换机和leaf交换机采用clos网络连接，从而能够实现无阻塞的通信。

结合第一方面的第一种实现方式，在第二种可能的实现方式中，从上述数据中心网络的至少两个部署单元所包括的spine交换机中确定至少一个spine交换机组，该spine交换机组包括每个部署单元内的至少一台spine交换机；在上述spine交换机组内，建立每个部署单元的每台spine交换机和其他每个部署单元内的每台spine交换机的直接连接。本实施方式中，通过确定spine交换机组并建立spine交换机组内任意两个spine交换机的连接关系，从而通过组内spine交换机连接实现跨部署单元之间的通信。

作为第一方面的第二种可能实现方式的一种拓展，一个部署单元中可能存在两台spine交换机被选入该spine交换机组。这样，需要分别建立这两台spine交换机和该spine交换机组内其他每台spine交换机的直接连接。这种拓展实现了部署单元内spine交换机的备份，即当某一台spine交换机存在故障而无法转发通信消息时，可以采用另外一台spine交换机转发或路由该部署单元内leaf交换机所连接的服务器(物理机或者虚拟机)和其他部署单元下leaf交换机所连接的服务器之间的通信消息。

作为第一方面的第二种可能实现方式的另一种拓展，从spine交换机层选择的spine交换机组可以有多组，分别建立多个spine交换机组内每个spine交换机和其他每个spine交换机的直接连接。和作为第一方面的第二种可能实现方式中建立一个spine交换机组内连接的方式相比，多个spine交换机组内均建立连接的方式能够增加不同部署单元之间通信的链路，提高跨部署单元之间通信的可靠性。

结合第一方面的第一种可能的实现方式，在第三种可能的实现方式中，在至少两个部署单元所包括的spine交换机中，建立每台spine交换机分别和上述至少两个部署单元内的其他每台spine交换机的直接连接。即在spine交换机之间采用全连接的方式组网。采用这种全连接的方式，能够实现spine交换机之间的无阻塞通信。

结合第一方面的第一种实现方式，在第四种可能的实现方式中，从上述至少两个部署单元所包括的spine交换机中确定至少一个spine交换机组，上述spine交换机组包括每个部署单元的至少一台spine交换机；建立上述spine交换机组内每台spine交换机分别和上述spine交换机组之外的每台spine交换机的直接连接。和第一方面的第三种可能的实现方式中的spine交换机全互连方式对比，上述spine交换机非本组全互连方式节省了每台spine交换机连接所在组内其他spine交换机所用的端口，利用这些节省的端口可用于连接新增的leaf交换机和/或新增的spine交换机，以此可方便网络规模的扩展。

结合第一方面，在第五种可能的实现方式中，在数据中心网络中任意一个部署单元内新增一台leaf交换机，建立新增leaf交换机分别和新增leaf交换机所在部署单元内至少两台spine交换机的连接。通过本实现方式，实现部署单元内leaf交换机的扩展。

结合第一方面的第一种至第五种实现方式，在第六种可能的实现方式中，在任意一个部署单元内新增一台leaf交换机，建立新增leaf交换机分别和新增leaf交换机所在部署单元内每台spine交换机的连接。本实现方式实现部署单元内leaf交换机的扩展，且新增leaf交换机和每台spine交换机相连，实现信息的无阻塞传输。

结合第一方面的第一种或第二种实现方式，在第七种可能的实现方式中，在任意一个部署单元内新增一台spine交换机，建立新增spine交换机和新增spine交换机所在部署单元内每台leaf交换机的连接。本实现方式实现部署单元内spine交换机的扩展，且新增spine交换机和部署单元内的每台leaf交换机相连，实现信息的无阻塞传输。

结合第一方面的第三种可能实现方式，在第八种可能的实现方式中，在任意一个部署单元内新增一台spine交换机，建立新增spine交换机和新增spine交换机所在部署单元内每台leaf交换机的连接，以及建立新增spine交换机和至少两个部署单元包括的spine交换机中其他每台spine交换机的直接连接。本实现方式实现部署单元内spine交换机的扩展，且新增spine交换机和部署单元内的每台leaf交换机相连，以及新增spine交换机和其他spine交换机的clos连接，这样实现新增spine交换机在部署单元内的clos网络连接，而且也实现新增spine交换机在跨部署单元之间的clos网络相连，从而实现信息的无阻塞通信。

结合第一方面的第四种可能实现方式，在第九种可能的实现方式中，在任意一个部署单元内新增一台spine交换机，确定新增spine交换机包括在spine交换机组，建立新增spine交换机和新增spine交换机所在部署单元内每台leaf交换机的连接，以及建立新增spine交换机和至少两个部署单元内且位于新增spine交换机所在spine交换机组之外的其他每台spine交换机的直接连接。

结合第一方面的第一种可能实现方式，在第十种可能的实现方式中，对于包含至少两个部署单元的数据中心网络，新增一个部署单元，新增部署单元中包括至少两台spine交换机以及至少一台leaf交换机，建立新增部署单元内每台leaf交换机和至少两台leaf交换机的连接；选择新增部署单元内至少一台spine交换机，建立选择的至少一台spine交换机和新增部署单元之外的其他每个部署单元的至少一台spine交换机的直接连接。

结合第一方面的第一种可能实现方式，在第十一种可能的实现方式中，对于包含至少两个部署单元的数据中心网络，新增一个部署单元，新增部署单元中包括至少两台spine交换机以及至少一台leaf交换机，建立新增部署单元内每台spine交换机和每台leaf交换机的连接；选择新增部署单元内至少一台spine交换机，建立选择的至少一台spine交换机和新增部署单元之外的其他每个部署单元的至少一台spine交换机的直接连接。

结合第一方面的第二种可能实现方式，在第十二种可能的实现方式中，对于包含至少两个部署单元的数据中心网络，新增一个部署单元，新增部署单元中包括至少两台spine交换机以及至少一台leaf交换机；建立新增部署单元内每台spine交换机和每台leaf交换机的连接；选择新增部署单元内至少一台spine交换机，建立选择的至少一台spine交换机和spine交换机组内每台spine交换机的直接连接。

结合第一方面的第三种可能实现方式，在第十三种可能的实现方式中，对于包含至少两个部署单元的数据中心网络，新增一个部署单元，该新增部署单元中包括至少两台spine交换机以及至少一台leaf交换机，建立新增部署单元内每台spine交换机和每台leaf交换机的连接；建立新增部署单元内每台spine交换机和数据中心网络所包含的至少两个部署单元中每台spine交换机的直接连接。

结合第一方面的第四种可能实现方式，在第十四种可能的实现方式中，对于包含至少两个部署单元的数据中心网络，新增一个部署单元，该新增部署单元中包括至少两台spine交换机以及至少一台leaf交换机；建立新增部署单元内每台spine交换机和每台leaf交换机的连接；从新增部署单元内选择至少一台spine交换机进入spine交换机组；建立新增部署单元内被选入该spine交换机组的至少一台spine交换机和位于spine交换机组之外的每台spine交换机的直接连接。

结合第一方面以及第一方面的第一种至第十四种可能实现方式，在第十五种可能的实现方式中，从数据中心网络所包含的至少两个部署单元中选择至少一个部署单元，通过至少一个部署单元内至少一台spine交换机的端口或者至少一台leaf交换机的端口连接外部网络。

结合第一方面以及第一方面的第一种至第十五种可能实现方式，在第十六种可能的实现方式中，spine交换机和leaf交换机是商业网络交换机或者专用集成电路asic芯片。

第二方面，提供了一种数据中心网络，该网络包括：至少两个部署单元，每个部署单元包括至少两台spine交换机以及至少一台leaf交换机；在每个部署单元内，每台leaf交换机分别和该部署单元内所有spine交换机中的至少两台spine交换机相连；在数据中心网络包括的至少两个部署单元之间，每个部署单元内至少存在一台spine交换机和其他每个部署单元内的至少一台spine交换机直接相连。采用这种架构的网络，和现有技术二相比，不需要新增一层core，就能够实现部署单元之间的通信。

结合第二方面，在第一种可能的实现方式中，在每个部署单元内，每台spine交换机和该spine交换机所在部署单元内的每台leaf交换机相连。采用部署单元内的每台spine交换机和每台leaf交换机相连，能够实现部署单元内的leaf交换机下的服务器和其他leaf交换机下的服务器之间的无阻塞通信。

结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，从数据中心网络中至少两个部署单元中所包括的spine交换机中确定至少一个spine交换机组，该spine交换机组包括每个部署单元的至少一台spine交换机，在该spine交换机组内，每个部署单元的spine交换机和其他每个部署单元的spine交换机直接相连。和数据中心网络中的spine交换机层中的spine交换机采用全互连的方式相比，采用spine交换机组内互连的方式能够在确保两个部署单元之间的通信的条件下，节省spine交换机之间互连的端口，以便可以使用这些节省的端口连接更多的leaf交换机，从而实现网络规模的扩展。

结合第二方面的第一种可能的实现方式，在第三种可能的实现方式中，在数据中心网络中至少两个部署单元所包括的spine交换机中，每台spine交换机分别和数据中心网络中至少两个部署单元内的其他spine交换机直接相连。这种方式是spine交换机的全互连方式，采用这种方式能够最大程度的确保部署单元之间通信消息转发的无阻塞。

结合第二方面的第一种可能的实现方式，在第四种可能的实现方式中，从数据中心网络中，至少两个部署单元所包括的spine交换机中确定至少一个spine交换机组，该spine交换机组包括每个部署单元的至少一台spine交换机，在spine交换机组内，每台spine交换机分别和该spine交换机所在spine交换机组之外的每台spine交换机直接相连。这种方式属于spine交换机非组内全互连的方式，采用这种方式，和spine交换机的全互连方式相比，能够节省spine交换机之间互连的端口，以便可以使用这些节省的端口连接更多的leaf交换机，从而实现网络规模的扩展。

结合第二方面以及第二方面的第一至第四种可能的实现方式，在第五种可能的实现方式中，通过数据中心网络中至少一个部署单元的至少一台spine交换机或者至少一台leaf交换机的端口连接外部网络。

结合第二方面以及第二方面的第一至第五种可能的实现方式，在第六种可能的实现方式中，spine交换机和leaf交换机是商业网络交换机或者专用集成电路asic芯片。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。

图1是本发明提供的数据中心系统组成的示意性框图。

图2a-2d是本发明的数据中心网络架构实施例一至实施例四的示意性框图。

图3是本发明的数据中心网络架构水晶模型的示意性框图。

图4是本发明spine交换机跨翅片组内互连的水晶模型的示意性框图。

图5是本发明网络拓扑识别方法实施例的流程图。

图6是本发明数据中心组网方法实施例的流程图。

图7是本发明数据中心网络fin内增加一个leaf交换机示意图。

图8是本发明数据中心网络fin内增加一个spine交换机示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

一般的，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构、以及其他类型的结构。此外，本领域的技术人员可以明白，各实施例可以用其他计算机系统配置来实施，包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机以及类似计算设备。各实施例还能在任务由通过通信网络连接的远程处理设备来执行的分布式计算环境中实现。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备中。

各实施例可被实现为计算机实现的过程、计算系统、或者诸如计算机程序产品或计算机系统执行示例过程的指令的计算机程序的计算机存储介质。例如：计算机可读存储介质可经由易失性计算机存储器、非易失性存储器、硬盘驱动器、闪存驱动器、软盘或紧致盘和类似介质中的一个或多个来实现。

贯穿本说明书，术语“数据中心网络架构(datacenterfabric)”即实现将各个服务器连接为数据中心的网络架构，可以有多种实现方式，如：spine-leaf构成的平面两层数据中心网络架构，core-spine-leaf构成的平面三层数据中心网络架构等。

贯穿本说明书，术语“部署单元”，即由至少两个spine交换机和至少一个leaf交换机构成的网络单元。在该单元中，每个leaf交换机和至少两个spine交换机相连。较佳的是，部署单元内的spine交换机和leaf交换机采用clos网络连接。在本发明实施例中所提供的heatsink网络架构中，部署单元所指的就是构成该网络架构的翅片(fin)。

贯穿本说明书，术语“交换机”指的是能够连接多个网络节点的一种网络基本组件，能够实现消息转发的设备。该设备既可以是商业网络交换机，也可以是专用集成电路asic芯片所实现的功能电路。

贯穿本说明书，术语“leaf交换机”作为数据中心网络架构中的接入交换机(accessswitch)，负责将服务器接入到数据中心网络中。对于机架服务器(rackserver)，leaf交换机具体指的是被配置在服务器机架的顶端的接入式交换机，又被称作机架上(top-of-rack，tor)交换机；对于塔式服务器或者刀片服务器，leaf交换机可以采用产品形态的交换机或者采用专用集成电路asic芯片实现的交换电路实现。

贯穿本说明书，术语“spine交换机”指的是对leaf交换机起汇聚(aggregation)作用的交换机。一般部署在leaf交换机的上层，用来实现leaf交换机之间报文路由或转发的功能。在本发明提供的实施例中，为了实现信息的无阻塞转发，spine交换机和leaf交换机一般采用clos组网连接。

贯穿本说明书，术语“数据中心网络管理器dcnm”指的是对heatsink网络架构中的交换机实现管理控制的设备，它可以采用集中式的实现，如采用一台服务器来实现，也可以采用分布式的方式实现，如采用多台服务器来实现。

贯穿本说明书，术语“服务器(server)”一般指在联网环境中执行一个或多个软件程序的计算设备。具体实现中，服务器可以为物理机(physicalmachine)或者安装在物理机上的虚拟机(virtualmachine)。需要说明的是，为了形象描述的需要，本发明的实施例采用机架单元(rackunit)构成机架服务器(rackserver)来进行介绍，可以理解，服务器的表现形式是多种多样的，本发明的实施例也适用于塔式服务器(towerserver)，或者刀片服务器(bladeserver)所组成的数据中心中。

本发明实施例所提供的数据中心网络架构

本发明实施例公开了一种数据中心网络架构(datacenterfabric)，该数据中心网络架构应用于数据中心的架设中。

图1展示一个数据中心系统100，即存在至少一个数据中心网络管理器110(datacenternetworkmanager，dcnm)通过网络来实现对由leaf交换机和spine交换机组成的数据中心网络进行管理。其中的数据中心网络管理器110可以采用服务器(server)的形式实现，上面集成负责管理网络的应用app。每台leaf交换机可以采用机架上交换机(torswitch)形式来实现，即每台leaf交换机均可位于一个机架单元rack中。以图1为例，leaf2125和leaf4130这两台leaf交换机可位于一个机架单元中，该机架单元能够容纳一个或多个服务器(如图1中的135和140)。每个leaf交换机被配置用于路由或转发该机架单元中的服务器和其他网络单元之间的通信消息。每一个服务器(以图1中，和leaf交换机125关联的服务器135为例)可以容纳一个或多个虚拟交换机(virtualswitch)145。虚拟交换机以及虚拟机被创建并且运行在每个服务器上的虚拟层(hypervisor)155，虚拟层155实现服务器上物理资源的虚拟化以及调度，供一个或者多个虚拟机使用。

每个虚拟交换机145可以被配置用来管理一个由虚拟机组成的虚拟机网络和/或子网中虚拟机之间的通信。每一台虚拟交换机145采用运行在服务器135的软件来实现。由此，虚拟交换机145能够实现物理交换机的功能。类似的，每一个虚拟机150采用运行在服务器135的软件来实现。虚拟机150被配置用于和其他的虚拟机通过网络架构(fabric)115通信。对于数据中心系统100，可以存在任意数量的服务器，每台服务器可以容纳任意数量的虚拟交换机以及任意数量的虚拟机。为了简化描述，图1中包括一台服务器135以及与之关联的leaf交换机125，以及一个服务器135以及与之关联的leaf交换机130。在一个例子中，虚拟交换机145可以管理服务器135中的多个虚拟交换机之间的通信。

服务器135以及与之关联的leaf交换机125被放置于一个机架单元(rackunit，或者称为rack)中，这一点未在图1中示出。其他的服务器也可以被容纳于机架中。leaf交换机125以及leaf交换机130负责对机架中的服务器(包括运行在服务器之上的虚拟机)作为发送方或者接收方的通信信息进行路由处理或者转发处理。tor(top-of-rack)指的是交换机125和130，以及图1中的其他的leaf交换机。leaf交换机125和130能够被用来提供机架中的服务器、虚拟机以及虚拟交换机通信的备份以及容错。由此，leaf交换机125和tor交换机130是对等的两个交换机。这些leaf交换机以及spine交换机可以被配置用于和数据中心网络管理器dcnm通信，该数据中心网络管理器dcnm可以用于通过控制spine交换机以及leaf交换机而管理不同机架内的服务器(物理机或虚拟机)之间的通信。

本发明提供多个实施例用来实现对数据中心网络架构(datacenterfabric)115的改进。

下面结合图2a-2d来分别介绍数据中心网络架构的改进。对于本领域技术人员可以理解，在具体的网络架设过程中，受限于架设条件以及其他因素，可能对本发明所提供的数据中心网络架构进行适应性的改动，因此，本发明所提供的实现方式不应该理解为对本发明保护范围的限制。

数据中心网络架构实施例一

从图2a可看出，该数据中心网络架构(datacenterfabric)由多个翅片(fin)构成，多个翅片构成散热片形状的结构，基于此，本发明实施例将该结构称为heatsink网络架构。

在heatsink网络架构中的每个翅片类似于图1中的115标示的由spine交换机和leaf交换机组成的数据中心网络架构。每个翅片包括两层交换机，位于上层的是spine交换机集合，位于下层的是leaf交换机集合。其中，leaf交换机作为tor交换机，用于连接服务器，类似于图1中的leaf2125所连接的服务器135和leaf4130所连接的服务器140。所有翅片的spine交换机集合构成的一个逻辑层，称为spine交换机层(spineswitchtier)，类似的，所有翅片的leaf交换机集合构成一个平面，成为leaf交换机层(leafswitchtier)。

从组网架设的需求出发，该heatsink网络架构中每一个翅片包括至少两台spine交换机，以及至少一台leaf交换机。在每个翅片内，每台leaf交换机和该翅片内的至少两台spine交换机相连，这样当与某台leaf交换机相连的spine交换机发生故障时，还存在其他无故障且与该leaf交换机相连的spine交换机实现通信数据和/或指令的转发。

较优的，在本发明的实施例中，为了实现数据的无阻塞转发，在每一个翅片内，每台leaf交换机和每台spine交换机均存在连接(即采用clos网络连接)。

需要说明的是，该数据中心网络架构包括至少两个翅片，每个翅片中的leaf交换机和spine交换机的数量以及它们之间的连接方式都是独立的。譬如：在图2a中，fin1包括8台spine交换机以及10台leaf交换机，fin2包括6台spine交换机以及9台leaf交换机，fin1中的spine交换机和leaf交换机的连接采用每台leaf交换机连接3台spine交换机的方式，而fin2中的spine交换机和leaf交换机的连接采用clos网络连接，即每台leaf交换机和每台spine交换机相连。

需要说明的是，leaf交换机下行连接服务器(类似于图1所示的leaf2125连接服务器135)，上行连接spine交换机(类似于图1所示的leaf2125连接spine1和spine2)。每个翅片要实现leaf交换机的单点无阻塞通信(即翅片中的leaf交换机不会发生数据转发过程中的拥塞)，需要保证任意一个leaf交换机的下行接入带宽不得大于其上行的带宽(如：可以通过网络参数的设置，以图1中的leaf2125为例，其上行带宽为40gbps，下行连接服务器135的带宽为30gbps)。此外，受限于设备的物理端口数量，每个翅片内可以部署的leaf交换机的数量取决于spine交换机下行端口的数量，每个翅片内可以部署的spine交换机的数量取决于leaf交换机的上行端口的数量。

在heatsink网络架构中的spine交换机层中，spine交换机之间也存在连接关系，通过建立spine交换机的连接，实现不同翅片间的服务器之间的通信。跨翅片的spine交换机之间一种必要的连接关系是(即：spine交换机基本互连方式)：每个翅片内至少存在一台spine交换机和其他每个翅片内的至少一台spine交换机相连。这样就可保证，两个翅片内的leaf交换机所连接的服务器(物理机或者虚拟机)的通信消息，通过spine交换机的转发能够到达对端。以图2a为例，在spine交换机层中，对于任意两个finm以及finn，spinemi和spinenj具有连接关系，其中，m和n均为整数，m≠n，且1≤m≤y,1≤n≤y。

数据中心网络架构实施例二

图2b中提供了另外一种数据中心网络架构实施例，和图2a的网络架构的区别主要在于：跨翅片的spine交换机之间采用的是spine交换机跨翅片组内互连方式。

参看图2b，从该heatsink网络架构所包括的spine交换机层中选择一些spine交换机构成一个spine交换机组，该spine交换机组满足如下要求：即该spine交换机组中包括每个翅片中的一台spine交换机。在该spine交换机组内，每台spine交换机和其他每台spine交换机存在直接连接。

作为这种实现方式的拓展，一个翅片中可能存在两台spine交换机被选入该spine交换机组。这样，需要分别建立这两台spine交换机和该spine交换机组内其他每台spine交换机的直接连接。这种拓展方式实现了翅片内spine交换机的备份，即当某一台spine交换机存在故障而无法转发通信消息时，可以采用另外一台spine交换机转发或路由该翅片内leaf交换机所连接的服务器(物理机或者虚拟机)和其他翅片下leaf交换机所连接的服务器之间的通信消息。

作为这种实现方式的进一步的拓展，从spine交换机层选择的spine交换机组可以有多组，分别建立多个spine交换机组内每个spine交换机和其他每个spine交换机的直接连接。和之前建立一个spine交换机组内连接的方式相比，多个spine交换机组内均建立连接的方式能够增加不同翅片之间通信的链路，提高跨翅片通信的可靠性。

作为spine交换机分组的一种可能的实现方式，如图2b所示，对spine交换机层所包括的spine交换机按行进行分组，得到如下z个spine交换机组，分别是：spine-g1、…、spine-gi、…、spine-gj、…、spine-gz，选择其中至少一个spine交换机组，建立该spine交换机组内任意两台spine交换机的连接。

数据中心网络架构实施例三

作为跨翅片的spine交换机之间连接关系的第二种实现方式，图2c中提供了spine交换机全互连方式的数据中心网络架构实施例，和图2a及图2b提供的网络架构的区别主要在于在heatsink网络架构所包括的spine交换机层，每台spine交换机和其他每台spine交换机直接相连，即spine交换机之间采用全连接的方式组网。采用这种全连接的方式，能够实现spine交换机之间的无阻塞信息传输。以图2c中的spineyz为例，该spine交换机和spine交换机层的其他每台spine交换机均有连接关系。

数据中心网络架构实施例四

图2d中提供了第四种数据中心网络架构实施例，和图2a-2c提供的网络架构的区别主要在于跨翅片的spine交换机之间连接关系采用的是spine交换机非本组全互连方式。从图2d可看出，从构成数据中心网络架构的多个翅片所包括的spine交换机中确定一个spine交换机组，spine交换机组包括每个翅片的一台spine交换机，在该spine交换机组内，每台spine交换机分别和该spine交换机所在spine交换机组之外的每台spine交换机直接相连。

作为上面这种实现方式的拓展，一个翅片中可能存在两台spine交换机被选入该spine交换机组。这样，需要分别建立这两台spine交换机分别和该spine交换机组之外其他每台spine交换机的直接连接。这种拓展方式实现了spine交换机的备份，即当某一台spine交换机存在故障而无法转发通信消息时，可以采用另外一台spine交换机转发或路由该翅片下leaf交换机所连接的服务器(物理机或者虚拟机)和其他翅片下leaf交换机所连接的服务器之间的通信消息。

作为进一步的拓展，从spine交换机层选择的spine交换机组可以有多组，分别建立多个spine交换机组内每个spine交换机和该spine交换机所在spine交换机组之外其他每个spine交换机的直接连接。和之前建立一个spine交换机组内连接的方式相比，多个spine交换机组内均建立连接的方式能够增加不同翅片之间通信的链路，提高跨翅片通信网络架构的可靠性。

作为一种具体的实现方式，可以如数据中心网络架构实施例二中那样对spine交换机层所包括的spine交换机按行进行分组，得到如下z个spine交换机组，分别是：spine-g1、…、spine-gi、…、spine-gj、…、spine-gz，选择其中的至少一个spine交换机组，建立该spine交换机组内每台spine交换机和spine交换机层且位于该组之外的每台spine交换机的连接。

和数据中心网络架构实施例三中的spine交换机全互连方式对比，上述spine交换机非本组全互连方式节省了每台spine交换机连接所在组内其他spine交换机所用的端口，利用这些节省的端口可用于连接新增的leaf交换机和/或新增的spine交换机，以此可实现网络规模的扩展，对于网络规模的扩展，在后续的实施例中会展开说明。以图2d中的spineyz为例，该spine交换机所在的spine交换机组为{spine1z,spine2z,spine3z,……spineyz……spineyz,spineez}，如图2d所示，spineyz分别和该spine交换机所在spine交换机组之外的每台spine交换机相连。

为了满足上述数据中心网络和外部网络的通信需求，通过选择数据中心架构中的某一个翅片中的至少一台spine交换机或者至少一台leaf交换机作为边缘edge交换机，通过边缘交换机的端口连接外部网络。以图2a-2d为例，选择e1-ez这z台spine交换机作为边缘交换机，用来连接外部网络。

需要说明的是，spine交换机和leaf交换机可以采用商业网络交换机，也可以采用专用集成电路(application-specificintegratedcircuit，asic)芯片来实现，对此，本发明的实施例不加以限制。

对于上述数据中心网络，为了更好地管理图2a-2d所示的heatsink网络架构，在网络使用前，数据中心网络管理器dcnm首先需要根据网络中各交换机之间的连接关系识别网络架构。

网络架构的识别

在软件定义的数据中心网络中，要想管理并利用heatsink网络架构，控制器首先需要有效地识别网络架构，即识别网络架构中的各交换设备(spine交换机或者leaf交换机)，以及各交换设备之间的连接关系。

按照heatsink网络架构的组网特点，梳理不同数量交换设备的聚合方式，可发现水晶模型的存在，具体形态如图3所示。水晶模型由上、左上、右上、左下、右下、下共6个节点构成，每个节点代表一台交换设备。

图3(a)-(c)示出了三种不同的水晶模型，分别对应heatsink网络架构中的spine交换机跨翅片组内互连方式、spine交换机全互连方式以及spine交换机非本组全互连方式。其中：

图3(a)对应的spine交换机跨翅片组内互连的水晶模型，其中每个节点只与相邻节点相连。

图3(b)对应的spine交换机全互连的水晶模型的左上、右上、左下、右下等四个节点两两相连，上节点分别与左上、右上节点相连，下节点分别与左下、右下节点相连。

图3(c)对应的spine交换机非本组全互连的水晶模型的左上、右上、左下、右下等四个节点分别与对面两个节点相连(即左上节点分别连接右上节点和右下节点，左下节点分别连接右上节点和右下节点)，上节点分别与左上、右上节点相连，下节点分别与左下、右上节点相连。

当数据中心网络管理器dcnm在获取网络拓扑信息的过程中，发现存在6个交换设备的连接关系符合图3(b)spine交换机全互连方式的水晶模型或图3(c)spine交换机非本组全互连方式的水晶模型时，则可以确定位于上、下节点的交换设备在网络中扮演leaf交换机的角色，位于左上、右上、左下、右下节点的交换设备在网络中扮演spine交换机的角色，位于左上和左下的spine交换机属于同一group，位于右上和右下的spine交换机属于另一group，位于上、左上、右上节点的交换设备(包括leaf交换机和spine交换机)属于同一fin，位于下、左下、右下节点的交换设备(包括leaf交换机和spine交换机)属于另一fin。

图3(a)spine交换机跨翅片组内互连方式的水晶模型中，各节点可以沿顺时针或逆时针方向轮转均不影响该模型的识别，所以当数据中心网络管理器dcnm在获取网络拓扑信息的过程中，发现存在6个交换设备的连接关系符合spine交换机跨翅片组内互连的水晶模型时，不能对各节点的heatsink属性立即做出判断，需要再寻找一个符合spine交换机跨翅片组内互连的水晶模型来进行判断。如图4所示，当数据中心网络管理器dcnm发现存在两个不同的水晶模型均符合spine交换机跨翅片组内互连方式(如图3(a)所示)，两个水晶模型中的左上si、右上sj、左下sk、右下sl等四个节点相同，而两个水晶模型的上、下节点不同时，则可以确定当前网络是spine交换机跨翅片组内互连方式的heatsink网络架构，位于上、下节点的交换设备在网络中扮演leaf交换机的角色，位于左上、右上、左下、右下等四个节点的交换设备在网络中扮演spine交换机的角色，位于左上和左下节点的spine交换机属于同一group，位于右上和右下节点的spine交换机属于另一group，位于上、左上、右上节点的所有交换机属于同一fin，位于下、左下、右下节点的所有交换机属于另一fin。

控制器通过识别水晶模型来识别heatsink网络架构中的组件(spine交换机、leaf交换机，以及逻辑上的fin以及group)，任一水晶模型均可以分别确定两个group和两个fin。控制器在确定水晶模型后，将选取未编号的group或fin进行编号，采用自然数依序进行编号。为了保证编号的一致性，若由水晶模型确定的group或fin内，任一节点的group或fin已编号，则本group或fin的编号同该节点group或fin的编号。

除了识别网络中的组件，控制器需要通过如下方式收集网络的拓扑信息，参看图5，采用软件定义网络中的sdn控制器通过链路层发现协议(linklayerdiscoveryprotocol，简称为lldp)实现网络拓扑信息的收集。其中，如下流程中的第一交换设备和第二交换设备是相邻的两台交换设备，该交换设备可以是spine交换机或者leaf交换机，该流程包括：

510、sdn控制器生成lldp报文，将该报文封装为packetout消息，并将封装有lldp报文的packetout消息发送至第一交换设备，其中packetout消息中携带有指示第一交换设备发送lldp报文给第二交换设备的第一端口。

其中，lldp报文中可以仅包括报文头而报文体可以不包含具体内容。封装后packetout消息中记录有第一交换设备的设备标识以及第一端口。

520、第一交换设备通过第一端口将lldp报文发送给第二交换设备。

530、第二交换设备在收到lldp报文后，由于没有匹配的流表项，将产生packetin消息，通知sdn控制器。

其中，第二交换设备接收到lldp报文后，读取lldp报文的包头，确定是lldp报文，且发现第二交换设备内部没有处理该lldp报文的流表项，则产生packetin消息，并发送给sdn控制器，其中，该packetin消息中携带有第二交换设备的标识以及发送该packetin消息的第二交换设备的第二端口。

540、sdn控制器获取packetin消息，确定第一交换设备及第二交换设备的连接关系。

其中，sdn控制器接收并解析packetin消息后，获取第二交换设备的标识以及第二端口，将第一交换设备的标识以及第一端口和第二交换设备的标识以及第二端口存储在mib(managementinformationbase)中，其中，mib用来存储网络中本地或者远端的网络管理信息，其中包括：设备标识、接口标识、系统名称、系统描述、接口描述、设备能力、网络管理地址等，以供网络管理系统查询及判断链路的通信状况。

网络标识的确定

作为本发明所提供的数据中心网络架构的一种实现方式，是将该网络架构应用在软件定义网络(software-definednetworking，sdn)的场景下，即软件定义的数据中心网络(software-defineddatacenternetworking，sddcn)。在sddcn应用场景下，采用源路由(sourcerouting)(也叫做路径编址(pathaddressing))技术，通过数据包的发送端部分或者完全来指定数据包在网络中的路由路径，而取代采用网络中的路由器来根据数据包的目的地址来决定网络中的路由路径。对于软件定义的数据中心网络场景下，报文发送端中封装的标签一般承载特殊标识，关联特定网络对象，由控制器(controller)统一维护管理。

控制器通过识别heatsink网络架构中交换设备之间的连接关系来确定交换设备在heatsink网络架构中所扮演的角色(是spine交换机还是leaf交换机)、所处的交换机层(是spine交换机层或者leaf交换机层)、所属的交换机组、所在翅片的编号以及在翅片内的编号sn(serialnumber)，基于上面这些编号构成了该交换设备的heatsink属性。在确定每个交换设备heatsink属性后，控制器将交换设备的heatsink属性按照一定的编码规则确定针对该交换设备的网络标识，用以在heatsink网络中唯一标识该交换设备。

以下面表一为例，参看图2a-2d所示的数据中心网络架构实施例图，该网络标识编码规则如下：

对于任意一个交换设备(spine交换机或leaf交换机)，其网络标识由group编号、fin编号、sn编号拼接而成。group编号从0开始，按自然数递增，占用1个十进制位；fin编号从0开始按照自然数递增，占用2个十进制位；sn编号指leaf交换机在所处fin内的编号，从1开始，按自然数递增，占用2个十进制位。leaf交换机不存在group的编号，故group编号为0；spine交换机没有sn的编号，故sn为0。group没有fin和sn的编号，其fin编号和sn编号均为0。fin没有group和sn的编号，因此其group编号和sn编号均为0。

上述网络标识采取的是最直观的编码方式，适用于以下规模内的heatsink网络架构：group数量z上限为9，fin数量y上限为99，fin内leaf交换机数量n上限99。可以理解，如果采用更多的位来分别表示group编号、fin编号或者sn编号，这样的话，该编号规则所能够表示的网络规模还会更大(至于网络的规模大小，这受限于spine交换机和leaf交换机的端口数等一些物理的参数)。

由于交换机上线、交换机的接口状态上报、链路发现等时刻存在不确定性，尽管交换设备在heatsink网络架构中的物理位置未发生任何改变，控制器每次识别到的heatsink网络架构可能会有所不同，这将严重影响网络的可视性，不利于网络维护。为了确保控制器在识别heatsink网络架构的一致性，该控制器需要在首次成功识别heatsink网络架构后，对所有交换机的heatsink属性作持久化处理，比如存入网络信息库(networkinformationbase,简称nib)中。由于通过网络标识可以恢复确定该交换设备的heatsink属性，控制器需要存储的只是交换设备的网络标识。即使控制器掉电重启，也无需再次识别heatsink网络架构，只需从nib中直接提取交换设备的网络标识，然后解析交换设备heatsink属性。

基于网络标识的源路由

在heatsink网络中，跨fin通信的转发路径最长，报文从源端(发送报文的物理机或者源虚拟机)发出，必须依次经过srcvsw(和源物理机或源虚拟机相连的虚拟交换机，简称为源虚拟交换机)、srcleaf(和源虚拟交换机相连的leaf交换机，简称为源leaf交换机)、srcspine(和源leaf交换机相连的spine交换机，简称为源spine交换机)、relayspine(用来作为中转功能的spine交换机，即称为中转spine交换机)、dstspine(目的spine交换机，即和目的leaf交换机相连的spine交换机)、dstleaf(目的leaf交换机，即和目的虚拟交换机相连的leaf交换机)、dstvsw(目的虚拟交换机，即和目的物理机或者目的虚拟机相连的虚拟交换机)，最后抵达目的端(接收报文的目的物理机或者目的虚拟机)，总计6跳。

共fin通信又分共leaf通信或跨leaf通信，共leaf通信的报文从源端发出，必须依次经过srcvsw(和源物理机或源虚拟机相连的虚拟交换机，简称为源虚拟交换机)、leaf(介于源虚拟交换机和目的虚拟交换机之间，具有中转功能的leaf交换机)、dstvsw(目的虚拟交换机，即和目的虚拟机相连的虚拟交换机)，最后抵达目的端(接收报文的目的物理机或者目的虚拟机)，总计2跳；跨leaf通信的报文从源端发出，必须依次经过srcvsw(和源物理机或源虚拟机相连的虚拟交换机，简称为源虚拟交换机)、srcleaf(和源虚拟交换机相连的leaf交换机，简称为源leaf交换机)、spine(介于源leaf交换机和目的leaf交换机之间，具有中转功能的spine交换机)、dstleaf(目的leaf交换机，即和目的虚拟交换机相连的leaf交换机)、dstvsw(目的虚拟交换机，即和目的物理机或者目的虚拟机相连的虚拟交换机)，最后抵达目的端(接收报文的目的物理机或者目的虚拟机)，总计4跳。

源路由技术利用标签标识网络对象(即网络中的单元，如：spine交换机或leaf交换机)，一个标签可以携带一个网络标识，多个标签嵌套有序地携带多个网络标识，从而组合成一条转发路径。外层标签总是用于指示当前交换设备报文的下一跳交换设备。在完成使命后，报文被发送至下一跳交换设备前，外层标签将被当前交换设备剥离。如此往复，报文在最后一跳交换设备上恢复原状。

本发明所提供的数据中心网络组网的方法实施例

对于图2a-2d所提供的数据中心的网络架构，本发明还提供了一种数据中心组网方法的实施例。参考图7的流程图，该实施例可以由数据中心网络管理器dcnm来实现。该数据中心网络包括至少两个部署单元，每个部署单元包括至少两台spine交换机以及至少一台leaf交换机。需要说明的是，对于图2a-2d所示的数据中心网络架构，本发明的实施例中所提及的部署单元对应就是数据中心网络架构实施例中所示的翅片。

610、在每个部署单元内，建立每台leaf交换机分别和这台leaf交换机所在部署单元内所有spine交换机中的至少两台spine交换机的连接。

需要说明的是，对于图2a-2d所示的数据中心网络架构，通过建立部署单元内的leaf交换机和spine交换机之间的连接关系，从而实现部署单元内的leaf交换机到spine交换机的转发链路。

620、在数据中心网络所包括的至少两个部署单元之间，建立每个部署单元内至少一台spine交换机和其他每个部署单元内的至少一台spine交换机的连接。

需要说明的是，对于图2a-2d所示的数据中心网络架构，通过建立翅片之间的spine交换机之间的连接，实现跨翅片之间的通信需求。

在图2a-2d所示的数据中心网络架构实施例，作为翅片内部连接关系的一种较优的实现方式，在每个翅片内，建立每台spine交换机和该spine交换机所在部署单元内的每台leaf交换机的连接，即翅片内的spine交换机和leaf交换机采用clos网络连接，从而能够实现无阻塞的通信。

以图2a-2d所示的数据中心网络架构实施例为例，作为翅片之间连接关系的实现方式有如下三种典型的方式：

方式一：spine交换机跨翅片组内互连方式

从数据中心网络中的所有翅片内所包括spine交换机中确定一些spine交换机构成spine交换机组，在该spine交换机组中包含每个翅片内至少一台spine交换机；

建立该spine交换机组内每台spine交换机和其他翅片内的spine交换机的连接。

方式二：spine交换机全互连方式

从数据中心网络中的所有翅片内所包括的spine交换机中，建立每台spine交换机分别和其他每台spine交换机的连接。

方式三：spine交换机非本翅片全互连方式

从数据中心网络中的所有翅片内所包括的spine交换机中，建立每台spine交换机分别和该spine交换机所在翅片之外的每台spine交换机的连接。

考虑到数据中心网络规模的扩容，结合图2a-2d所示数据中心网络架构，有如下三种扩容方案：

(1)翅片内新增leaf交换机

参看图7，一个翅片内新增一台leaf交换机，需要建立新增leaf交换机分别和该leaf交换机所在翅片内至少两台spine交换机的连接。以图7为例，其中leafn+1为新增的leaf交换机，需要建立该新增leaf交换机和本fin内的spine交换机的连接(见图7中的虚线)。

对于翅片内的spine交换机和leaf交换机采用clos网络连接的实施例，建立新增leaf交换机分别和该翅片内每台spine交换机的连接。

(2)翅片内新增spine交换机

a、对于spine交换机基本互连方式：

参看图8，一个翅片中新增一台spine交换机，建立新增spine交换机和该新增spine交换机所在翅片内每台leaf交换机的连接。以图8为例，其中spinez+1为新增的spine交换机，需要建立该新增spine交换机和本fin内leaf交换机的连接(见图8中的虚线)。

作为另外一种实现方式，当一个翅片中新增一台spine交换机，再确定该翅片内已有spine交换机和leaf交换机的clos网络连接时，也可以不用建立该新增spine交换机和本翅片内的leaf交换机的连接。

b、对于spine交换机跨翅片组内互连方式：

如果是该heatsink网路架构中仅有一个翅片中新增一台spine交换机，建立新增spine交换机和该新增spine交换机所在翅片内每台leaf交换机的连接。

如果该heatsink网络架构中的每个翅片均新增一台spine交换机，还是需要建立新增spine交换机和本翅片内的每台leaf交换机的连接，对于新增spine交换机在spine交换机层的连接，存在两种实现方式：

(a)将每个翅片中新增的spine交换机作为一个组，建立组内每台spine交换机和其他每台spine交换机的连接。

(b)每个翅片中的新增spine交换机之间不存在任何的连接关系。

c、对于spine交换机全互连方式：

一个翅片内新增一台spine交换机，建立新增spine交换机和该新增spine交换机所在翅片内每台leaf交换机的连接，以及建立该新增spine交换机和spine交换机层包括的spine交换机中其他每台spine交换机的连接。

d、对于spine交换机非本翅片全互连方式：

一个翅片内新增一台spine交换机，确定该新增spine交换机位于的spine交换机组，建立新增spine交换机和该新增spine交换机所在翅片内每台leaf交换机的连接，以及建立该新增spine交换机和spine交换机层内且位于新增spine交换机所在spine交换机组之外的其他每台spine交换机的连接。

(3)数据中心网络中新增一个翅片

a、在图2a所示的实施例中，如新增一个翅片，该翅片中包括至少两台spine交换机以及至少一台leaf交换机，需要进行如下操作：

建立新增翅片内每台leaf交换机和至少两台spine交换机的连接；

选择该新增翅片内至少一台spine交换机，建立选择的至少一台spine交换机和新增翅片之外的其他每个翅片的至少一台spine交换机的连接。

b、在图2a所示的实施例中，若翅片内spine交换机和leaf交换机采用全互连的连接方式，如新增一个翅片，该翅片中包括至少两台spine交换机以及至少一台leaf交换机，需要进行如下操作：

建立新增翅片内每台leaf交换机和每台spine交换机的连接；

选择该新增翅片内至少一台spine交换机，建立选择的至少一台spine交换机和新增翅片之外的其他每个翅片的至少一台spine交换机的连接。

c、在图2b所示的实施例中，对于spine交换机跨翅片组内互连方式，如新增一个翅片，新增翅片中包括至少两台spine交换机以及至少一台leaf交换机；

建立新增翅片内每台spine交换机和每台leaf交换机的连接；

选择新增翅片内至少一台spine交换机，建立该选择的至少一台spine交换机和spine交换机组内每台spine交换机的连接。

d、在图2c所示的实施例中，对于spine交换机全互连方式，如新增一个翅片，新增翅片中包括至少两台spine交换机以及至少一台leaf交换机，

建立新增翅片内每台spine交换机和每台leaf交换机的连接；

建立新增翅片内每台spine交换机和该数据中心网络原有包含spine交换机中每台spine交换机的连接。

e、在图2d所示的实施例中，对于spine交换机非本翅片全互连方式，如新增一个翅片，新增翅片中包括至少两台spine交换机以及至少一台leaf交换机，

建立新增翅片内每台spine交换机和每台leaf交换机的连接；

从新增翅片内选择至少一台spine交换机进入spine交换机组；

建立新增翅片内被选入spine交换机组的至少一台spine交换机和位于上述spine交换机组之外的每台spine交换机的连接。

为了满足该数据中心网络和外部网络通信的需求，选择该数据中心网络中所包括的至少一个翅片，通过该翅片的spine交换机的端口或者leaf交换机的端口连接外部网络。

需要说明的是，本发明实施例所提及的spine交换机和leaf交换机在具体实现中，可以采用商业网络交换机，也可以采用专用集成电路asic芯片来实现。

非易失计算机可读存储介质实施例

本发明还提供一种非易失计算机可读存储介质的实施例，该介质用来存储计算机可读指令，该指令用于实现数据中心网络中链路的建立。当这些指令被计算机中的至少一个处理器执行时，能够使得这样的至少一个处理器用来执行本发明的数据中心网络组网的方法的实施例的部分或者全部过程。

应理解，本发明中的具体的例子只是为了帮助本领域技术人员更好地理解本发明实施例，而非限制本发明实施例的范围。

应当理解，尽管在本发明实施例中可能采用术语“第一”、“第二”等来描述各个部署单元或翅片，但部署单元或翅片不应限于这些术语，即“第一部署单元或翅片”“第二部署单元或翅片”并不代表特指的部署单元或翅片，也不代表它们之间存在顺序的关系，这些术语仅用来将部署单元或翅片彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一部署单元或翅片也可以被称为第二部署单元或翅片，类似地，第二部署单元或翅片也可以被称为第一部署单元或翅片；同样的，第二部署单元或翅片也可以被称为第三部署单元或翅片等等，本发明实施例对此不做限制。

还应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

还应理解，在本发明实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，以及方法的具体流程，可以参考前述系统实施例中的相应描述，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。