高性能、可扩展和无掉话的数据中心交换结构的制作方法
【专利说明】
[0001] 有关申请的夺叉引用
[0002] 本申请要求对2014年3月31日提交的第61/973,045号美国临时申请的权益， 其全部内容通过引用结合于此。
技术领域
[0003] 本发明涉及计算机网络，并且更具体地涉及提供虚拟网络的数据中心。
【背景技术】
[0004] 在典型的基于云的数据中心中，互连的服务器的大型汇集提供用于执行各种应用 的计算和/或存储容量。例如数据中心可以包括设施，该设施主控用于订户、例如数据中心 的消费者的应用和服务。数据中心可以例如主控所有基础设施装备、比如联网和存储系统、 冗余功率供应和环境控制。在多数数据中心中，经由由一层或者多层物理网络交换机和路 由器提供的高速交换结构来互连存储系统和应用服务器的群集。更复杂的数据中心提供遍 布全球而扩展的基础设施而订户支持装备位于各种物理主控设施中。
[0005] 数据中心往往利用具有专有通信技术的专有交换结构或者现成的 (off-the-shelf)交换部件，这些专有通信技术或者现成的交换部件交换符合常规的基于 分组的通信协议的分组。专有交换结构可以提供高的性能、但是有时可能成本更高，而在一 些情况下可以提供用于网络的单点故障。现成的的基于分组的交换部件可以成本更低、但 是可能造成有损、非确定性的行为。
【发明内容】
[0006] -般而言，本公开内容描述一种高性能、可扩展和无掉话的数据中心交换结构和 基础设施。数据中心交换结构可以利用低成本、现成的的基于分组的交换部件（例如以太 网IP(IPoE))和覆盖转发技术而不是专有交换结构。
[0007] 在一个示例中，主机网络加速器（HNA)被定位于数据中心的服务器（例如虚拟机 或者专用服务器）与提供在服务器之间的点到点连通的IP〇E核心网络之间。HNA是在一个 或者多个集成电路上嵌入虚拟路由器的硬件设备，其中虚拟路由器被配置为向虚拟机延伸 一个或者多个虚拟网络和使用覆盖网络通过交换结构无缝地传送分组。换而言之，HNA提供 与用于通过数据中心的核心交换网络传达分组流的覆盖技术的基于硬件的无缝接入接口。
[0008] 另外，HNA在集成电路中结合和实施流控制、调度和服务质量（QoS)特征以便基于 非专有、基于分组的交换协议（例如以太网IP)和覆盖转发技术--也就是说，无需专有交 换结构--提供高性能、可扩展和无掉话的数据中心交换结构。
[0009] 这样，这里描述的技术可以提供向在数据中心的下层物理网络的边缘操作的HNA 的虚拟路由器延伸的多点到多点、无掉话和可扩展的物理网络。作为结果，主控用于各种租 户的用户应用的服务器或者在利用低成本、行业标准转发技术之时虚拟机体验高速和可靠 的第3层转发而无需专有交换结构。
[0010] 在附图和以下描述中阐述本发明的一个或者多个实施例的细节。本发明的其它特 征、目的和优点将从描述和附图中以及从权利要求中变得清楚。
【附图说明】
[0011] 图1是图示具有数据中心的示例网络的框图，在该数据中心中可以实施这里描述 的技术的示例。
[0012] 图2A是图示示例实现的框图，在该实现中在数据中心的服务器内部署主机网络 加速器。
[0013] 图2B是图示示例实现的框图，在该实现中在数据中心的架顶交换机（TOR)中部署 主机网络加速器。
[0014] 图3A是进一步具体图示服务器的示例实现的框图，该服务器具有一个或者多个 基于外围部件互连快速（PCIe)的主机网络加速器。
[0015] 图3B是进一步具体图示TOR的示例实现的框图，该TOR具有一个或者多个基于 PCIe的主机网络加速器。
[0016] 图4是图示具有基于PCIe的主机网络加速器的计算设备的更多细节的框图。 [0017] 图5是具体图示计算设备可以根据在本公开内容中描述的技术处理的示例隧道 分组的框图。
[0018] 图6是具体图示示例分组结构的框图，该分组结构可以被主机网络加速器用于维 护按对"心跳"消息，这些按对"心跳"消息用于在当前未对于给定的源/目的地HNA对通 过覆盖网络交换隧道分组的情况下交换更新的流控制信息。
[0019] 图7是图示根据这里描述的技术的主机网络加速器（HNA)的概念图的框图，这些HNA在网状拓扑中被交换结构互连用于在HNA之间的可扩展、无掉话、端到端通信。
[0020] 图8是图示根据这里描述的技术的系统的框图，在该系统中，主机网络加速器 (HNA)在网状拓扑中被交换结构互连用于在HNA之间的可扩展、无掉话、端到端通信。
[0021] 图9是图示根据在本公开内容中描述的技术的用于主机网络加速器的数据结构 的框图。
[0022] 图10A-10B是图示根据在本公开内容中描述的技术的在HNA之间交换的示例流控 制消息的框图。
[0023] 图11是根据在本公开内容中描述的技术的主机网络加速器的用于执行流控制的 示例操作模式的流程图。
[0024] 图12A-12B是图示根据这里描述的技术的示例系统的框图，在该系统中，主机网 络加速器应用流控制。
[0025] 图13是图示根据在本公开内容中描述的技术的用于主机网络加速器执行流控 制的示例操作模式的流程图。
[0026] 相似标号贯穿各图和文本表示相似要素。
【具体实施方式】
[0027] 图1是图示具有数据中心10的示例网络8的框图，在该数据中心中可以实施这里 描述的技术的示例。一般而言，数据中心10为用于被服务提供方网络7耦合到数据中心的 客户11的应用和服务而提供操作环境。数据中心10可以例如托管基础设施装备、比如联网 和存储系统、冗余功率供应和环境控制。服务提供方网络7可以耦合到被其它提供方监管 的一个或者多个网络，并且因此可以形成大规模公用网络基础设施、例如因特网的一部分。
[0028] 在一些示例中，数据中心10可以代表许多在地理上分布的网络数据中心之一。如 图1的示例中所示，数据中心10可以是为客户11提供网络服务的设施。客户11可以是集 体实体、比如企业和政府或者个人。例如网络数据中心可以主控用于若干企业和终端用户 的web服务。其它示例服务可以包括数据存储装置、虚拟私有网络、流量工程、文件服务、数 据挖掘、科学或者超级计算等。在一些实施例中，数据中心10可以是个体网络服务器、网络 对等体或者其它数据中心。
[0029] 在这一示例中，数据中心10包括经由由一层或者多层物理网络交换机和路由器 提供的高速交换结构14互连的存储系统和应用服务器12A_12X(这里为"服务器12"）的 集合。服务器12为与客户11关联的应用和数据提供执行和存储环境并且可以是物理服务 器、虚拟机或者其组合。
[0030] 一般而言，交换结构14代表提供在服务器12之间的点到点连通的第二层（L2)和 第三层（L3)交换和路由部件。在一个示例中，交换结构14包括实施工业标准协议的互连、 高性能而又现成的的基于分组的路由器和交换机的集合。在一个示例中，交换结构14可以 包括提供以太网网际协议（IP)点到点连通的现成的部件。
[0031] 在图1中，软件定义的联网（SDN)控制器22提供用于配置和管理数据中心10的路 由和交换基础设施的高级控制器。SDN控制器22提供用于根据本公开内容的一个或者多个 实施例有助于在数据中心10内的一个或者多个虚拟网络的操作的在逻辑上和在一些情况 下在物理上集中的控制器。在一些示例中，SDN控制器22可以响应于从网络监管员24接收 的配置输入来操作。在2013年6月5日提交、并且标题为PHYSICALPATHDETERMINATION FORVIRTUALNETWORKPACKETFLOWS的第PCT/US2013/044378 号国际专利申请中找到关于 与数据中心10的其它设备或者其它软件定义的网络结合操作的虚拟网络控制器22的附加 信息，该第PCT/US2013/044378号国际专利申请通过引用并入于此，如同在此完整阐述。
[0032] 虽然未示出，但是数据中心10也可以例如包括一个或者多个非边缘交换机、路由 器、集线器、网关、安全设备、比如防火墙、入侵检测和/或入侵防止设备、服务器、计算机终 端、膝上型计算机、打印机、数据库、无线移动设备、比如蜂窝电话或者个人数字助理、无线 接入点、网桥、线缆调制解调器、应用加速器或者其它网络设备。
[0033] -般而言，在交换结构14内的网络流量、比如在服务器12之间的分组流可以使用 许多不同物理路径来横贯交换结构的物理网络。例如"分组流"可以由在分组的报头中使用 的五个值或者"五元组"--即源IP地址、目的地IP地址、用来通过物理网络路由分组的 源端口和目的地端口以及通信协议--定义。例如协议指定通信协议、比如TCP或者UDP， 而源端口和目的地端口是指连接的源和目的地端口。与特定流条目匹配的一个或者多个分 组数据单元（pdu)的集合代表流。流可以使用rou的任何参数、比如源和目的地数据链路 (例如MAC)以及网络（例如IP)地址、虚拟局域网（VLAN)标签、传送层信息、多协议标签交 换（MPLS)或者广义MPLS(GMPLS)标签和接收流的网络设备的入口端口来广义地分类。例 如流可以是在传输控制协议（tcp)连接中传输的所有rou、特定MAC地址或者IP地址发起 的所有rou、具有相同VLAN标签的所有PDU或者在相同交换机端口接收的所有rou。
[0034] 根据在本公开内容中描述的技术的各种方面，数据中心10包括定位于服务器12 与交换结构14之间的主机网络加速器（HNA)。如图1中所示，每个HNA可以被定位于一个 或者多个服务器12与交换结构14之间，该交换结构提供用于在服务器12之间传送分组流 的基础设施。如本文进一步所描述的，HNA17提供用于无缝地实现跨交换结构14的覆盖网 络的、基于硬件的加速。也就是说，HNA17实施用于实施覆盖网络的功能，该覆盖网络用于 建立和支持在数据中心10内的虚拟网络。
[0035] 如进一步描述的那样，每个HNA17实施虚拟路由器，该虚拟路由器执行用于在数 据中心10内的对应虚拟网络的多个路由实例。服务器12发起的并且符合虚拟网络的分组 被HNA17接收并且自动地封装以形成用于横贯交换结构14的隧道分组。每个隧道分组可 以各自包括外部报头和包含内部分组的净荷。隧道分组的外部报头允许交换结构14的物 理网络部件向用于HNA17的网络接口 19的物理网络地址"用隧道传输"内部分组。外部 报头可以不仅包括隧道分组去往的服务器12的网络接口 19的物理网络地址而且包括虚拟 网络标识符、比如VxLAN标签或者多协议标签交换（MPLS)标签，该虚拟网络标识符标识虚 拟网络之一以及虚拟路由器执行的对应路由实例。内部分组包括具有目的地网络地址的 内报头，该目的地网络地址符合用于被虚拟网络标识符标识的虚拟网络的虚拟网络寻址空 间。这样，HNA17提供用于覆盖技术的、基于硬件的无缝接入接口，用于以对服务器12透 明的方式通过数据中心10的核心交换网络14用隧道传输分组流。
[0036] 如这里描述的那样，HNA17集成多个机制、比如流控制、调度和服务质量（QoS)与 用于跨越交换结构14无缝地提供覆盖联网的虚拟路由操作。以这一方式，HNA17能够提 供高性能、可扩展和无掉话（drop-free)的数据互连，该数据互连利用低成本、行业标准 转发技术而无需专有交换结构。
[0037] 图2A是图示示例实现的框图，在该实现中在数据中心10的服务器12内部署 主机网络加速器（HNA) 17。在这一简化示例中，交换结构14由互连的架顶式（TOR)交换 机16A-16N(统称为"TOR交换机16"）的集合提供，这些TOR交换机耦合到架式交换机 18A-18M(统称为"架式交换机18"）的分布层。T0R交换机16和架式交换机18向服务器 12提供冗余（多归属）连通。T0R交换机16可以是提供第2层（MAC)和/或第3层（例 如IP)路由和/或交换功能的网络设备。架式交换机18聚合流量流和提供在T0R交换机 16之间的高速连通。架式交换机18耦合到IP第三层（L3)网络20,该网络执行用于通过 服务提供方网络7路由在数据中心10与客户11之间的网络流量的L3路由。
[0038] 在这一示例实现方式中，HNA17被部署为在服务器12的底盘内的专门化的卡。在 一个示例中，HNA17包括用于通过例如以太网或者其它物理网络链路25A-25N与T0R交换 机16通信的面向核心的网络接口 19。此外，HNA17包括高速外围接口 23A-23N以便可直 接在服务器12的输入/端口（1/0)总线21上操作。HNA17可以例如向服务器12表现为 网络接口卡（NIC)并且因此以可以对服务器12透明的方式提供如这里描述的分组流的鲁 棒隧道传输。在一个示例中，高速外围接口 23包括用于作为扩展卡在服务器12的相