大数据交换平台网络架构的制作方法

本发明涉及大数据交换技术，具体涉及一种大数据交换平台网络架构。

背景技术：

近年来，大数据如浪潮般席卷全球，深刻改变了人们的生活、工作和思维方式。业界通常用4个V来概括大数据的特征。一是数据体量巨大(Volume)。从TB级别，跃升到PB级别。二是数据类型繁多(Variety)。这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。三是价值密度低(Value)。价值密度的高低与数据总量的大小成反比。以视频为例，一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。四是处理速度快(Velocity)。这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。在如此海量的数据面前，处理数据的效率就是企业的生命。

大数据处理中心由多个Hadoop集群组成，这些Hadoop集群均又包括多个节点服务器对大数据进行不同的处理，例如，有些节点服务器对大数据进行分类整理，然后发至另一些节点服务器中进行相应的计算，最后发至其他节点服务器中进行存储等过程，而现有的大数据交换平台以电分组交换机为核心实现数据的转发和交换。传统的以电分组交换机构成的网络架构，其可以完成较大流量时大数据的交换，但是其网络容量和网络带宽(主要是等分带宽)受拓扑结构所限制，同时还易发生单点失效。

技术实现要素：

针对现有技术的不足，本发明的目的在于提供一种大数据交换平台网络架构，其通过电分组交换机和波导光栅路由器协同通信，充分利用光网络高带宽、高传输效率等优点，增加了网络容量和带宽，也避免了单点失效问题。

为了实现上述目的，本发明采取如下技术方案：

一种大数据交换平台网络架构，其包括至少二个Hadoop集群以及分别与所述至少二个Hadoop集群相连的电分组交换机和波导光栅路由器，每个Hadoop集群均包括架顶交换机以及至少一个节点服务器，所述节点服务器均通过相对应的架顶交换机与电分组交换机和波导光栅路由器分别相连。

优选地，所述架顶交换机和波导光栅路由器之间通过波分复用光纤链路相连。

优选地，所述电分组交换机和波导光栅路由器均为二个，所述架顶交换机均与二个电分组交换机和波导光栅路由器相连。

优选地，二个波导光栅路由器之间通过波分复用光纤链路相连。

优选地，每个Hadoop集群均还包括一硬件防火墙，所述架顶交换机通过相对应的硬件防火墙与电分组交换机和波导光栅路由器分别相连。

优选地，所述硬件防火墙和波导光栅路由器之间通过波分复用光纤链路相连。

优选地，所述电分组交换机和波导光栅路由器均为二个，所述硬件防火墙均与二个电分组交换机和波导光栅路由器相连。

优选地，二个波导光栅路由器之间通过波分复用光纤链路相连。

优选地，所述波导光栅路由器为阵列波导光栅路由器。

本发明阐述的大数据交换平台网络架构，其有益效果在于：

1、通过电分组交换机和波导光栅路由器协同通信，充分利用光网络高带宽、高传输效率等优点，增加了网络容量和带宽，同时还降低了对电分组交换机的需求量，降低了网络能耗，也避免了单点失效问题。

2、组建互为冗余的电分组交换机和波导光栅路由器，避免因单个电分组交换机和波导光栅路由器发生故障或网络阻塞造成的延时发送。

附图说明

图1是本发明大数据交换平台网络架构的实施例一的结构框图；

图2是本发明大数据交换平台网络架构的实施例二的结构框图；

图3是本发明大数据交换平台网络架构的实施例三的结构框图；

图4是本发明大数据交换平台网络架构的实施例四的结构框图；

图5是本发明大数据交换平台网络架构的实施例五的结构框图。

具体实施方式

下面结合附图与具体实施例来对本发明作进一步描述。

实施例一

一种大数据交换平台网络架构，其在现有的结构上增加光交换网络，将光交换网络与电交换网络进行协同通信，充分利用光网络高带宽、高传输效率等优点，增加了网络容量和带宽。

请参照图1所示，一种大数据交换平台网络架构，其主要包括二个进行大数据交换的Hadoop集群以及实现大数据交换转发和交换功能的电分组交换机50和波导光栅路由器60，波导光栅路由器60优选AWRG(arrayed waveguide grating router，阵列波导光栅路由器)，其中二个Hadoop集群分别记做Hadoop集群10A和Hadoop集群20A，每个Hadoop集群均包括多个实现不同功能的节点服务器以及用于节点服务器之间数据交换的架顶交换机。这里以均设置二个节点服务器为例，即Hadoop集群10A包括节点服务器11、节点服务器12和架顶交换机13，Hadoop集群20A包括节点服务器21、节点服务器22和架顶交换机23。节点服务器11和节点服务器12均通过架顶交换机13与电分组交换机50和波导光栅路由器60分别相连，节点服务器21和节点服务器22均通过架顶交换机23与电分组交换机50和波导光栅路由器60分别相连。

以将节点服务器11的数据交换到节点服务器21为例对本实施例一的结构进行解释和说明：通常情况下，该二个节点服务器之间的通信通过波导光栅路由器60完成，即节点服务器11要交换的数据在架顶交换机13的输入端口处被调制到光载波上，以光信号的形式在网络中传输。架顶交换机13的输出端口将光信号通过波分复用(WDM)光纤链路80输送至波导光栅路由器60，波导光栅路由器60将其输入端口处的光信号路由到相应的输出端口，然后波分复用光纤链路80传输到架顶交换机23。处于架顶交换机23前端的解复用器将光信号解复用，架顶交换机23上的光电检测器实现光信号的光电转换，随后，架顶交换机23对电信号转发到节点服务器21。

而在数据流量庞大(依据波长请求阻塞率)的情况下，二个节点服务器之间的通信数据经过电交换网络传输，架顶交换机13将节点服务器11的数据调制到光载波上后通过光纤电缆70(或者双绞线等)转发到电分组交换机50，电分组交换机50将光信号转换为电信号后进行处理，然后再将数据调制到光载波上通过光纤电缆70(或者双绞线等)传输给架顶交换机23。架顶交换机23将接收到的光信号转换为电信号后转发给节点服务器21。

实施例二

实施例二为在实施例一的基础上增加了二个Hadoop集群，请参照图2所示，增加的二个Hadoop集群分别记做Hadoop集群30A和Hadoop集群40A，其中，Hadoop集群30A包括节点服务器31、节点服务器32和架顶交换机33，Hadoop集群40A包括节点服务器41、节点服务器42和架顶交换机43。其可同时实现四个Hadoop集群中任意两个Hadoop集群之间的数据转发和交换，其原理与实施例一相同，当然，也可以增加更多个Hadoop集群进行相互通信。

实施例三

实施例二为在实施例一的基础上对每个Hadoop集群的数据转发和交换增加了安全防护机制，请参照图3所示，Hadoop集群10B在Hadoop集群10A的基础上增加了硬件防火墙14，Hadoop集群20A在Hadoop集群20A的基础上增加了硬件防火墙24，架顶交换机13和架顶交换机23通过电分组交换机50或波导光栅路由器60实现通信的过程中，均通过其自带硬件防火墙14和硬件防火墙24以实现数据传输的安全。硬件防火墙14和硬件防火墙24均可选用思科ASA5585-X型防火墙，以充分满足安全需求以及大数据传输所需的高性能。如果增加更多个的Hadoop集群，则每个Hadoop集群同样也可以增加一个该硬件防火墙。

实施例四

实施例四是在实施例一的基础上增加了电分组交换机和波导光栅路由器的冗余，请参照图4所示，电分组交换机和波导光栅路由器均设置二个，分别标记为电分组交换机51、电分组交换机52、波导光栅路由器61和波导光栅路由器62，Hadoop集群10A和Hadoop集群20A之间的数据转发和交换均通过该二个电分组交换机和波导光栅路由器。其中，电分组交换机51和电分组交换机52分别作为主、备用电分组交换机，波导光栅路由器61和波导光栅路由器62分别作为主、备用导光栅路由器，电分组交换机51和电分组交换机52之间通过光纤电缆连接，在电分组交换机51故障的情况下启动电分组交换机52完成数据的转发和交换。同理，波导光栅路由器61和波导光栅路由器62之间通过光纤电缆连接，在波导光栅路由器61故障的情况下启动波导光栅路由器62完成数据的转发和交换。当然，为了进一步防止数据转发和交换过程中的网络阻塞，电分组交换机和波导光栅路由器均设置多个，并且均同时运行。

实施例五

实施例五是在实施例三的基础上进行的改进，请参照图5所示，电分组交换机和波导光栅路由器均设置二个，分别标记为电分组交换机51、电分组交换机52、波导光栅路由器61和波导光栅路由器62，Hadoop集群10B和Hadoop集群20B之间的数据转发和交换均通过该二个电分组交换机和波导光栅路由器，具体过程与实施例四基本相同。

以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。