大数据库一体的制造方法
【专利摘要】本发明公开了大数据库一体机，属于数据处理【技术领域】。本发明提供的大数据库一体机，包括若干个数据库处理单元、若干个SSD磁盘阵列、光纤交换机和SAN交换机；若干个SSD磁盘阵列均与SAN交换机连接，若干个数据库处理单元均分别与SAN交换机和光纤交换机连接。本发明采用SSD磁盘阵列作为共享存储设备提高读写速度，实现多节点负载均衡，通过并行数据库技术提高响应时间，可按需扩展系统，保证系统性能的稳定。为保障大数据库一体机持续稳定运行,SAN交换机采用两台，用于双备份。本发明采用JobKeeper分布式调度引擎，使大数据库一体机达到负载均衡、集群性能更优。
【专利说明】大数据库一体机
【技术领域】
[0001]本发明涉一种大数据库一体机，具体讲是一种处理速度快且性能稳定的大数据库一体机，属于数据处理【技术领域】。
【背景技术】
[0002]随着计算机技术的飞速发展，各行各领域数据的呈几何级快速增长。这些数据来自各方面，从搜集天气情况的感测器、数码图片、在线的视频资料，到网络购物的交易记录、手机的全球定位系统信号等应有尽有。伴随数据规模的急剧膨胀，各行业累积的数据量越来越巨大，数据类型也越来越多、数据结构越来越复杂，已经超越了传统数据管理系统、处理模式的能力范围，传统的串行数据库系统已经难以适应这种飞速增长的应用需求，在生产实践中表现出明显的能力不足，无法满足大数据时代的数据处理需求。
【发明内容】
[0003]本发明所要解决的技术问题在于克服现有技术缺陷，提供一种处理速度快、操作效率高能适应大数据处理的大数据库一体机。
[0004]为了解决上述技术问题，本发明提供的大数据库一体机，包括若干个数据库处理单元、若干个SSD磁盘阵列、光纤交换机和SAN交换机；若干个SSD磁盘阵列均与SAN交换机连接，若干个数据库处理单元均分别与SAN交换机和光纤交换机连接。
[0005]本发明的有益效果在于:本发明采用SSD磁盘阵列作为共享存储设备提高读写速度，实现多节点负载均衡，通过并行数据库技术提高响应时间，可按需扩展系统，保证系统性能的稳定；本发明可使EB级数据能够秒级处理，极大极高了用户执行查询操作后的使用效率，其不仅在查询和检索数据时具有非常高的性能优势，还可以支持数据仓库存储、数据深度挖掘和商业智能分析等。
[0006]为保障大数据库一体机持续稳定运行，所述SAN交换机为两台，用于双备份。
[0007]本大数据库一体机采用JobKeeper分布式调度引擎，使达到大数据库一体机负载均衡、集群性能更优。
【专利附图】
【附图说明】
[0008]图1为本发明大数据库一体机结构图；
图2为本发明大数据库一体机内部连接示意图；
图3为JobKeeper分布式调度引擎系统架构图。
【具体实施方式】
[0009]下面结合附图对本发明作详细说明。
[0010]如图1所示，本发明大数据库一体机包括由下而上依次安装标准机架I内的SSD磁盘阵列1、SSD磁盘阵列2、SSD磁盘阵列3、SAN交换机1、SAN交换机2、数据库处理单元1、数据库处理单元2、数据库处理单元3和光纤交换机，所有设备通过机架电源统一供电运行。
[0011]如图2所示，SSD磁盘阵列1、SSD磁盘阵列2、SSD磁盘阵列3分别与SAN交换机
1、SAN交换机2相互连接通信，SAN交换机1、SAN交换机2同时分别与数据库处理单元1、数据库处理单元2、数据库处理单元3连接，实现SSD磁盘阵列1、SSD磁盘阵列2、SSD磁盘阵列3与数据库处理单元1、数据库处理单元2、数据库处理单元3之间数据传输；数据库处理单元1、数据库处理单元2、数据库处理单元3均连接光纤交换机，光纤交换机提供对外服务网络接口，连接对外服务网络，实现数据网络间传输。
[0012]本发明中每个数据库处理单元设置2块HBA卡，用于连接SAN交换机，共享磁盘阵列。每个数据库处理单元安装统一关系型数据库，上层应用为通用的数据库平台，系统根据负载情况自动切换访问独立节点的数据库。SSD磁盘阵列采用闪存作为存储介质，读写速度相对机械硬盘更快，功耗比传统硬盘低，实现低能耗高效率的数据存储。SAN交换机用于数据库处理单元共享磁盘阵列，通过2台SAN交换机实现备份，保证了大数据库一体机的持续稳定运行。
[0013]本实例中大数据库一体机采用3个SSD磁盘阵列和3个数据库处理单元，在实际工作过程中，SSD磁盘阵列和数据库处理单元的数量可根据需要进行增减，以实现不同级别的数据处理需求。
[0014]本发明中每个数据处理单元独立装载关系型数据库系统，共用阵列存储，形成组群模式。用户向JobKeeper分布式调度引擎提交数据库操作请求。JobKeeper分布式调度引擎根据各个数据处理单元的实际运行负载情况，将此操作请求下达到适合处理的数据处理单元之上，此处理单元独立完成操作后反馈给用户请求结果。以此模式达到利用SSD盘阵的高效1PS和JobKeeper分布式调度引擎的负载均衡的优势，使得数据库操作的效率显著提高。通过引入索引模块、并行执行架构以及读取本地磁盘的方式，使EB级数据能够秒级处理。
[0015]如图3所示，本发明大数据库一体机采用JobKeeper分布式调度引擎，JobKeeper是一种处理任务的超高性能分布式调度平台，JobKeeper可不间断接受从各台计算机提交的任务，再按照当前集群中所有机器的压力，智能进行分配任务，进而达到集群负载均衡，使得整个集群的性能始终保持最优。通过JobKeeper还可以对当前分布式集群的所有机器的状况进行监控，对集群中所有的任务进行停止、删除等功能。JobKeeper分布式调度引擎包括应用层、业务层、数据处理层、存储层、虚拟化资源层和调度平台，其中:
应用层:用于管理和结果反馈的显示组件，是整个系统面向用户和开发人员的基础承载。
[0016]业务层:对于应用层的相关功能的业务化，数字化处理，用于将应用层的需求任务进行规则化划分，形成统一的处理化模式。
[0017]数据处理层:独立的数据处理程序，是对不同需求数据的统一处理方案，由JobKeeper调度平台进行统一的配置管理。
[0018]存储层:存储数据的处理结果集或其他中间结果集的单元。
[0019]虚拟化资源层:将机器进行虚拟化，形成更大范围的服务集群。
[0020]JobKeeper分布式调度引擎具有如下优势: I)、高可靠性:采用“多主多备，负载均衡”的管理节点设计模式，和“处理实时跟踪”的处理节点设计模式，从而保证无论管理节点还是处理节点都不存在任何单点故障问题。
[0021]2)、低依赖性:采用模块化设计思想，通过统一化配置和API接口的方式向用户提供服务。无论用户应用是用何种语言开发，何种处理方式，都可以交由平台进行统一的调度管理。
[0022]3)、低干预性:采用基于事件化的统一管理模式。无论是动态扩展集群处理系统能力，还是单点故障的任务转移，又或者是任务的实时监控和动态分配，都将在系统无人值守的情况下自动完成。
[0023]4)、高实时性:在高效率并行分布式软件的支撑下，可以实现对任务的实时分配，实时调度，实时处理。在机器性能允许的范围内，计算任务不会出现堆积的显现，所有任务的控制工作基本都在秒级完成，具有前所未有的高效性。
[0024]以上所述仅是本发明的优选实施方式，应当指出，对于本【技术领域】的普通技术人员来说，在不脱离本发明原理的前提下还可以做出若干改进，这些改进也应视为本发明的保护范围。
【权利要求】
1.一种大数据库一体机，其特征在于:所述大数据库一体机包括若干个数据库处理单元、若干个SSD磁盘阵列、光纤交换机和SAN交换机；所述若干个SSD磁盘SSD阵列均与SAN交换机连接，若干个数据库处理单元均分别与SAN交换机和光纤交换机连接。
2.根据权利要求1所述的种大数据库一体机，其特征在于:所述SAN交换机为两台，用于双备份。
3.根据权利要求1所述的种大数据库一体机，其特征在于:所述大数据库一体机采用JobKeeper分布式调度引擎。
【文档编号】G06F17/30GK104035522SQ201410266458
【公开日】2014年9月10日 申请日期:2014年6月16日 优先权日:2014年6月16日
【发明者】张真, 王胤然, 吴亚洲, 谭崇刚, 江健 申请人:南京云创存储科技有限公司