一种基于ARM架构的分布式存储系统的制作方法

本发明涉及存储技术领域，具体涉及一种基于arm架构的分布式存储系统。

背景技术：

随着支持精简指令集(risc，reducedinstructionsetcomputer)的arm架构的发展，特别是随着armv8(64位)和多核技术的推出，arm开始从移动设备进入服务器领域。基于arm的服务系统可在单个机柜容纳数千个计算核，而功耗只相当于x86(支持cisc指令集的微处理器)的1/3，部署密度和并发能力却提高3倍以上。

在现阶段，特别是大数据的发展，给分布式存储带来了更大的挑战：

第一：容量需求方面，如果想在一个集群中分时或者并行对多个业务的数据进行存储和处理，至少需要100pb的存储容量；目前在阿里云的odps平台中，单个盘古存储系统的容量在150pb左右，随着业务发展，这个数字也在不断更新；

第二：高吞吐需求方面，比如要完成1pb数据的排序，需要底层存储在2小时内1pb数据的排序处理分布式存储系统提供350gb/秒的吞吐量；

第三：数据可靠性需求方面，数据可靠性是存储系统需要满足的最关键的需求，在集群中存储了很多业务的历史数据，随着时间发展，存储系统会经历软件升级、硬件损坏等，在这些场景下需要保证数据不会出现错误和丢失。在100pb存储容量下，存储系统需要达到99.999999％的数据可靠性，在这样标准下系统出现一次数据对象丢失的概率为0.01；

第四：服务可用性需求方面，在系统运行过程中，软件升级、软件缺陷、供电和网络系统维护、硬件失效都有可能中断系统服务。如果系统可以达到99.95％的可用性，那么一年累计会有5个小时左右的时间不能对外提供服务。通常对于在线服务业务，分布式存储系统会同上层业务逻辑一起来规避短暂的不可以服务时间，让整个服务有99.99％以上的高可用能力；

第五：高效运维需求，由于大数据要求的存储容量和系统吞吐量非常高，支持的业务种类也变得非常多而且多变，所以借助于分布式的处理能力会增加众多的物理硬件设备，同时软件的复杂度也呈现指数级增加。在这样的场景下，需要分布式存储系统提供自动化运维方法，来防止硬件失效和软件缺陷导致的问题；

第六：低成本需求，随着数据规模变大，如果完全靠高硬件来提高整个系统的处理能力，势必会将成本变得非常高。分布式存储系统为了降低成本，通常会采用数据压缩、混合存储方式来降低成本。

在单个计算机上，偶尔会遇到硬件错误导致机器重启、数据错误，由于操作系统缺陷遇到的系统死机现象也不多见。但是在大数据场景下要求有大规模的分布式存储系统，面对的是成千上万的计算机节点，同时每个节点上都承载了比平时单个计算机更繁重的计算和io压力，所以如何保证数据可靠、服务稳定的前提下高效的处理小概率错误，是大数据对于分布式存储系统提出的最大挑战。

现有存储服务器技术大多基于x86架构，耗电量及成本较高。而arm架构在服务器领域存在生态圈小，操作系统和应用软件适配性差，开发困难等问题。

技术实现要素：

本发明的目的在于提供一种基于arm架构的分布式存储系统，在现有的开发环境下，实现armcpu、操作系统以及存储软件的适配和兼容，完成节能环保、低成本、高扩展性、高可用性的企业级存储方案。

本发明解决上述技术问题的技术方案如下：一种基于arm架构的分布式存储系统，所述存储系统包括sfp+光纤模块、arm处理器、操作系统优化模块、操作系统兼容模块、存储软件优化模块、存储软件兼容模块和管理模块、系统盘单元、数据盘单元；所述的sfp+光纤模至少设置2个，所述的arm处理器数量为2个，每个sfp+光纤模块与每个所述的arm处理器电连接；所述的操作系统优化模块用于优化操作系统在arm架构下的性能；所述的操作系统兼容模块用于操作系统和arm硬件架构之间的兼容适配；所述的存储软件优化模块用于优化存储软件在arm架构下的性能；所述的存储软件兼容模块用于存储软件和arm硬件架构之间的兼容适配；所述的管理模块用于对存储软件及系统进行管理和配置；所述的系统盘单元与每个所述的arm处理器电连接；所述的数据盘单元与所述的arm处理器电连接，数据盘单元的数量至少为1个。

如上所述的一种基于arm架构的分布式存储系统，所述的arm处理器采用48核的armv8cpu。armv8cpu不仅新增一套64-bit的指令集，而且同时支持现存的32-bit指令集，在armv8-a中将64位架构支持引入arm架构中，包括通用寄存器、堆栈指针、程序计数器、64位数据处理和扩展的虚拟寻址。armv8-a包括两种主要执行状态：aarch64-64位执行状态，包括该状态下的异常模型、内存模型、程序员模型、指令集支持；aarch32-32为执行状态，包括该状态下的异常模型、内存模型、程序员模型、指令集支持。将48核的armv8cpu应用在分布式存储系统，能够很好地满足基于arm架构的分布式存储系统软硬件的适配与兼容。

如上所述的一种基于arm架构的分布式存储系统，分布式存储系统采用基于开源的gluster存储软件。gluster存储软件作为一种自由软件，主要应用在集群系统中，具有很好的可扩展性，易于扩展和配置，通过模块件的灵活搭配以得到针对性的解决方案，可解决网络存储，联合存储(融合多个节点上的存储空间)，冗余备份，大文件的负载均衡(分块)，适合应用于大数据量的离线应用。

如上所述的一种基于arm架构的分布式存储系统，分布式存储系统采用基于linux的操作系统。操作系统用来管理和控制计算机软硬件资源的基本系统架构，在本发明中用于支持操作系统优化模块、操作系统兼容模块、存储软件优化模块、存储软件兼容模块和管理模块的功能实现，在本发明中采用基于linux的操作系统，支持基于posix和unix多用户、多任务、多线程和多cpu，用户可以通过网络途径获得并根据需要修改相关源代码，从而适合应用于本发明基于arm架构的分布式存储系统。

如上所述的一种基于arm架构的分布式存储系统，所述的sfp+光纤模块为可热插拔的，独立于通信协议的光学收发器，传输光的波长是850nm,1310nm或1550nm，用于10gbps的sonet/sdh，光纤通道，gigabitethernet，10gigabitethernet的信号传输。sfp+光纤模块(10gigabitsmallformfactorpluggable)是一种可热插拔的，独立于通信协议的光学收发器，通常传输光的波长是850nm,1310nm或1550nm，用于10gbps的sonet/sdh，光纤通道，gigabitethernet，10gigabitethernet和其他应用中，也包括dwdm链路。sfp+支持sonet、gigabitethernet、光纤通道(fiberchannel)以及一些其他通信标准。能支持10.0gbit/s传输速率，包括8gigabit光纤通道和10gbe。sfp+模块将部分电路留在主板实现，而非模块内实现，可以和同类型的xfp,x2,xenpak直接连接，并且成本比xfp,x2,xenpak产品低。

如上所述的一种基于arm架构的分布式存储系统，所述的分布式存储系统应用于虚拟桌面环境下的虚拟机存储，分布式存储系统通过internet小型计算机系统接口连接计算机用户中心。虚拟机采用vmware或者citrix，虚拟机是一种通过软件模拟完整硬件系统功能并运行在一个完全隔离环境中的完整计算机，通过虚拟机技术将事物从一种形式转变为另一种形式，如操作系统中内存的虚拟化，实际运行中用户需要的内存空间可能远大于物理机器的内存大小，利用内存的虚拟化可以将一部分硬盘虚拟化为内存。internet小型计算机系统接口(iscsi)基于tcp/ip协议，可以建立和管理ip存储设备、主机和客户机件的相互连接，并创建存储区域网络。iscsi利用ip网络来传输潜伏时间段的scsi数据块，使用以太网协议传送scsi命令、响应和数据。本发明分布式存储系统通过internet小型计算机系统接口连接计算机用户中心，实现企业、学校的虚拟桌面环境下的虚拟机存储。

如上所述的一种基于arm架构的分布式存储系统，所述的分布式存储系统应用于大数据分析需要的大量存储空间，分布式存储系统作为资料备份系统与计算存储一体机连接，并根据需求随时进行扩展，增加数据盘单元的数量。计算存储一体机只会保存短期的资料，长期的资料会传输的资料备份系统，本发明基于arm架构的分布式存储系统可以应作为资料备份系统应用到大数据分析处理。

本发明方法具有如下优点：可广泛应用于节能环保的数据中心，为流媒体、大数据等应用提供大规模、分布式、低功耗的存储方案,实现了arm架构与分布式存储软件的兼容和优化，整体前期投入较小，运营成本也比现有方案低，同时具有高扩展性，客户可以从一个较小的集群开始部署，然后依据需要随时扩容，满足客户的多样化需求。

附图说明

图1基于arm架构的分布式存储系统示意图；

图2基于arm架构的分布式存储系统应用于虚拟桌面环境下的虚拟机存储示意图；

图3基于arm架构的分布式存储系统应用于大数据分析需要的大量存储空间示意图。

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。

实施例1

如图1、图2所示，本发明应用在虚拟桌面环境下的虚拟机存储，一种基于arm架构的分布式存储系统，包括sfp+光纤模块1、arm处理器2、操作系统优化模块3、操作系统兼容模块4、存储软件优化模块5、存储软件兼容模块6和管理模块7、系统盘单元8、数据盘单元9；sfp+光纤模块至少设置2个，每个sfp+光纤模块1与每个arm处理器2电连接；操作系统优化模块3用于优化操作系统在arm架构下的性能；操作系统兼容模块4用于操作系统和arm硬件架构之间的兼容适配；存储软件优化模块5用于优化存储软件在arm架构下的性能；存储软件兼容模块6用于存储软件和arm硬件架构之间的兼容适配；管理模块7用于对存储软件及系统进行管理和配置；系统盘单元8与每个arm处理器2电连接；数据盘单元9数量至少为1个，数据盘单元9与arm处理器2电连接，数据盘单元9根据存储需要设置为多个。

arm处理器2采用48核的armv8cpu。armv8cpu不仅新增一套64-bit的指令集，而且同时支持现存的32-bit指令集，在armv8-a中将64位架构支持引入arm架构中，包括通用寄存器、堆栈指针、程序计数器、64位数据处理和扩展的虚拟寻址。armv8-a包括两种主要执行状态：aarch64-64位执行状态，包括该状态下的异常模型、内存模型、程序员模型、指令集支持；aarch32-32为执行状态，包括该状态下的异常模型、内存模型、程序员模型、指令集支持。将48核的armv8cpu应用在分布式存储系统，能够很好地满足基于arm架构的分布式存储系统软硬件的适配与兼容。

分布式存储系统采用基于开源的gluster存储软件。gluster存储软件作为一种自由软件，主要应用在集群系统中，具有很好的可扩展性，易于扩展和配置，通过模块件的灵活搭配以得到针对性的解决方案，可解决网络存储，联合存储(融合多个节点上的存储空间)，冗余备份，大文件的负载均衡(分块)，适合应用于大数据量的离线应用。

分布式存储系统采用基于linux的操作系统。操作系统用来管理和控制计算机软硬件资源的基本系统架构，在本发明中用于支持操作系统优化模块3、操作系统兼容模块4、存储软件优化模块5、存储软件兼容模块6和管理模块7的功能实现，在本发明中采用基于linux的操作系统，支持基于posix和unix多用户、多任务、多线程和多cpu，用户可以通过网络途径获得并根据需要修改相关源代码，从而适合应用于本发明基于arm架构的分布式存储系统。

sfp+光纤模块1为可热插拔的，独立于通信协议的光学收发器，传输光的波长是850nm,1310nm或1550nm，用于10gbps的sonet/sdh，光纤通道，gigabitethernet，10gigabitethernet的信号传输。sfp+光纤模块1(10gigabitsmallformfactorpluggable)是一种可热插拔的，独立于通信协议的光学收发器，通常传输光的波长是850nm,1310nm或1550nm，用于10gbps的sonet/sdh，光纤通道，gigabitethernet，10gigabitethernet和其他应用中，也包括dwdm链路。sfp+支持sonet、gigabitethernet、光纤通道(fiberchannel)以及一些其他通信标准。能支持10.0gbit/s传输速率，包括8gigabit光纤通道和10gbe。sfp+模块将部分电路留在主板实现，而非模块内实现，可以和同类型的xfp,x2,xenpak直接连接，并且成本比xfp,x2,xenpak产品低。

分布式存储系统应用于虚拟桌面环境下的虚拟机存储，分布式存储系统通过internet小型计算机系统接口连接计算机用户中心。虚拟机采用vmware或者citrix，虚拟机是一种通过软件模拟完整硬件系统功能并运行在一个完全隔离环境中的完整计算机，通过虚拟机技术将事物从一种形式转变为另一种形式，如操作系统中内存的虚拟化，实际运行中用户需要的内存空间可能远大于物理机器的内存大小，利用内存的虚拟化可以将一部分硬盘虚拟化为内存。internet小型计算机系统接口(iscsi)基于tcp/ip协议，可以建立和管理ip存储设备、主机和客户机件的相互连接，并创建存储区域网络。iscsi利用ip网络来传输潜伏时间段的scsi数据块，使用以太网协议传送scsi命令、响应和数据。本发明分布式存储系统通过internet小型计算机系统接口连接计算机用户中心，如学校，企业等，虚拟机通过主机hosta、hostb将不同用户的数据镜像传输到基于arm架构的分布式存储系统,实现企业、学校的虚拟桌面环境下的虚拟机存储。

实施例2

如图1、图3所示，本发明应用在大数据分析需要的大量存储空间，一种基于arm架构的分布式存储系统，包括sfp+光纤模块1、arm处理器2、操作系统优化模块3、操作系统兼容模块4、存储软件优化模块5、存储软件兼容模块6和管理模块7、系统盘单元8、数据盘单元9；sfp+光纤模块至少设置2个，每个sfp+光纤模块1与每个arm处理器2电连接；操作系统优化模块3用于优化操作系统在arm架构下的性能；操作系统兼容模块4用于操作系统和arm硬件架构之间的兼容适配；存储软件优化模块5用于优化存储软件在arm架构下的性能；存储软件兼容模块6用于存储软件和arm硬件架构之间的兼容适配；管理模块7用于对存储软件及系统进行管理和配置；系统盘单元8与每个arm处理器2电连接；数据盘单元9数量至少为1个，数据盘单元9与arm处理器2电连接，数据盘单元9根据存储需要设置为多个。

arm处理器2采用48核的armv8cpu。armv8cpu不仅新增一套64-bit的指令集，而且同时支持现存的32-bit指令集，在armv8-a中将64位架构支持引入arm架构中，包括通用寄存器、堆栈指针、程序计数器、64位数据处理和扩展的虚拟寻址。armv8-a包括两种主要执行状态：aarch64-64位执行状态，包括该状态下的异常模型、内存模型、程序员模型、指令集支持；aarch32-32为执行状态，包括该状态下的异常模型、内存模型、程序员模型、指令集支持。将48核的armv8cpu应用在分布式存储系统，能够很好地满足基于arm架构的分布式存储系统软硬件的适配与兼容。

分布式存储系统采用基于开源的gluster存储软件。gluster存储软件作为一种自由软件，主要应用在集群系统中，具有很好的可扩展性，易于扩展和配置，通过模块件的灵活搭配以得到针对性的解决方案，可解决网络存储，联合存储(融合多个节点上的存储空间)，冗余备份，大文件的负载均衡(分块)，适合应用于大数据量的离线应用。

分布式存储系统采用基于linux的操作系统。操作系统用来管理和控制计算机软硬件资源的基本系统架构，在本发明中用于支持操作系统优化模块3、操作系统兼容模块4、存储软件优化模块5、存储软件兼容模块6和管理模块7的功能实现，在本发明中采用基于linux的操作系统，支持基于posix和unix多用户、多任务、多线程和多cpu，用户可以通过网络途径获得并根据需要修改相关源代码，从而适合应用于本发明基于arm架构的分布式存储系统。

sfp+光纤模块1为可热插拔的，独立于通信协议的光学收发器，传输光的波长是850nm,1310nm或1550nm，用于10gbps的sonet/sdh，光纤通道，gigabitethernet，10gigabitethernet的信号传输。sfp+光纤模块1(10gigabitsmallformfactorpluggable)是一种可热插拔的，独立于通信协议的光学收发器，通常传输光的波长是850nm,1310nm或1550nm，用于10gbps的sonet/sdh，光纤通道，gigabitethernet，10gigabitethernet和其他应用中，也包括dwdm链路。sfp+支持sonet、gigabitethernet、光纤通道(fiberchannel)以及一些其他通信标准。能支持10.0gbit/s传输速率，包括8gigabit光纤通道和10gbe。sfp+模块将部分电路留在主板实现，而非模块内实现，可以和同类型的xfp,x2,xenpak直接连接，并且成本比xfp,x2,xenpak产品低。

分布式存储系统应用于大数据分析需要的大量存储空间，分布式存储系统作为资料备份系统与计算存储一体机10连接，并根据需求随时进行扩展，增加数据盘单元9的数量。计算存储一体机10只会保存短期的资料，长期的资料会传输的资料备份系统，本发明基于arm架构的分布式存储系统可以应作为资料备份系统应用到大数据分析处理。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。