大数据安全存储方法及装置与流程

本技术属于数据存储，具体的涉及一种大数据安全存储方法及装置。

背景技术：

1、对于企业级大数据的安全，传统的技术手段基本采用的数据加密、安全隔离以及通过构建防火墙来保证数据安全，但是，只要数据要在网络上进行传输和对应的交换，就有可能通过互联网的安全漏洞、病毒软件等攻入到大数据的数据库，导致数据被窃取。

技术实现思路

1、有鉴于此，本发明的主要目的在于提供一种大数据安全存储方法及装置。

2、本发明采用的技术方案如下：

3、大数据安全存储方法，包括如下步骤：

4、将存储服务器划分为多个存储模块，设置每一存储模块的存储路径，以所述存储路径对应的存储模块形成存储配置文件；

5、当数据交换器接收到采集装置转发的资源数据后，所述数据交换器将所述资源数据根据资源数据的基础属性进行分类，分类后将同一类别的资源数据划分成多个独立的实体数据；

6、在数据交换器中构建每一实体数据的索引表，并将每一实体数据分割为多个数据区块，记录每一数据区块所对应的区块码，并将所述区块码对应地写在所述索引表的二级目类下；

7、数据交换器获取所述存储配置文件，依据所述存储配置文件来构建任务管理模块，所述任务管理模块用于根据存储数据任务的进行至少构建一个数据存储通道以将数据交换器和对应的存储模块连通，将所述数据区块按照不同的数据存储通道存储到对应的存储模块中；并将对应的存储路径写入对应的索引表的三级目类下；

8、在所述数据交换器中设定数据加载规则和验证模块，所述加载规则用于当数据交换器接收客户端的数据交换请求指令时，先通过验证模块完成初始验证，验证完毕后自动激活任务管理模块，所述任务管理模块按照请求指令所包含的请求数据内容在索引表中查找对应的实体数据和所述实体数据对应的区块码以及区块码对应的存储路径；任务管理模块依次将每一实体数据对应的区块码同步给验证模块，所述验证模块基于同一实体数据对应的区块码形成一个验证规则，所述验证规则为：当任务管理模块以每一区块码对应的存储路径来启用数据存储通道之前，所述数据交换器在验证规则下向客户端发送接入验证；验证通过后，对应的数据存储通道被开启，数据交换器通过数据存储通道依次从对应的存储模块获取数据区块存放至交换存储区，待同一实体数据下的所有数据区块全部存放至交换存储区后，所述数据交换器再将数据区块以及对应的区块码发送至客户端。

9、进一步地，在数据交换器中构建每一实体数据的索引表的方法如下：

10、在数据交换器中建立一个实体数据分析模型；

11、在所述实体数据分析模型中设置一个分析任务管理器，所述分析任务管理器基于分析任务的进行来配置实体数据分析模型中每一个分析单元的训练资源；

12、每一所述分析单元在训练资源的支持下对实体数据进行分析，以获取实体数据所对应的多个索引实体，由所述索引实体构成实体数据的索引表。

13、进一步地，所述实体数据分析模型通过如下的方法进行建立：

14、获取大量的实体数据进行人工专家标记；

15、将标记后的实体数据按照实体数据的基本属性依次输入至神经网络单元进行迭代训练；

16、将多个神经网络单元进行组合后得到神经网络模型。

17、进一步地，每一所述实体数据下设置的区块码具有相同的组合结构，所述组合结构至少包含表示实体数据的字段、每一数据区块字段和顺序字段以及数据区块之间相互融合的组合字段。

18、进一步地，所述数据交换器在验证规则下向客户端发送接入验证，具体包括：

19、在数据交换器中构建一个监听模块，所述监听模块用于监测客户端与数据交换器之间的接入验证响应；

20、通过监听客户端与数据交换器之间的验证响应频次来控制验证规则，即当验证响应频次增大时，则控制验证规则对应地增大数据交换器与客户端之间的接入验证，当验证响应频次超过设定阈值时，监听模块形成一个断开指令，数据交换器基于所述断开指令以断开数据交换器与客户端之间的连接。

21、进一步地，所述数据交换器与存储服务器之间通过局域网进行连接。

22、本发明还提供了一种大数据安全存储装置，包括：

23、存储服务器，所述存储服务器具有多个存储模块，配置每一存储模块的存储路径，并形成存储配置文件；

24、数据交换器，与存储服务器之间通过局域网连接，所述数据交换器具有：存入交换部和取出交换部；

25、其中，所述存入交换部具有：

26、分类模块，用于接收采集装置转发的资源数据，将所述资源数据根据资源数据的基础属性进行分类，分类后将同一类别的资源数据划分成多个独立的实体数据；

27、实体数据分析模型，用于连接分类模块，从所述分类模块依次加载实体数据，通过实体数据分析模型以获取实体数据所对应的多个索引实体，由所述索引实体构成实体数据的索引表；

28、分割模块，连接所述的实体数据分析模型，用于将完成索引表构建的实体数据分割为多个数据区块，记录每一数据区块所对应的区块码，并将所述区块码对应地写在所述索引表的二级目类下；

29、任务管理模块，基于所述存储配置文件在所述数据交换器中进行构建，所述任务管理模块用于根据存储数据任务的进行至少构建一个数据存储通道以将数据交换器和对应的存储模块连通，将所述数据区块按照不同的数据存储通道存储到对应的存储模块中；并将对应的存储路径写入对应的索引表的三级目类下；

30、所述取出交换部具有：验证模块、加载规则以及交换存储区；

31、所述加载规则用于当数据交换器接收客户端的数据交换请求指令时，先通过验证模块完成初始验证后，验证完毕后自动激活任务管理模块，所述任务管理模块按照请求指令所包含的请求数据内容在索引表中查找对应的实体数据和所述实体数据对应的区块码以及区块码对应的存储路径；任务管理模块依次将每一实体数据对应的区块码同步给验证模块，所述验证模块基于同一实体数据对应的区块码形成一个验证规则，所述验证规则为：当任务管理模块以每一区块码对应的存储路径来启用数据存储通道之前，所述数据交换器在验证规则下向客户端发送接入验证；验证通过后，对应的数据存储通道被开启，数据交换器通过数据存储通道依次从对应的存储模块获取数据区块存放至交换存储区，待同一实体数据下的所有数据区块全部存放至交换存储区后，所述数据交换器再将数据区块以及对应的区块码发送至客户端。

32、进一步地，在所述数据交换器中设置一个融合检测模块，所述融合检测模块用于对交换存储区中数据区块所对应的区块码进行融合验证，当融合检测模块检测到多个区块码构成一个完整的实体数据后，向数据交换器发送一个交换确认指令，数据交换器基于交换确认指令将交换存储区内的多个数据区块以及对应的区块码发送至客户端。

33、进一步地，所述任务管理模块具有：

34、数据存储通道构建模块，用于根据存储数据任务的进行对应地加载存储路径以在数据交换器和存储模块之间构建数据存储通道；

35、存储控制模块，用于将得到的所述数据区块按照不同的数据存储通道存储到对应的存储模块中；或，通过所述数据存储通道从存储模块中对应地将数据区块发送至交换存储区；

36、以及同步模块，用于与验证模块进行数据同步。

37、在本技术中，通过设置一个数据交换器，该数据交换器作为存储服务器与客户端之间的连接纽带，数据交换器与存储服务器之间通过局域网连接，数据交换器与客户端通过互联网连接，局域网是最好最安全的网络安全物理隔离，相对于互联网来讲，局域网更加不易通过安全漏洞、病毒软件窃取数据资源；同时，为了满足数据交换的需求，通过在数据交换器中构建数据的存储规则和取出规则来增加数据安全性。

38、为了保证数据的完整性，在存储规则下，同一个完整的实体数据，被分割成多个数据区块，比如可以按照实体数据的大小进行等量分割，在进行存储时，多个数据区块被存储到数据服务器内不同的存储模块中，即便人为的获取了这些数据资源，在没有获取融合规则或者组合规则时，各种数据之间都是不完整的。

39、在上述中，通过监听客户端与数据交换器之间的验证响应频次来控制验证规则，即当验证响应频次增大时，则控制验证规则对应地增大数据交换器与客户端之间的接入验证，当验证响应频次超过设定阈值时，监听模块形成一个断开指令，数据交换器基于所述断开指令以断开数据交换器与客户端之间的连接。