文件的加密方法、装置、存储介质及处理器与流程

1.本申请涉及文件数据加密领域，具体而言，涉及一种文件的加密方法、装置、存储介质及处理器。


背景技术：

2.现有加密技术主要采用单机单节点进行加密，在数据量较小的情况下采用高性能服务器也可满足生产需求，但是随着业务发展和时代进步，需要加密传输的数据量越来越大，每日需要加密以tb为单位的数据，因此需要保证数据安全的文件加密传输。
3.另外，在map reduce框架的map过程中，需要将文件中数据拆分为容易进行运算的键值对格式，但现有技术的拆分方式是按顺序读取字节进行拆分，key为字节游标位置，value为数据内容，这样拆分出来的数据切片仍包含部分具有可读性的敏感信息，不能完全保证文件中的数据安全。
4.针对相关技术中文件中数据的加密处理方式难以保证文件中数据的安全传输的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本申请的主要目的在于提供一种文件的加密方法、装置、存储介质及处理器，以解决相关技术中文件中数据的加密处理方式难以保证文件中数据的安全传输的问题。
6.为了实现上述目的，根据本申请的一个方面，提供了一种文件的加密方法。该方法包括：根据第一伪随机种子生成第一伪随机数集合，其中，第一伪随机数集合包括多个伪随机数，每个伪随机数用于表示数据块大小；根据第一伪随机数集合中的每个伪随机数依次对待加密文件进行拆分，得到多个数据块；对每个数据块进行格式化处理，得到多个目标键值对，其中，每个目标键值对中包括对应的数据块内容；对多个目标键值对进行聚合处理，得到加密文件。
7.进一步地，对每个数据块进行格式化处理，得到多个目标键值对包括：根据第二伪随机种子得到第二伪随机数集合，其中第二伪随机数集合由多个键值组成；根据每个键值对每个数据块进行格式化处理，得到多个目标键值对。
8.进一步地，根据每个键值对每个数据块进行格式化处理，得到多个目标键值对包括：依次为每个数据块随机获取一个键值进行组合，构成初始键值对；为每个初始键值对依次添加与数据块对应的文件编码、数据序号和数据块大小值，得到多个目标键值对。
9.进一步地，对多个目标键值对进行聚合处理，得到加密文件包括：将键值相同的目标键值对聚合成一个新文件，得到加密文件。
10.为了实现上述目的，根据本申请的另一方面，提供了一种文件的加密装置。该装置包括：第一生成单元，用于根据第一伪随机种子生成第一伪随机数集合，其中，第一伪随机数集合包括多个伪随机数，每个伪随机数用于表示数据块大小；第一拆分单元，用于根据第一伪随机数集合中的每个伪随机数依次对待加密文件进行拆分，得到多个数据块；第一处
理单元，用于对每个数据块进行格式化处理，得到多个目标键值对，其中，每个目标键值对中包括对应的数据块内容；第二处理单元，用于对多个目标键值对进行聚合处理，得到加密文件。
11.进一步地，第一处理单元还包括：第一获取模块，用于根据第二伪随机种子得到第二伪随机数集合，其中第二伪随机数集合由多个键值组成；第一处理模块，用于根据每个键值对每个数据块进行格式化处理，得到多个目标键值对。
12.进一步地，第一处理模块还包括：第一获取子模块，用于依次为每个数据块随机获取一个键值进行组合，构成初始键值对；第二获取子模块，用于为每个初始键值对依次添加与数据块对应的文件编码、数据序号和数据块大小值，得到多个目标键值对。
13.进一步地，第二处理单元还包括：第二获取模块，用于将键值相同的目标键值对聚合成一个新文件，得到加密文件。
14.通过本申请，采用以下步骤：通过根据第一伪随机种子生成第一伪随机数集合，其中，第一伪随机数集合包括多个伪随机数，每个伪随机数用于表示数据块大小；根据第一伪随机数集合中的每个伪随机数依次对待加密文件进行拆分，得到多个数据块；对每个数据块进行格式化处理，得到多个目标键值对，其中，每个目标键值对中包括对应的数据块内容；对多个目标键值对进行聚合处理，得到加密文件，解决了相关技术中文件中数据的加密处理方式难以保证文件中数据的安全传输的问题。本申请通过随机数据值与随机读取数据块大小的双重随机生成键值对的拆分方式，实现多节点分布式并行加密。进而达到了保证加密后文件中数据的安全传输的效果。
附图说明
15.构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
16.图1是根据本申请实施例提供的文件的加密方法的流程图；以及
17.图2是根据本申请实施例提供的文件的加密过程中map的示意图；以及
18.图3是根据本申请实施例提供的文件的加密过程中reduce的示意图；以及
19.图4是根据本申请实施例提供的文件的加密后的解密合并的示意图；以及
20.图5是根据本申请实施例提供的文件的加密装置的示意图。
具体实施方式
21.需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
22.为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
23.需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用
的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
24.为了便于描述，以下对本申请实施例涉及的部分名词或术语进行说明：
25.key
‑
value：key是关键字，value是值；key
‑
value数据库是一种以键值对存储数据的一种数据库，类似java中的map，每个键都会对应一个唯一的值。
26.map reduce：指定一个map(映射)函数，用来把一组键值对映射成一组新的键值对，指定并发的reduce(归约)函数，用来保证所有映射的键值对中的每一个共享相同的键组。
27.根据本申请的实施例，提供了一种文件的加密方法。
28.图1是根据本申请实施例的文件的加密方法的流程图。如图1所示，该方法包括以下步骤：
29.步骤s101，根据第一伪随机种子生成第一伪随机数集合，其中，第一伪随机数集合包括多个伪随机数，每个伪随机数用于表示数据块大小。
30.本申请第一伪随机种子是指buffer块大小的伪随机种子，例如，每次批量读取f1、f2、f3...fn的数据，这批数据的大小都可能不同。这批数据的大小由伪随机数确定，这个伪随机数的种子就是buffer块大小的伪随机种子。
31.通过buffer块大小的伪随机种子生成第一伪随机数集合，例如，根据buffer块大小的伪随机种子b依次计算可以得到一组伪随机数{ds1,ds2,ds3...dsn...}，其中每个随机数的值都在同一个区间内，这组伪随机数的集合就是data size，也即第一伪随机数集合。
32.需要说明的是，第一伪随机种子决定拆分的数据量大小，目的是将需要进行加密的数据文件打散。
33.步骤s102，根据第一伪随机数集合中的每个伪随机数依次对待加密文件进行拆分，得到多个数据块。
34.第一伪随机集合中的每个数据块大小data size对源文件进行拆分，得到多个不同大小的文件数据块。
35.步骤s103，对每个数据块进行格式化处理，得到多个目标键值对，其中，每个目标键值对中包括对应的数据块内容。
36.本申请通过采用第二伪随机数集合中随机数据key值，以及第一伪随机数集合中数据块大小的双重随机拆分方式进行数据的拆分，根据上述步骤第一伪随机种子得到的第一伪随机数集合，本申请对第一伪随机数集合中的数据块进行格式化处理，拆分得到目标键值对格式，其中，目标键值对的key值通过第二伪随机种子得到。
37.可选地，在本申请实施例提供的文件的加密方法中，对每个数据块进行格式化处理，得到多个目标键值对包括：根据第二伪随机种子得到第二伪随机数集合，其中第二伪随机数集合由多个键值组成；根据每个键值对每个数据块进行格式化处理，得到多个目标键值对。
38.本申请中第二伪随机种子是指文件名伪随机种子。例如，在加密时，每轮按顺序依
次读取f1、f2、f3...fn文件，该文件编码fn记为source file index，然后将其写入选定key值的键值对中，由伪随机数确定，这个伪随机数的种子就是文件名伪随机种子。
39.具体的，key值伪随机数集合k为第二伪随机数集合。例如，以a为文件名伪随机种子，依次计算可以得到一组伪随机数{k1,k2,k3...kn...}，key为根据文件块大小与数据量决定n值的k1
…
kn，其中每个随机数的值都大于等于1，并且小于等于n，这组伪随机数的集合就是k，也即第二伪随机数集合。
40.本申请根据第一伪随机种子以及第二伪随机种子分别生成的随机数，来选择每次将拆分出来的数据存入具体key值对应的value中，得到目标键值对，根据第二伪随机种子得到的多个键值对每个数据块进行格式化处理，得到多个目标键值对。
41.可选地，在本申请实施例提供的文件的加密方法中，其特征在于，根据每个键值对每个数据块进行格式化处理，得到多个目标键值对包括：依次为每个数据块随机获取一个键值进行组合，构成初始键值对；为每个初始键值对依次添加与数据块对应的文件编码、数据序号和数据块大小值，得到多个目标键值对。
42.其中，根据第二伪随机数集合中的key值与每个数据块进行组合，得到多个初始键值对(key
‑
value)。
43.具体的，key值由第二伪随机种子生成，也即构成了上述步骤得到的第二伪随机集合k。
44.value值包含四部分：根据源文件序号生成的source file index源文件id；以及第一伪随机种子生成的data index数据序号，也即第一随机数生成的顺序；还包括data size数据块大小，用于记录和校验数据块内容是否缺失；以及根据第一伪随机数集合data size从源文件中获取的数据内容。
45.如图2所示，在本申请map reduce技术框架的map阶段，基于初始键值对(key
‑
value)，根据的上述key值以及value值得到多个目标键值对。例如，依次读取原文件f1、f2、f3、f4、f5，key值集合为k1、k2、k3。根据第一伪随机种子以及第二伪随机种子分别生成的随机数，来选择每次将源文件数据拆分出来的数据存入具体key值对应的value中，也即k1对应的value值包含f1、f3、f5的数据信息、k2对应的value值包含f2、f4、f4的数据信息、k3对应的value值包含f1、f2、f3、f5的数据信息。
46.步骤s104，对多个目标键值对进行聚合处理，得到加密文件。
47.本申请通过伪随机种子的方式对全部原始数据进行拆分，得到多个目标键值对格式，对多个目标键值对进行聚合处理，得到加密文件。
48.可选地，在本申请实施例提供的文件的加密方法中，对多个目标键值对进行聚合处理，得到加密文件包括：将键值相同的目标键值对聚合成一个新文件，得到加密文件。
49.具体的，如图3所示，在本申请map reduce技术框架的reduce阶段，将图2中全部原始数据拆分完成后的目标键值对，根据key值进行reduce聚合，每个key生成一个输出文件，此阶段过后数据文件顺序将会完全被打乱，并得到加密文件，这样做的目的是起到了加密作用，同时大大提高了加密效率。
50.综上步骤s101至s104，本申请采用了随机数据key值与随机读取数据块大小的双重随机拆分方式，与map reduce框架结合，形成了分布式的加密传输系统，从而实现多节点分布式并行加密,大大提高加解密效率，原始数据被拆分后的value内容为乱序乱码，起到
加密作用。即便个别密文块被拦截，也不能识别原有内容，需要按照拆分顺序获取所有小文件内容并解密才能恢复原有文件，故而数据在传输过程中不怕被拦截，极大的提高了数据加密传输的安全性。
51.需要说明的是，解密过程与加密过程类似，同样采用map reduce技术框架。
52.如图4所示，map reduce技术框架下的解密合并的示意图，根据第二伪随机数集合k与源数据的source file index找到输出文件，并按照第一伪随机种子生成的data index数据序号对数据原顺序进行排序，读取data size并对数据内容进行校验，然后在reduce阶段进行组合，并行写入输出文件，进而得到解密文件。
53.综上，本申请实施例提供的文件的加密方法，通过根据第一伪随机种子生成第一伪随机数集合，其中，第一伪随机数集合包括多个伪随机数，每个伪随机数用于表示数据块大小；根据第一伪随机数集合中的每个伪随机数依次对待加密文件进行拆分，得到多个数据块；对每个数据块进行格式化处理，得到多个目标键值对，其中，每个目标键值对中包括对应的数据块内容；对多个目标键值对进行聚合处理，得到加密文件。解决了相关技术中文件中数据的加密处理方式难以保证文件中数据的安全传输的问题。本申请通过随机数据值与随机读取数据块大小的双重随机生成键值对的拆分方式，实现多节点分布式并行加密。进而达到了保证加密后文件中数据的安全传输的效果。
54.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
55.本申请实施例还提供了一种文件的加密装置，需要说明的是，本申请实施例的文件的加密装置可以用于执行本申请实施例所提供的用于文件的加密方法。以下对本申请实施例提供的文件的加密装置进行介绍。
56.图5是根据本申请实施例的文件的加密装置的示意图。如图5所示，该装置包括：第一生成单元501、第一拆分单元502、第一处理单元503、第二处理单元504。
57.具体的，第一生成单元501，用于根据第一伪随机种子生成第一伪随机数集合，其中，第一伪随机数集合包括多个伪随机数，每个伪随机数用于表示数据块大小；
58.第一拆分单元502，用于根据第一伪随机数集合中的每个伪随机数依次对待加密文件进行拆分，得到多个数据块；
59.第一处理单元503，用于对每个数据块进行格式化处理，得到多个目标键值对，其中，每个目标键值对中包括对应的数据块内容；
60.第二处理单元504，用于对多个目标键值对进行聚合处理，得到加密文件。
61.综上，本申请实施例提供的文件的加密装置，通过第一生成单元501根据第一伪随机种子生成第一伪随机数集合，其中，第一伪随机数集合包括多个伪随机数，每个伪随机数用于表示数据块大小；第一拆分单元502根据第一伪随机数集合中的每个伪随机数依次对待加密文件进行拆分，得到多个数据块；第一处理单元503对每个数据块进行格式化处理，得到多个目标键值对，其中，每个目标键值对中包括对应的数据块内容；第二处理单元504对多个目标键值对进行聚合处理，得到加密文件。解决了相关技术中文件中数据的加密处理方式难以保证文件中数据的安全传输的问题。本申请通过随机数据值与随机读取数据块大小的双重随机生成键值对的拆分方式，实现多节点分布式并行加密。进而达到了保证加
密后文件中数据的安全传输的效果。
62.可选地，在本申请实施例提供的文件的加密装置中，第一处理单元503还包括：第一获取模块，用于根据第二伪随机种子得到第二伪随机数集合，其中第二伪随机数集合由多个键值组成；第一处理模块，用于根据每个键值对每个数据块进行格式化处理，得到多个目标键值对。
63.可选地，在本申请实施例提供的文件的加密装置中，第一处理模块还包括：第一获取子模块，用于依次为每个数据块随机获取一个键值进行组合，构成初始键值对；第二获取子模块，用于为每个初始键值对依次添加与数据块对应的文件编码、数据序号和数据块大小值，得到多个目标键值对。
64.可选地，在本申请实施例提供的文件的加密装置中，第二处理单元504还包括：第二获取模块，用于将键值相同的目标键值对聚合成一个新文件，得到加密文件。
65.文件的加密装置包括处理器和存储器，上述的第一生成单元501、第一拆分单元502、第一处理单元503、第二处理单元504等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
66.处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来进行文件的加密。
67.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。
68.本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现文件的加密方法。
69.本发明实施例提供了一种处理器，处理器用于运行程序，其中，程序运行时执行文件的加密方法。
70.本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：根据第一伪随机种子生成第一伪随机数集合，其中，第一伪随机数集合包括多个伪随机数，每个伪随机数用于表示数据块大小；根据第一伪随机数集合中的每个伪随机数依次对待加密文件进行拆分，得到多个数据块；对每个数据块进行格式化处理，得到多个目标键值对，其中，每个目标键值对中包括对应的数据块内容；对多个目标键值对进行聚合处理，得到加密文件。
71.处理器执行程序时还实现以下步骤：根据第二伪随机种子得到第二伪随机数集合，其中第二伪随机数集合由多个键值组成；根据每个键值对每个数据块进行格式化处理，得到多个目标键值对。
72.处理器执行程序时还实现以下步骤：依次为每个数据块随机获取一个键值进行组合，构成初始键值对；为每个初始键值对依次添加与数据块对应的文件编码、数据序号和数据块大小值，得到多个目标键值对。
73.处理器执行程序时还实现以下步骤：将键值相同的目标键值对聚合成一个新文件，得到加密文件。
74.本文中的设备可以是服务器、pc、pad、手机等。
75.本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初
始化有如下方法步骤的程序：根据第一伪随机种子生成第一伪随机数集合，其中，第一伪随机数集合包括多个伪随机数，每个伪随机数用于表示数据块大小；根据第一伪随机数集合中的每个伪随机数依次对待加密文件进行拆分，得到多个数据块；对每个数据块进行格式化处理，得到多个目标键值对，其中，每个目标键值对中包括对应的数据块内容；对多个目标键值对进行聚合处理，得到加密文件。
76.当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：根据第二伪随机种子得到第二伪随机数集合，其中第二伪随机数集合由多个键值组成；根据每个键值对每个数据块进行格式化处理，得到多个目标键值对。
77.当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：依次为每个数据块随机获取一个键值进行组合，构成初始键值对；为每个初始键值对依次添加与数据块对应的文件编码、数据序号和数据块大小值，得到多个目标键值对。
78.当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：将键值相同的目标键值对聚合成一个新文件，得到加密文件。
79.本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
80.本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
81.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
82.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
83.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
84.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
85.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。
计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
86.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
87.本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
88.以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。