一种大数据加解密处理方法及系统的制作方法
【技术领域】
[0001]本发明涉及数据库技术领域，尤其涉及一种大数据加解密处理方法及系统。
【背景技术】
[0002]各个行业和业务职能领域随着信息技术的快速渗透，所产生的数据量呈爆炸式上涨，大数据即巨量数据的采集、分析和展示也成为越来越多的行业运营赖以存在和发展的重要基础。
[0003]大数据需要大量的存储空间，而且数据变化情况复杂，因此需要大规模的可伸缩的数据存储系统进行存储和处理，以实现可以伸缩自如的存储解决方案，开源存储系统由于其灵活性和开放性，成为用于大数据处理的主要存储系统。现阶段，大数据的处理系统通常是使用公共的开源存储系统直接连接数据的采集平台与分析平台，采集的数据直接以明文方式存储于开源存储系统中，例如hadoop分布式框架、MPP、NoSQL、数据仓库等，分析平台再从开源存储系统读取数据加以分析并进行结果展示。
[0004]然而，大数据包含了众多个人和机构的隐私信息数据，对于用户可以自由使用及接触的开源存储系统而言，与开源存储系统相关的分析应用建设方/维护方以及大数据平台的建设方/维护方都可以随时获取用户数据，导致系统数据泄漏渠道众多，极易造成个人和机构的敏感数据的外泄，由于数据皆是直接存储，一旦泄漏，个人和机构的隐私信息也将毫无隐藏地被人获取。
【发明内容】
[0005]为克服相关技术中数据缺乏隐私保护的问题，本申请提供一种大数据加解密处理方法及系统。
[0006]根据本申请实施例的第一方面，提供一种大数据加解密处理系统，包括:
[0007]数据检测单元，用于在数据存入开源存储单元之前，检测数据是否为明文数据；
[0008]第一加密单元，用于当数据为明文数据时，将所述数据加密为密文数据；
[0009]开源存储单元，用于保存所述密文数据；
[0010]核查单元，用于核查开源存储单元中的数据是否为密文数据；
[0011]第二加密单元，用于当开源存储单元中存在明文数据时，将所述明文数据加密为密文数据；
[0012]解密单元，用于在密文数据从开源存储单元输出时，解密所述密文数据。
[0013]优选的，所述的大数据加解密处理系统，还包括:
[0014]离线加密单元，用于对存入开源存储单元的数据，在检测数据是否为明文数据之前，对数据进行离线加密，离线加密后的数据输入数据检测单元进行检测。
[0015]优选的，所述的大数据加解密处理系统，还包括:
[0016]密文检查单元，用于如果所述数据检测单元检测到数据为密文数据，根据所述密文数据的加密规则和加密算法检测所述密文数据是否正确；
[0017]数据替换单元，用于如果所述密文数据错误，从离线加密单元获取所述密文数据对应的明文数据，替换错误的密文数据；
[0018]第三加密单元，用于对数据替换单元获取的明文数据根据所述加密规则和加密算法进行加密。
[0019]优选的，所述第一加密单元包括离线加密子单元和在线加密子单元。
[0020]优选的，所述解密单元，包括:
[0021]权限识别子单元，用于识别从开源存储单元读取数据的接口的权限；
[0022]数据解密子单元，用于根据从开源存储单元读取数据的接口的权限对对应的密文数据进行解密。
[0023]与本申请实施例的第一方面相对应，根据本申请实施例的第二方面，提供一种大数据加解密处理方法，包括:
[0024]在数据存入开源存储系统之前，检测数据是否为明文数据；
[0025]如果数据为明文数据，将所述数据加密为密文数据；
[0026]将密文数据存入开源存储系统；
[0027]核查开源存储系统中的数据是否存在明文数据；
[0028]当开源存储系统中存在明文数据时，将所述明文数据加密为密文数据；
[0029]密文数据从开源存储系统输出时，解密所述密文数据。
[0030]优选的，所述的大数据加解密处理方法，还包括:
[0031]如果检测到数据为密文数据，根据所述密文数据的加密规则和加密算法检测所述密文数据是否正确；
[0032]如果所述密文数据错误，获取所述密文数据对应的明文数据，替换错误的所述密文数据；
[0033]对获取的所述密文数据对应的明文数据根据所述加密规则和加密算法进行加密。
[0034]优选的，所述加密为离线加密或者在线加密。
[0035]优选的，所述的大数据加解密处理方法，还包括:配置开源存储系统的密文数据处理规则，以对密文数据进行处理。
[0036]优选的，所述密文数据从开源存储系统输出时，根据从开源存储系统读取数据的接口的权限对对应的密文数据进行解密。
[0037]本申请实施例提供的技术方案可以包括以下有益效果:通过对存入开源存储系统的数据进行加密，在数据输出时进行解密恢复数据本身，保障数据的安全性和用户的隐私不被泄漏，同时不影响数据的正常展示和处理。
[0038]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
【附图说明】
[0039]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0040]图1为本申请一示例性实施例示出的一种大数据加解密处理系统的框图；
[0041]图2为本申请另一示例性实施例示出的一种大数据加解密处理系统的框图；
[0042]图3为本申请一示例性实施例示出的一种大数据加解密处理方法的流程示意图；
[0043]图4为本申请另一示例性实施例示出的一种大数据加解密处理方法的流程示意图。
【具体实施方式】
[0044]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0045]为了全面理解本申请，在以下详细描述中提到了众多具体的细节，但是本领域技术人员应该理解，本申请可以无需这些具体细节而实现。在其他实施例中，不详细描述公知的方法、过程、组件和电路，以免不必要地导致实施例模糊。
[0046]根据本申请实施例的第一方面，提供一种大数据加解密处理系统。图1为本申请一示例性实施例示出的一种大数据加解密系统的框图。如图1所示，所述系统可以包括:
[0047]数据检测单元U101，用于在数据进入开源存储单元之前，检测数据是否为明文数据；
[0048]第一加密单元U102，用于当数据为明文数据时，将所述数据加密为密文数据。
[0049]开源存储单元U103，用于存储该密文数据。
[0050]其中，开源存储单元U103还可以同时对所述密文数据进行统计、合并等处理，由于对密文数据的统计、合并等处理与对明文数据进行统计、合并的方法和规则不同，因此在一种可能的实施方式中，所述大数据加解密系统还可以包括规则配置单元，所述规则配置单元与开源存储单元连接，用于配置开源存储单元的密文数据处理规则，以对密文数据进行处理。
[0051]核查单元U104，用于核查开源存储单元中的数据是否为密文数据；
[0052]第二加密单元U105，用于当开源存储单元中存在明文数据时，将所述明文数据加密为密文数据。
[0053]解密单元U106，用于在所述密文数据从开源存储单元输出时，解密所述密文数据。
[0054]其中，对于需要存入开源存储单元的数据，例如采集平台采集的数据，进入开源存储单元进行存储和处理前，数据检测单元检测数据是否为明文数据。存入的数据可以为明文数据，也可以为已经经过用户加密的数据。所述大数据加解密系统还可以包括离线加密单元，用户可以使用所述离线加密单元对数据进行离线加密后存入开源存储单元，也可以自行将数据进行加密后存入开源存储单元，用户存入自行加密的数据时需将对数据进行加密的加密规则和加密算法同时传输给数据检测单元。相应的，数据检测单元可以根据离线加密单元对数据进行加密的加密规则和加密算法来检测数据，也可以根据用户传输给数据检测单元的加密规则和加密算法来检测数据。所述加密规则用于规定对存入开源存储单元的数据中的哪部分数据进行加密，例如，加密规则要求对数据中的手机号加密，对手机号的加密算法是将手机号的每个数字转换为字母表中数字所对应的顺序的字母，例如手机号133