一种基于大数据平台的透明加解密系统的制作方法

本发明涉及数据安全，具体涉及一种基于大数据平台的透明加解密系统。

背景技术：

1、近年来随着互联网技术的飞速发展，大大小小的企业中的数据量也是成爆炸式的增长，传统的数据结构模式早就已经不满足当前的业务场景。

2、为了解决当前数据量过大的场景，大数据平台技术便应运而生，该技术具有数据多元化、数据价值化、数据智能化、数据集中化等诸多的优点。但随着该技术的广泛应用，一系列的问题也日益显著，其中最为显著的当为数据的安全性和数据的隐私性。

3、现有技术方案的缺陷为：

4、(1)无法在数据etl过程中对数据进行加解密操作，只能等数据etl完后存储在ads层后才可以进行操作；

5、(2)无法在数据etl过程中对不同的数据源进行有效的适配和处理；

6、(3)不支持对海量数据自定义重要数据，并且无法对海量数据中的重要数据进行精准的识别；

7、(4)加解密算法多为软实现，安全性较弱，容易被暴力破解从而造成数据泄露。

8、随着数字化时代的到来，大数据已经成为了各行各业中不可或缺的一部分。尤其是在企业中，大数据的应用已经越来越普及。大数据技术利用特定的技术架构可以为企业提供各种各样的数据分析，帮助企业作出更好的决策；并且大数据技术自身的优势也可以帮助企业更高效的运作，通过大数据技术提高企业的生产效率，降低成本。

9、但是随着大数据的广泛应用，隐私问题也变得越来越突出。在收集大量数据的过程中，可能会泄露用户的个人信息。此外，如果数据管理不当，数据可能会被盗用或滥用。因此，企业需要采取特定安全措施来保护用户隐私，比如加密用户数据、限制数据访问权限、提供数据授权等措施。并且大数据技术可以收集大量敏感信息，例如公司财务、客户数据等等。如果这些数据被黑客攻击、内部人员泄露或其他形式的数据丢失，可能会对企业造成重大损失。因此，企业需要采取措施保护大数据的安全，比如备份、加密、访问控制等等。

10、当前互联网环境大数据平台技术虽然在数据爆炸式增长的情况下可以满足对数据的一些分析及处理操作，但是由于大数据平台技术自身的一些架构、数据存储方式等，导致了数据存在非常多的安全性的问题，非常容易导致重要数据的数据泄露、数据被篡改、数据被破坏等一系列的问题，数据一旦被泄露则会导致个人信息、企业信息暴露在公众面前。

11、综上所述，有必要对现有技术做进一步创新。

技术实现思路

1、针对上述背景技术中存在的技术问题，本发明提出了一种构思合理，能在海量数据中支持自定义重要数据并且支持对重要数据精准的识别，可以对不同类型的数据源进行适配，对不同数据源中的数据做不同的处理的基于大数据平台的透明加解密系统。

2、为解决上述技术问题，本发明提供的一种基于大数据平台的透明加解密系统，其包括数据识别模块、数据源适配模块、数据加解密模块、心跳检测模块和ha自动切换模块；所述数据识别模块用于对大数据平台中的重要数据进行识别；所述数据源适配模块用于大数据平台数据etl过程中针对各种数据源做一个兼容；所述加解密模块用于对大数据平台中的重要数据做加密操作和解密操作，是对重要数据具体执行的模块；所述心跳检测模块用于对所述透明加解密系统自身的一个心跳进行检测；所述ha自动切换模块用于保证所述透明加解密系统的高可用。

3、所述基于大数据平台的透明加解密系统，其中：所述数据识别模块可在大数据平台的海量数据中识别到需要进行加密操作的重要数据，使用者只需要在所述数据识别模块中进行重要数据所在的数据库位置和数据表位置配置即可。

4、所述基于大数据平台的透明加解密系统，其中：所述数据识别模块支持自定义重要数据的功能，用户可以针对有需要对数据进行加密解密需求的应用系统实际的业务需求自定义业务系统中被认定为重要的数据，当数据被定义为重要数据时，该数据则会被识别到。

5、所述基于大数据平台的透明加解密系统，其中：所述数据源适配模块兼容当前市面上常见的数据库，并可精准的对多种类型的数据库的数据进行各种操作。

6、所述基于大数据平台的透明加解密系统，其中：所述加解密模块能提供的密码算法，包括对称算法国密sm4、国际算法des和aes、非对称算法国密sm2、国际算法rsa以及数据散列算法国密sm3、国际算法md5和sha-1；且所述密码算法主要以国密算法为主。

7、所述基于大数据平台的透明加解密系统，其中：所述加解密模块提供的密码算法均是由硬件密码设备提供。

8、所述基于大数据平台的透明加解密系统，其中：所述心跳检测模块在启动初始化阶段便已经开始运行，每隔五秒钟所述心跳检测模块就会向所述透明加解密系统中其它的关联模块发送自己的心跳，以便让所述数据识别模块、所述ha自动切换模块、所述数据源适配模块和所述数据加解密模块知道可以实时的知道服务是否处于正常的状态，如果所述数据识别模块、所述ha自动切换模块、所述数据源适配模块和所述数据加解密模块在五秒钟之内没有接收到所述心跳检测模块发送的心跳则会作出模块异常处理操作。

9、所述基于大数据平台的透明加解密系统，其中：当所述透明加解密系统的服务状态异常，提供不了数据加密和解密操作的情况下，所述ha自动切换模块会自动进行ha的切换，但在部署时至少需要在两个服务器节点上部署所述透明加解密系统，并且两个服务器节点上的所述透明加解密系统之间需要互相配置各自的ip地址并且保证两个服务器之间的网络策略互通；当两个服务器节点上都部署了所述透明加解密系统，并且每个服务器节点上的所述透明加解密系统都分别配置了另外一个服务器节点上的所述透明加解密系统的ip地址和端口，即可进行ha自动切换，即使出现了各种异常情况，所述透明加解密系统也可提供正常的数据加密操作和数据解密操作。

10、采用上述技术方案，本发明具有如下有益效果：

11、本发明基于大数据平台的透明加解密系统构思合理，构思合理，能在海量数据中支持自定义重要数据并且支持对重要数据精准的识别，可以对不同类型的数据源进行适配，对不同数据源中的数据做不同的处理。

12、本发明可以有效的解决当前互联网环境下大数据平台技术的数据安全问题，可以有效的对大数据平台技术中数据etl过程对数据进行透明的加密和解密操作，让数据在最终存储的数据库中以密文的形式进行存储，从而最大力度的改善数据的安全性、可靠性、合规性，对海量数据进行保护。

13、本发明的数据加解密模块支持对数据的对称加密解密和非对称加密解密，可以对系统中的重要数据明文进行加密操作，使用具有国家商用密码产品认证证书的密码硬件设备中的特定密码算法，例如国密的sm4、sm2算法对数据进行加密，从而得到一串数据的密文并将加密的密文最终存储到数据库中。

14、当前互联网环境下大数据平台技术都是采用数据仓库、数据挖掘、报表开发等模式对海量的数据进行清洗、分析、建模等操作。为了追求性能，数据和数据之间的同步都是采用表对表的数据同步模式，中间通过cdm作业完成对数据的清洗操作等。在这种情况下，数据与数据同步之间很难通过一些外部的api、自定义函数等方式对数据进行其它的操作等。在上述的情况中，本发明在考虑到数仓技术、大数据平台当前已有的架构模式以及对数据的处理方式时，采用一种轻量级的中间插件方法来对数据进行处理，在数据清洗完成到最终存储的数据库的过程中，插入该中间件，改变数据原来的同步方向，在该中间件中完成对数据的加密操作。

15、本发明可以在大数据技术数据etl过程中就对数据进行加解密的处理等，有效的解决了现有方案需要等数据已经到ads层后才能进行处理的问题；其中，数据识别模块解决了现有方案中无法在海量数据中自定义重要数据以及无法对重要数据进行精准识别的问题；数据源适配模块可以有效的解决现有方案中在数据清洗过程中有多个数据源从而导致无法有效的针对每个不同的数据源的数据做不同处理的问题；数据加解密模块中的算法均是来源于硬件密码设备，更为安全可靠，可以有效的解决现有方案中数据加解密算法均为软实现，数据容易被暴力破解从而导致数据泄露的问题。

16、本发明的数据识别模块可以在大数据平台海量的数据环境中有效的识别到重要数据，并且不会对大数据平台原来的数据处理操作产生任何的影响，可以提高大数据技术中数据处理的扩展性，多样性。

17、本发明的数据加解密模块可以对大数据技术中的重要数据进行加密和解密的操作，并且本发明所实现的加解密技术及接口符合gb/t 39786-2021《信息安全技术信息系统密码应用基本要求》，本发明一方面可以有效的解决当前互联网环境的数据隐私性的问题，另一方面也可以提高大数据技术的数据安全性，有效的保护重要数据防止数据泄露。

18、本发明的数据源适配模块可以对大数据平台技术的数据处理过程中出现的不同类型的数据源进行有效的适配，针对不同数据源的数据、字段类型、存储方式、存储结构、授权方式等区别做到不同的处理，使得大数据平台技术在数据处理过程中无需担心因为数据源不同而单独去做处理，提高了大数据平台技术数据清洗过程的效率以及大数据平台技术整体的容错性。

19、本发明由于自身的存在方式为插件形式，在大数据平台技术数据etl过程中即可对数据进行加解密操作，不需要等数据已经完全清洗完成后才能对其进行操作，提高了大数据平台技术数据清洗的灵活性、有效性、及时性。