元数据安全管控的方法、装置及系统与流程

本申请涉及大数据处理，具体地涉及一种元数据安全管控的方法、装置及系统。

背景技术：

1、随着以大数据、云计算、物联网、区块链、人工智能、5g通信等新兴技术引领的数字经济的不断发展，与人，机，料，法环等相关的数据正指数级的形式不断递增，并集中存储在以数仓或者数据湖为代表的大数据存储系统中，新技术的发展促进了人与物的连接，以及人和物相关数据的不断集成，通过大数据或者ai技术将这些数据进行系统，多维的分析，可以获取到人和物海量多维度的信息(元数据+数据)，这些信息涉及到方方面面；因此数据安全或者信息安全已经逐步成为各行各业特别重视的问题，这些集中存储的大量数据或信息如果泄露或者不当使用，会给国家安全，企业信息安全甚至个人财产人身安全造成无可估量的损失，为了解决数据安全，业界也提出了一系列的方法和措施。

2、现有的数据安全管理方式主要包括：1)自建一些数据安全审批和审计系统，通过这些it系统来控制生产环境数据的所有权，使用权和其他操作权限。这种方法的主要问题是这些it系统与生产大数据系统深度耦合，与数据深度绑定，一旦这些数据安全管理系统自身宕机或者被攻击，将失去对数据安全保驾护航能力；2)通过隐私计算的方式来对计算过程进程加密，计算结果通过解密得到真实的结果数据，数据加工过程无法了解。这种方法存在的问题是数据管控过程复杂，对it能力有很高的的要求，很多中小企业不具备相应的技术能力；3)关闭除了管理员以外其他所有人员的数据访问权限，仅通过管理员来进行数据的使用授权，数据的脱敏导出等操作。这种管理方式和方法存在灵活性和数据使用效率较低的问题，如果为了数据安全而影响数据的正常使用，将严重降低数据的价值。

技术实现思路

1、本申请实施例的目的是提供一种元数据安全管控的方法、装置及系统，用以解决现有技术中对于数据的安全管理方式较为复杂，且成本较高、效率较低的问题。

2、为了实现上述目的，本申请第一方面提供一种元数据安全管控的方法，应用于元数据安全管控的装置，元数据安全管控的装置分别与第一服务器和第二服务器通信，第一服务器包括第一元数据管理子系统，该方法包括：

3、在第二服务器上安装第二元数据管理子系统；

4、建立计算引擎与第二元数据管理子系统的连接关系；

5、通过计算引擎将第一元数据管理子系统的元数据同步至第二元数据管理子系统以形成元数据沙箱；

6、基于元数据沙箱对第二元数据管理子系统的元数据进行管控。

7、在本申请实施例中，在第二服务器上安装第二元数据管理子系统包括：

8、获取mysql、hive和hadoop的安装包；

9、基于mysql的安装包在第二元数据管理子系统上安装mysql并启动mysql-server的服务；

10、在mysql中创建数据库并为数据库配置用户名密码；

11、分别解压hive和hadoop的安装包；

12、在hive的conf目录下配置数据库、数据库的用户名密码以及hadoop文件目录以完成第二元数据管理子系统的安装。

13、在本申请实施例中，在第二服务器上安装第二元数据管理子系统还包括：

14、启动第二元数据管理子系统的hive-metastore service；

15、查看hive-metastore service的启动日志；

16、在存在启动日志未报错的情况下，确定第二元数据管理子系统安装完成。

17、在本申请实施例中，建立计算引擎与第二元数据管理子系统的连接关系包括：

18、在计算引擎的安装路径下的conf目录放置第二元数据管理子系统服务的配置文件hive-site.xml；

19、根据配置文件，通过计算引擎读取第二元数据管理子系统的服务地址；

20、根据服务地址，通过计算引擎读取相应的元数据。

21、在本申请实施例中，元数据安全管控装置还与人工终端通信，通过计算引擎将第一元数据管理子系统的元数据同步至第二元数据管理子系统以形成元数据沙箱包括：

22、通过计算引擎建立第一元数据管理子系统与第二元数据管理子系统的jdbc连接通道；

23、通过jdbc连接通道和人工终端将需要访问的生产数据对应的hive库或建表语句，在第二元数据管理子系统上重新创建以将第一元数据管理子系统的元数据同步至第二元数据管理子系统。

24、在本申请实施例中，第二服务器还包括ranger，所述基于元数据沙箱对第二元数据管理子系统的元数据进行管控包括：

25、通过ranger对第二元数据管理子系统的元数据进行行级和列级权限的控制。

26、在本申请实施例中，通过ranger对第二元数据管理子系统的元数据进行行级和列级权限的控制包括：

27、获取hive-ranger-plugin的安装包并解压；

28、修改解压目录中的install.properties配置文件，配置ranger-admin的地址和安全审计日志存储库；

29、执行解压目录中的shell脚本以使hive-plugin生效并重启第二元数据管理子系统的hive-metastore service；

30、通过ranger-admin web界面对元数据的库表进行权限设置。

31、本申请第二方面提供一种元数据安全管控的装置，包括：

32、存储器，被配置成存储指令；以及

33、处理器，被配置成从所述存储器调用所述指令以及在执行所述指令时能够实现根据上述的元数据安全管控的方法。

34、本申请第三方面提供一种元数据安全管控的系统，包括：

35、第一服务器；

36、第二服务器；以及

37、根据上述的元数据安全管控装置，元数据安全管控装置分别与第一服务器和第二服务器通信。

38、本申请第四方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行根据上述的元数据安全管控的方法。

39、通过上述技术方案，首先在第二服务器上安装第二元数据管理子系统，建立计算引擎与第二元数据管理子系统的连接关系，然后通过计算引擎将第一元数据管理子系统的元数据同步至第二元数据管理子系统以形成元数据沙箱，最后基于元数据沙箱对第二元数据管理子系统的元数据进行管控，实现了生产环境大数据的安全访问和高效利用，使生产环境的数据安全得到了有效的加强，在有效保障数据安全的同时提高了数据操作效率并降低了管理成本。

40、本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

技术特征：

1.一种元数据安全管控的方法，其特征在于，应用于元数据安全管控的装置，所述元数据安全管控的装置分别与第一服务器和第二服务器通信，所述第一服务器包括第一元数据管理子系统，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述在所述第二服务器上安装第二元数据管理子系统包括：

3.根据权利要求1所述的方法，其特征在于，所述在所述第二服务器上安装第二元数据管理子系统还包括：

4.根据权利要求1所述的方法，其特征在于，所述建立计算引擎与所述第二元数据管理子系统的连接关系包括：

5.根据权利要求1所述的方法，其特征在于，所述元数据安全管控装置还与人工终端通信，所述通过所述计算引擎将所述第一元数据管理子系统的元数据同步至所述第二元数据管理子系统以形成元数据沙箱包括：

6.根据权利要求1所述的方法，其特征在于，所述第二服务器还包括ranger，所述基于所述元数据沙箱对所述第二元数据管理子系统的元数据进行管控包括：

7.根据权利要求6所述的方法，其特征在于，所述通过所述ranger对所述第二元数据管理子系统的元数据进行行级和列级权限的控制包括：

8.一种元数据安全管控的装置，其特征在于，包括：

9.一种元数据安全管控的系统，其特征在于，包括：

10.一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令用于使得机器执行根据权利要求1至7中任一项所述的元数据安全管控的方法。

技术总结
本申请公开了一种元数据安全管控的方法、装置及系统。该方法包括：在第二服务器上安装第二元数据管理子系统；建立计算引擎与第二元数据管理子系统的连接关系；通过计算引擎将第一元数据管理子系统的元数据同步至第二元数据管理子系统以形成元数据沙箱；基于元数据沙箱对第二元数据管理子系统的元数据进行管控。本申请能实现生产环境大数据的安全访问和高效利用，使生产环境的数据安全得到了有效的加强，在有效保障数据安全的同时提高了数据操作效率并降低了管理成本。

技术研发人员：杨辉,路培杰,刘文虎,周志忠,邹晨阳
受保护的技术使用者：中科云谷科技有限公司
技术研发日：
技术公布日：2024/1/15