异库数据脱敏方法、装置、终端设备以及存储介质与流程

本申请涉及数据处理，尤其涉及一种异库数据脱敏方法、装置、终端设备以及存储介质。

背景技术：

1、随着信息安全的需求提升，业务系统会对业务数据进行加密或脱敏等提升数据安全的相关处理。

2、目前，数据脱敏是指对数据库中的某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。也即，在涉及客户安全数据或者一些商业性敏感数据且不违反系统规则的条件下，对真实数据进行改造并提供测试使用。

3、其中，异库数据脱敏是通过获取源数据库数据进行处理，将脱敏后的数据写入到不同源数据库类型的其它类型数据库中。如：将源数据库mysql的数据进行异库数据脱敏后存储到oracle的数据库中。但是，当源数据库类型和目标数据库类型不一致时，会使得异库数据脱敏失败。

技术实现思路

1、本申请的主要目的在于提供一种异库数据脱敏方法、装置、终端设备以及存储介质，旨在解决当源数据库类型与目标数据库不一致时，使得异库数据脱敏失败的技术问题，提高异库数据脱敏的灵活性。

2、为实现上述目的，本申请提供一种异库数据脱敏方法，所述异库数据脱敏方法包括：

3、确定源数据库、所述源数据库中的待脱敏数据表及目标数据库；

4、基于所述源数据库及所述目标数据库，匹配对应的映射关系；

5、根据所述映射关系，在所述目标数据库中，创建所述待脱敏数据表对应的目标数据表；

6、对所述待脱敏数据表中的数据进行脱敏，生成目标数据，并存储于所述目标数据表中。

7、可选地，所述基于所述源数据库及所述目标数据库，匹配对应的映射关系的步骤之前，还包括：

8、在预设配置表中，配置所述源数据库及所述目标数据库；

9、获取所述源数据库的源表字段、所述目标数据库的目标表字段；

10、基于预设映射函数，对所述源表字段及所述目标表字段进行映射，生成所述映射关系。

11、可选地，所述基于预设映射函数，对所述源表字段及所述目标表字段进行映射，生成所述映射关系的步骤包括：

12、在接收用户输入的若干配置参数时，将所述映射函数中的初始参数替换为所述配置参数；

13、通过所述映射函数，对所述源表字段和所述目标表字段进行映射，得到所述映射关系。

14、可选地，所述映射函数包括直接映射形式、函数判断映射形式、映射时间格式、函数体形式中的至少一种。

15、可选地，所述基于所述源数据库及所述目标数据库，匹配对应的映射关系的步骤包括：

16、基于预设非监督统计学习方法，分别分析所述源数据库和所述目标数据库的表结构、字段名称、字段描述、值模式中的至少一种，得到第一特征、第二特征；

17、对所述第一特征和所述第二特征之间的语义距离进行计算，得到学习结果；

18、根据所述学习结果进行匹配，确定所述映射关系。

19、可选地，所述目标数据库包括校验字段，所述对所述待脱敏数据表中的数据进行脱敏，生成目标数据，并存储于所述目标数据表中的步骤包括：

20、对所述脱敏数据表中的数据进行散列，得到散列结果，并将所述散列结果写入所述校验字段中；

21、对所述待脱敏数据表中的数据进行脱敏，生成所述目标数据；

22、基于预设映射规则比对所述目标数据与所述散列结果；

23、在所述目标数据与所述散列结果比对一致时，将所述目标数据存储于所述目标数据表中。

24、可选地，所述异库数据脱敏方法还包括：

25、在检测到所述目标数据库和/或所述源数据库变更时，获取对应的变更结果，并根据所述变更结果，更新所述映射关系；

26、可选地，所述在检测到所述目标数据库和/或所述源数据库变更时，获取变更结果的步骤包括：

27、通过预设回调触发器，从所述目标数据库和/或所述源数据库中获取对应的更新日志，并根据所述更新日志进行定位，得到所述变更结果；

28、或采用预设定时器，从所述目标数据库和/或所述源数据库中抓取对应的表结构和表关系，并比对所述表结构和表关系与所述映射关系，得到所述变更结果。

29、本申请实施例还提出一种异库数据脱敏装置，所述异库数据脱敏装置包括：

30、确定模块，用于确定源数据库、所述源数据库中的待脱敏数据表及目标数据库；

31、查找模块，用于基于所述源数据库及所述目标数据库，匹配对应的映射关系；

32、创建模块，用于根据所述映射关系，在所述目标数据库中，创建所述待脱敏数据表对应的目标数据表；

33、生成模块，用于对所述待脱敏数据表中的数据进行脱敏，生成目标数据，并存储于所述目标数据表中。

34、本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的异库数据脱敏程序，所述异库数据脱敏程序被所述处理器执行时实现如上所述的异库数据脱敏方法的步骤。

35、本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有异库数据脱敏程序，所述异库数据脱敏程序被处理器执行时实现如上所述的异库数据脱敏方法的步骤。

36、本申请实施例提出的异库数据脱敏方法、装置、终端设备以及存储介质，通过确定源数据库、所述源数据库中的待脱敏数据表及目标数据库；基于所述源数据库及所述目标数据库，匹配对应的映射关系；根据所述映射关系，在所述目标数据库中，创建所述待脱敏数据表对应的目标数据表；对所述待脱敏数据表中的数据进行脱敏，生成目标数据，并存储于所述目标数据表中。通过对源数据库及目标数据库进行配置管理，也即，结合源数据库与目标数据库之间的映射关系，进而在目标数据库中，生成与源数据库的待脱敏数据表对应的目标数据表，可以解决当源数据库类型与目标数据库不一致时，使得异库数据脱敏失败的技术问题，提高异库数据脱敏的灵活性，进而实现对异库数据脱敏的不同要求。

技术特征：

1.一种异库数据脱敏方法，其特征在于，所述异库数据脱敏方法包括以下步骤：

2.如权利要求1所述的异库数据脱敏方法，其特征在于，所述基于所述源数据库及所述目标数据库，匹配对应的映射关系的步骤之前，还包括：

3.如权利要求2所述的异库数据脱敏方法，其特征在于，所述基于预设映射函数，对所述源表字段及所述目标表字段进行映射，生成所述映射关系的步骤包括：

4.如权利要求2所述的异库数据脱敏方法，其特征在于，所述映射函数包括直接映射形式、函数判断映射形式、映射时间格式、函数体形式中的至少一种。

5.如权利要求1所述的异库数据脱敏方法，其特征在于，所述基于所述源数据库及所述目标数据库，匹配对应的映射关系的步骤包括：

6.如权利要求1所述的异库数据脱敏方法，其特征在于，所述目标数据库包括校验字段，所述对所述待脱敏数据表中的数据进行脱敏，生成目标数据，并存储于所述目标数据表中的步骤包括：

7.如权利要求1所述的异库数据脱敏方法，其特征在于，所述异库数据脱敏方法还包括：

8.一种异库数据脱敏装置，其特征在于，所述异库数据脱敏装置包括：

9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的异库数据脱敏程序，所述异库数据脱敏程序被所述处理器执行时实现如权利要求1-7中任一项所述的异库数据脱敏方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有异库数据脱敏程序，所述异库数据脱敏程序被处理器执行时实现如权利要求1-7中任一项所述的异库数据脱敏方法的步骤。

技术总结
本申请公开了一种异库数据脱敏方法、装置、终端设备以及存储介质，其异库数据脱敏方法包括：确定源数据库、源数据库中的待脱敏数据表及目标数据库；基于源数据库及目标数据库，查找对应的映射关系；根据映射关系，在目标数据库中，创建待脱敏数据表对应的目标数据表；对待脱敏数据表中的数据进行脱敏，生成目标数据，并存储于目标数据表中。通过结合源数据库与目标数据库之间的映射关系，进而在目标数据库中，生成与源数据库的待脱敏数据表对应的目标数据表，可以解决当源数据库类型与目标数据库不一致时，使得异库数据脱敏失败的技术问题，提高异库数据脱敏的灵活性，进而实现对异库数据脱敏的不同要求。

技术研发人员：刘永波,李昌文,叶锦雄
受保护的技术使用者：深圳昂楷科技有限公司
技术研发日：
技术公布日：2024/4/17