一种支持动态脱敏和多数据源混合查询的方法和平台与流程

1.本发明涉及数据服务技术领域，尤其涉及一种支持动态脱敏和多数据源混合查询的方法和平台。


背景技术：

2.随着数字城市不断发展建设，如何继承数据治理成果，实现“一次治理，多次复用”，如何实现数据资产快速服务化，建设安全可靠的数据开放体系，成为数字城市发展建设过程中的重要内容。在实际应用中，现有的数据服务产品存在以下缺点：1)不支持动态脱敏，或者使用的脱敏算法单一，缺乏扩展性，不能根据不同的字段属性去选择脱敏规则；2)支持的数据源种类少，大多数仅支持关系型数据库，并且不支持跨数据源的混合查询。
3.因此，如何在实现数据服务产品动态脱敏的基础上提高提高脱敏算法的可扩展性，并且实现跨数据源的混合查询，是亟待解决的问题。


技术实现要素：

4.有鉴于此，为了解决现有数据服务平台支持的脱敏算法单一，支持的脱敏算法可扩展性差，并且很多数据服务平台只支持基于单库多表发布数据服务，不支持跨数据源的混合查询模式等不足，本发明提供一种支持动态脱敏和多数据源混合查询的方法和平台。
5.一方面，本发明提供一种支持动态脱敏和多数据源混合查询的方法，包括：
6.步骤s1：创建脱敏算法，将创建的脱敏算法注册到脱敏算法服务器进行发布；
7.步骤s2：创建数据服务接口，为接口请求参数和接口返回参数绑定脱敏算法，得到接口参数配置列表，发布数据服务接口；
8.步骤s3：调用数据服务接口，根据接口参数配置列表，对接口请求参数进行参数脱敏，得到脱敏后的接口请求参数；
9.步骤s4：根据脱敏后的接口请求参数进行多数据源混合查询，得到查询结果；
10.步骤s5：查询结束后，对接口返回参数进行脱敏处理。
11.进一步地，本发明方法的步骤s2，包括：
12.步骤s21：配置数据服务接口基础信息；
13.步骤s22：选择一个或者多个数据库作为查询的目标数据库；
14.步骤s23：编写并解析sql语句，得到接口请求参数和接口返回参数列表；
15.步骤s24：为接口请求参数和接口返回参数分别绑定不同的脱敏算法，得到接口参数配置列表；
16.步骤s25：发布数据服务接口。
17.进一步地，本发明方法的步骤s21中，数据服务接口基础信息包括：接口名称、接口地址和接口请求方式。
18.进一步地，本发明方法的步骤s3，包括：
19.步骤s31：接收接口请求，获取接口请求参数列表；
20.步骤s32：读取接口参数配置列表，得到接口请求参数的脱敏配置信息；
21.步骤s33：将接口请求参数列表和接口请求参数的脱敏配置信息发送到脱敏算法服务器；
22.步骤s34：脱敏算法服务器执行相应的脱敏算法，得到脱敏后的请求参数，回传给执行器。
23.进一步地，本发明方法的步骤s4，包括：
24.步骤s41：读取接口参数配置列表，得到数据源连接信息；
25.步骤s42：根据sql中参数标记的顺序，将脱敏后的接口请求参数按顺序排列；
26.步骤s43：采用？替换sql中的参数标记，得到预处理的sql语句；
27.步骤s44：采用prestodb计算引擎对数据源连接信息、接口请求参数列表以及预处理的sql语句进行处理，得到查询结果。
28.进一步地，本发明方法的步骤s5，包括：根据数据服务接口参数配置列表，对接口返回参数进行参数脱敏，得到脱敏后的接口返回参数。
29.进一步地，本发明方法的步骤s5，包括：
30.步骤s51：读取接口参数配置列表，得到接口返回参数的脱敏配置信息；
31.步骤s52：将prestodb的查询结果和接口返回参数的脱敏配置信息发送到脱敏算法服务器；
32.步骤s53：脱敏算法服务器执行相应的脱敏算法，得到脱敏后的返回参数，回传给执行器；
33.步骤s54：执行器得到脱敏后的返回参数，经过包装后返回给调用方。
34.另一方面，本发明提供一种支持动态脱敏和多数据源混合查询的平台，包括：
35.脱敏算法创建发布模块，用于创建脱敏算法，将创建的脱敏算法注册到脱敏算法服务器进行发布；
36.数据服务接口创建发布模块，用于创建数据服务接口，为接口请求参数和接口返回参数绑定脱敏算法，得到接口参数配置列表，发布数据服务接口；
37.查询模块，用于调用数据服务接口，根据接口参数配置列表，对接口请求参数进行参数脱敏，得到脱敏后的接口请求参数；根据脱敏后的接口请求参数进行多数据源混合查询，得到查询结果；
38.接口返回参数脱敏模块，用于根据数据服务接口参数配置列表，对接口返回参数进行参数脱敏，得到脱敏后的接口返回参数。
39.最后，本发明还提供一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现所述方法的步骤。
40.本发明支持动态脱敏和多数据源混合查询的方法和平台，通过在服务创建时对请求参数和返回参数动态的绑定脱敏算法，结合使用prestodb计算引擎，实现跨数据源的混合查询；数据服务接口可以对任意请求参数和返回参数绑定任意的脱敏算法，且脱敏算法可以随时扩展和更新；支持跨数据源的查询服务接口创建，提升了数据服务平台的能力范围。
附图说明
41.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
42.图1为本发明示例性第一实施例支持动态脱敏和多数据源混合查询的方法的流程图。
43.图2为本发明示例性第二实施例支持动态脱敏和多数据源混合查询的方法的流程图。
44.图3为本发明示例性第三实施例支持动态脱敏和多数据源混合查询的方法的流程图。
45.图4为本发明示例性第四实施例支持动态脱敏和多数据源混合查询的方法的流程图。
46.图5为本发明示例性第五实施例支持动态脱敏和多数据源混合查询的方法的流程图。
47.图6为本发明示例性第六实施例支持动态脱敏和多数据源混合查询的平台的框架图。
具体实施方式
48.下面结合附图对本发明实施例进行详细描述。
49.需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合；并且，基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
50.需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
51.图1为根据本发明示例性第一实施例的一种支持动态脱敏和多数据源混合查询的方法的流程图，如图1所示，本实施例所述方法，包括：
52.步骤s1：创建脱敏算法，将创建的脱敏算法注册到脱敏算法服务器进行发布；
53.步骤s2：创建数据服务接口，为接口请求参数和接口返回参数绑定脱敏算法，得到接口参数配置列表，发布数据服务接口；
54.步骤s3：调用数据服务接口，根据接口参数配置列表，对接口请求参数进行参数脱敏，得到脱敏后的接口请求参数；
55.步骤s4：根据脱敏后的接口请求参数进行多数据源混合查询，得到查询结果；
56.步骤s5：查询结束后，对接口返回参数进行脱敏处理。
57.图2为根据本发明示例性第二实施例的一种支持动态脱敏和多数据源混合查询的
方法的流程图，本实施例是图1所示方法的优选实施例，本实施例所述方法的步骤s2，包括：
58.步骤s21：配置数据服务接口基础信息；
59.步骤s22：选择一个或者多个数据库作为查询的目标数据库；
60.步骤s23：编写并解析sql语句，得到接口请求参数和接口返回参数列表；
61.步骤s24：为接口请求参数和接口返回参数分别绑定不同的脱敏算法，得到接口参数配置列表；
62.步骤s25：发布数据服务接口。
63.本实施例方法的步骤s21中，数据服务接口基础信息包括：接口名称、接口地址和接口请求方式。
64.图3为根据本发明示例性第三实施例的一种支持动态脱敏和多数据源混合查询的方法的流程图，本实施例是图1所示方法的优选实施例，本实施例所述方法的步骤s3，包括：
65.步骤s31：接收接口请求，获取接口请求参数列表；
66.步骤s32：读取接口参数配置列表，得到接口请求参数的脱敏配置信息；
67.步骤s33：将接口请求参数列表和接口请求参数的脱敏配置信息发送到脱敏算法服务器；
68.步骤s34：脱敏算法服务器执行相应的脱敏算法，得到脱敏后的请求参数，回传给执行器。
69.图4为根据本发明示例性第四实施例的一种支持动态脱敏和多数据源混合查询的方法的流程图，本实施例是图1所示方法的优选实施例，本实施例所述方法的步骤s4，包括：
70.步骤s41：读取接口参数配置列表，得到数据源连接信息；
71.步骤s42：根据sql中参数标记的顺序，将脱敏后的接口请求参数按顺序排列；
72.步骤s43：采用？替换sql中的参数标记，得到预处理的sql语句；
73.步骤s44：采用prestodb计算引擎对数据源连接信息、接口请求参数列表以及预处理的sql语句进行处理，得到查询结果。
74.本发明示例性第五实施例提供一种支持动态脱敏和多数据源混合查询的方法，本实施例是图1所示方法的优选实施例，本实施例方法的步骤s5，包括：根据数据服务接口参数配置列表，对接口返回参数进行参数脱敏，得到脱敏后的接口返回参数。
75.本实施例提供的一种支持动态脱敏和多数据源混合查询的方法的步骤s5按图5所示执行，具体的，如图5所示，本实施例方法的步骤s5，包括：
76.步骤s51：读取接口参数配置列表，得到接口返回参数的脱敏配置信息；
77.步骤s52：将prestodb的查询结果和接口返回参数的脱敏配置信息发送到脱敏算法服务器；
78.步骤s53：脱敏算法服务器执行相应的脱敏算法，得到脱敏后的返回参数，回传给执行器；
79.步骤s54：执行器得到脱敏后的返回参数，经过包装后返回给调用方。
80.图6为根据本发明示例性第六实施例的一种支持动态脱敏和多数据源混合查询的平台的架构图，如图6所示，本实施例的平台包括：
81.脱敏算法创建发布模块，用于创建脱敏算法，将创建的脱敏算法注册到脱敏算法服务器进行发布；
82.数据服务接口创建发布模块，用于创建数据服务接口，为接口请求参数和接口返回参数绑定脱敏算法，得到接口参数配置列表，发布数据服务接口；
83.查询模块，用于调用数据服务接口，根据接口参数配置列表，对接口请求参数进行参数脱敏，得到脱敏后的接口请求参数；根据脱敏后的接口请求参数进行多数据源混合查询，得到查询结果；
84.接口返回参数脱敏模块，用于根据数据服务接口参数配置列表，对接口返回参数进行参数脱敏，得到脱敏后的接口返回参数。
85.本发明还提供一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现所述方法的步骤。
86.该终端设备具有上述支持动态脱敏和多数据源混合查询的方法和平台相应的技术效果。
87.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。