数据处理方法、装置、电子设备及存储介质与流程

1.本技术涉及数据库测试技术领域，特别涉及一种数据处理方法、装置、电子设备及存储介质。


背景技术：

2.数据服务接口会提供数据分享的功能，用户可以通过类似gateway的中枢组件去获得数据信息，业界的数据服务接口，一般先基于数据源，形成数据资产编目，然后通过编目生成api接口，供用户进行远程调用。
3.现有技术中的数据服务接口相比较专业的api管理平台，能够实现简单的数据分享、调用和认证功能。然而，在实际使用中，用户反馈需要数据服务接口能够提供更加丰富的功能，现有技术中的数据服务接口功能较为单一，影响用户使用。


技术实现要素：

4.有鉴于此，本技术实施例提供了一种数据服务接口装置、方法、电子设备及存储介质，能够提供生成日志的功能。
5.根据本技术实施例的第一方面，提供了一种数据处理方法，包括：接收用户通过用户管理界面输入的接口配置信息；基于所述接口配置信息进行配置，建立数据服务接口；通过所述数据服务接口与外部的数据源进行数据访问，并生成用于记录至少部分数据访问过程的访问日志。
6.在一种可能的实现方法中，所述方法还包括：对预置的kong组件进行配置，以使所述数据服务接口适配于所述kong组件；所述通过所述数据服务接口与外部的数据源进行数据访问，包括：利用配置后的所述kong组件通过所述数据服务接口与外部的数据源进行数据访问。
7.在一种可能的实现方法中，所述接口配置信息包括：接口名称、接口连接信息、接口字段、接口过滤条件、批量个数、认证方式中的至少之一。
8.在一种可能的实现方法中，所述基于所述接口配置信息进行配置，建立数据服务接口，包括：对所述用户的接口配置权限进行验证，若所述用户具有所述接口配置权限，则基于所述接口配置权限以及所述接口配置信息进行配置，建立数据服务接口。
9.在一种可能的实现方法中，所述基于所述接口配置信息进行配置，建立数据服务接口，包括：对所述用户的接口配置权限进行验证，若所述用户具有所述接口配置权限，则基于所述接口配置权限以及所述接口配置信息进行配置，建立数据服务接口。
10.在一种可能的实现方法中，所述方法还包括对所述访问日志中的至少部分数据的数据存储形态进行解耦处理，以使所述至少部分数据兼容多种数据库存储类型。
11.在一种可能的实现方法中，所述方法还包括：对预定时间段内生成的所述访问日志进行收集，根据收集到的至少一个所述访问日志生成日志统计报表。
12.根据本技术实施例的第二方面，提供了一种数据处理装置，包括：接收单元，用于
接收外部输入的接口配置信息；建立单元，用于基于所述接口配置信息进行配置，建立数据服务接口；访问单元，用于通过所述数据服务接口与外部的数据源进行数据访问，并生成用于记录至少部分数据访问过程的访问日志。
13.根据本技术实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述的方法对应的操作。
14.根据本技术实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的方法。
15.根据本技术实施例的第五方面，提供了一种计算机程序产品，所述计算机程序产品被有形地存储在计算机可读介质上并且包括计算机可执行指令，所述计算机可执行指令在被执行时使至少一个处理器执行如第一方面所述方法。
16.基于上述方案提供的数据处理方法，首先通过接收用户通过用户管理界面输入的接口配置信息，基于接收到的接口配置信息进行配置，建立数据服务接口，通过数据服务接口与外部的数据源进行数据访问，并生成用于记录至少部分数据访问过程的访问日志。由于本方案是根据用户通过用户管理界面输入的接口配置信息建立数据服务接口，建立的数据服务接口根据接口配置信息的不同而不同，因此用户可以按照需要对数据服务接口的功能进行配置，从而提高该数据服务接口的适用性，以满足用户的需求，并且在通过数据服务接口与外部的数据源进行数据访问时，可以生成用于记录至少部分数据访问过程的访问日志，方便用户对通过数据服务接口进行数据访问的数据和访问记录进行管理和查询，也便于进行分析汇总，有利于为业务部门提供运营支撑。
附图说明
17.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
18.图1为本技术一个实施例提供的一种数据处理方法的流程图；
19.图2为本技术一个实施例提供的又一种数据处理方法的流程图；
20.图3为本技术一个实施例提供的再一种数据处理方法的流程图；
21.图4为本技术一个实施例提供的一种数据处理装置的示意图；
22.图5为本技术一个实施例提供的电子设备的结构示意图。
具体实施方式
23.为了使本领域的人员更好地理解本技术实施例中的技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术实施例一部分实施例，而不是全部的实施例。基于本技术实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本技术实施例保护的范围。
24.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。
在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
25.应当理解，尽管在本技术可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
26.数据处理方法
27.图1是本技术实施例提供的一种数据处理方法的流程图。如图1所示，该数据处理方法包括步骤101至步骤103：
28.步骤101、接收用户通过用户管理界面输入的接口配置信息。
29.用户可以通过数据治理平台中的用户管理界面对平台及其功能进行管理，数据处理平台可以是用于对数据资产进行管理和维护的平台，例如，可以通过用户管理界面可以对接口申请、审批、创建、管理展示和日志统计等多个功能进行管理。
30.用户在用户管理界面输入接口配置信息后，获取接口配置信息建立数据服务接口。
31.步骤102、基于接口配置信息进行配置，建立数据服务接口。
32.数据服务接口可以用于提供数据分享的功能(例如数据访问、数据获取等)。
33.用户通过用户管理界面输入接口配置信息后，通过不同的接口配置信息可以建立不同的数据服务接口，以完成用户对不同接口的需求，比如，接口配置信息为信息1时，生成数据服务接口a；接口配置信息为信息2时，生成数据服务接口b；利用数据服务接口a和b时所能达到的功能未必相同，例如，可以是通过数据服务接口a访问数据源(例如数据库)能够获得满足文件1，而通过数据服务接口a访问数据源(例如数据库)能够获得与文件1不同的文件2。
34.由于根据用户通过用户管理界面输入的接口配置信息建立数据服务接口，建立的数据服务接口根据接口配置信息的不同而不同，因此用户可以按照需要对数据服务接口的功能进行配置，从而提高该数据服务接口的适用性，以满足用户的需求。
35.步骤103、通过数据服务接口与外部的数据源进行数据访问，并生成用于记录至少部分数据访问过程的访问日志。
36.数据服务接口与外部的数据源进行数据访问，基于数据源形成数据资产编目，通过数据资产编目生成api接口，供用户进行远程调用。而数据服务接口访问的外部数据源及数据将受限于接口配置信息的配置，从而保障用户数据安全。
37.当数据服务接口与外部的数据源进行数据访问时，每一次数据访问过程的访问数据都会被记录下来，基于每次访问数据的全部或部分生成访问日志，以供用户进行管理和查阅。
38.数据治理平台面向多重异构数据源，数据源可以包括mysql、postgres、hbase、gbase等数据库，其预先存储有数据。各个数据源可以形成数据资产。
39.在本技术实施例中，在通过数据服务接口与外部的数据源进行数据访问时，可以
生成用于记录至少部分数据访问过程的访问日志，方便用户对通过数据服务接口进行数据访问的数据和访问记录进行管理和查询，也便于进行分析汇总，有利于为业务部门提供运营支撑。
40.在一种可能的实现方式中，该数据处理方法还包括：对预置的kong组件进行配置，以使数据服务接口适配于kong组件；通过数据服务接口与外部的数据源进行数据访问，包括：利用配置后的kong组件通过数据服务接口与外部的数据源进行数据访问。
41.kong组件是基于openresty(nginx+lua模块)编写的高可用、易扩展的、由mashape公司开源的api gateway项目，其基于nginx和apache cassandra或postgresql构建，能提供易于使用的restful api来操作和配置api管理系统，所以它可以水平扩展多个kong服务器，通过前置的负载均衡配置把请求均匀地分发到各个kong服务器(server)，来应对大批量的网络请求。
42.本技术通过kong组件进行配置，并利用配置后的kong组件通过数据服务接口与外部的数据源进行数据访问，以更便于满足数据访问的需求。
43.本技术中，利用配置后的kong组件通过数据服务接口与外部的数据源进行数据访问，例如可以是通过预置的kong组件进行配置时，于kong组件建立一个可以适配于数据服务接口的kong组件接口，可以利用配置后的kong组件接口调用数据服务接口，以与外部的数据源进行数据访问。
44.可选地，kong组件可以用在数据服务接口的前端，为用户所访问。
45.用户访问的数据将受限于接口配置信息，例如需要配置的参数包括数据源连接信息、过滤信息、批量信息等。数据源连接信息具体包括数据表、数据列、数据行、访问频率、源ip，结合用户管理界面所在的数据治理平台的数据安全、数据脱敏等组件，可以最大限度保障用户数据安全。另外，根据这些接口配置信息创建访问数据源的数据服务接口，为数据治理平台的数据服务，提供了列级、行级及可控条件的细粒度管控，从而保障用户可以根据需求精准的访问数据源。
46.配置后的kong组件与数据服务接口适配，以建立数据服务接口，使得数据服务接口与外部的数据源进行数据访问。
47.具体地，对预置的kong组件进行配置，可以是对kong组件进行route配置、service配置、consumer配置和插件配置中的至少之一，以使所述数据服务接口适配于所述kong组件。
48.在本技术实施例中，通过对设置的kong组件进行配置，以使数据服务接口适配于kong组件，数据服务接口与外部的数据源进行数据访问，由此保证了通过对kong组件进行配置以限制用户访问到的数据，从而保证了用户数据安全。
49.在一种可能的实现方式中，接口配置信息包括：接口名称、接口连接信息、接口字段、接口过滤条件、批量个数、认证方式中的至少之一。
50.用户基于数据源的信息，通过用户管理界面中的接口申请窗口，输入接口名称、接口连接信息、接口字段、接口过滤条件、批量个数和认证方式中的至少之一，创建kong组件接口和数据服务接口，并通过填写认证密钥和接口信息完成接口的创建，具体地，接口信息可以包括相应接口地址、接口参数(比如本次访问数据源要取多少数据等)等。
51.由于不同的用户需要的数据字段是不同的，所以服务提供方需要针对不同的用户
的不同需求，创建的接口也有所不同，比如，接口名称包括kong组件接口和数据服务接口。
52.根据用户的需求，在用户管理界面输入的信息的个数不同。其中，接口字段是指数据服务接口访问的数据源的行。接口过滤条件是指数据服务接口访问的数据源的列。批量个数是指数据服务接口访问的数据信息种类个数，比如，在数据源中包括5个数据信息种类，而用户通过用户管理界面输入的是需要3个批量个数，以通过kong组件接口和数据服务接口访问这3个数据信息种类。认证方式是指申请数据服务接口的认证是通过何种方式进行申请，比如认证方式可以是通过基础认证、jwt、oauth2等方式进行认证。
53.在本技术实施例中，用户通过用户管理界面输入接口配置信息包括的接口名称、接口连接信息、接口字段、接口过滤信息、批量个数和认证方式中的至少之一，进而根据这些接口配置信息创建访问数据源的数据服务接口，为数据治理平台的数据服务，提供了列级、行级及可控条件的细粒度管控，从而保障用户可以根据需求精准的访问数据源。
54.在一种可能的实现方式中，基于接口配置信息进行配置，建立数据服务接口，包括：对用户的接口配置权限进行验证，若用户具有接口配置权限，则基于接口配置权限以及接口配置信息进行配置，建立数据服务接口。
55.当用户在用户管理界面中的接口申请窗口输入接口配置信息后，接着对输入的接口配置信息进行验证，验证方法可以是通过用户名密码验证或者通过相应的验证算法进行验证。当验证通过后，说明该用户具有接口配置权限，接着需要对用户的接口配置权限进行审批(例如是由数据资产的所有者和管理员进行审批)，根据接口配置权限以及接口配置信息进行配置后，建立数据服务接口或kong组件接口。
56.在本技术实施例中，用户管理界面需要基于用户的接口配置信息对接口配置权限进行验证，只有当用户具有接口配置权限时，相应的管理员或数据资产的所有者基于权限进行审批后，才能够基于输入的接口配置信息建立数据服务接口，从而防止没有接口配置权限的人员配置数据服务接口，以保证数据服务接口的安全性，同时保证通过数据服务接口对外部的数据源进行数据访问的安全性，此外也保证后续用户通过数据服务接口能够访问到数据源。
57.图2是本技术实施例提供的又一种数据处理方法的流程图。如图2所示，该数据处理方法包括步骤201：
58.步骤201、对访问日志中的至少部分数据的数据存储形态进行解耦处理，以使至少部分数据兼容多种数据库存储类型。
59.由于每天的各个时间段生成的访问日志的数据是非常庞大的，因此本技术中对访问日志中的至少部分数据的数据存储形态进行解耦处理，其目的在于重新组织和决定数据的所属关系，使得对范文日志中的部分数据或全部数据进行解耦，以兼容多种数据库存储类型。具体地，数据库存储类型可以是es(分布式搜索和分析引擎)、mysql(关系型数据库管理系统)及postgres(关系型数据管理系统)。
60.在本技术实施例中，通过对访问日志中的数据存储形态进行解耦处理，以确定和重新组织数据的所属关系，从而兼容多种数据库存储类型。
61.图3是本技术实施例提供的再一种数据处理方法的流程图。如图3所示，该数据处理方法包括步骤301：
62.步骤301、对预定时间段内生成的访问日志进行收集，根据收集到的至少一个访问
日志生成日志统计报表。
63.预定时间段可以按需要设置，例如可以是1天、1小时等等。在一个可实施的例子中，在每日上午9点收集从前日上午9点到今日上午9点内的访问日志。例如在前日上午9点到今日上午9点时间段中，通过数据服务接口访问外部的数据源的数据比如生成10篇访问日志，将这10篇访问日志进行收集，然后按照时间顺序或者访问数据的多少等进行统计方法，生成日志统计报表。
64.在本技术实施例中，在数据服务接口访问数据源时，在数据服务接口中生成访问日志，并在预定时间段内将访问日志进行收集生成统计报表，定时对访问日志进行分析汇总，便于给运营人员提供展示和支撑作用。
65.数据处理装置
66.图4是申请实施例提供的一种数据处理装置的示意图。如图4所示，该数据处理装置包括：
67.接收单元401，用于接收外部输入的接口配置信息；
68.建立单元402，用于基于接口配置信息进行配置，建立数据服务接口；
69.访问单元403，用于通过数据服务接口与外部的数据源进行数据访问，并生成用于记录至少部分数据访问过程的访问日志。
70.基于上述方案提供的数据处理装置，首先通过接收单元401接收用户通过用户管理界面输入的接口配置信息，建立单元402基于接收到的接口配置信息进行配置，建立数据服务接口，通过数据访问接口与外部的数据源进行数据访问，并生成用于记录至少部分数据访问过程的访问日志。由于本方案是根据用户通过用户管理界面输入的接口配置信息建立数据服务接口，建立的数据服务接口根据接口配置信息的不同而不同，因此用户可以按照需要对数据服务接口的功能进行配置，从而提高该数据服务接口的适用性，以满足用户的需求，并且访问单元403在通过数据服务接口与外部的数据源进行数据访问时，可以生成用于记录至少部分数据访问过程的访问日志，方便用户对通过数据服务接口进行数据访问的数据和访问记录进行管理和查询，也便于进行分析汇总，有利于为业务部门提供运营支撑。
71.在一些可选的实施例中，数据处理装置还用于对预置的kong组件进行配置，以使所述数据服务接口适配于所述kong组件；访问单元403具体用于：利用配置后的所述kong组件通过所述数据服务接口与外部的数据源进行数据访问。
72.在一些可选的实施例中，所述接口配置信息包括：接口名称、接口连接信息、接口字段、接口过滤条件、批量个数、认证方式中的至少之一。
73.在一些可选的实施例中，所述建立单元402具体用于：对所述用户的接口配置权限进行验证，若所述用户具有所述接口配置权限，则基于所述接口配置权限以及所述接口配置信息进行配置，建立数据服务接口。
74.在一些可选的实施例中，数据处理装置还包括解耦单元，解耦单元用于对所述访问日志中的至少部分数据的数据存储形态进行解耦处理，以使所述至少部分数据兼容多种数据库存储类型。
75.在一些可选的实施例中，数据处理装置还包括统计报表生成单元，统计报表生成单元用于对预定时间段内生成的所述访问日志进行收集，根据收集到的至少一个所述访问
日志生成日志统计报表。
76.需要说明的是，上述文本数据处理装置与前述数据处理方法实施例基于同一构思，具体内容可参见前述数据处理方法实施例中的叙述，此处不再赘述。
77.电子设备
78.参照图5，示出了根据本技术实施例的一种电子设备的结构示意图，本技术具体实施例并不对电子设备的具体实现做限定。
79.如图5所示，该电子设备500可以包括：处理器(processor)502、通信接口(communications interface)504、存储器(memory)506、以及通信总线508。
80.其中：
81.处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
82.通信接口504，用于与其它电子设备或服务器进行通信。
83.处理器502，用于执行程序510，具体可以执行上述数据处理方法实施例中的相关步骤。
84.具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
85.处理器502可能是中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本技术实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
86.存储器506，用于存放程序510。存储器506可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
87.程序510具体可以用于使得处理器802执行前述任一实施例中的数据处理方法。
88.程序510中各步骤的具体实现可以参见前述任一数据处理方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
89.基于上述方案提供的数据处理方法，首先通过接收用户通过用户管理界面输入的接口配置信息，基于接收到的接口配置信息进行配置，建立数据服务接口，通过数据访问接口与外部的数据源进行数据访问，并生成用于记录至少部分数据访问过程的访问日志。由于本方案是根据用户通过用户管理界面输入的接口配置信息建立数据服务接口，建立的数据服务接口根据接口配置信息的不同而不同，因此用户可以按照需要对数据服务接口的功能进行配置，从而提高该数据服务接口的适用性，以满足用户的需求，并且在通过数据服务接口与外部的数据源进行数据访问时，可以生成用于记录至少部分数据访问过程的访问日志，方便用户对通过数据服务接口进行数据访问的数据和访问记录进行管理和查询，也便于进行分析汇总，有利于为业务部门提供运营支撑。
90.计算机存储介质
91.本技术实施例还提供了一种计算机可读存储介质，存储用于使一机器执行如本文所述的数据处理方法的指令。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。
92.在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本技术的一部分。
93.用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd+rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上下载程序代码。
94.此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
95.此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展模块中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展模块上的cpu等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
96.计算机程序产品
97.本技术实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的任一方法对应的操作。
98.需要指出，根据实施的需要，可将本技术实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本技术实施例的目的。
99.上述根据本技术实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如cd rom、ram、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如asic或fpga)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，ram、rom、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的图像标注方法。此外，当通用计算机访问用于实现在此示出的图像标注方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的校验码生成方法的专用计算机。
100.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术实施例的范围。
101.以上实施方式仅用于说明本技术实施例，而并非对本技术实施例的限制，有关技术领域的普通技术人员，在不脱离本技术实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本技术实施例的范畴，本技术实施例的专利保护范围应由权利要求限定。