一种数据处理方法、装置、电子设备及计算机可读介质与流程

本技术涉及数据处理，尤其涉及一种数据处理方法、装置、电子设备及计算机可读介质。

背景技术：

1、目前，随企业级数运行需求与数据量不断增长，分布式数据库集群也随之被广泛使用于各类分布式数据库场景下的的数据加工。分布式数据库擅长于处理分布式数据库类的事务型分析，但在处理流计算等事务型场景中，分布式数据库不占优势，需要借助于spark等引擎工具。采用分布式数据库的并行导入/导出工具和spark交互数据时，需采用分布式数据库私有通信协议且通过非公开端口来和spark交互数据，导致需要复杂的防火墙规则来放行私有通信协议和端口，同时带来网络安全风险。

技术实现思路

1、有鉴于此，本技术实施例提供一种数据处理方法、装置、电子设备及计算机可读介质，能够解决现有的采用分布式数据库与引擎工具交互数据时，需采用分布式数据库私有通信协议且通过非公开端口来与引擎工具交互数据，导致需要复杂的防火墙规则来放行私有通信协议和端口，同时带来网络安全风险的问题。

2、为实现上述目的，根据本技术实施例的一个方面，提供了一种数据处理方法，包括：

3、响应于数据写请求，获取待写入数据，基于待写入数据生成第一文件号，关联待写入数据与第一文件号，以得到关联数据，基于关联数据和对象存储生成异步任务，调用线程池执行异步任务以将关联数据存储至对象存储中；

4、调用连接器，以向分布式数据库发送数据装载指令，响应于接收到分布式数据库的响应信息，获取响应信息中的时间序列，根据时间序列确定目标分布式数据库，进而调用目标分布式数据库以并行执行从对象存储中装载待写入数据；

5、响应于检测到写入终止标识，生成写数据结果并返回。

6、可选地，在向分布式数据库发送数据装载指令之后，方法还包括：

7、响应于在预设时间内未收到分布式数据库的响应信息，生成报错信息并报警提示报错信息。

8、可选地，调用目标分布式数据库以并行执行从对象存储中装载待写入数据，包括：

9、调用目标分布式数据库以从数据装载指令中获取第一文件号，进而基于第一文件号从对象存储中获取对应的待写入数据并且并行执行装载待写入数据的进程。

10、可选地，数据处理方法还包括：

11、响应于数据读请求，提取对应的第二文件号；

12、根据第二文件号从对象存储中匹配得到对应的目标数据；

13、展示目标数据给用户端。

14、可选地，在提取对应的第二文件号之前，数据处理方法还包括：

15、获取数据读请求对应的用户标识，调用对象存储对应的已注册用户标识列表，以根据已注册用户标识列表和用户标识执行登录校验，响应于登录校验通过，执行第二文件号提取进程。

16、可选地，在向分布式数据库发送数据装载指令之前，数据处理方法还包括：

17、基于对象存储和分布式数据库执行秘钥认证进程，响应于秘钥认证通过执行指令发送进程。

18、可选地，在向分布式数据库发送数据装载指令之后，数据处理方法还包括：

19、响应于在预设时间内未收到分布式数据库的响应信息，向备用的分布式数据库发送数据装载指令，将最先返回响应信息的分布式数据库确定为待装载待写入数据的分布式数据库。

20、另外，本技术还提供了一种数据处理装置，包括：

21、获取单元，被配置成响应于数据写请求，获取待写入数据，基于待写入数据生成第一文件号，关联待写入数据与第一文件号，以得到关联数据，基于关联数据和对象存储生成异步任务，调用线程池执行异步任务以将关联数据存储至对象存储中；

22、调用单元，被配置成调用连接器，以向分布式数据库发送数据装载指令，响应于接收到分布式数据库的响应信息，获取响应信息中的时间序列，根据时间序列确定目标分布式数据库，进而调用目标分布式数据库以并行执行从对象存储中装载待写入数据；

23、生成单元，被配置成响应于检测到写入终止标识，生成写数据结果并返回。

24、可选地，调用单元进一步被配置成：

25、响应于在预设时间内未收到分布式数据库的响应信息，生成报错信息并报警提示报错信息。

26、可选地，调用单元进一步被配置成：

27、调用目标分布式数据库以从数据装载指令中获取第一文件号，进而基于第一文件号从对象存储中获取对应的待写入数据并且并行执行装载待写入数据的进程。

28、可选地，数据处理装置还包括数据展示单元，被配置成：

29、响应于数据读请求，提取对应的第二文件号；

30、根据第二文件号从对象存储中匹配得到对应的目标数据；

31、展示目标数据给用户端。

32、可选地，数据处理装置还包括登录校验单元，被配置成：

33、获取数据读请求对应的用户标识，调用对象存储对应的已注册用户标识列表，以根据已注册用户标识列表和用户标识执行登录校验，响应于登录校验通过，执行第二文件号提取进程。

34、可选地，数据处理装置还包括秘钥认证单元，被配置成：

35、基于对象存储和分布式数据库执行秘钥认证进程，响应于秘钥认证通过执行指令发送进程。

36、可选地，调用单元进一步被配置成：

37、响应于在预设时间内未收到分布式数据库的响应信息，向备用的分布式数据库发送数据装载指令，将最先返回响应信息的分布式数据库确定为待装载待写入数据的分布式数据库。

38、另外，本技术还提供了一种数据处理电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述的数据处理方法。

39、另外，本技术还提供了一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现如上述的数据处理方法。

40、为实现上述目的，根据本技术实施例的又一个方面，提供了一种计算机程序产品。

41、本技术实施例的一种计算机程序产品，包括计算机程序，程序被处理器执行时实现本技术实施例提供的数据处理方法。

42、上述发明中的一个实施例具有如下优点或有益效果：本技术通过响应于数据写请求，获取待写入数据，基于待写入数据生成第一文件号，关联待写入数据与第一文件号，以得到关联数据，基于关联数据和对象存储生成异步任务，调用线程池执行异步任务以将关联数据存储至对象存储中；调用连接器，以向分布式数据库发送数据装载指令，响应于接收到分布式数据库的响应信息，获取响应信息中的时间序列，根据时间序列确定目标分布式数据库，进而调用目标分布式数据库以并行执行从对象存储中装载待写入数据；响应于检测到写入终止标识，生成写数据结果并返回。利用对象存储作为数据中转，加快数据处理效率，提升与连接器连接的引擎工具的数据访问效率，基于对象存储，无需复杂的防火墙规则来放行私有通信协议和端口，提高数据处理的简洁性、效率和安全性。

43、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。