基于分布式数据库ApacheHudi表格式数据操作指令的执行方法与流程

本公开的实施例涉及计算机，具体涉及一种基于分布式数据库apachehudi表格式数据操作指令的执行方法、装置、电子设备和计算机可读介质。

背景技术：

1、信息推送，又称为“网络广播”，是通过一定的技术标准或协议，在互联网上通过推送用户需要的信息来减少信息过载的一项技术。信息推送技术通过主动基于分布式数据库apache hudi表格式数据操作指令的执行给用户，可以减少用户在网络上搜索所花的时间。

2、相关的信息推送方式通常是在网页上直接加载各种基于分布式数据库apachehudi表格式数据操作指令的执行，这些基于分布式数据库apache hudi表格式数据操作指令的执行与所在网页的内容有明显的差异。

技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了一种基于分布式数据库apache hudi表格式数据操作指令的执行方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题。

3、第一方面，本公开的一些实施例提供了一种基于分布式数据库apache hudi表格式数据操作指令的执行方法，该方法包括：获取针对apache hudi表格式的目标数据的操作指令，其中，上述操作指令包括更改指令和/或读取指令；响应于确定上述操作指令为读取指令，按照读取步骤执行读取执行计划：根据上述读取指令确定目标数据；根据上述读取指令从分布式数据库中确定可见数据文件以及从上述可见数据文件中确定上述读取指令对应的查询范围；对上述查询范围内的可见数据文件进行裁剪，得到待读取数据文件；根据上述读取指令从上述待读取数据文件中读取目标数据；将上述目标数据作为上述读取执行计划的执行回执；响应于确定上述操作指令为更改指令，按照更改步骤执行更改执行计划：根据上述更改指令确定更改数据；根据上述更改指令和上述更改数据对上述分布式数据库中的目标数据文件进行更改；根据上述更改数据和上述更改指令，在上述目标数据文件的提交记录文件中加入上述目标数据文件的统计信息和上述目标数据文件的文件信息；将上述提交记录文件作为上述更改执行计划的执行回执；返回上述读取执行计划的执行回执和/或上述更改执行计划的执行回执。

4、第二方面，本公开的一些实施例提供了一种基于分布式数据库apache hudi表格式数据操作指令的执行装置，装置包括：获取单元，被配置成获取针对apache hudi表格式的目标数据的操作指令，其中，上述操作指令包括更改指令和/或读取指令；读取单元，被配置成响应于确定上述操作指令为读取指令，按照读取步骤执行读取执行计划：根据上述读取指令确定目标数据；根据上述读取指令从分布式数据库中确定可见数据文件以及从上述可见数据文件中确定上述读取指令对应的查询范围；对上述查询范围内的可见数据文件进行裁剪，得到待读取数据文件；根据上述读取指令从上述待读取数据文件中读取目标数据；将上述目标数据作为上述读取执行计划的执行回执；更改单元，被配置成响应于确定上述操作指令为更改指令，按照更改步骤执行更改执行计划：根据上述更改指令确定更改数据；根据上述更改指令和上述更改数据对上述分布式数据库中的目标数据文件进行更改；根据上述更改数据和上述更改指令，在上述目标数据文件的提交记录文件中加入上述目标数据文件的统计信息和上述目标数据文件的文件信息；将上述提交记录文件作为上述更改执行计划的执行回执；返回单元，被配置成返回上述读取执行计划的执行回执和/或上述更改执行计划的执行回执。

5、第三方面，本申请实施例提供了一种电子设备，该网络设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。

6、第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。

7、本公开的上述各个实施例中的一个实施例具有如下有益效果：通过使用c/c++的方式实现hudi表格式的读写，提升表格式的读写性能和更改性能，能够支持没有主键列的用户表，支持长事务，可以控制所有场景下的内存用量，读写的资源占用不超过用户指定的限制，从而达到更优并发读写上限。

技术特征：

1.一种基于分布式数据库apache hudi表格式数据操作指令的执行方法，包括：

2.根据权利要求1所述的方法，其特征在于，所述更改步骤还包括：

3.根据权利要求1所述的方法，其特征在于，所述对所述查询范围内的可见数据文件进行裁剪，得到待读取数据文件，包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所述读取指令从分布式数据库中确定可见数据文件以及从所述可见数据文件中确定所述读取指令对应的查询范围，包括：

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

6.一种基于分布式数据库apache hudi表格式数据操作指令的执行装置，包括：

7.根据权利要求6所述的装置，其特征在于，所述更改步骤还包括：

8.根据权利要求6所述的装置，其特征在于，所述读取单元被进一步配置成：

9.一种电子设备，包括：

10.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。

技术总结
本公开的实施例公开了一种基于分布式数据库APACHE HUDI表格式数据操作指令的执行方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：获取针对Apache Hudi表格式的目标数据的操作指令；响应于确定操作指令为读取指令，按照读取步骤执行读取执行计划；响应于确定操作指令为更改指令，按照更改步骤执行更改执行计划；返回读取执行计划的执行回执和/或更改执行计划的执行回执。该实施方式通过使用c/c++的方式实现hudi表格式的读写，提升表格式的读写性能和更改性能，能够支持没有主键列的用户表，支持长事务，可以控制所有场景下的内存用量，读写的资源占用不超过用户指定的限制，从而达到更优并发读写上限。

技术研发人员：邝金清,陶征霖,常雷,姚佳丽,霍瑞龙,刘大伟,宋宜旭
受保护的技术使用者：北京偶数科技有限公司
技术研发日：
技术公布日：2024/1/15