数据处理方法、装置、设备及存储介质与流程

本申请涉及数据处理，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术：

1、随着数据存储技术的不断发展，数据库中可以存储的数据量越来越大，从而导致从数据库中准确且高效的提取目标数据的过程越来越困难。

2、现有技术中，在数据存储的过程中会为待存储数据创建一个或多个数据索引，并与待存储数据同时存入数据库中，在数据查询的过程中，可以通过预存的一个或多个索引准确的查到目标数据。

3、然而，数据索引的存储会占据很大一部分数据库的存储空间，从而导致数据存储容量降低的问题。

技术实现思路

1、本申请提供一种数据处理方法、装置、设备及存储介质，用以解决索引容量占比大的问题。

2、第一方面，本申请提供一种数据处理方法，包括：

3、实时监控索引页面的剩余容量以及目标索引数据集合中各目标索引数据的数据量；其中，所述索引页面用于存储索引数据；其中，所述索引数据包括索引键以及索引值；所述索引值用于表征数据行位置；其中，所述目标索引数据集中包括至少一个目标索引数据；

4、将所述目标索引数据集合中的各目标索引数据依次设置为待存储的目标索引数据；

5、若所述索引页面的剩余容量小于或等于待存储的目标索引数据的数据量，则对所述索引页面中存储的索引数据以及所述待存储的目标索引数据进行去重压缩处理，得到去重压缩处理后的索引数据；其中，所述去重压缩处理后的索引数据中包括至少一个索引元组；其中，所述索引元组中包括：元组索引键以及元组索引键对应的元组索引值列表；其中，所述元组索引值列表中包括至少一个元组索引值；并将所述去重压缩处理后的索引数据存储至所述索引页面中；

6、若所述索引页面的剩余容量大于所述待存储的目标索引数据的数据量，则将所述待存储的目标索引数据存储至所述索引页面中。

7、第二方面，本申请提供一种数据处理装置，包括：

8、监控模块，用于实时监控索引页面的剩余容量以及目标索引数据集合中各目标索引数据的数据量；其中，所述索引页面用于存储索引数据；其中，所述索引数据包括索引键以及索引值；所述索引值用于表征数据行位置；其中，所述目标索引数据集中包括至少一个目标索引数据；

9、设置模块，用于将所述目标索引数据集合中的各目标索引数据依次设置为待存储的目标索引数据；

10、第一处理模块，用于若所述索引页面的剩余容量小于或等于待存储的目标索引数据的数据量，则对所述索引页面中存储的索引数据以及所述待存储的目标索引数据进行去重压缩处理，得到去重压缩处理后的索引数据；其中，所述去重压缩处理后的索引数据中包括至少一个索引元组；其中，所述索引元组中包括：元组索引键以及元组索引键对应的元组索引值列表；其中，所述元组索引值列表中包括至少一个元组索引值；并将所述去重压缩处理后的索引数据存储至所述索引页面中；

11、第二处理模块，用于若所述索引页面的剩余容量大于所述待存储的目标索引数据的数据量，则将所述待存储的目标索引数据存储至所述索引页面中。第三方面，本申请提供一种电子设备，包括：

12、处理器，存储器，通信接口；

13、所述存储器用于存储所述处理器的可执行指令；

14、其中，所述处理器配置为经由执行所述可执行指令来执行如上第一方面所述的数据处理方法。

15、第四方面，本申请提供一种可读存储介质，包括：其上存储有计算机程序，所述计算机程序被处理器执行时实现执行如上第一方面所述的数据处理方法。

16、本申请提供的数据处理方法、装置、设备及存储介质，通过实时监控索引页面的剩余容量以及目标索引数据集合中各目标索引数据的数据量，将目标索引数据集合中的各目标索引数据依次设置为待存储的目标索引数据，若索引页面的剩余容量小于或等于待存储的目标索引数据的数据量，则对索引页面中存储的索引数据以及待存储的目标索引数据进行去重压缩处理，得到去重压缩处理后的索引数据；并将去重压缩处理后的索引数据存储至索引页面中，若索引页面的剩余容量大于待存储的目标索引数据的数据量，则将待存储的目标索引数据存储至索引页面中，其中，通过实时监控索引页面的剩余容量以及待存储的目标索引数据的数据量，确定当前索引页面是否能够直接存储待存储的目标索引数据，进一步对能够直接存储的待存储的目标索引数据直接存储至索引页面中，对不能直接存储的待存储的目标索引数据，以及索引页面中存储的索引数据，通过创建索引元组的方式对索引进行压缩，降低索引数据所占据的存储容量。

技术特征：

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，对所述索引页面中存储的索引数据以及所述待存储的目标索引数据进行去重压缩处理，得到去重压缩处理后的索引数据，包括：

3.根据权利要求2所述的方法，其特征在于，根据所述历史元组索引键，对所述索引页面中存储的其他索引数据以及所述待存储的目标索引数据进行去重压缩处理，得到所述去重压缩处理后的索引数据，包括：

4.根据权利要求1所述的方法，其特征在于，将所述去重压缩处理后的索引数据存储至所述索引页面中，包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述对所述索引页面中存储的索引数据以及所述目标索引数据进行去重压缩处理，得到去重压缩处理后的索引数据之前，还包括：

8.一种数据处理装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现执行权利要求1至7任一项所述的方法。

技术总结
本申请提供一种数据处理方法、装置、设备及存储介质。该方法包括：实时监控索引页面的剩余容量以及目标索引数据集合中各目标索引数据的数据量；其中，目标索引数据集中包括至少一个目标索引数据；将目标索引数据集合中的各目标索引数据依次设置为待存储的目标索引数据；若索引页面的剩余容量小于或等于待存储的目标索引数据的数据量，则对索引页面中存储的索引数据以及待存储的目标索引数据进行去重压缩处理，得到去重压缩处理后的索引数据；并将去重压缩处理后的索引数据存储至索引页面中；若索引页面的剩余容量大于待存储的目标索引数据的数据量，则将待存储的目标索引数据存储至索引页面中。本申请的方法，降低了索引的容量占比。

技术研发人员：王飞,杨尚,孙文奇
受保护的技术使用者：北京人大金仓信息技术股份有限公司
技术研发日：
技术公布日：2024/4/17