一种基于空闲内存的数据处理方法和装置与流程

本发明涉及计算机，特别涉及人工智能，尤其涉及一种基于空闲内存的数据处理方法和装置。

背景技术：

1、随着大数据技术越来越多的应用，对海量数据进行存储分析技术愈发重要。为了实现高性能数据查询，相关技术中，通过数据引擎在磁盘中进行数据运算，但由于数据处理均处于磁盘中，写入和查询的总并发收到磁盘输入输出(i/o)的限制，导致整体并发度不足，在数据量巨大的情况下容易出现资源竞争，导致数据处理性能瓶颈，数据计算速度较低，用户体验较差。

技术实现思路

1、本发明的一个目的在于提供一种基于空闲内存的数据处理方法，能够根据系统资源状态自动优化数据处理过程，在内存使用和磁盘i/o之间动态调整数据处理策略，充分利用空闲内存进行数据处理，避免受到磁盘i/o的限制，通过在内存中执行数据实时聚合提高数据计算速度，从而提升系统性能和用户体验。本发明的另一个目的在于提供一种基于空闲内存的数据处理装置。本发明的再一个目的在于提供一种计算机可读介质。本发明的还一个目的在于提供一种计算机设备。

2、为了达到以上目的，本发明一方面公开了一种基于空闲内存的数据处理方法，包括：

3、获取新增数据和内存使用率；

4、若内存使用率小于预设的使用率阈值，对新增数据执行内存数据加速处理，生成处理后的大数据块；

5、对大数据块进行磁盘同步。

6、对新增数据执行内存数据加速处理，生成处理后的大数据块，包括：

7、将新增数据存储至预先划分的内存缓冲区，内存缓冲区中包括多个数据区块；

8、对内存缓冲区中的数据区块进行聚合处理，得到处理后的大数据块。

9、优选的，对内存缓冲区中的数据区块进行聚合处理，得到处理后的大数据块，包括：

10、通过预设的聚合引擎的聚合函数，对内存缓冲区中的数据区块内的数据进行二次聚合计算，得到处理后的大数据块。

11、优选的，在对内存缓冲区中的数据区块进行聚合处理，得到处理后的大数据块之前，还包括：

12、对数据区块内的数据和新增数据进行数据预处理，得到预处理后的数据区块，数据预处理包括预排序处理和/或预聚合处理。

13、优选的，方法还包括：

14、若内存使用率大于或等于预设的使用率阈值，将新增数据写入磁盘；

15、对磁盘中的数据进行合并聚合处理，生成处理后的大数据块。

16、优选的，方法还包括：

17、获取数据查询请求，数据查询请求包括数据标识和查询条件；

18、根据数据标识与大数据块进行匹配；

19、若匹配成功，按照查询条件进行数据查询，得到数据查询结果；

20、若匹配失败，返回查询请求失败消息。

21、优选的，方法还包括：

22、若内存使用率大于或等于使用率阈值，查询出大数据块的上一次查询时间；

23、判断上一次查询时间与当前时间之间的时间间隔是否大于预设的时间阈值；

24、若是，将大数据块从内存冲写至磁盘，并释放大数据块所在的内存空间；

25、若否，继续执行查询出大数据块的上一次查询时间的步骤。

26、优选的，对大数据块进行磁盘同步，包括：

27、将大数据块批量异步写入磁盘；

28、释放大数据块所在的内存空间。

29、本发明还公开了一种基于空闲内存的数据处理装置，包括：

30、获取单元，用于获取新增数据和内存使用率；

31、内存数据加速单元，用于若内存使用率小于预设的使用率阈值，对新增数据执行内存数据加速处理，生成处理后的大数据块；

32、磁盘同步单元，用于对大数据块进行磁盘同步；

33、内存数据加速单元，具体用于将新增数据存储至预先划分的内存缓冲区，内存缓冲区中包括多个数据区块；对内存缓冲区中的数据区块进行聚合处理，得到处理后的大数据块。

34、本发明还公开了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法。

35、本发明还公开了一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述处理器执行所述程序时实现如上所述方法。

36、本发明还公开了一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现如上所述方法。

37、本发明获取新增数据和内存使用率；若内存使用率小于预设的使用率阈值，将新增数据存储至预先划分的内存缓冲区，内存缓冲区中包括多个数据区块；对内存缓冲区中的数据区块进行聚合处理，得到处理后的大数据块；对大数据块进行磁盘同步，能够根据系统资源状态自动优化数据处理过程，在内存使用和磁盘i/o之间动态调整数据处理策略，充分利用空闲内存进行数据处理，避免受到磁盘i/o的限制，通过在内存中执行数据实时聚合提高数据计算速度，从而提升系统性能和用户体验。

技术特征：

1.一种基于空闲内存的数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于空闲内存的数据处理方法，其特征在于，所述对所述内存缓冲区中的数据区块进行聚合处理，得到所述处理后的大数据块，包括：

3.根据权利要求1所述的基于空闲内存的数据处理方法，其特征在于，在所述对所述内存缓冲区中的数据区块进行聚合处理，得到所述处理后的大数据块之前，还包括：

4.根据权利要求1所述的基于空闲内存的数据处理方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的基于空闲内存的数据处理方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的基于空闲内存的数据处理方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的基于空闲内存的数据处理方法，其特征在于，所述对所述大数据块进行磁盘同步，包括：

8.一种基于空闲内存的数据处理装置，其特征在于，所述装置包括：

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7任一项所述的基于空闲内存的数据处理方法。

10.一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，其特征在于，所述程序指令被处理器加载并执行时实现权利要求1至7任一项所述的基于空闲内存的数据处理方法。

11.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1至7任一项所述的基于空闲内存的数据处理方法。

技术总结
本发明实施例提供了一种基于空闲内存的数据处理方法和装置，可用于人工智能技术领域，所述方法包括：获取新增数据和内存使用率；若内存使用率小于预设的使用率阈值，将新增数据存储至预先划分的内存缓冲区，内存缓冲区中包括多个数据区块；对内存缓冲区中的数据区块进行聚合处理，得到处理后的大数据块；对大数据块进行磁盘同步，能够根据系统资源状态自动优化数据处理过程，在内存使用和磁盘I/O之间动态调整数据处理策略，充分利用空闲内存进行数据处理，避免受到磁盘I/O的限制，通过在内存中执行数据实时聚合提高数据计算速度，从而提升系统性能和用户体验。

技术研发人员：王泽洋,杜楠,黄镜澄,邵飞飞
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：
技术公布日：2024/1/22