文件处理方法、装置、设备、介质及产品与流程

本发明涉及数据处理，特别涉及一种文件处理方法、装置、设备、介质及产品。

背景技术：

1、随着计算机技术的飞速发展，数据存储和处理能力得到了极大地提升。然而，内存（ram）与磁盘（hdd/ssd）之间的性能差距仍然很大，这导致了在许多应用场景中，如大数据处理、云计算和实时系统等，数据访问速度成为性能瓶颈。为了缓解这一问题，现代操作系统普遍采用了页面缓存（page cache）机制，它利用部分物理内存来存储经常访问的数据，以减少磁盘i/o操作，从而提高数据访问速度。

2、尽管页面缓存机制在很大程度上提高了系统性能，但其传统实现方式仍然存在局限性。例如，常用的最近最少使用（lru）算法根据页面最近的使用情况进行淘汰，这在很多情况下能够取得较好的效果，但在面对多样化、动态变化的工作负载时，这种简单的策略可能无法达到最优性能。此外，lru算法也没有考虑到页面的实际访问频率、数据局部性等因素，这可能导致缓存污染和过早淘汰重要数据。

3、目前，为了解决上述问题，一般通过改进缓存替换算法，例如，lfu算法、arc算法等。然而，这些算法通常需要修改操作系统内核，这不仅增加了实现的复杂性，还可能引入稳定性和安全性问题，此外，这些算法往往针对特定类型的应用场景进行优化，缺乏足够的通用性，且无法支持用户态自行配置。

技术实现思路

1、本技术实施例的目的在于提供一种文件处理方法、装置、设备、介质及产品，具体技术方案如下：

2、在本技术实施的第一方面，首先提供了一种文件处理方法，所述方法包括：

3、在检测到接收用户进程发起的文件处理请求的情况下，基于所述文件处理请求触发挂载在内核函数上的目标ebpf函数，并基于目标ebpf函数的类型确定目标决策模式，并获取虚拟文件系统当前的文件处理数据；

4、基于所述目标决策模式和所述文件处理数据确定是否针对所述文件处理请求对应的待处理文件数据开启页面缓存处理机制，其中，所述页面缓存处理机制是从内存中处理所述待处理文件数据。

5、可选地，所述目标决策模式包括第一决策模式和第二决策模式，所述文件处理请求包括目标决策配置标识，所述基于所述文件处理请求触发挂载在内核函数上的目标ebpf函数，并基于目标ebpf函数的类型确定目标决策模式包括：

6、基于所述文件处理请求触发挂载在内核函数上的目标ebpf函数，所述目标ebpf函数包括第一决策模式对应的预先设置的用户态配置信息，或者，第二决策模式对应的历史系统性能数据；

7、基于所述文件处理请求携带的所述目标决策配置标识确定目标ebpf函数；

8、基于所述目标ebpf函数的类型确定目标决策模式。

9、可选地，所述第一决策模式包括预置策略模式，所述基于所述目标决策模式和所述文件处理数据确定是否针对所述文件处理请求对应的待处理文件数据开启页面缓存处理机制包括；

10、若所述目标决策模式为所述预置策略模式，则基于所述预置策略模式获取预先设置的用户态配置信息，其中，所述预先设置的用户态配置信息包括各个第一文件处理数据分别对应的进行页面缓存处理的目标文件处理数据；

11、基于所述虚拟文件系统当前的第一文件处理数据和所述目标文件处理数据确定是否针对所述文件处理请求对应的待处理文件数据开启页面缓存处理机制。

12、可选地，所述第二决策模式包括自学习模式，所述基于所述目标决策模式和所述文件处理数据确定是否针对所述文件处理请求对应的待处理文件数据开启页面缓存处理机制包括；

13、若所述目标决策模式为所述自学习模式，则确定所述自学习模式对应的第二文件处理数据；

14、基于所述虚拟文件系统当前的第二文件处理数据、各个所述第二文件处理数据对应的预先设置的评分函数以及各个所述第二文件处理数据对应的权重确定是否针对所述文件处理请求对应的待处理文件数据开启页面缓存处理机制。

15、可选地，所述基于所述虚拟文件系统当前的第二文件处理数据、各个所述第二文件处理数据对应的预先设置的评分函数以及各个所述第二文件处理数据对应的权重确定是否针对所述文件处理请求对应的待处理文件数据开启页面缓存处理机制包括：

16、基于所述虚拟文件系统当前的第二文件处理数据和各个所述第二文件处理数据对应的预先设置的评分函数生成每个所述第二文件处理数据对应的目标分值；

17、基于各个所述第二文件处理数据对应的目标分值以及各个所述第二文件处理数据对应的权重进行求和处理，生成目标总分值；

18、基于所述目标总分值和预设阈值确定是否针对所述文件处理请求对应的待处理文件数据开启页面缓存处理机制。

19、可选地，所述基于所述目标总分值和预设阈值确定是否针对所述文件处理请求对应的待处理文件数据开启页面缓存处理机制包括：

20、在检测到所述目标总分值大于预设阈值的情况下，针对所述文件处理请求对应的待处理文件数据进行页面缓存处理。

21、可选地，所述第二文件处理数据包括文件路径、文件类型、文件扩展名、文件描述符、文件容量、文件更新时间、文件来源信息。

22、可选地，当所述第二文件处理数据为文件路径时，所述预先设置的评分函数为文件路径评分函数，所述文件路径评分函数是基于文件路径深度和目标目录的匹配度设置的。

23、可选地，当所述第二文件处理数据为文件类型时，所述预先设置的评分函数为文件类型评分函数，所述文件类型评分函数是基于预先设置的各个文件类型对应的优先级和文件访问频率设置的。

24、可选地，当所述第二文件处理数据为文件扩展名时，所述预先设置的评分函数为文件扩展名评分函数，所述文件扩展名评分函数是基于所述文件扩展名的流行度和所述文件扩展名与当前上下文的相关度设置的。

25、可选地，当所述第二文件处理数据为文件来源信息时，所述预先设置的评分函数为文件来源信息评分函数，所述文件来源信息评分函数是基于用户角色评分和用户权限评分设置的。

26、可选地，当所述第二文件处理数据为文件容量时，所述预先设置的评分函数为文件容量函数，所述文件容量函数是基于文件容量和预设文件容量最大值设置的。

27、可选地，当所述第二文件处理数据为文件更新时间时，所述预先设置的评分函数为文件更新时间评分函数，所述文件更新时间评分函数是基于当前时间、文件下载时间以及预设衰减率设置的。

28、可选地，在所述基于所述目标决策模式和所述文件处理数据确定是否针对所述文件处理请求对应的待处理文件数据开启页面缓存处理机制的步骤之后，所述方法包括：

29、在检测到针对所述文件处理请求对应的待处理文件数据开启页面缓存处理机制的情况下，则基于所述文件处理请求对应的所述待处理文件数据在内存中读取所述待处理文件数据。

30、可选地，在所述基于所述目标决策模式和所述文件处理数据确定是否针对所述文件处理请求对应的待处理文件数据开启页面缓存处理机制的步骤之后，所述方法包括：

31、在检测到针对所述文件处理请求对应的待处理文件数据关闭页面缓存处理机制的情况下，则基于所述文件处理请求对应的所述待处理文件数据在目标磁盘中读取所述待处理文件数据。

32、可选地，所述基于所述文件处理请求对应的所述待处理文件数据在目标磁盘中读取所述待处理文件数据包括：

33、通过预设读取方式从目标磁盘中读取所述待处理文件数据。

34、在本技术实施的第二方面，还提供了一种文件处理装置，应用于第一方面所述的区块链服务器系统，所述装置包括：

35、确定模块，用于在检测到接收用户进程发起的文件处理请求的情况下，基于所述文件处理请求触发挂载在内核函数上的目标ebpf函数，并基于目标ebpf函数的类型确定目标决策模式，并获取虚拟文件系统当前的文件处理数据；

36、处理模块，用于基于所述目标决策模式和所述文件处理数据确定是否针对所述文件处理请求对应的待处理文件数据开启页面缓存处理机制，其中，所述页面缓存处理机制是从内存中处理所述待处理文件数据。

37、在本技术实施的第三方面，还提供了一种通信设备，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；

38、所述处理器，用于读取存储器中的程序实现如第一方面任一所述的内存资源一体机备电方法。

39、在本技术实施的第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机实现如第一方面任一所述的内存资源一体机备电方法。

40、在本技术实施的第五方面，还提供了计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如第一方面任一所述内存资源一体机备电方法。

41、本技术实施例提供的文件处理方法，通过在检测到接收用户进程发起的文件处理请求的情况下，基于所述文件处理请求触发挂载在内核函数上的目标ebpf函数，并基于目标ebpf函数的类型确定目标决策模式，并获取虚拟文件系统当前的文件处理数据；基于所述目标决策模式和所述文件处理数据确定是否针对所述文件处理请求对应的待处理文件数据开启页面缓存处理机制，其中，所述页面缓存处理机制是从内存中处理所述待处理文件数据。本技术实施例根据虚拟文件系统实时状态和应用需求，动态调整页面缓存机制的分配策略，通过加载到内核的ebpf程序，本技术能够实时监控获取虚拟文件系统当前的文件处理数据，基于这些信息，ebpf程序可以确定目标决策模式，基于不同的目标决策模式可以确定如何对用户进程发起的文件处理请求进行处理，ebpf程序可以动态计算并调整页面缓存的阈值、替换策略等参数，以实现缓存资源的优化分配。本技术可以在内核态读取文件缓存前使用ebpf函数进行缓存读取的动态判断，支持根据实际场景自定义配置的方式定义缓存，避免了大量低热度文件占用系统资源。