一种基于数据监测分析的缓存管理系统的制作方法

本发明涉及缓存管理，特别是指一种基于数据监测分析的缓存管理系统。

背景技术：

1、随着技术的不断发展，对于服务性能的要求越来越高；并且在高并发的情况下，也会给数据库带来巨大的压力，在这种情况下缓存是解决这些问题必不可少的一个方案。

2、中国专利申请公开号cn103493029a公开了通用高速缓存管理系统，在计算设备的易失性存储器中将高速缓存分配到数据处理实例，其中高速缓存的每一个被专有地分配给数据处理实例的单独的一个。公共高速缓存被分配在计算设备的易失性存储器中，其中公共高速缓存由数据处理实例共享。数据处理实例的每个实例被配置为：识别在分配给该实例的特定高速缓存中的数据块，其中自从数据块被最后持久地写到一个或多个存储设备以来数据块没有变化；使得数据块被存储在公共高速缓存中；以及从特定高速缓存中消除数据块。

3、由此可见，当前的缓存管理技术无法自定义缓存策略，会给数据库带来了巨大的压力。

技术实现思路

1、为此，本发明的目的是提供一种基于数据监测分析的缓存管理系统，用于克服当前的缓存管理技术无法自定义缓存策略，给数据库带来巨大压力的问题。

2、为实现上述目的，本发明提供一种基于数据监测分析的缓存管理系统，包括：

3、数据监测模块，其用以获取各任务实例的历史监测数据，并根据所述历史监测数据获取识别关键信息；

4、缓存策略配置模块，其基于所述识别关键信息为每个任务实例确定对应的初始策略标识符，将标识后的各任务实例存储到待缓存任务队列中，并根据单个任务实例的单个历史加载时长结合对应的初始策略标识符确定单个任务实例的初始优先级；

5、缓存执行模块，其用以根据缓存任务实例时数据库的剩余资源内存结合初始优先级确定各任务实例的初始缓存顺序以及生成初始缓存集合；

6、一次修正模块，其用以收集缓存执行过程中用户的实时行为数据和各任务实例的实时变化数据，根据所述实时行为数据生成用户实时关键信息，将所述用户实时关键信息与所述识别关键信息进行对比，获取对比结果，并根据所述对比结果结合所述实时变化数据对各初始缓存顺序以及所述初始缓存集合进行一次修正；

7、性能监测模块，其用以收集缓存执行过程中的性能数据，对所述性能数据进行分析，以得到性能监测结果；

8、二次修正模块，其用以根据所述性能监测结果对所述初始策略标识符进行更新，以实现对各初始缓存顺序的二次修正。

9、进一步地，所述数据监测模块包括：数据收集单元、数据识别单元和提取单元；

10、对于任一任务实例，所述数据收集单元，其用以整合该任务实例不同数据源的历史数据，以得到所述历史监测数据；

11、所述数据识别单元，其用以根据所述历史监测数据进行关键指标的识别，并将识别结果在不同模式下进行分析，以得到若干数据分析结果；

12、所述提取单元，其用以对各数据分析结果进行特征提取，以得到所述识别关键信息。

13、进一步地，所述数据识别单元包括：关键指标识别子单元、第一分析子单元和第二分析子单元；

14、所述关键指标识别子单元，其用以识别所述关键指标，以得到关键指标的历史变化趋势；

15、所述第一分析子单元，其用以在数值序列模式下对所述历史变化趋势进行分析，以得到第一数据分析结果；

16、所述第二分析子单元，其用以在时间序列模式下对所述历史变化趋势进行分析，以得到第二数据分析结果。

17、进一步地，所述提取单元对所述第一数据分析结果进行数值特征提取，以得到历史关键统计量和历史趋势转折点；

18、所述提取单元对所述第二数据分析结果进行时间特征提取，以得到历史波动情况和历史转折时期；

19、其中，所述识别关键信息包括：数值型识别关键信息和时间型识别关键信息；所述数值型识别关键信息包括：所述历史关键统计量和所述历史趋势转折点；所述时间型识别关键信息包括：所述历史波动情况和所述历史转折时期。

20、进一步地，所述缓存策略配置模块包括：第一判断单元、第二判断单元和整体确定单元；

21、所述第一判断单元，其用以根据所述单个历史加载时长与预设时长间的比对结果确定所述单个任务实例的实际加载情况；

22、所述第二判断单元，其用以根据所述初始策略标识符确定所述单个任务实例的历史标识情况；

23、所述整体确定单元，其用以根据所述实际加载情况和所述历史标识情况确定所述单个任务实例的所述初始优先级为第一初始优先级，或，第二初始优先级，或，第三初始优先级；

24、其中，第一初始优先级任务实例的优先级高于第二初始优先级，第二初始优先级任务实例的优先级高于第三初始优先级。

25、进一步地，所述缓存执行模块包括：获取单元、整体比较单元和部分比较单元；

26、所述获取单元，其用以获取整体待执行所需内存和不同初始优先级对应的单类待执行所需内存；

27、所述整体比较单元，其用以根据所述整体待执行所需内存和所述剩余资源内存的比较结果确定开启分级比较模式，或，输出第一执行信号；

28、所述部分比较单元，其基于所述分级比较模式，根据各单类待执行所需内存和所述剩余资源内存的比较结果确定输出第二执行信号，或，第三执行信号，或，第四执行信号。

29、进一步地，所述缓存执行模块还包括：执行确定单元；

30、所述执行确定单元，其用以接收各执行信号，并根据执行信号的类型不同确定生成所述初始缓存顺序的实际生成方式。

31、进一步地，所述部分比较单元包括：第一比较子单元和第二比较子单元；

32、所述第一比较子单元，其用以获取各第一初始优先级对应的第一单类待执行所需内存，并根据所述第一单类待执行所需内存和所述剩余资源内存的比较结果确定输出所述第二执行信号，或，开启求和比较模式；

33、所述第二比较子单元，其基于所述求和比较模式，获取各第二初始优先级对应的第二单类待执行所需内存和所述第一单类待执行所需内存的部分待执行所需内存，并根据所述部分待执行所需内存和所述剩余资源内存的比较结果确定输出所述第三执行信号，或，所述第四执行信号。

34、进一步地，所述一次修正模块包括：对比单元、一次更新单元和一次清理单元；

35、所述对比单元，其用以将所述实时关键信息与所述识别关键信息进行对比，以确定实际状态变化情况，并根据所述实际状态变化情况结合所述实时变化数据

36、确定是否对所述任务实例发出一次更新信号，或，清理信号；

37、所述一次更新单元，其基于所述一次更新信号，对任务实例的各初始缓存顺序进行更新；

38、所述一次清理单元，其基于所述清理信号，对所述初始缓存集合相应的添加或移除任务实例，以得到实际缓存集合。

39、进一步地，所述二次修正模块包括：结果分析单元和二次更新单元；

40、所述结果分析单元，其用以根据所述性能监测结果获取各任务实例的缓存命中率、单个实际加载时长和实际响应时长，根据所述缓存命中率、所述单个实际加载时长和所述实际响应时长确定需进行初始策略标识符更新的实际任务实例个数，并根据所述实际任务实例个数确定是否发出二次更新信号；

41、所述二次更新单元，其基于所述二次更新信号，更新各任务实例的初始策略标识符，根据更新后的实际策略标识符，重新排列缓存队列中的任务实例顺序。

42、与现有技术相比，本发明的有益效果在于，通过对商品详情页面的历史监测数据和实时行为数据的分析，可以更准确地预测和响应用户的浏览需求，从而提供快速且流畅的页面加载体验，实时修正缓存策略，确保用户在访问高峰期也能获得良好的体验，初始策略标识符和初始优先级的确定，使得缓存资源能够根据页面的重要性和访问频率进行合理分配，通过一次修正模块和二次修正模块，能够动态调整缓存内容，避免缓存资源的浪费，通过提前缓存商品详情数据，减少了数据库在高峰时段的查询和加载次数，降低了数据库的负载，实时监测和修正缓存策略有助于防止数据库过载，保持系统稳定，能够收集执行过程中的性能数据，通过分析这些数据，能够根据性能监测结果调整缓存策略，进一步提升整体性能，能够有效地提高电商平台的运营效率。

43、通过整合不同数据源的历史数据，确保了监测数据的全面性和准确性，对关键指标的识别和分析，能够揭示商品详情页面的访问模式和趋势，为缓存策略提供数据支持，能够根据历史访问量的变化趋势制定更加合理的缓存策略，通过识别历史趋势转折点和历史波动情况，能够预测并提前缓存可能受到季节性波动或促销活动影响的商品详情页面，从而提升用户访问速度和满意度，数值特征和时间特征的提取，有助于识别哪些页面需要更高优先级的缓存，哪些页面可以降低缓存优先级或从缓存中移除，从而减少不必要的资源消耗，能够根据历史转折时期和波动情况调整缓存策略，使得电商平台能够灵活应对市场变化和用户需求的变化。

44、能够根据页面的加载速度和商品类型进行精细化的缓存管理，确保缓存资源得到最有效的利用，根据页面的实际加载情况分配不同的初始优先级，可以确保用户在访问热门商品或高流量时段的商品详情页面时，能够获得更快的加载速度，从而提升用户体验，通过对加载缓慢的页面给予更高的缓存优先级，可以减少服务器在高峰时段的负载，能够识别高流量时段关注商品，使得能够在特定时间段内调整缓存策略，以应对流量波动，综合考虑加载情况和商品类型，有助于合理分配缓存资源，避免对冷门商品页面的过度缓存，节省资源，初始策略标识符的引入，使得每个商品详情页面都有明确的缓存规则，提高了缓存的效率和准确性，通过有效的缓存管理，减少了不必要的服务器资源消耗，从而降低了运营成本。

45、通过在整体上评估缓存任务对内存的需求，并与数据库的剩余资源内存进行比较，从而做出合理的资源分配决策，根据不同的优先级对缓存任务进行分级管理，确保高优先级任务在资源有限的情况下能够得到优先处理，能够根据实时的资源状况和任务优先级，灵活调整缓存策略，以适应不断变化的环境，确保了在资源紧张时，能够优先缓存对用户体验影响最大的页面，从而提高缓存效率，通过优先缓存高优先级且内存需求较小的任务实例，能够保证用户在访问热门商品详情页面时获得快速响应，从而提升用户体验，通过对不同优先级任务实例的精细化管理，能够在保证关键任务缓存的同时，避免资源过度消耗，增强了缓存的稳定性和可靠性，当整体资源充足时，可以按优先级顺序缓存所有商品详情页面，确保所有页面都能得到缓存，最大化提升用户体验，在资源有限时，优先缓存内存需求较小的第一优先级页面，保证关键页面的快速访问，在资源进一步受限时，按优先级顺序缓存前两个优先级的页面，并对第三优先级的页面进行选择性缓存，平衡用户体验和资源使用，在资源非常紧张时，只缓存前两个优先级的页面，并且对第二优先级的页面进行内存需求排序，确保关键页面的缓存。

46、通过对实时关键信息与识别关键信息的实时对比，能够快速识别商品详情页面的状态变化，并做出相应的调整，提高了实时响应性，能够根据一次更新信号动态更新任务实例的缓存顺序，确保缓存策略始终与当前的业务需求相匹配，优化了缓存效率，能够根据清理信号对缓存集合进行相应的添加或移除操作，有效利用缓存资源，避免资源浪费，通过实时调整热门商品详情页面的缓存位置，能够确保用户在访问这些页面时获得更快的加载速度，从而提升用户体验，通过清理访问量低的页面，可以释放缓存空间，用于缓存更受欢迎的商品页面，优化整体流量分配，能够根据实时数据调整缓存队列，确保热门商品页面始终处于缓存状态，而访问量低的页面则可以被淘汰，提高了缓存策略的灵活性。

47、通过监测缓存命中率、加载时长和响应时长，能够识别出性能不佳的任务实例，从而有针对性地进行优化，持续监测性能数据，确保系统能够实时响应性能变化，保持服务的稳定性和可靠性，自动化流程减少了人工干预，提高了管理效率，通过及时的性能调整，能够更好地应对突发流量和用户行为的变化，提升了系统的健壮性，能够确保电商平台在高流量下的稳定运行，还能够根据实时数据优化用户体验。