基于大数据分析的计算机资源分配系统及方法与流程

本发明涉及计算机资源分配，尤其涉及基于大数据分析的计算机资源分配系统及方法。

背景技术：

1、在计算机系统中，通常都含有各类硬件和软件资源，分配系统资源是指对计算机软件资源和硬件资源进行分配，要做到使系统资源得到充分利用；

2、现有的计算机资源分配方式在任务进程中可能会监测到能耗浪费和故障问题，能耗浪费和故障问题会导致整体系统性能差、资源分配的合理性差，且由于用户任务的进程优先级不同，若应用统一的资源分配模式，则资源分配的灵活性差，可能会导致优先级高的任务进程故障多，以及优先级低的任务进程能耗高；

3、并且，难以对用户任务所需的资源进行提前预测和分配，可能会导致任务进程故障中断，无法持续稳定运行，且预测的精准性对于资源提前分配的应用效果具有一定影响，若预测精准性差，资源提前分配后用户任务进程也难以持续稳定运行；

4、针对上述的技术缺陷，现提出一种解决方案。

技术实现思路

1、本发明的目的在于：解决了计算机资源分配合理性差、灵活性差，以及对资源需求难以预测和提前分配的问题，实现了能耗优且故障少的资源分配方案，保证了系统进程的持续稳定性与可持续化发展。

2、为了实现上述目的，本发明采用了如下技术方案：

3、基于大数据分析的计算机资源分配方法，包括以下步骤：

4、s1，采集信息：信息采集单元通过发送调用指令从后台端访问历史的用户任务，采集数据处理历史进程中的系统信息，并获取用户任务的资源需求信息，其中，系统信息包括负载参数、能耗参数和故障参数；

5、s2，合理性评估调整：信息处理单元通过对能耗参数和故障参数进行分析处理，综合判定资源分配的合理性，生成相应的调控信号发送至后台端，后台端接收调控信号并进行资源分配调整操作；

6、s3，自适应配置：信息处理单元再通过负载参数和资源需求信息进行分析处理，判定优先顺序，再通过用户资源需求空间与资源预留空间相结合来进行自适应配置，其中，自适应配置是通过设置优先级标识并预留相应的资源空间比例；

7、s4，动态管理：通过预测管理单元建立资源分配的预测模型，获取资源需求的预测信息，并结合自适应配置方案生成资源分配的最优管理方案以及相应的管理信号，获取计算机能耗与故障的预测结果，再将最优管理方案以及相应的管理信号发送到后台端，后台端接收管理信号并自动实施资源分配的最优管理方案，通过后台端对资源分配提前进行动态管理；

8、s5，优化设计：优化设计单元监测动态管理进程中的能耗参数和故障参数，获取计算机能耗与故障的实际结果，将预测结果与实际结果进行对比分析，判定最优管理方案的应用效果，并生成相应的优化信号反馈到预测管理单元，对预测模型进行优化设计操作。

9、进一步的，合理性评估调整的具体过程为：

10、s2-1：信息处理单元设置历史采样时间ty，按照历史采样时间ty发送调用指令，获取n组系统信息和资源需求信息；其中，能耗参数包括计算机的使用功率和功率持续时间；故障参数包括数据处理的故障频率和故障持续时间；

11、s2-2：对历史的系统信息进行分析处理，通过能耗参数和故障参数相结合，生成资源分配的合理性评估系数hl，具体过程如下：

12、s2-21：先设定功率持续时间tc为计算机使用功率pj的持续时间，通过计算机使用功率pj与功率持续时间tc相乘获取功耗wi，再将采样评估期间的全部功耗进行累加获取能耗因子；

13、s2-22：再通过为数据处理故障频率f和故障持续时间tg赋予相应的归一化指数，获取故障因子；

14、s2-23：再分别为能耗因子和故障因子赋予权重系数，生成资源分配的合理性评估系数hl；

15、s2-3：设定合理性评估系数hl的阈值h1和h2，进行阈值对比，判定风险程度并生成相应的调控信号发送到后台端，通过后台端接收调控信号进行相应的资源分配调整操作。

16、进一步的，自适应配置的具体过程为：

17、s3-1：信息处理单元获取资源需求信息和负载参数：资源需求信息包括cpu需求利用率lca、内存需求利用率lna、磁盘读写需求负载cpa、网络带宽需求利用率lwa；负载参数包括cpu实际利用率lcb、内存实际利用率lnb、磁盘读写实际负载cpb、网络带宽实际利用率lwb；

18、s3-2：先建立参数综合分析模型：分别为cpu利用率lc、内存利用率ln、磁盘读写负载cp和网络带宽利用率lw赋予相应的权重系数，获取综合系数x；

19、s3-3：将资源需求信息和负载参数依次代入参数综合分析模型，分别获取资源需求综合系数xq和系统负载综合系数fz；

20、s3-4：再建立公式生成优先顺序评估系数yx，具体过程如下：

21、s3-41：通过资源需求综合系数xq和系统负载综合系数fz获取综合系数平均值；

22、s3-42：再分别对cpu利用率lc、内存利用率ln、磁盘读写负载cp和网络带宽利用率lw进行单独测算获取相应的差值占比，将四个差值占比进行求和操作获取差值占比之和；

23、s3-43：再将综合系数平均值与差值占比之和相结合，生成优先顺序评估系数yx；

24、s3-5：为优先顺序评估系数yx设置阈值x1和x2，进行阈值对比，判定优先级顺序并生成相应的优先级标识发送到后台端，通过后台端对用户任务进行标记，再通过识别用户任务的优先级标识设置相应的资源预留空间比例。

25、进一步的，建立计算机资源分配的预测模型的具体过程为：

26、s4-1：预测管理单元建立参数曲线分析模型，具体过程如下：

27、s4-11：输入任一参数r，建立参数r-历史采样时间ty的二维动态曲线图，先获取参数r的平均值再求取曲线的标准差获取曲线的波动系数σ；

28、s4-12：标记曲线末端点m的坐标为(tym，rm)，标记离曲线末端点最近的点n的坐标为(tyn，rn)，通过m和n点的坐标求取曲线末端点的斜率k；

29、s4-13：通过曲线末端点的斜率k与末端点的纵坐标的乘积，与曲线的波动系数σ相结合，并赋予转化系数λ，获取参数曲线的增长预测指数zyc；

30、s4-2：将cpu需求利用率、内存需求利用率、磁盘读写需求负载、网络带宽需求利用率作为参数分别代入参数曲线分析模型，获取cpu需求预测利用率、内存需求预测利用率、磁盘读写需求预测负载和网络带宽需求预测利用率，并将上述预测的结果整合并标记为资源需求预测信息；

31、s4-3：再将资源需求预测信息和自适应配置方案，生成资源分配的最优管理方案并生成管理信号发送到后台端，后台端按照管理信号编辑文本并显示分配空间，对资源分配提前进行动态管理；

32、s4-4：预测管理端单元建立合理性评估系数hl以及对应的综合系数x的函数公式f(x)，将资源需求预测信息代入参数综合分析模型，获取资源需求预测综合系数，再将资源需求预测综合系数代入函数公式f(x)，获取计算机能耗与故障的预测结果p0。

33、进一步的，优化设计的具体过程为：

34、s5-1：后台端将资源分配的最优管理方案自动实施，优化设计单元在当前用户任务进程末端点的下一个采样时间节点时，采集相应时间节点的实际能耗参数和实际故障参数，获取实际的合理性评估系数并将其标记为实际结果p1；

35、s5-2：对比预测结果和实际结果，通过预测结果p0与实际结果p1之间差值，先求绝对值再求倒数，获取应用效果评估系数xg；

36、s5-3：设置应用效果评估系数xg的阈值g1和g2，进行阈值对比分析，判定最优管理方案的效果程度，并生成相应的优化信号，通过预测管理单元接收优化信号对预测模型进行优化设计操作。

37、基于大数据分析的计算机资源分配系统，包括信息采集单元、信息处理单元、预测管理单元、优化设计单元和后台端，其中，信息采集单元、信息处理单元、预测管理单元、优化设计单元和后台端之间信号连接。

38、综上所述，由于采用了上述技术方案，本发明的有益效果是：

39、本发明通过对计算机的能耗和故障进行综合分析，从而评估资源分配的合理性，再进行相应的调整操作来初步提升资源分配合理性；再通过分析系统负载和资源需求，判定用户任务的优先顺序并设置优先级标识，从而预留资源空间进行自适应配置操作，降低故障并提升稳定性，且精准分配避免能耗浪费，进一步提升资源分配合理性；

40、本发明通过建立资源分配的预测模型，生成最优管理方案进行动态管理，从而对用户任务进程所需的资源空间进行预测和分配，既节省成本，又实现了可持续化发展；最后通过对比预测模型的预测结果和方案应用的实际结果，生成优化信号并对预测模型进行优化设计，保证资源提前分配的精准性，以及用户任务的持续稳定运行。