一种基于深度学习的算力资源空闲预测方法和存储介质与流程

本发明涉及深度学习，尤其涉及一种基于深度学习的算力资源空闲预测方法和计算机可读存储介质。

背景技术：

1、算力基础设施的形态多样、分布广泛、归属复杂，且算力的度量存在一定难度，同时孤岛算力功能单位固定、计算能力有限，单点式的算力供给已无法满足业务多样化的需求，限制了新兴产业的发展。算力作为社会发展新动能，使其像水、电等基础能源一样按需、按量、灵活地供给将成为算力未来的发展趋势。算力网络的核心特征，是通过算力，实现了对算力资源、网络资源的全面接管，可以让网络实时感知用户的算力需求，以及自身的算力状态。经过分析后，算力网络可以调度不同位置、不同类型的算力资源，为用户服务。因此，对算力的使用进行合理规划，通过准确预测算力资源的空闲情况，使得算力资源进行合理分配，具有十分重要的意义。

2、中国专利公开号第cn114896070a号提出一种用于深度学习任务的gpu资源分配方法，通过对深度学习任务的资源需求量进行预测，根据预测的资源需求量来对容器云集群中的gpu资源进行合理分配，从而实现容器云集群中的gpu资源共享以及提升容器云集群中的gpu利用率。

3、中国专利公开号第cn114035945a号提出一种算力资源分配方法，方法包括：在局域网内的目标设备的算力资源不足的情况下，获取局域网内的支援设备能提供的空闲算力资源，以及，支援设备的服务质量系数，服务质量系数至少包括可靠系数，可靠系数用于指示支援设备在历史时间中利用自身的空闲算力资源提供算力资源支援服务的可靠程度；根据局域网内的支援设备能提供的空闲算力资源、服务质量系数和目标设备所需的目标算力资源，确定为目标设备提供算力支援服务的至少一个第一支援设备和每个第一支援设备需提供的第一空闲算力资源，第一空闲算力资源用于处理目标算力资源对应的目标计算任务。该方法能避免空闲算力资源的浪费，以及提高任务处理的可靠性。

4、上述方法能够对算力资源进行合理分配，但对于算力的空闲状态只能通过系统实时反馈，然后人为判断算力是否有空闲，无法根据业务的实时状态进行算力空闲时间进行预测，在这一段时间内容易造成算力的浪费。因此，在这一方面需进一步提升。

技术实现思路

1、针对上述技术问题，发明提供了一种基于深度学习的算力资源空闲预测方法和计算机可读存储介质。

2、为实现上述目的，本发明提供一种基于深度学习的算力资源空闲预测方法，所述方法包括以下步骤：

3、采集业务行为数据，并对所述数据进行分类，对分类后的所述数据进行标注，得到训练集；对业务行为数据进行预处理，所述预处理包括数据扩充和不平衡处理；构建算力资源空闲预测的特征提取模型，将训练集输入所述模型中进行训练，利用训练好的模型对业务行为数据进行特征提取；通过算力资源空闲预测模型对业务行为数据进行算力资源空闲的预测。

4、可选地，所述预处理还包括对业务行为数据进行冗余样本去除。

5、可选地，所述不平衡处理采用随机过采样算法对算力资源空闲预测数据进行不平衡处理，通过随机的方式对少数类的样本进行采样，并将采样得到的样本与少数类初始的样本进行合并，使得少数类样本数量与多数类样本数量相同。

6、可选地，将经过随机过采样算法处理而得到的数据集如下：

7、

8、其中，和分别表示的是多数类样本和少数类样本，表示的是初始数据集s经过数据不平衡处理后得到的数据集，对数据集中少数类样本进行随机采样得到的数据集为e。

9、可选地，算力资源空闲预测的特征提取模型包括残差神经网络，所述残差神经网络包括卷积层、池化层、残差块、dropout、以及softmax分类器。

10、可选地，所述算力资源空闲预测模型为极限学习机。

11、可选地，所述极限学习机的网络结构包括输入层、隐含层和输出层。

12、可选地，所述方法还包括：通过演化算法优化残差神经网络，采用误差平方的倒数作为适应度函数，进行衡量种群中个体适应能力大小的标准，公式如下：

13、

14、

15、其中，e为误差函数，p为整体输出，w为权矢量，x为输入矢量，f为适应度，j为选代次数，为理论输出。

16、可选地，所述残差神经网络利用注意力机制对阈值进行改进，网络根据数据本身自动生成相对应的阈值。

17、为实现上述目的，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述任一项所述的基于深度学习的算力资源空闲预测方法。

18、本发明提供的技术方案中，通过采集业务行为数据进行数据标注、并对数据进行数据扩充和不平衡处理，并进一步对数据进行特征提取、建模，预测算力的空闲时间，实现算力资源的合理分配。区别于现有技术，本发明所提出的方法能够在面对业务数据不足、应用场景普适性低等情况下，仍具有较强的鲁棒性和泛化能力，同时，本发明提出的深度学习模型结合注意力机制，能够有效实现特征提取阶段的自适应细化目的。

技术特征：

1.一种基于深度学习的算力资源空闲预测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于深度学习的算力资源空闲预测方法，其特征在于，所述预处理还包括对业务行为数据进行冗余样本去除。

3.根据权利要求1所述的基于深度学习的算力资源空闲预测方法，其特征在于，所述不平衡处理采用随机过采样算法对算力资源空闲预测数据进行不平衡处理，通过随机的方式对少数类的样本进行采样，并将采样得到的样本与少数类初始的样本进行合并，使得少数类样本数量与多数类样本数量相同。

4.根据权利要求3所述的基于深度学习的算力资源空闲预测方法，其特征在于，将经过随机过采样算法处理而得到的数据集如下：

5.根据权利要求1所述的基于深度学习的算力资源空闲预测方法，其特征在于，所述算力资源空闲预测的特征提取模型包括残差神经网络，所述残差神经网络包括卷积层、池化层、残差块、dropout、和softmax分类器。

6.根据权利要求5所述的基于深度学习的算力资源空闲预测方法，其特征在于，所述算力资源空闲预测模型为极限学习机。

7.根据权利要求6所述的基于深度学习的算力资源空闲预测方法，其特征在于，所述极限学习机的网络结构包括输入层、隐含层和输出层。

8.根据权利要求5所述的基于深度学习的算力资源空闲预测方法，其特征在于，所述方法还包括：

9.根据权利要求5所述的基于深度学习的算力资源空闲预测方法，其特征在于，所述残差神经网络利用注意力机制对阈值进行改进，网络根据数据本身自动生成相对应的阈值。

10.一种存储介质，其为计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，使得所述一个或多个处理器执行权利要求1-9任一项所述的基于深度学习的算力资源空闲预测方法。

技术总结
本发明公开了一种基于深度学习的算力资源空闲预测方法和存储介质，所述方法包括：采集业务行为数据，并对所述数据进行分类，对分类后的所述数据进行标注，得到训练集；对业务行为数据进行预处理，所述预处理包括数据扩充和不平衡处理；构建算力资源空闲预测的特征提取模型，将训练集输入所述模型中进行训练，利用训练好的模型对业务行为数据进行特征提取；通过算力资源空闲预测模型对业务行为数据进行算力资源空闲的预测。本发明能够在业务数据不足、应用场景普适性低等情况下，仍具有较强的鲁棒性和泛化能力，同时，本发明提出的深度学习模型结合注意力机制，能够有效实现特征提取阶段的自适应细化目的。

技术研发人员：李参宏,韩平军,徐翠兰
受保护的技术使用者：江苏网进科技股份有限公司
技术研发日：
技术公布日：2024/1/13