一种面向实时流数据预测性分析的降载方法及系统与流程

文档序号:27019752发布日期:2021-10-24 04:28阅读:来源:国知局

技术特征:
1.一种面向实时流数据预测性分析的降载方法,其特征在于:所述方法包括以下步骤:对数据集进行预处理;对预处理后的数据集通过relieff方法进行特征选择,选择出用于预测的代表性特征;通过dtw距离来度量时间序列的子序列与整个序列的相似度的变化,并使用局部平均和窗口技术对相似性距离进行处理,从而确定用于预测的数据和时间点;使用haar小波提取时间序列在不同尺度下的小波系数,并计算其能量作为特征,构建基于随机森林回归算法的任务执行时间预测模型,以预测任务执行时间。2.根据权利要求1所述的面向实时流数据预测性分析的降载方法,其特征在于:数据集包括任务参数和一系列时间序列数据,一系列时间序列数据为任务执行过程中所收集的任务与资源状态数据;通过以下方式对数据集进行处理:将数据集按照任务执行时间进行不同层次的划分,并对数据集加上相应的类标;划分方法包括按照特定步长离散化划分和将时间按照特定底数为2的幂指数划分。3.根据权利要求2所述的面向实时流数据预测性分析的降载方法,其特征在于:使用relieff特征选择算法计算不同数据集特征的权值,通过考察特征在同类近邻样本与异类近邻样本之间的差异,度量特征的区分能力,若特征在同类样本之间差异小,而在异类样本之间差异大,则该变量具有较强的区分能力。4.根据权利要求3所述的面向实时流数据预测性分析的降载方法,其特征在于:relieff算法过程为:设x={x1,x2,...,x
n
}是样本全集,样本x
i
={x
i1
,x
i2
,...,x
im
},其中x
ij
=(j=1,2,...,m)表示第i个样本的第j个特征值,w={w1,w2,...,w
m
}表示m个特征的权值向量;算法执行m次迭代,每次迭代随机抽取一个样本x
i
,找出r个与x
i
同类的最近邻样本h
j
(j=1,2,...,r),在每个与x
i
不同类的样本集中找出r个与x
i
最近邻的样本k
lj
(j=1,2,...,r,l≠class(x
i
)),class(x
i
)表示的x
i
类别,对权值向量进行更新,计算公式为:若特征f
i
为标量型特征,则:若特征f
i
为数值型特征,则:式中,f
i
为第i个特征,value(f
i
,x
i
)为x
i
的第i个特征的值,max(f
i
)为所有样本中第i个特征的最大值,min(f
i
)为所有样本中第i个特征的最小值;p(l)为第l类出现的概率。5.根据权利要求4所述的面向实时流数据预测性分析的降载方法,其特征在于:在任务执行过程中结合状态数据和任务参数对任务执行时间进行预测,通过使用动态时间规整距离来测量子序列和完整序列之间的相似度,通过使用窗口划分策略来捕捉相似度距离变化的特点,并确定预测所使用的数据以及预测的入口点。
6.根据权利要求5所述的面向实时流数据预测性分析的降载方法,其特征在于:将整个序列记为x(x=<x1,x2,...,x
i
>),引入参数α(α∈(0,1))来衡量预测的位置,参数α将整个序列x等分为i个子序列,使用dtw距离测量子序列和整个序列的相似度,设时间序列x,y的dtw距离为d(x,y),其中,d
base
(x
i
,y
j
)表示向量点x
i
和y1之间的基距离,记d0(x1,y1)为d0;计算等分序列窗口与整个序列的相似度距离,并统计频繁模式的数量。7.根据权利要求6所述的面向实时流数据预测性分析的降载方法,其特征在于:设时间序列其规模为j(j=log2m),在特定尺度j(j∈[0,1,...,j

1])内分解后,小波系数其中是在空间尺度v
j
上的投影;为在w
j
,...,w
j
‑1的细节信息。8.根据权利要求7所述的面向实时流数据预测性分析的降载方法,其特征在于:给定时间序列的能量为:9.根据权利要求8所述的面向实时流数据预测性分析的降载方法,其特征在于:计算所有时间序列的小波系数,对长度不足2
j
的原始序列填充零,通过以下方式对原时间序列做变换处理:分析数据集在不同尺度下低频小波系数的能量损失情况来确定变换尺度,选择在第1尺度下小波变换的低频小波系数代替原序列;对原序列作转换处理,去除序列中干扰因素。10.一种面向实时流数据预测性分析的降载系统,其特征在于:所述系统包括:处理模块,用于对数据集进行预处理;分析模块,用于对预处理后的数据集通过relieff进行特征选择,选择出用于预测的代表性特征;判断模块,用于通过dtw距离来度量时间序列的子序列与整个序列的相似度的变化,并使用局部平均和窗口技术对相似性距离进行处理,从而确定用于预测的数据和时间点;提取模块,用于使用haar小波提取时间序列在不同尺度下的小波系数,并计算其能量作为特征,构建基于随机森林回归算法的任务执行时间预测模型,以预测任务执行时间。

技术总结
本发明涉及一种面向实时流数据预测性分析的降载方法,所述方法包括:对数据集进行预处理;对预处理后的数据集通过Re l i efF方法进行特征选择,选择出用于预测的代表性特征;通过DTW距离来度量时间序列的子序列与整个序列的相似度的变化,并使用局部平均和窗口技术对相似性距离进行处理,从而确定用于预测的数据和时间点;使用Haar小波提取时间序列在不同尺度下的小波系数,并计算其能量作为特征。本发明可以降低处理数据的维度,减少分类的计算量、缩短处理时间,提高分类结果的准确率;并且能够减小预测任务执行时间的误差,提高处理时间序列数据的效率,从而更好的为任务调度、负载均衡等提供支撑。载均衡等提供支撑。载均衡等提供支撑。


技术研发人员:李晖 闵圣天 丁玺润
受保护的技术使用者:贵州优联博睿科技有限公司
技术研发日:2021.06.07
技术公布日:2021/10/23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1