异常检测方法、装置及设备与流程

文档序号:24250084发布日期:2021-03-12 13:28阅读:来源:国知局

技术特征:

1.一种异常检测方法,其特征在于,所述方法包括:

获取目标训练数据集,所述目标训练数据集包括多个训练数据,每个训练数据包括多个数据特征;

将所述目标训练数据集输入给第一机器学习模型,以使所述第一机器学习模型基于所述多个训练数据确定每个数据特征对应的分数值;

基于每个数据特征对应的分数值对所有数据特征进行排序,并基于排序结果选取分数值高的m个数据特征,并基于所述m个数据特征确定第一目标特征向量,所述m为正整数;

将所述第一目标特征向量输入给第二机器学习模型,通过所述第一目标特征向量对所述第二机器学习模型进行训练,得到已训练的第二机器学习模型;

基于所述已训练的第二机器学习模型检测网络数据是否为异常数据。

2.根据权利要求1所述的方法,其特征在于,获取目标训练数据集,包括:

获取原始训练数据集,所述原始训练数据集包括n种攻击类型的训练数据;

获取与所述n种攻击类型对应的n个目标训练数据集,所述n为正整数;其中,每个目标训练数据集只包括与该目标训练数据集对应的攻击类型的训练数据;或者,将所述原始训练数据集确定为目标训练数据集;或者,将所述原始训练数据集和所述n个目标训练数据集均确定为最终的目标训练数据集。

3.根据权利要求2所述的方法,其特征在于,所述n个目标训练数据集中的每个目标训练数据集对应m个数据特征;所述将所述第一目标特征向量输入给第二机器学习模型之前,所述方法还包括:基于所述n个目标训练数据集对应的所有数据特征,确定第二目标特征向量;

所述将所述第一目标特征向量输入给第二机器学习模型,通过所述第一目标特征向量对所述第二机器学习模型进行训练,包括:将所述第一目标特征向量和所述第二目标特征向量输入给第二机器学习模型,通过所述第一目标特征向量和所述第二目标特征向量对所述第二机器学习模型进行训练。

4.根据权利要求1所述的方法,其特征在于,所述基于所述已训练的第二机器学习模型检测网络数据是否为异常数据,包括:

获取网络数据,所述网络数据包括多个网络特征;

从所述多个网络特征中选取至少一个目标网络特征;

基于所述至少一个目标网络特征确定检测特征向量;

将所述检测特征向量输入给已训练的第二机器学习模型,由第二机器学习模型确定与所述检测特征向量对应的标签值,所述标签值用于表示所述检测特征向量是正常数据的特征向量或者异常数据的特征向量;

基于所述标签值检测所述网络数据是否为异常数据。

5.根据权利要求4所述的方法,其特征在于,

所述从所述多个网络特征中选取至少一个目标网络特征,包括:从所述多个网络特征中选取与所述m个数据特征的特征类型匹配的目标网络特征。

6.根据权利要求1-5任一所述的方法,其特征在于,

所述第一机器学习模型包括随机森林回归网络模型;

所述第二机器学习模型包括xgboost网络模型。

7.一种异常检测装置,其特征在于,所述装置包括:

获取模块,用于获取目标训练数据集,所述目标训练数据集包括多个训练数据,每个训练数据包括多个数据特征;

处理模块,用于将所述目标训练数据集输入给第一机器学习模型,以使所述第一机器学习模型基于所述多个训练数据确定每个数据特征对应的分数值;

确定模块,用于基于每个数据特征对应的分数值对所有数据特征进行排序,并基于排序结果选取分数值高的m个数据特征,并基于所述m个数据特征确定第一目标特征向量,所述m为正整数;

所述处理模块,还用于将所述第一目标特征向量输入给第二机器学习模型,通过所述第一目标特征向量对所述第二机器学习模型进行训练,得到已训练的第二机器学习模型;

检测模块,用于基于所述已训练的第二机器学习模型检测网络数据是否为异常数据。

8.根据权利要求7所述的装置,其特征在于,所述检测模块具体用于:

获取网络数据,所述网络数据包括多个网络特征;

从所述多个网络特征中选取至少一个目标网络特征;

基于所述至少一个目标网络特征确定检测特征向量;

将所述检测特征向量输入给已训练的第二机器学习模型,由第二机器学习模型确定与所述检测特征向量对应的标签值,所述标签值用于表示所述检测特征向量是正常数据的特征向量或者异常数据的特征向量;

基于所述标签值检测所述网络数据是否为异常数据。

9.根据权利要求8所述的装置,其特征在于,所述检测模块从所述多个网络特征中选取至少一个目标网络特征时具体用于:从所述多个网络特征中选取与所述m个数据特征的特征类型匹配的目标网络特征。

10.一种异常检测设备,其特征在于,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;

所述处理器用于执行机器可执行指令,以实现如下步骤:

获取目标训练数据集,所述目标训练数据集包括多个训练数据,每个训练数据包括多个数据特征;

将所述目标训练数据集输入给第一机器学习模型,以使所述第一机器学习模型基于所述多个训练数据确定每个数据特征对应的分数值;

基于每个数据特征对应的分数值对所有数据特征进行排序,并基于排序结果选取分数值高的m个数据特征,并基于所述m个数据特征确定第一目标特征向量,所述m为正整数;

将所述第一目标特征向量输入给第二机器学习模型,通过所述第一目标特征向量对所述第二机器学习模型进行训练,得到已训练的第二机器学习模型;

基于所述已训练的第二机器学习模型检测网络数据是否为异常数据。


技术总结
本申请提供一种异常检测方法、装置及设备,该方法包括:获取目标训练数据集,目标训练数据集包括多个训练数据;将目标训练数据集输入给第一机器学习模型,以使第一机器学习模型基于多个训练数据确定每个数据特征对应的分数值;基于每个数据特征对应的分数值对所有数据特征进行排序,基于排序结果选取分数值高的M个数据特征,基于M个数据特征确定第一目标特征向量;将第一目标特征向量输入给第二机器学习模型,通过第一目标特征向量对第二机器学习模型进行训练,得到已训练的第二机器学习模型;基于已训练的第二机器学习模型检测网络数据是否为异常数据。通过本申请的技术方案,提高检测是否存在异常数据的准确性,得到较好的异常检测效果。

技术研发人员:周义
受保护的技术使用者:新华三技术有限公司
技术研发日:2020.11.12
技术公布日:2021.03.12
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1