一种大型企业网络内部威胁检测方法及系统

本发明涉及大型企业网络内部威胁检测领域，具体涉及一种大型企业网络内部威胁检测方法及系统。

背景技术：

1、随着企业内部网络的快速发展，各种各样的应用不断以数字化形式迁移到企业网络中。大型企业网络中承载了大量的业务，囊括了海量的有价值的数据与资源。由于不法分子对这些敏感数据与资源的觊觎，大型企业网络很容易遭受各种威胁，包括各类数据和资源的窃取、篡改与破坏，这无疑会给企业造成无法估计的损失。因此需要对大型企业网络中各类数据资源操作进行实时检测，发现其中的异常操作行为，排查出威胁，以保障企业网络的稳定高效运行。

2、大型企业网络中的威胁按攻击者来源可以分为外部威胁和内部威胁。外部威胁是指来自没有企业内网操作权限的恶意人员的攻击。内部威胁是指来自已经获得企业内网资源操作权限的恶意人员的攻击，他们可以利用自己的或者窃取的账号进行各种恶意操作，相较于外部威胁更加难以检测与防范，同时也具有更大的威胁与破坏性。

3、目前，针对大型企业网络内部威胁检测的方法之一是利用预训练的异常检测模型对内网中的资源操作行为进行异常检测。基于流行深度学习方法的异常检测模型可以自动地从数据中学习出关键特征，从而检测出隐蔽的异常事件。该方法先通过预先获得的足够多的历史样本数据作为训练数据优化得出异常检测模型，然后对新的待检测数据进行异常检测。现有方法由于需要从数据中自动地学习出关键特征，因此在没有足够的先验知识或者训练数据的情况下，难以得到一个有效的异常检测模型。另外，在异常模式发生变化时，该方法中原有预训练好的异常检测模型难免会发生性能下降，难以应对新颖的异常事件。若重新训练异常检测模型，需要利用全部的新数据和旧数据训练，增加了计算量与占用的存储资源。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的一种大型企业网络内部威胁检测方法及系统，采用人机回环方法能随时间推移不断让模型学习新数据，提升模型的检测性能，通过设置的记忆模块储存历史内部用户低维画像减小计算量与占用的存储资源，并且减少模型的过拟合，从而提高其泛化能力。

2、为了达到上述发明目的，本发明采用的技术方案为：

3、一种大型企业网络内部威胁检测方法，包括以下步骤：

4、s1、获取预训练内部用户数据，并根据预训练内部用户数据计算预训练内部用户行为特征数据；

5、s2、构建行为特征检测模型，并根据步骤s1中的预训练内部用户行为特征数据对特征检测模型进行预训练；

6、s3、确定增量学习优化周期，获取增量学习优化周期内的内部用户数据，根据增量学习优化周期内的内部用户数据计算增量学习优化周期内的内部用户行为特征数据；

7、s4、根据步骤s2中预训练后的行为特征检测模型和步骤s3中增量学习优化周期内的内部用户行为特征数据输出运行阶段异常分数以获取大型企业网络内部威胁检测结果，并根据运行阶段异常分数和专家调查样本，采用人机回环方法对预训练后的行为特征检测模型进行增量学习优化。

8、进一步地，步骤s2包括以下分步骤：

9、s21、构建包括行为特征蒸馏器和行为异常打分器的行为特征检测模型；

10、s22、根据步骤s1中的预训练内部用户行为特征数据和分步骤s21中的行为特征蒸馏器获取内部用户低维相似画像、内部用户低维相似画像重建数据和重建误差数据；

11、s23、根据分步骤s21中的行为异常打分器和分步骤s22中的内部用户低维相似画像、内部用户低维相似画像重建数据和重建误差数据，获取启动阶段异常分数；

12、s24、根据步骤s1中的预训练内部用户行为特征数据和分步骤s23中的启动阶段异常分数计算预训练损失，以对特征检测模型进行预训练。

13、进一步地，在分步骤s22中，行为特征蒸馏器包括依次连接的编码器、记忆模块、解码器和重建误差计算模块；

14、编码器用于接收内部用户行为特征数据，利用降维函数对内部用户行为特征数据进行降维以获取内部用户低维画像，将内部用户低维画像传输至记忆模块，并将内部用户行为特征数据传输至重建误差计算模块；

15、记忆模块用于储存历史内部用户低维画像，接收内部用户低维画像，计算内部用户低维画像与历史内部用户低维画像的相似向量，利用硬收缩函数计算内部用户低维画像的权重，并根据内部用户低维画像与历史内部用户低维画像的相似向量和内部用户低维画像的权重获取内部用户低维相似画像，并将内部用户低维相似画像传输至解码器；

16、解码器用于接收内部用户低维相似画像，利用升维函数对内部用户低维相似画像进行升维以获取内部用户低维相似画像重建数据，并将内部用户低维相似画像重建数据传输至重建误差计算模块；

17、重建误差计算模块用于接收预训练内部用户行为特征数据和内部用户低维相似画像重建数据，并根据预训练内部用户行为特征数据和内部用户低维相似画像重建数据计算重建误差数据。

18、进一步地，步骤s23包括以下分步骤：

19、s231、根据分步骤s22中的内部用户低维相似画像、内部用户低维相似画像重建数据和重建误差数据，利用拼接函数获取拼接特征，表示为：

20、xin＝concat(x，z′，e)

21、其中：xin为拼接特征，concat为拼接函数，x为内部用户低维相似画像，z′为内部用户低维相似画像重建数据，e为重建误差数据；

22、s232、将分步骤s231中的拼接特征输入至行为异常打分器获取多层感知机每层启动阶段异常分数以输出启动阶段异常分数，获取多层感知机每层启动阶段异常分数表示为：

23、sj(x)＝σ(wj·x+bj)

24、其中：sj(x)为多层感知机第j层启动阶段异常分数，j为多层感知机的层序号，σ为激活函数，wj为多层感知机第j层权重矩阵，x为多层感知机第j层的输入变量，多层感知机第1层的输入变量x为拼接特征xin，bj为多层感知机第j层偏置系数。

25、进一步地，步骤s24包括以下分步骤：

26、s241、根据步骤s1中的预训练内部用户行为特征数据计算记忆模块损失，表示为：

27、lmem(xi，yi)＝yi max(0，mi-mlow)+(1-yi)max(0，mhigh-mi)

28、其中：lmem(xi，yi)为记忆模块损失，xi为内部用户行为特征数据，yi为内部用户行为特征数据的标签，max(·)为最大值函数，mi为内部用户行为特征数据与记忆模块的匹配程度，mlow为第一超参数，mhigh为第二超参数；

29、s242、根据步骤s1中的预训练内部用户行为特征数据计算重建误差损失，表示为：

30、lerr(xi，yi)＝yiei+(1-yi)max(0，ehigh-ei)

31、其中：lerr(xi，yi)为重建误差损失，ei为重建误差值，ehigh为第三超参数；

32、s243、根据步骤s1中的预训练内部用户行为特征数据和分步骤s23中的启动阶段异常分数计算异常分数损失，表示为：

33、lscore(xi，yi)＝yiscorei+(1-yi)max(0，scorehigh-scorei)

34、其中：lscore(xi，yi)为异常分数损失，scorei为异常分数值，scorehigh为第四超参数；

35、s244、根据步骤s1中的预训练内部用户行为特征数据和分步骤s23中的启动阶段异常分数计算预训练损失，以对特征检测模型进行预训练，计算预训练损失表示为：

36、

37、其中：linit为预训练损失，t为预训练内部用户行为特征数据的检测时间粒度数量，u为内部用户数量，i为样本序号。

38、进一步地，步骤s4包括以下分步骤：

39、s41、根据步骤s2中预训练后的行为特征检测模型和步骤s3中增量学习优化周期内的内部用户行为特征数据输出运行阶段异常分数以获取大型企业网络内部威胁检测结果；

40、s42、判断分步骤s41中的运行阶段异常分数是否大于异常分数阈值；若是则将其确定为异常样本，否则将其确定为正常样本，以获取大型企业网络内部威胁检测结果并确定样本的检测标签；

41、s43、确定调查率，根据调查率确定增量学习优化周期内的可疑样本，通过专家调查确定可疑样本的真实标签，并将增量学习优化周期内的其它样本确定为正常样本，以确定样本的调查标签；

42、s44、根据分步骤s42中样本的检测标签和分步骤s43中样本的调查标签确定增量学习样本；

43、s45、根据步骤s2中预训练后的行为特征检测模型和分步骤s44中的增量学习样本，获取增量学习异常分数；

44、s46、根据步骤s3中增量学习优化周期内的内部用户行为特征数据、分步骤s41中的运行阶段异常分数和分步骤s45中的增量学习异常分数，计算增量学习损失以对预训练后的行为特征检测模型进行增量学习优化。

45、进一步地，步骤s46包括以下分步骤：

46、s461、根据步骤s3中增量学习优化周期内的内部用户行为特征数据和分步骤s41中的运行阶段异常分数，计算记忆模块损失、重建误差损失和异常分数损失；

47、s462、计算记忆模块变化损失，表示为：

48、ldist_mem(m)＝mse(minit，m)

49、其中：ldist_mem(m)为记忆模块变化损失，mse为均方误差函数，minit为增量学习前记忆模块的参数，m为增量学习时记忆模块的参数；

50、s463、根据分步骤s41中的运行阶段异常分数和分步骤s45中的增量学习异常分数，计算异常分数变化损失，表示为：

51、ldist_score(xi)＝|init_scorei-scorei|

52、其中：ldist_score(xi)为异常分数变化损失，ink_scorei为增量学习前样本xi的异常分数，scorei为增量学习异常分数；

53、s464、根据分步骤s461中的记忆模块损失、重建误差损失、异常分数损失、分步骤s462中的记忆模块变化损失和分步骤s463中的异常分数变化损失，计算增量学习损失以对预训练后的行为特征检测模型进行增量学习优化，计算增量学习损失表示为：

54、

55、其中：linc为增量学习损失，w为增量学习优化周期的检测时间粒度数量，u为内部用户数量，i为样本序号。

56、一种应用上述方法的大型企业网络内部威胁检测系统，包括内部用户特征提取模块和行为特征检测模块；

57、内部用户特征提取模块用于获取预训练内部用户数据，根据预训练内部用户数据计算预训练内部用户行为特征数据，并将预训练内部用户行为特征数据传输至行为特征检测模块，获取增量学习优化周期内的内部用户数据，根据增量学习优化周期内的内部用户数据计算增量学习优化周期内的内部用户行为特征数据，并将增量学习优化周期内的内部用户行为特征数据传输至行为特征检测模块；

58、行为特征检测模块用于接收预训练内部用户行为特征数据，根据预训练内部用户行为特征数据输出启动阶段异常分数以对模块内部参数进行预训练，接收增量学习优化周期内的内部用户行为特征数据，根据预训练后的内部参数和增量学习优化周期内的内部用户行为特征数据输出运行阶段异常分数以进行大型企业网络内部威胁检测，根据运行阶段异常分数和专家调查样本，采用人机回环方法对预训练后的内部参数进行增量学习优化。

59、本发明的有益效果为：

60、(1)本发明通过人机回环方法在增量学习优化周期中，确定增量学习优化周期内的可疑样本，通过专家调查确定可疑样本的真实标签，并将增量学习优化周期内的其它样本确定为正常样本，然后充分利用可疑样本的真实标签和其它样本来迭代提高模型检测性能，使模型能适应新增正常与异常样本的分布；

61、(2)本发明通过设置行为蒸馏器，具体在行为蒸馏器中设置记忆模块，储存历史内部用户低维画像，并将内部用户行为特征数据蒸馏到内部用户低维画像中与历史内部用户低维画像进行比较，能更为泛化地描述典型的内部用户行为特征，从而让模型能够更好地区识别出正常行为，同时区分出异常行为，减小计算量与占用的存储资源，并且还能减少模型的过拟合，从而提高其泛化能力；

62、(3)本发明通过弱监督学习的模型训练方法，即在人机回环方法中，利用每个增量学习优化周期新增的少量专家调查确定的样本以及大量无标注样本，对模型误判予以纠正，在提升模型的检测性能同时减小计算量与占用的存储资源；

63、(4)本发明提出了一种大型企业网络内部威胁检测系统，系统面向实时的内部威胁检测场景，采用基于神经网络的网络行为检测模型即内部用户特征提取模块和行为特征检测模型，能通过数据驱动的方式自动从内部用户数据中提取内部用户行为特征数据来检测异常，从而避免专家持续手动定义与更新规则。同时系统能够充分利用领域专家反馈(专家调查确定样本)，使得检测模型能够适应新颖异常，能够提升模型的检测性能，减小计算量与占用的存储资源，并且还能减少模型的过拟合，从而提高其泛化能力。