一种基于机器学习的网络管理方法及系统与流程

1.本发明涉及网络安全管理技术领域，尤其涉及一种基于机器学习的网络管理方法及系统。


背景技术：

2.经检索，中国专利号cn107493258a公开了一种基于网络安全的入侵检测系统，该发明采用提取
‑
分析的传统网络入侵监测方式，即根据检测库判断入侵行为，该发明虽然具有一定可行性，但准确率较低，且局限性较多，无法识别检测库以外的网络入侵行为；随着网络时代的更新进步，网络入侵方式多种多样，网络安全成为现阶段研究的重点课题；目前的防火墙等机制虽然可以满足基础用户的日常需要，但是防护能力不足，一些涉及信息安全的企事业单位等防护机制也不健全，一旦遭受黑客攻击，很有可能泄露用户、公司的重要信息，严重者会导致公司财产损失，威胁家庭，公司，单位，甚至国家的安全；如何保护用户的网络安全、做好安全防护工作就显得尤为重要，传统的网络入侵监测模型采用提取
‑
分析入侵模式的方式，根据检测库判断入侵类别，在准确率上明显不足，也不智能；目前，随着机器学习、人工智能技术的发展极大的提高了人们的数据处理能力，通过数据训练出模型，不仅能够准确地识别出网络中的异常请求，同时对于未见过的请求，也可以通过实时的学习来增强自己的识别能力，这种基于机器学习技术的模型，使得网络异常检测技术从过去的被动防御转换为主动防御，为网络安全问题的解决提供了新的研究方向；因此，发明出一种基于机器学习的网络管理方法及系统变得尤为重要；
3.现有的网络安全管理方法大多采用提取
‑
分析的传统网络入侵监测方式，即根据检测库判断入侵行为，该发明虽然具有一定可行性，但准确率较低，且局限性较多，无法识别检测库以外的网络入侵行为，易导致网络安全事件频发；为此，我们提出一种基于机器学习的网络管理方法及系统。


技术实现要素：

4.本发明的目的是为了解决现有技术中存在的缺陷，而提出的一种基于机器学习的网络管理方法及系统，
5.为了实现上述目的，本发明采用了如下技术方案：
6.一种基于机器学习的网络管理方法，该管理方法具体步骤如下：
7.步骤一：数据库构建，获取kddcup99数据集，同时进行预处理，形成样本集，对预处理后得到的样本集进行存储，形成入侵行为数据库；
8.步骤二：机器学习，提取步骤一所述入侵行为数据库中的样本集，并根据其进行机器学习训练，形成入侵检测模型；
9.步骤三：网络入侵判断，实现监控通信网络，获取网络流量，并根据步骤二所述入侵检测模型对其进行检测判断，得到入侵判断结果，若入侵判断结果为存在入侵行为，则跳到步骤五，若入侵判断结果为未存在入侵行为，则跳到步骤四；
10.步骤四：特征距离判断，对步骤三所述入侵判断结果为未存在入侵行为进行数据挖掘，即进行特征距离判断，得到距离判断结果，若距离判断结果大于0.5，则跳到步骤五；
11.步骤五：告警反馈及安全处理，根据所述入侵判断结果和距离判断结果进行安全等级划分，得到等级划分结果，同时根据其进行反馈，并由管理人员根据其进行网络安全管理。
12.进一步地，步骤一所述预处理包括但不限于数据据清洗、数据格式变换、数据集成和数据规约。
13.进一步地，步骤二所述入侵检测模型的具体形成过程如下：
14.s1：首先，提取入侵行为数据库中的样本集；
15.s2：然后，采用fisher过滤式特征算法对步骤一所述样本集进行特征降维；
16.s3：接着，将特征降维后的样本集，划分为训练集和测试集两部分；
17.s4：之后，构建神经网络模型，并将测试集作为输入数据输入其中进行学习训练，形成入侵检测模型；
18.s5：最后，将所述测试集输入入侵检测模型中进行验证，并根据准确率和误报率公式计算模型可靠性，若准确率和误报率低于阈值，则进行样本重采样，直至模型符合预期：
19.准确率＝jt/zt
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
20.误报率＝ft/st
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
21.式中：jt表示检测出的入侵样本数，zt为入侵样本总数，ft表示被误报为入侵的正常样本数，st表示正常样本数。
22.进一步地，步骤四所述特征距离判断采用余弦距离算法实现，其具体公式如下：
[0023][0024]
式中：x为网络流量特征向量；y为样本集特征向量；cos为余弦值，所述cos余弦值取值范围为[
‑
1,1]。
[0025]
进一步地，步骤五所述安全等级包括可控入侵行为和不可控入侵行为，所述可控入侵行为是指该入侵行为可通过计算机软件进行自行解决，不会影响正常网络通信；所述不可控入侵行为是指该入侵行为计算机软件进行无法自行解决，会影响正常网络通信。
[0026]
一种基于机器学习的网络管理系统，包括数据库模块、机器学习模块、数据监控模块、入侵检测模块、距离判断模块、数据更新模块、安全等级划分模块、安全告警模块和系统管理模块；
[0027]
所述数据库模块用于存储样本集；
[0028]
所述机器学习模块用于获取所述样本集，并采集机器学习算法进行学习训练，形成入侵检测模型；
[0029]
所述数据监控模块用于对网络通信状况进行实时监控，获取网络流量数据；
[0030]
所述入侵检测模块用于获取所述网络流量数据并根据所述入侵检测模型对其进行检测判断，得到入侵判断结果；
[0031]
所述距离判断模块用于获取所述网络流量数据，并将其与所述样本集进行特征距离判断，得到距离判断结果；
[0032]
所述数据更新模块用于根据距离判断结果对入侵行为数据库进行数据更新；
[0033]
所述安全等级划分模块用于根据所述入侵判断结果和距离判断结果进行安全等级划分，得到等级划分结果；
[0034]
所述安全告警模块用于根据等级划分结果进行不同级别的安全告警；
[0035]
所述系统管理模块用于系统管理人员根据所述不同级别的安全告警进行网络安全管理。
[0036]
相比于现有技术，本发明的有益效果在于：
[0037]
本技术公开了一种基于机器学习的网络管理方法及系统，其采用机器学习算法对现有入侵数据集进行训练学习，形成入侵检测模型，其可快速准确地识别出现有已知入侵行为，此外，本发明采用数据挖掘技术进行特征距离计算，通过挖掘未知入侵行为与已知入侵行为的特征相似度，可准确地识别检测出未知的网络入侵行为，并根据其进行数据库更新，可实现不断优化入侵检测模型，从而有利于避免用户遭到网络攻击。
附图说明
[0038]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制，
[0039]
图1为本发明提出的一种基于机器学习的网络管理方法的整体流程图；
[0040]
图2为本发明提出的一种基于机器学习的网络管理系统的整体示意图。
具体实施方式
[0041]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，
[0042]
实施例1
[0043]
参照图1，本实施例公开了一种基于机器学习的网络管理方法，该管理方法具体步骤如下：
[0044]
步骤一：数据库构建，获取kddcup99数据集，同时进行预处理，形成样本集，对预处理后得到的样本集进行存储，形成入侵行为数据库；
[0045]
具体的，该预处理包括但不限于数据据清洗、数据格式变换、数据集成和数据规约，该kddcup99数据集采用的攻击分类，来源于1999年美国国防部高级研究计划署(darpa)的入侵检测评估报告，介绍其中的四大类攻击：(1)拒绝服务攻击(dos)，通过占用系统资源或网络资源，使得计算机或者服务器不能处理合法的请求，采用的手段有合法特征滥用、创建畸形包、利用某些网络守护程序的漏洞等，(2)usertoroot攻击(u2r)，攻击者具备普通用户的权限，进一步通过系统弱点获得超级用户的权限，攻击手段有缓冲区溢出、利用程序假设的运行环境攻击、利用临时文件进行攻击等，(3)remotetouser攻击(r2u)，远程非授权进入，攻击手段包括利用网络服务软件的缓冲区溢出漏洞、口令猜测、字典攻击以及骗取密码等，(4)探测攻击(probe)，收集目标系统的信息，手段主要包括各种扫描类的攻击以及嗅探类的攻击。
[0046]
步骤二：机器学习，提取步骤一入侵行为数据库中的样本集，并根据其进行机器学习训练，形成入侵检测模型；
[0047]
具体的，该入侵检测模型的具体形成过程如下：首先，提取入侵行为数据库中的样
本集；然后，采用fisher过滤式特征算法对步骤一样本集进行特征降维；接着，将特征降维后的样本集，划分为训练集和测试集两部分；之后，构建神经网络模型，并将测试集作为输入数据输入其中进行学习训练，形成入侵检测模型；最后，将测试集输入入侵检测模型中进行验证，并根据准确率和误报率公式计算模型可靠性，若准确率和误报率低于阈值，则进行样本重采样，直至模型符合预期：
[0048]
准确率＝jt/zt
[0049]
误报率＝ft/st
[0050]
式中：jt表示检测出的入侵样本数，zt为入侵样本总数，ft表示被误报为入侵的正常样本数，st表示正常样本数，
[0051]
步骤三：网络入侵判断，实现监控通信网络，获取网络流量，并根据步骤二入侵检测模型对其进行检测判断，得到入侵判断结果，若入侵判断结果为存在入侵行为，则跳到步骤五，若入侵判断结果为未存在入侵行为，则跳到步骤四；
[0052]
步骤四：特征距离判断，对步骤三入侵判断结果为未存在入侵行为进行数据挖掘，即进行特征距离判断，得到距离判断结果，若距离判断结果大于0.5，则跳到步骤五；
[0053]
具体的，该特征距离判断采用余弦距离算法实现，其具体公式如下：式中：x为网络流量特征向量；y为样本集特征向量；cos为余弦值，cos余弦值取值范围为[
‑
1,1]，
[0054]
步骤五：告警反馈及安全处理，根据入侵判断结果和距离判断结果进行安全等级划分，得到等级划分结果，同时根据其进行反馈，并由管理人员根据其进行网络安全管理，
[0055]
具体的，该安全等级包括可控入侵行为和不可控入侵行为，可控入侵行为是指该入侵行为可通过计算机软件进行自行解决，不会影响正常网络通信；不可控入侵行为是指该入侵行为计算机软件进行无法自行解决，会影响正常网络通信；
[0056]
本实施例通过采用机器学习算法对现有入侵数据集进行训练学习，形成入侵检测模型，其可快速准确地识别出现有已知入侵行为，此外，本发明采用数据挖掘技术进行特征距离计算，通过挖掘未知入侵行为与已知入侵行为的特征相似度，可准确地识别检测出未知的网络入侵行为，并根据其进行数据库更新，可实现不断优化入侵检测模型，从而有利于避免用户遭到网络攻击。
[0057]
实施例2
[0058]
参照图2，本实施例公开了一种基于机器学习的网络管理系统，包括数据库模块、机器学习模块、数据监控模块、入侵检测模块、距离判断模块、数据更新模块、安全等级划分模块、安全告警模块和系统管理模块；数据库模块用于存储样本集；
[0059]
机器学习模块用于获取样本集，并采集机器学习算法进行学习训练，形成入侵检测模型；数据监控模块用于对网络通信状况进行实时监控，获取网络流量数据；入侵检测模块用于获取网络流量数据并根据入侵检测模型对其进行检测判断，得到入侵判断结果；距离判断模块用于获取网络流量数据，并将其与样本集进行特征距离判断，得到距离判断结果；
[0060]
数据更新模块用于根据距离判断结果对入侵行为数据库进行数据更新；安全等级划分模块用于根据入侵判断结果和距离判断结果进行安全等级划分，得到等级划分结果；
安全告警模块用于根据等级划分结果进行不同级别的安全告警；系统管理模块用于系统管理人员根据不同级别的安全告警进行网络安全管理。
[0061]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。