宽带的检测方法、装置、电子设备及存储介质与流程

文档序号:22923648发布日期:2020-11-13 16:16阅读:160来源:国知局
宽带的检测方法、装置、电子设备及存储介质与流程

本申请实施例涉及物联网技术领域,尤其涉及一种宽带的检测方法、装置、电子设备及存储介质。



背景技术:

互联网和信息技术的发展在经济和生活的各个领域正在迅速普及,其地位日益重要,整个社会对网络的依赖程度也越来越大。对于网络运营商来说,宽带线路的租用成为其主要收入之一。

而对于用户来说,各个宽带运营商之间网间结算的费用远高于租用idc(internetdatacenter,互联网数据中心)带宽的费用,因此,会存在非idc带宽租用者,绕开idc带宽的常规接入点,而违规使用idc带宽服务的现象,扰乱了宽带市场的正常运行,同时,为网络安全监控和治理带来了不便。

目前,现有的违规宽带的检测方法大多根据idc机房的向外访问流量确定是否为违规宽带,即若存在大量从idc机房的服务器向外网请求访问业务的情况,则确定存在宽带违规。然而,当前的idc机房流量特点发生了变化,很多大型公司租借不同的idc机房的设备进行电子商务的处理,不同的idc机房之间的交互已成为常态,基于向外访问流量确定是否为违规宽带的方法已不再适用。因此,现有的宽带违规检测方法的精准度不够,无法满足需求。



技术实现要素:

本申请实施例提供一种宽带的检测方法、装置、电子设备及存储介质,以提高违规宽带检测的精确度,有效降低了正常访问的用户被判定为违规用户的几率。

第一方面,本申请实施例提供一种宽带的检测方法,包括:

获取互联网数据中心的各个宽带用户的流量特征;基于预先训练好的预设神经网络模型,对各个宽带用户的所述流量特征进行疑似度赋值,以确定各个宽带用户的所述流量特征的特征疑似度;根据所述流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户。

可选地,所述流量特征包括:

操作系统类型数量、终端类型数量、cookie数量、位置信息、vpn流量、vpn流量占比、机房向外访问流量和机房向外访问应用中的至少一项。

可选地,所述基于预先训练好的预设神经网络模型,对各个宽带用户的所述流量特征进行疑似度赋值,包括:

基于预先训练好的预设神经网络模型,对各个宽带用户的所述流量特征进行疑似度赋值和分类,以得到各个宽带用户的所述流量特征的特征类型和特征疑似度,其中,所述特征类型包括正常和异常两种类型;相应的,根据所述流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户,包括:针对特征类型为异常类型的流量特征,根据所述流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户。

可选地,所述流量特征的个数为多个,所述预设神经网络模型包括各个流量特征对应的特征神经网络模型,所述基于预先训练好的预设神经网络模型,对各个宽带用户的所述流量特征进行疑似度赋值和分类,以得到各个宽带用户的所述流量特征的特征类型和特征疑似度,包括:

针对每个流量特征,基于预先训练好的所述流量特征对应的特征神经网络,对各个宽带用户的所述流量特征进行疑似度赋值和分类,以得到各个宽带用户的所述流量特征的特征类型和特征疑似度;相应的,所述针对特征类型为异常类型的流量特征,根据所述流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户,包括:针对特征类型为异常类型的各个流量特征,根据各个流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户。

可选地,所述针对特征类型为异常类型的各个流量特征,根据各个流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户,包括:

获取特征类型为异常类型的各个流量特征的特征权重;特征类型为异常类型的根据各个流量特征的特征疑似度和特征权重,确定所述互联网数据中心的违规宽带用户。

可选地,在得到各个宽带用户的所述流量特征的特征类型和特征疑似度之后,还包括:

对于异常类型的流量特征,按照特征疑似度由高到低,对所述宽带用户进行排序;根据排序结果确定各个宽带用户的流量特征的疑似度叠加值;相应的,所述针对特征类型为异常类型的流量特征,根据所述流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户,包括:针对特征类型为异常类型的流量特征,根据所述流量特征的特征疑似度和疑似度叠加值,确定所述互联网数据中心的违规宽带用户。

可选地,所述疑似度叠加值包括第一疑似度叠加值和第二疑似度叠加值,其中,所述第一疑似度叠加值大于所述第二疑似度叠加值,所述根据排序结果确定各个宽带用户的流量特征的疑似度叠加值,包括:

根据排序结果,将位于前第一设定百分比的宽带用户的流量特征的疑似度叠加值设置为第一疑似度叠加值;根据排序结果,将位于前第一设定百分比和前第二设定百分比之间的宽带用户的流量特征的疑似度叠加值设置为第二疑似度叠加值。

可选地,在确定各个宽带用户的所述流量特征的特征疑似度之后,所述方法还包括:

针对每个宽带用户,判断所述宽带用户是否包括非指定运营商的ip地址;若存在,则将所述宽带用户的流量特征的特征疑似度增加预设百分比;相应的,根据所述流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户,包括:根据增加预设百分比后的所述流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户。

可选地,所述根据所述流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户,包括:

获取预设时间区间各个时间节点的所述流量特征的特征疑似度;根据预设时间区间各个时间节点的所述流量特征的特征疑似度,计算所述预设时间区间对应的所述流量特征的特征平均疑似度;根据所述特征平均疑似度确定所述互联网数据中心的违规宽带用户。

第二方面,本申请实施例提供了一种宽带的检测装置,包括:

流量特征获取模块,用于获取互联网数据中心的各个宽带用户的流量特征;疑似度确定模块,用于基于预先训练好的预设神经网络模型,对各个宽带用户的所述流量特征进行疑似度赋值,以确定各个宽带用户的所述流量特征的特征疑似度;违规用户确定模块,用于根据所述流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户。

可选地,所述流量特征包括:

操作系统类型数量、终端类型数量、cookie数量、位置信息、vpn流量、vpn流量占比、机房向外访问流量和机房向外访问应用中的至少一项。

可选地,所述疑似度确定模块,具体用于:

基于预先训练好的预设神经网络模型,对各个宽带用户的所述流量特征进行疑似度赋值和分类,以得到各个宽带用户的所述流量特征的特征类型和特征疑似度,其中,所述特征类型包括正常和异常两种类型。

相应的,违规用户确定模块,具体用于:

针对特征类型为异常类型的流量特征,根据所述流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户。

可选地,所述流量特征的个数为多个,所述预设神经网络模型包括各个流量特征对应的特征神经网络模型,所述疑似度确定模块,具体用于:

针对每个流量特征,基于预先训练好的所述流量特征对应的特征神经网络,对各个宽带用户的所述流量特征进行疑似度赋值和分类,以得到各个宽带用户的所述流量特征的特征类型和特征疑似度。

相应的,所述违规用户确定模块,具体用于:

针对特征类型为异常类型的各个流量特征,根据各个流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户。

可选地,所述违规用户确定模块,包括:

特征权重获取单元,用于获取特征类型为异常类型的各个流量特征的特征权重;违规用户确定单元,用于特征类型为异常类型的根据各个流量特征的特征疑似度和特征权重,确定所述互联网数据中心的违规宽带用户。

可选地,所述宽带的检测装置,还包括:

用户排序模块,用于在得到各个宽带用户的所述流量特征的特征类型和特征疑似度之后,对于异常类型的流量特征,按照特征疑似度由高到低,对所述宽带用户进行排序;叠加值确定模块,用于根据排序结果确定各个宽带用户的流量特征的疑似度叠加值;相应的,所述违规用户确定模块,具体用于:针对特征类型为异常类型的流量特征,根据所述流量特征的特征疑似度和疑似度叠加值,确定所述互联网数据中心的违规宽带用户。

可选地,所述疑似度叠加值包括第一疑似度叠加值和第二疑似度叠加值,其中,所述第一疑似度叠加值大于所述第二疑似度叠加值,所述叠加值确定模块,具体用于:

据排序结果,将位于前第一设定百分比的宽带用户的流量特征的疑似度叠加值设置为第一疑似度叠加值;根据排序结果,将位于前第一设定百分比和前第二设定百分比之间的宽带用户的流量特征的疑似度叠加值设置为第二疑似度叠加值。

可选地,所述宽带的检测装置,还包括:

疑似度增加模块,用于在确定各个宽带用户的所述流量特征的特征疑似度之后,针对每个宽带用户,判断所述宽带用户是否包括非指定运营商的ip地址;若存在,则将所述宽带用户的流量特征的特征疑似度增加预设百分比;相应的,所述违规用户确定模块,具体用于:根据增加预设百分比后的所述流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户。

可选地,所述违规用户确定模块,具体用于:

获取预设时间区间各个时间节点的所述流量特征的特征疑似度;根据预设时间区间各个时间节点的所述流量特征的特征疑似度,计算所述预设时间区间对应的所述流量特征的特征平均疑似度;根据所述特征平均疑似度,确定所述互联网数据中心的违规宽带用户。

第三方面,本申请实施例提供了一种电子设备,包括:存储器,处理器以及计算机程序;

其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行如本公开实施例第一方面任一实施例提供的宽带的检测方法。

第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如本公开实施例第一方面任一实施例提供的宽带的检测方法。

本申请实施例提供的宽带的检测方法、装置、电子设备及存储介质,通过实时获取互联网数据中心的各个宽带用户的流量特征,基于预设神经网络对各个流量特征进行特征疑似度赋值,从而根据各个宽带用户的特征疑似度,确定该互联网数据中心的违规宽带用户,实现了互联网数据中心的违规宽带用户的自动检测,且基于神经网络进行检测,检测精度高,提高了宽带市场的有序性以及用户上网的安全性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。

图1为本申请实施例提供的宽带的检测方法的一种应用场景图;

图2为本申请一个实施例提供的宽带的检测方法的流程图;

图3为本申请另一个实施例提供的宽带的检测方法的流程图;

图4为本申请图3所示实施例中步骤s303的流程图;

图5为本申请另一个实施例提供的宽带的检测方法的流程图;

图6为本申请另一个实施例提供的宽带的检测方法的流程图;

图7为本申请一个实施例提供的宽带的检测装置的结构示意图;

图8为本申请一个实施例提供的电子设备的示意图;

图9为本申请一个实施例提供的宽带的检测系统的结构示意图。

通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。

下面对本申请实施例的应用场景进行解释:

图1为本申请实施例提供的宽带的检测方法的一种应用场景图,如图1所示,本申请实施例提供的宽带的检测方法运行在电子设备上,具体地,电子设备可以是服务器。idc机房正常业务模式为:宽带用户,如宽带用户a和宽带用户b,通过公网internet请求访问idc机房内的服务器的相关业务,服务器进行应答。而宽带违规则为:宽带用户c通过idc机房的宽带用户a引出宽带进行出网访问互联网上的资源的行为,则宽带用户c为违规宽带用户。宽带违规的行为,扰乱了宽带市场的正常运行,同时,为网络安全监控和治理带来了不便。

为了解决上述问题,本申请实施例提供的宽带的检测方法的主要技术方案为:通过获取idc的各个宽带用户的流量特征以及预设神经网络模型,进行各个宽带用户的流量特征的特征疑似度的赋值,从而根据该特征疑似度确定该idc的违规宽带用户,实现了违规用户的自动检测,提高了宽带市场的有序性以及用户上网的安全性。

图2为本申请一个实施例提供的宽带的检测方法的流程图,如图2所示,本实施例提供的宽带的检测方法应用于互联网数据中心,可以由电子设备执行,如可以由服务器执行,该方法包括以下几个步骤:

步骤s201,获取互联网数据中心的各个宽带用户的流量特征。

其中,互联网数据中心是一种互联网服务平台或网络服务中心,可以为其用户提供完备的互联网服务。宽带用户指的是通过该互联网数据中心进行网络业务的用户。流量特征可以是该宽带用户在进行网络业务时的位置信息、vpn(virtualprivatenetwork,虚拟专用网络)流量、idc机房向外访问流量以及访问的类型等。

具体的,可以在获取互联网数据中心的各个宽带用户预设时间节点的流量特征,其中,预设时间节点可以是12个小时、1天或者其他时间长度。

进一步地,可以根据宽带用户的ip地址,获取互联网数据中心的该宽带用户的流量特征。

可选地,所述流量特征包括:

操作系统类型数量、终端类型数量、cookie数量、位置信息、vpn流量、vpn流量占比、机房向外访问流量和机房向外访问应用中的至少一项。

其中,操作系统类型数量指的是在获取流量特征的时间节点内宽带用户进行网络业务的操作系统的类型的数量,操作系统可以是电脑操作系统,如windows操作系统、unix操作系统、linux类操作系统、mac操作系统等,还可以是手机操作系统,如android操作系统、ios操作系统、symbian操作系统、windowsphone操作系统等,不同的操作系统对应的类型不同。终端类型数据指的是在获取流量特征的时间节点内宽带用户进行网络业务的终端的类型的数量,终端可以是手机终端、电脑终端或者服务器终端等,终端类型可以根据终端的品牌和型号确定,如huaweialp-al00表示终端的类型为华为mate10。cookie数量在获取流量特征的时间节点内宽带用户进行网络业务时产生的cookie的数量。位置信息可以是在获取流量特征的时间节点内宽带用户进行网络业务时所使用的终端的位置信息。vpn流量可以是在获取流量特征的时间节点内宽带用户进行网络业务时产生的vpn流量的总量,而vpn流量占比指的是vpn流量占总流量的比值。机房向外访问流量指的是在获取流量特征的时间节点内宽带用户进行网络业务时,该宽带用户从idc机房内部服务器进行的向外访问的流量的总值,如通过该idc机房访问其他的idc机房。机房向外访问应用则指的是从idc机房内部服务器进行向外访问的具体的内容。

具体的,上述流量特征可以通过宽带用户的上网记录以及预设特征获取函数获取,如get函数。

步骤s202,基于预先训练好的预设神经网络模型,对各个宽带用户的所述流量特征进行疑似度赋值,以确定各个宽带用户的所述流量特征的特征疑似度。

其中,预设神经网络模型可以是自适应因线性神经网络(adaptivelinearnetwork,adaline)、卷积神经网络(convolutionalneuralnetwork,cnn)、循环神经网络(recurrentneuralnetwork,rnn)或者其他神经网络模型。特征疑似度是用来描述该流量特征违规的可能性的参数,可以采用百分比进行描述,如42.68%,也可以采用小数进行描述,如87.53。

具体的,可以采用各个互联网数据中心在真实流量环境下的历史样本数据进行预设神经网络模型的训练,该历史样本数据中存在正常访问行为和违规访问行为,其中,正常访问行为又称为正样本,违规访问行为又称为负样本。将历史样本数据划分为训练集、验证集和测试集,其比例可以是8:1:1也可以是7:2:1或者其他比例。具体的训练过程为:从历史样本数据中确定训练集;初始化预设神经网络模型的权重参数;基于训练集中的样本数据对预设神经网络模型进行训练,并将每次得到的误差反向传播,直至损失函数的输出值满足设定条件时,训练结束,得到预设神经网络模型各个隐藏层的权重参数,从而得到训练好的预设神经网络模型。并根据验证集和测试集对该训练好的预设神经网络模型进行验证和测试,若验证结果和测试结果均合格,则确定该预设神经网络模型合格,若不合格,则需要对预设神经网络模型的参数进行修改,重新进行训练、验证和测试。

进一步地,在进行神经网络模型训练时,权重的初始值可以在[-0.3,0.3]之间进行随机选取,学习步长则可以是[0.1,0.3]之间的随机值。

具体的,预设神经网络模型的隐藏层可以包括10个、15个或者其他数值的神经元。

可选地,所述基于预先训练好的预设神经网络模型,对各个宽带用户的所述流量特征进行疑似度赋值,包括:

基于预先训练好的预设神经网络模型,对各个宽带用户的所述流量特征进行疑似度赋值和分类,以得到各个宽带用户的所述流量特征的特征类型和特征疑似度,其中,所述特征类型包括正常和异常两种类型;相应的,后续的根据所述流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户,包括:针对特征类型为异常类型的流量特征,根据所述流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户。

其中,当流量特征的特征类型为正常类型时,表示该用户的流量特征属于正常特征,即该用户当前的访问行为是正常访问行为;而当流量特征的特征类型为异常类型时,表示该用户的流量特征属于异常特征,即该用户当前的访问行为是异常访问行为,则该用户为疑似违规用户。

具体的,上述预设神经网络模型针对各个宽带用户的流量特征,会输出其对应的特征疑似度和分类,如45%,1,其中,45%即表示该流量特征的特征疑似度为45%,1表示该流量特征的分类为正常类型。

进一步地,当每个宽带用户对应多个流量特征时,可以针对每个流量特征预先设计和训练其对应的预设神经网络,从而根据各个流量特征的预设神经网络确定各个流量特征的特征疑似度。

进一步地,在基于预先训练好的预设神经网络模型,对各个宽带用户的所述流量特征进行疑似度赋值之前,还包括:

对各个宽带用户的流量特征进行预处理。

其中,预处理包括数值化、归一化、特征提取等中的一项或多项。

步骤s203,根据所述流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户。

具体的,可以将特征疑似度高于设定疑似度阈值的流量特征对应的宽带用户确定为互联网数据中心的违规用户。

进一步地,还可以根据特征疑似度由高到低进行排序,将位于前10%、15%或者预设百分比的流量特征对应的宽带用户确定为互联网数据中心的违规用户。

进一步地,当每个宽带用户的特征疑似度为多个时,即为多个流量特征对应的特征疑似度时,可以根据各个特征疑似度,确定所述互联网数据中心的违规宽带用户。

具体的,可以根据各个特征疑似度的最大值、平均值或者加权平均值中的一项或者多项,确定所述互联网数据中心的违规宽带用户。

本申请实施例提供的宽带的检测方法,通过实时获取互联网数据中心的各个宽带用户的流量特征,基于预设神经网络对各个流量特征进行特征疑似度赋值,从而根据各个宽带用户的特征疑似度,确定该互联网数据中心的违规宽带用户,实现了互联网数据中心的违规宽带用户的自动检测,且基于神经网络进行检测,检测精度高,提高了宽带市场的有序性以及用户上网的安全性。

图3为本申请另一个实施例提供的宽带的检测方法的流程图,如图3所示,本实施例提供的宽带的检测方法是对图2所示实施例中步骤s202和s203进一步地细化,本实施例提供的宽带的检测方法的包括以下几个步骤:

步骤s301,获取互联网数据中心的各个宽带用户的流量特征。

其中,流量特征的个数为多个。流量特征可以是该宽带用户在进行网络业务时的位置信息、vpn流量、idc机房向外访问流量以及访问的类型等中的至少两个。

步骤s302,针对每个流量特征,基于预先训练好的所述流量特征对应的特征神经网络,对各个宽带用户的所述流量特征进行疑似度赋值和分类,以得到各个宽带用户的所述流量特征的特征类型和特征疑似度。

具体的,由于各个流量特征的差异性,因此需要针对每个流量特征,基于该流量特征的历史样本数据进行其对应的特征神经网络的训练,其中,历史样本数据中包括正样本数据和负样本数据,正样本数据为正常访问行为对应的该流量特征的历史数据,而负样本数据则为异常访问行为或者违规访问行为对应的该流量特征的历史数据。

进一步地,不同的特征神经网络模型可以具有不同的网络结构或者类型,也可以是具有不同参数的同一种网络模型。

示例性的,以vpn流量占比为例,选择标准的3层网络类型,即输入层、隐藏层和输出层,各个权重的初始值为[-0.3,0.3]之间随机值,学习步长取[0.1,0.3]之间随机值,隐藏层的神经元个数初始化为10,后续可以随着新样本的汇入定期进行自学习。将vpn流量占比的历史样本数据输入网络模型中,进行网络模型训练,进而对正常和违规行为进行分类和对vpn流量占比的特征疑似度进行赋值,根据损失函数的误差进行逆向传播,当损失函数的误差满足设定条件时,训练结束。

步骤s303,针对特征类型为异常类型的各个流量特征,根据各个流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户。

通过特征神经网络对各个宽带用户的各个流量特征进行特征疑似度赋值和分类,针对每个用户可以得到其各个流量特征的疑似度赋值和分类,从而可以根据分类将正常类型的流量特征剔除,从而大大减少数据处理量,提高用户检测的效率。

对于特征类型为异常类型的用户,进一步考虑其各个流量特征的特征疑似度的取值情况,如各个特征疑似度的最大值、平均值、中值、加权平均值等,从中确定互联网数据中心的违规宽带用户。

进一步地,可以预先为每个流量特征设置特征权重,进而可以根据各个流量特征的特征权重与特征疑似度,确定宽带用户的违规疑似度,从而可以根据该违规疑似度判断宽带用户是否为违规宽带用户。

具体的,若宽带用户的违规疑似度大于预设疑似度阈值,则确定该宽带用户为违规宽带用户。其中,预设疑似度阈值可以是70%、75%、80%或者其他值。

示例行的,假设宽带用户的流量特征包括3个,分别为操作系统类型数量、vpn流量和vpn流量占比,其对应的特征权重为0.2、0.4和0.4,违规疑似度依次为60%、45%和30%,从而计算出该宽带用户的违规疑似度为42%,假设预设疑似度阈值为72%,则可以确定该宽带用户不是违规宽带用户。

可选地,图4为本申请图3所示实施例中步骤s303的流程图,如图4所示,步骤s303包括:

步骤s3031,获取特征类型为异常类型的各个流量特征的特征权重。

其中,各个流量特征的特征权重可以根据经验值或者由人为方式进行设定。

具体的,可以预先建立各个流量特征与其特征权重的对应关系,进而可以根据该对应关系确定特征权重。

步骤s3032,根据特征类型为异常类型的各个流量特征的特征疑似度和特征权重,确定所述互联网数据中心的违规宽带用户。

具体的,针对每个宽带用户,根据特征权重,将特征类型为异常类型各个流量特征的特征疑似度进行加权求和,从而得到该宽带用户的最终疑似度。进而可以根据该最终疑似度与设定疑似度阈值的比较结果判断该宽带用户是否为违规宽带用户。

进一步,为了提高违规用户检测的精度,可以通过获取多组数据取平均的方式进行检测。可选地,所述根据所述流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户,包括:

获取预设时间区间各个时间节点的所述流量特征的特征疑似度;根据预设时间区间各个时间节点的所述流量特征的特征疑似度,计算所述预设时间区间对应的所述流量特征的特征平均疑似度;根据所述特征平均疑似度,确定所述互联网数据中心的违规宽带用户。

其中,预设时间区间可以是7天、14天或者其他时间长度,时间节点可以是12个小时、1天、2天或者其他时间长度。通过计算各个时间节点对应的特征疑似度,并在预设时间区间内计算其平均值,根据平均值进行违规判断,提高违规用户检测的精度,有效减少了误判的几率。

在本实施例中,通过为每个流量特征设置对应的特征神经网络模型,进行该流量特征的特征疑似度确定和分类,提高了检测的准确度;通过分类筛选出异常分类的流量特征进行进一步分析,大大减少了数据处理量,提高了检测的效率,综合考虑分类和各个流量特征的特征疑似度确定违规宽带用户,提高了违规用户检测的准确度,有效减少了漏检和误检。

图5为本申请另一个实施例提供的宽带的检测方法的流程图,本实施例是在图3所示实施例的基础上,对步骤s303的进一步细化,以及在步骤s302之后增加了对宽带用户的特征疑似度进行排序的几个步骤,如图4所示,本实施例提供的宽带的检测方法包括以下步骤:

步骤s401,获取互联网数据中心的各个宽带用户的流量特征。

其中,流量特征的个数为多个。

步骤s402,针对每个流量特征,基于预先训练好的所述流量特征对应的特征神经网络,对各个宽带用户的所述流量特征进行疑似度赋值和分类,以得到各个宽带用户的所述流量特征的特征类型和特征疑似度。

具体的,针对每个宽带用户,当其某一流量特征的特征疑似度大于设定疑似度,如60%时,或者特征疑似度位于前第一设定百分比,如30%时,可以为该宽带用户设置一个第一固定疑似度,如60%,作为该宽带用户的初始疑似度;而当者特征疑似度位于前第一设定百分比和前第二设定百分比区间时,如30%-70%区间时,可以为该宽带用户设置一个第二固定疑似度,如40%,作为该宽带用户的初始疑似度。

步骤s403,对于异常类型的流量特征,按照特征疑似度由高到低,对所述宽带用户进行排序。

步骤s404,根据排序结果确定各个宽带用户的流量特征的疑似度叠加值。

其中,疑似度叠加值可以是1%、2%、3%、4%、5%或者其他值。该疑似度叠加值用于与上述初始疑似度进行叠加,以得到宽带用户的最终特征疑似度。

具体的,可以根据预先建立的排名与疑似度叠加值的对应关系,确定各个宽带用户的流量特征的疑似度叠加值。

可选地,所述疑似度叠加值包括第一疑似度叠加值和第二疑似度叠加值,其中,所述第一疑似度叠加值大于所述第二疑似度叠加值,所述根据排序结果确定各个宽带用户的流量特征的疑似度叠加值,包括:

根据排序结果,将位于前第一设定百分比的宽带用户的流量特征的疑似度叠加值设置为第一疑似度叠加值;根据排序结果,将位于前第一设定百分比和前第二设定百分比之间的宽带用户的流量特征的疑似度叠加值设置为第二疑似度叠加值。

其中,前第一设定百分比可以是前30%,第一疑似度叠加值可以是5%或者3%,前第二设定百分比可以是前70%,第二疑似度叠加值可以是3%或者2%。各个参数的具体值可以根据实际情况进行调整。

示例性的,假设流量特征包括vpn流量占比和机房向外访问流量,基于预先训练好的vpn流量占比对应的特征神经网络,确定a宽带用户的vpn流量占比的特征疑似度位于前30%,则为a宽带用户设置初始疑似度为60%,进而基于预先训练好的机房向外访问流量对应的特征神经网络,确定a宽带用户的机房向外访问流量的特征疑似度位于前60%,第二疑似度叠加值2%,则a宽带用户的最终特征疑似度为62%。当流量特征为多个时,叠加方法类似,在此不再赘述。

步骤s405,针对特征类型为异常类型的流量特征,根据所述流量特征的特征疑似度和疑似度叠加值,确定所述互联网数据中心的违规宽带用户。

具体的,当宽带用户的各个流量特征的特征疑似度中存在位于前第一设定百分比的特征疑似度时,设置该宽带用户的初始疑似度为第一固定疑似度,而当宽带用户的各个流量特征中特征疑似度排名最高的特征疑似度位于前第一设定百分比和前第二设定百分比之间时,设置该宽带用户的初始疑似度为第二固定疑似度,通过将各个流量特征的疑似度叠加值与该初始疑似度进行叠加,得到该宽带用户的最终疑似度,进而根据该最终疑似度确定所述互联网数据中心的违规宽带用户。

进一步地,可以将最终疑似度大于预设疑似度阈值的宽带用户均视为该互联网中心的违规宽带用户,其中,预设疑似度阈值可以是75%、80%或者其他值。

进一步地,针对特征类型为异常类型的流量特征,根据所述流量特征的特征疑似度、疑似度叠加值和特征权重,确定所述互联网数据中心的违规宽带用户。

进一步地,针对每个宽带用户可以通过多次确定其最终疑似度,如通过一段时间,如7天、14天等,的流量特征数据,计算每天对应的最终疑似度,进而得到该段时间对应的最终疑似度的平均值,从而根据该最终疑似度的平均值确定所述互联网数据中心的违规宽带用户。通过多次检测取平均的方式,提高了检测的准确度,有效减小了误检的几率。

可选地,在确定各个宽带用户的所述流量特征的特征疑似度之后,所述方法还包括:

针对每个宽带用户,判断所述宽带用户是否包括非指定运营商的ip地址;若存在,则将所述宽带用户的流量特征的特征疑似度增加预设百分比;相应的,根据所述流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户,包括:根据增加预设百分比后的所述流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户;相应的,根据所述流量特征的特征疑似度和疑似度叠加值,确定所述互联网数据中心的违规宽带用户,包括:根据增加预设百分比后的所述流量特征的特征疑似度和疑似度叠加值,确定所述互联网数据中心的违规宽带用户。

其中,预设百分比可以是5%。预设百分比应不小于第一疑似度叠加值。

具体的,对于每个宽带用户,当其出现非指定运营商的ip地址之后,其特征疑似度或者最终疑似度需要在其基础上,叠加一个预设百分比。

进一步地,在确定互联网数据中心的违规宽带用户之后,还包括:

生成所述互联网数据中心的违规宽带用户列表。

其中,该违规宽带用户列表中可以包括各个违规宽带用户的ip地址、机房账号以及最终疑似度。

具体的,在生成该违规宽带用户列表之后,还可以发送至相关显示设备间显示。

进一步地,可以由相关人员对该违规宽带用户列表进行验证、审核或者修改等操作,进而得到更新后的违规宽带用户列表。还可以根据更新后的违规宽带用户列表,通过互联网数据中心的机房或服务器,断开与位于更新后的违规宽带用户列表中的违规宽带用户对应的设备的连接,或者将位于更新后的违规宽带用户列表中的违规宽带用户对应的设备加入黑名单,从而使得该设备无法使用互联网数据中心的宽带服务,从而保证互联网数据中心宽带使用的安全性和有序性。

在本实施例中,通过预先训练好的神经网络模型对各个宽带用户的流量特征进行特征疑似度赋值,并根据各个流量特征的特征疑似度所处的排名确定相应的疑似度叠加值,以及当出现指定运营商的ip地址之后,为其叠加一个较高的预设百分比,提高了疑似度确定的准确度;通过多次检测的特征疑似度取平均的方式,进一步提高了疑似度赋值的准确度,进而根据该取平均后的疑似度,确定互联网数据中心的违规宽度用户,提高了违规宽带用户检测的准确度,减小了误检、漏检的几率。

图6为本申请另一个实施例提供的宽带的检测方法的流程图,如图6所示,本实施例提供的宽带的检测方法,包括:

步骤s501,解析互联网数据中心当前天的流量日志,以获取各个宽带用户的流量特征。

步骤s502,基于大数据端对各个宽带用户的流量特征进行过滤和整合。

具体的,通过大数据服务器对各个宽带用户的流量特征进行过滤和整合,从而得到各个宽带用户的流量特征。

步骤s503,将过滤和整合后的数据入库。

具体的,将过滤和整合后的各个宽带用户的流量特征存储至数据库中。

步骤s504,基于预先训练的机房单独外访流量对应的神经网络模型,对各个宽带用户的机房单独外访流量进行特征疑似度赋值,以得到各个外访流量疑似度。

步骤s505,获取外访流量疑似度位于前设定名的各个宽带用户的流量特征,并将该前设定名的宽带用户中的位于前30%的宽带用户的初始疑似度赋值为60%,剩余的宽带用户的初始疑似度赋值为40%。

步骤s506、针对每个宽带用户,基于预先训练的各个流量特征对应的神经网络模型,对各个流量特征进行特征疑似度赋值和疑似度排序。

步骤s507、针对每个宽带用户,判断其当前流量特征的特征疑似度的排名是否位于前30%,若是,则在其当前疑似度的基础上,叠加3%;若否则叠加2%,遍历各个流量特征,得到各个宽带用户的最终疑似度。

进一步地,在计算宽带用户的最终疑似度时,还可以综合考虑各个流量特征的特征权重,从而提高流量特征的疑似度的准确度。

示例性的,假设a宽带用户的最新的最终疑似度为62%,a宽带用户的a流量特征的特征疑似度的排名位于前30%,其权重为0.6,则a宽带用户的最终疑似度更新为62%+0.6*3%=63.8%。

步骤s508、针对每个宽带用户,判断是否存在非本运营商的ip地址,若是,在其最终疑似度的基础上叠加5%,得到当前天对应的最终疑似度。

步骤s509、解析互联网数据中心当前天的下一天流量日志,重复执行上述步骤,以获取下一天对应的最终疑似度。

具体的,可以根据用户设置或者默认设置,重复执行步骤s509设定次数,从而得到设定次数+1天对应的最终疑似度。

步骤s510、计算该最终疑似度的平均值,以根据该最终疑似度的平均值确定互联网数据中心的违规宽带用户。

进一步地,当最终疑似度的平均值较小,如位于70%以下时,可以通过人工审核的方式对该宽带用户是否违规进行判定。

在本实施例中,通过预先训练好的神经网络模型对各个宽带用户的流量特征进行特征疑似度赋值,并根据各个流量特征的特征疑似度所处的排名确定相应的疑似度叠加值,以及当出现指定运营商的ip地址之后,为其叠加一个较高的预设百分比,提高了疑似度确定的准确度;通过多次检测的特征疑似度取平均的方式,进一步提高了疑似度赋值的准确度,进而根据该取平均后的疑似度,确定互联网数据中心的违规宽度用户,提高了违规宽带用户检测的准确度,减小了误检、漏检的几率。

图7为本申请一个实施例提供的宽带的检测装置的结构示意图,如图7所示,本实施例提供的宽带的检测装置包括:流量特征获取模块610、疑似度确定模块620和违规用户确定模块630。

其中,流量特征获取模块610,用于获取互联网数据中心的各个宽带用户的流量特征;疑似度确定模块620,用于基于预先训练好的预设神经网络模型,对各个宽带用户的所述流量特征进行疑似度赋值,以确定各个宽带用户的所述流量特征的特征疑似度;违规用户确定模块630,用于根据所述流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户。

可选地,所述流量特征包括:

操作系统类型数量、终端类型数量、cookie数量、位置信息、vpn流量、vpn流量占比、机房向外访问流量和机房向外访问应用中的至少一项。

可选地,所述疑似度确定模块,具体用于:

基于预先训练好的预设神经网络模型,对各个宽带用户的所述流量特征进行疑似度赋值和分类,以得到各个宽带用户的所述流量特征的特征类型和特征疑似度,其中,所述特征类型包括正常和异常两种类型。

相应的,违规用户确定模块,具体用于:

针对特征类型为异常类型的流量特征,根据所述流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户。

可选地,所述流量特征的个数为多个,所述预设神经网络模型包括各个流量特征对应的特征神经网络模型,所述疑似度确定模块,具体用于:

针对每个流量特征,基于预先训练好的所述流量特征对应的特征神经网络,对各个宽带用户的所述流量特征进行疑似度赋值和分类,以得到各个宽带用户的所述流量特征的特征类型和特征疑似度。

相应的,所述违规用户确定模块,具体用于:

针对特征类型为异常类型的各个流量特征,根据各个流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户。

可选地,所述违规用户确定模块,包括:

特征权重获取单元,用于获取特征类型为异常类型的各个流量特征的特征权重;违规用户确定单元,用于特征类型为异常类型的根据各个流量特征的特征疑似度和特征权重,确定所述互联网数据中心的违规宽带用户。

可选地,所述宽带的检测装置,还包括:

用户排序模块,用于在得到各个宽带用户的所述流量特征的特征类型和特征疑似度之后,对于异常类型的流量特征,按照特征疑似度由高到低,对所述宽带用户进行排序;叠加值确定模块,用于根据排序结果确定各个宽带用户的流量特征的疑似度叠加值;相应的,所述违规用户确定模块,具体用于:针对特征类型为异常类型的流量特征,根据所述流量特征的特征疑似度和疑似度叠加值,确定所述互联网数据中心的违规宽带用户。

可选地,所述疑似度叠加值包括第一疑似度叠加值和第二疑似度叠加值,其中,所述第一疑似度叠加值大于所述第二疑似度叠加值,所述叠加值确定模块,具体用于:

据排序结果,将位于前第一设定百分比的宽带用户的流量特征的疑似度叠加值设置为第一疑似度叠加值;根据排序结果,将位于前第一设定百分比和前第二设定百分比之间的宽带用户的流量特征的疑似度叠加值设置为第二疑似度叠加值。

可选地,所述宽带的检测装置,还包括:

疑似度增加模块,用于在确定各个宽带用户的所述流量特征的特征疑似度之后,针对每个宽带用户,判断所述宽带用户是否包括非指定运营商的ip地址;若存在,则将所述宽带用户的流量特征的特征疑似度增加预设百分比;相应的,所述违规用户确定模块,具体用于:根据增加预设百分比后的所述流量特征的特征疑似度,确定所述互联网数据中心的违规宽带用户。

可选地,所述违规用户确定模块,具体用于:

获取预设时间区间各个时间节点的所述流量特征的特征疑似度;根据预设时间区间各个时间节点的所述流量特征的特征疑似度,计算所述预设时间区间对应的所述流量特征的特征平均疑似度;根据所述特征平均疑似度,确定所述互联网数据中心的违规宽带用户。

本实施例提供的宽带的检测装置可以执行如图2-图6所示的方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。

图8为本申请一个实施例提供的电子设备的示意图,如图8所示,本实施例提供的电子设备包括:存储器710,处理器720以及计算机程序。

其中,计算机程序存储在存储器710中,并被配置为由处理器720执行以实现本申请图2-图6所对应的实施例中任一实施例提供的宽带的检测方法。

其中,存储器710和处理器720通过总线730连接。

相关说明可以对应参见图2-图6的步骤所对应的相关描述和效果进行理解,此处不做过多赘述。

图9为本申请一个实施例提供的宽带的检测系统的结构示意图,如图9所示,该系统包括:数据采集层810、大数据计算存储层820、数据建模层830和可视化呈现层840。

其中,数据采集层810硬件部署在idc机房进出口路由器链路上,通过分光/复制等方式将全部流量引入dpi解析设备,对流量进行深度解析识别,从而得到该idc机房的各个宽带用户的各个流量特征。大数据计算存储层820包括大数据服务器,主要针对采集汇总的各类数据进行集中汇聚、存储、管理、处理和分析。借助大数据存储分析技术,实现对海量数据的统一处理及存储能力,按需进行计算资源扩展,包括数据预处理、结构化处理、分布式存储、数据建模、机器学习、信息检索等,具备开放灵活的数据共享和数据查询能力。数据建模层830可对流量中的vpn流量占比排名、机房外访httpget数量排名、机房单独外访流量排名、机房外访流量排名、异常应用种类排名、移动终端类型数量排名、操作系统类型数量排名、cookie数量排名等8个维度进行建模分析,先进行各自分析和统计,分别加权打分,并逐步进行修正,推演最优方案,形成私接疑似ip地址汇总,并进行人工审核,最终确认疑似违规用户,即用于实现本申请任意实施例中对应的确定各个宽带用户的最终特征疑似度的方法。可视化呈现层840将综合分析的结果通过丰富的可视化方式进行呈现,提供多维度展示、检索、查询和统计分析,是洞察用户是否存在违规行为的重要依据。

具体的,大数据计算存储层820包括数据存储子系统821、数据计算子系统822和管理支撑子系统823,其中,数据存储子系统821采取合理、安全、有效的方式将数据进行保存,并能保证有效的访问。数据存储子系统提供多种功能与接口,可针对多源异构的结构化数据、非结构化数据及备份数据选择不同的存储方式进行存储,为监测违规行为提供数据支撑。数据计算子系统822是以大数据技术为基础,依赖于数据存储子系统,为业务应用提供计算任务分配、数据操作工具和离线、实时计算框架,同时支持人工智能算法。离线计算主要采用分布式计算框架,针对实时性要求不高的大规模静态数据;实时计算可采用流计算框架,主要针对动态数据的在线实时计算;人工智能算法作为大数据框架的应用层,主要支持协同过滤/推荐引擎,聚类和分类等算法。数据计算子系统为应用业务提供计算服务,主要包括基础计算服务和应用计算服务两大功能。管理支撑子系统823包含管理模块、运维模块以及接口模块。管理模块提供单点登录、数据源配置、权限管理、数据字典和生命周期管理等功能;运维模块功能包含组件安装、组件配置、组件维护、集群管理和监控报警等模块,实现对系统的整体运维管理和优化管理。接口模块为监测系统提供与外部的数据接口服务。

本申请一个实施例提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行以实现本申请图2-图6所对应的实施例中任一实施例提供的宽带的检测方法。

其中,计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

具体的,该电子设备可以是节能服务器,用于根据本申请图2至图5所对应的实施例中任一实施例提供的宽带的检测方法。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。

本领域技术人员在考虑说明书及实践这里公开的申请后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1