特征提取装置、网络流量识别方法、装置和系统与流程

文档序号:11965376阅读:219来源:国知局
特征提取装置、网络流量识别方法、装置和系统与流程
本发明实施例涉及通信技术,尤其涉及一种特征提取装置、网络流量识别方法、装置和系统。

背景技术:
随着互联网技术的高速发展,网络的新应用层出不穷,对网络中数据流的智能管理变的日益重要。而若要进行数据流智能管理,则首先需要对数据流的类型进行识别。现有技术预先对数据流进行数据包的抓包处理,然后,对获取到的数据包进行人工离线分析,识别数据流所属的应用(Application)。但是,采用现有技术的这种人工分析方式,对人的能力和经验依赖性大,分析出的特征效率不高,不能有效提升现网数据流识别率。

技术实现要素:
本发明实施例提供一种特征提取装置、网络流量识别方法、装置和系统,以解决网络数据流识别过程中对数据包的依赖,以及人工分析准确性不高、分析效率低下的问题,提升识别率。本发明实施例第一方面,提供一种网络流量识别方法,包括:接收流量识别装置发送的未识别数据流,所述未识别数据流为所述流量识别装置无法识别的数据流;对所述未识别数据流进行行为特征提取,以获取所述未识别数据流的流量行为特征,所述流量行为特征为能够唯一标识所述未识别数据流的行为特征;向所述流量识别装置发送所述流量行为特征,以使所述流量识别装置根据所述流量行为特征识别所述未识别数据流。结合第一方面,在第一种可能的实现方式中,所述对所述未识别数据流进行行为特征提取,以获取所述未识别数据流的流量行为特征,包括:获取所述未识别数据流的关键信息;对所述关键信息进行预处理,生成特征聚类所需的链表特征节点信息;对所述链表特征节点信息进行聚类分析,得到所述未识别数据流的流量行为特征。结合第一种可能的实现方式,在第二种可能的实现方式中,所述对所述关键信息进行预处理,生成特征聚类所需的链表特征节点信息,包括:若所述未识别数据流的数据流大小达到预设值,则对所述未识别数据流的关键信息进行预处理,生成特征聚类所需的链表特征节点信息;所述对所述链表特征节点信息进行聚类分析,得到所述未识别数据流的流量行为特征包括:对所述链表特征节点信息进行聚类分析,得到所述未识别数据流的特征关键字;对得到的所述特征关键字进行筛选,以保留有效的特征关键字,作为所述未识别数据流的流量行为特征。结合第一种可能的实现方式或第二种可能的实现方式,在第三种可能的实现方式中,所述对所述未识别数据流的关键信息进行预处理,生成特征聚类所需的链表特征节点信息包括:加载特征识别维度信息,所述特征识别维度信息用于描述需要从数据流中提取的特征信息;获取所述未识别数据流的关键信息中与所述特征识别维度信息对应的信息,并将获取到的所述信息转化成特征聚类所需的链表特征节点信息;释放所述特征识别维度信息。结合第一种至第三种可能的实现方式中的任一种可能的实现方式,在第四种可能的实现方式中,所述向所述流量识别装置发送所述流量行为特征包括:确定所述流量行为特征是否满足质量判决条件,若满足,则将所述流量行为特征发送给所述流量识别装置;若不满足,则丢弃所述流量行为特征。结合第四种可能的实现方式,在第五种可能的实现方式中,所述确定所述流量行为特征是否满足质量判决条件包括:确定所述流量行为特征的特征覆盖率是否大于第一阈值;和/或确定所述流量行为特征的覆盖流量是否大于第二阈值;和/或确定所述流量行为特征的误识别率是否大于第三阈值。本发明实施例第二方面,提供一种网络流量识别方法,包括:接收应用程序发送的数据流;若所述数据流为未识别数据流,则向特征提取装置发送所述未识别数据流,以使所述特征提取装置对所述未识别数据流进行行为特征提取,以获取所述未识别数据流的流量行为特征;接收所述特征提取装置发送的所述流量行为特征;根据所述流量行为特征识别所述未识别数据流。结合第二方面,在第一种可能的实现方式中,所述根据所述流量行为特征识别所述未识别数据流包括:通过查询流量行为特征与应用程序的对应关系表,识别所述未识别数据流。结合第二方面或第一种可能的实现方式,在第二种可能的实现方式中,所述根据所述流量行为特征识别所述未识别数据流之后,还包括:根据数据流识别结果,对所述应用程序发送的数据流进行策略控制。本发明实施例第三方面,提供一种特征提取装置,包括:接收模块,用于接收流量识别装置发送的未识别数据流,所述未识别数据流为所述流量识别装置无法识别的数据流;处理模块,用于对所述未识别数据流进行行为特征提取,以获取所述未识别数据流的流量行为特征,所述流量行为特征为能够唯一标识所述未识别数据流的行为特征;发送模块,用于向所述流量识别装置发送所述流量行为特征,以使所述流量识别装置根据所述流量行为特征识别所述未识别数据流。结合第三方面,在第一种可能的实现方式中,所述处理模块具体包括:获取单元,用于获取所述未识别数据流的关键信息;预处理单元,用于对所述获取单元获取的关键信息进行预处理,生成特征聚类所需的链表特征节点信息;聚类分析单元,用于对所述链表特征节点信息进行聚类分析,得到所述未识别数据流的流量行为特征。结合第一种可能的实现方式,在第二种可能的实现方式中,预处理单元具体用于,若所述未识别数据流的数据流大小达到预设值,则对所述未识别数据流的关键信息进行预处理,生成特征聚类所需的链表特征节点信息;所述聚类分析单元具体用于,对所述链表特征节点信息进行聚类分析,得到所述未识别数据流的特征关键字;对得到的所述特征关键字进行筛选,以保留有效的特征关键字,作为所述未识别数据流的流量行为特征。结合第一种可能的实现方式或第二种可能的实现方式,在第三种可能的实现方式中,所述预处理单元具体用于加载特征识别维度信息,所述特征识别维度信息用于描述需要从数据流中提取的特征信息;获取所述未识别数据流的关键信息中与所述特征识别维度信息对应的信息,并将获取到的所述信息转化成特征聚类所需的链表特征节点信息;释放所述特征识别维度信息。结合第一种至第三种可能的实现方式中任一种可能的实现方式,在第四种可能的实现方式中,所述发送模块具体用于,确定所述流量行为特征是否满足质量判决条件,若满足,则将所述流量行为特征发送给所述流量识别装置;若不满足,则丢弃所述流量行为特征。结合第四种可能的实现方式,在第五种可能的实现方式中,所述处理模块具体用于,确定所述流量行为特征的特征覆盖率是否大于第一阈值,若是,则将所述流量行为特征发送给所述流量识别装置,若否,则丢弃所述流量行为特征;和/或确定所述流量行为特征的覆盖流量是否大于第二阈值,若是,则将所述流量行为特征发送给所述流量识别装置,若否,则丢弃所述流量行为特征;和/或确定所述流量行为特征的误识别率是否大于第三阈值,若是,则将所述流量行为特征发送给所述流量识别装置,若否,则丢弃所述流量行为特征。本发明实施例第四方面,提供一种流量识别装置,包括:接收模块,用于接收应用程序发送的数据流;发送模块,用于若所述数据流为未识别数据流,则向特征提取装置发送所述未识别数据流,以使所述特征提取装置对所述未识别数据流进行行为特征提取,以获取所述未识别数据流的流量行为特征;所述接收模块,还用于接收所述特征提取装置发送的所述流量行为特征;处理模块,用于根据所述接收模块接收到的所述流量行为特征识别所述未识别数据流。结合第四方面,在第一种可能的实现方式中,所述处理模块具体用于通过查询流量行为特征与应用程序的对应关系表,识别所述未识别数据流。结合第四方面或第一种可能的实现方式,在第二种可能的实现方式中,所述处理模块,还用于根据所述流量行为特征识别所述未识别数据流之后,根据数据流识别结果,对所述应用程序发送的数据流进行策略控制。本发明实施例第五方面,提供一种网络流量识别系统,包括第三方面任一种可能的实现方式中所述的特征提取装置,以及第四方面任一种可能的实现方式中所述的流量识别装置。本发明实施例提供的特征提取装置、网络流量识别方法、装置和系统,通过特征提取装置接收流量识别装置发送的未识别数据流,对未识别数据流进行行为特征提取,以获取未识别数据流的流量行为特征;向流量识别装置发送流量行为特征,以使流量识别装置根据流量行为特征识别未识别数据流,采用本实施例的技术方案对行为特征的提取效率较高,能够提升现网数据流识别率。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。图1为本发明网络流量识别方法实施例一的流程示意图;图2为本发明网络流量识别方法实施例二的流程示意图;图3为本发明网络流量识别方法实施例三的应用场景结构示意图;图4为本发明网络流量识别方法实施例三的流程示意图;图5为本发明特征提取装置实施例一的结构示意图;图6为本发明流量识别装置实施例一的结构示意图;图7为本发明特征提取装置实施例二的结构示意图;图8为本发明流量识别装置实施例二的结构示意图;图9为本发明网络流量识别系统实施例的结构示意图;图10为本发明网络流量识别系统内置部署结构示意图;图11为本发明网络流量识别系统云部署结构示意图;图12为本发明网络流量识别系统旁路部署结构示意图;图13为本发明网络流量识别系统开放实验室部署结构示意图;图14为本发明网络流量识别系统企业网部署结构示意图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。图1为本发明网络流量识别方法实施例一的流程示意图,图1所示实施例的执行主体是特征提取装置,特征提取装置可以独立设置,也可以集成在网络数据流通路中的网元中,如图1所示,本实施例的方法包括:S101:接收流量识别装置发送的未识别数据流,未识别数据流为流量识别装置无法识别的数据流。在网络系统中,存在多种用户设备(UserEquipment:以下简称UE),例如手机、个人计算机(Personalcomputer,以下简称:PC)、平板电脑(PAD)等各种类型的用户设备,各用户设备上具有多个应用程序,用户在使用用户设备的应用程序时,应用程序会产生数据流,不同的应用程序产生的数据流具有不同的行为特征,当数据流经过流量识别装置时,流量识别装置可根据数据流所具有的行为特征确定数据流所属的应用程序,当流量识别装置无法识别数据流时,则将对应的数据流作为未识别数据流发送给特征提取装置,产生未识别数据流的应用程序为未知应用程序,特征提取装置接收流量识别装置发送的未识别数据流,该未识别数据流为未知应用程序所产生的数据流,一般情况下,应用程序为网络中新增加的应用程序。S102:对未识别数据流进行行为特征提取,以获取未识别数据流的流量行为特征。其中,流量行为特征为能够唯一标识未识别数据流的行为特征,例如,A为腾讯QQ应用软件的数据流的流量行为特征,B为微软网络服务(MicrosoftServiceNetwork,以下简称:MSN)应用软件的数据流的流量行为特征,则可通过流量行为特征A标识数据流为腾讯QQ应用软件产生的,通过流量行为特征B标识数据流为MSN应用软件产生的。特征提取装置接收到未识别数据流之后,对未识别数据流进行行为特征提取,以获取未识别数据流的流量行为特征。与现有技术不同的是,现有技术采用人工分析的方式提取行为特征,对人的能力和经验依赖性大,分析效率较低。S103:向流量识别装置发送流量行为特征,以使流量识别装置根据流量行为特征识别未识别数据流。当特征提取装置提取到流量识别装置发送的未识别数据流的行为特征之后,向流量识别装置发送流量行为特征,流量识别装置根据流量行为特征识别未识别数据流所属的应用程序,当相同的应用程序再有数据流经过流量识别装置时,流量识别装置可根据流量行为特征识别对应的数据流,以确定数据流所属的应用程序。本实施例中,通过特征提取装置接收流量识别装置发送的未识别数据流,对未识别数据流进行行为特征提取,以获取未识别数据流的流量行为特征;向流量识别装置发送流量行为特征,以使流量识别装置根据流量行为特征识别未识别数据流,采用本实施例的技术方案对行为特征的提取效率较高,能够提升现网数据流识别率。图2为本发明网络流量识别方法实施例二的流程示意图,本实施例的执行主体为流量识别装置,流量识别装置可以独立设置,也可以集成在网络数据流通路中的网元中,图2所示实施例的方法包括:S201:接收应用程序发送的数据流。当用户使用用户设备上的应用程序时,应用程序会产生相应的数据流,流量识别装置接收应用程序发送的数据流。S202:判断数据流是否为未识别数据流,若是,执行S204,若否,执行S203,其中,未识别数据流为未知应用程序所产生的数据流,或者所述流量识别装置无法识别的数据流。流量识别装置接收到应用程序发送的数据流后,根据数据流的行为特征对数据流进行识别,作为一种可行的实现方式,在流量识别装置中存储有流量行为特征与应用程序的对应关系,可根据流量行为特征与应用程序的对应关系确定数据流所属的应用程序,当流量识别装置中没有与流量行为特征对应的应用程序时,则无法识别该数据流,即确定该数据流为未识别数据流。S203:其他处理。作为一种可行的实现方式,可根据识别到的数据流所属的应用程序,对数据流进行策略控制,例如阻断、限流等。S204:向特征提取装置发送未识别数据流,以使特征提取装置对未识别数据流进行行为特征提取,以获取未识别数据流的流量行为特征。流量识别装置向特征提取装置发送未识别数据流,特征提取装置接收到未识别数据流之后,进行行为特征提取,以获取未识别数据流的流量行为特征。S205:接收特征提取装置发送的流量行为特征。特征提取装置提取出未识别数据流的流量行为特征之后,向流量识别装置发送流量行为特征,流量识别装置接收特征提取装置发送的流量行为特征。S206:根据流量行为特征识别未识别数据流。流量识别装置根据流量行为特征识别未识别数据流,在流量识别装置向特征提取装置发送未识别数据流之前记录了未识别数据流所属的应用程序,作为一种可行的实现方式,在用户设备向应用服务器发送下载应用程序请求时,流量识别装置记录该用户设备标识与应用程序的对应关系,用户设备标识可以为网络协议(InternetProtocol,以下简称:IP)地址,当用户使用用户设备的应用程序时,产生的数据流经过流量识别装置时,如果流量识别装置未识别出该数据流,则根据用户设备标识确定数据流对应的应用程序,并向特征提取装置发送未识别数据流,当收到特征提取装置发送的流量行为特征时,建立流量行为特征与之前记录的应用程序的对应关系,当后续具有相同流量行为特征的数据流经过流量识别装置时,流量识别装置可通过查询上述流量行为特征与应用程序的对应关系表,识别未识别数据流,确定数据流所属的应用程序。经过多次重复上述操作后,流量识别装置中的流量行为特征与应用程序的对应关系积累量会逐渐增多,流量识别装置对现网中的数据流识别率也会提升。本实施例中,通过流量识别装置接收应用程序发送的数据流;若数据流为未识别数据流,则向特征提取装置发送未识别数据流,以使特征提取装置对未识别数据流进行行为特征提取,获取流量行为特征;接收特征提取装置发送的流量行为特征;根据流量行为特征识别未识别数据流。采用本实施例的技术方案对行为特征的提取效率较高,能够有效提升现网数据流识别率。图3为本发明网络流量识别方法实施例三的应用场景结构示意图;如图3所示,用户设备31可以为手机、PC、PAD等各种类型的用户设备,用户设备上可以包含APP客户端,用户设备可以有多个,图3仅示出了一个用户设备,流量识别装置设置在用户设备31与网络32之间的网路上,可以独立设置,也可以集成在其他网元中,用户设备通过自动控制器自动运行APP客户端产生数据流与网络32中的其他设备进行信息交互,产生的数据流经过流量识别装置,流量识别装置将未识别数据流发送给特征提取装置,特征提取装置进行流量行为特征提取,将提取的流量行为特征发送给流量识别装置,以使流量识别装置根据流量行为特征识别现网中的数据流,经过多次循环,可提高现网数据流的识别率。图4为本发明网络流量识别方法实施例三的流程示意图,图4是以图3所示的应用场景为例,如图4所示,本实施例的方法包括:S401:流量识别装置接收应用程序发送的数据流,向特征提取装置发送未识别数据流。本步骤与图2所示实施例中的S201~S203相似,此处不再赘述。S402:特征提取装置接收流量识别装置发送的未识别数据流,未识别数据流为流量识别装置无法识别的数据流。本步骤与图1所示实施例中的S101相似,在此不再赘述。S403:特征提取装置获取未识别数据流的关键信息。特征提取装置在获取未识别数据流的关键信息之前,可选地,还可以对未识别数据流进行流节点处理。作为一种可行的实现方式,特征提取装置确定未识别数据流是否是新数据流,若是,则新建与未识别数据流对应的流节点信息,否则,刷新已有的与未识别数据流对应的流节点信息。具体地,特征提取装置建立一个流表管理结构,每接收到一个未识别数据流的数据包,首先根据五元组等信息判断该数据包是否是一个新数据流的数据包,若是,则新建与未识别数据流对应的流节点信息,否则,则刷新已有的与未识别数据流对应的流节点信息,实现对未识别数据流的流节点处理。对未识别数据流的流节点处理完之后,获取未识别数据流的关键信息,关键信息具体可以是每条未识别数据流的五元组信息、数据流的服务端IP、时间戳、关键字符串、部分数据信息等。S404:特征提取装置对关键信息进行预处理,生成特征聚类所需的链表特征节点信息。可选地,在执行本步骤之前,还判断未识别数据流的大小是否达到预设值,例如,预设值大小为10K条流,预设值的大小可以依据实际情况而定,本发明对此不作限制。当未识别数据流的数据流大小达到预设值,则对未识别数据流的关键信息进行预处理,生成特征聚类所需的链表特征节点信息。对未识别数据流的关键信息进行预处理,生成特征聚类所需的链表特征节点信息。可选地,第一种可行的实现方式,特征提取装置中预设有特征识别维度信息,获取未识别数据流的关键信息中与特征识别维度信息对应的信息,例如,特征识别维度信息为端口统计信息,则只需获取未识别数据流中的包含端口信息的数据包即可,特征识别维度信息为五元组信息,则只需获取未识别数据中的包含五元组信息的数据包即可,这种实现方式的特征提取装置中的特征识别维度信息是固定不变的。例如,特征识别维度信息为负载长度统计信息和字符串特征信息,则只能对关键信息进行与负载长度统计信息和字符串特征信息对应的预处理,生成特征聚类所需的链表特征节点信息,若要采用其他的特征识别维度信息则可通过修改特征提取代码来实现。第二种可行的实现方式,特征提取装置中的特征识别维度信息是动态可加载的,可根据实际应用进行加载或释放不同的特征识别维度信息。这种实现方式,在加载特征识别维度信息之前,建立特征识别维度信息数据库,申请所需资源和主要的数据结构初始化,加载配置文件,配置文件中包含需要加载的特征识别维度信息以及特征识别维度信息对应的默认配置项,然后通过初始化(Inti)动态链接库(DynamicLinkLibrary,以下简称:DLL)接口加载特征识别维度信息,具体可以是加载与特征识别维度信息对应的动态链路库,特征识别维度信息用于描述需要从数据流中提取的特征信息,特征识别维度信息包括以下至少一种信息,负载长度统计信息;根据包方向统计的负载长度信息;字符串特征信息;数据包时间戳统计信息;族包长度信息统计信息;端口统计信息;协议大类信息统计信息;传输控制协议(TransmissionControlProtocol,以下简称:TCP)头中推(Push,以下简称:PSH)字段统计信息;三元组信息统计信息;传输层协议类型统计信息。然后,采用特征识别维度信息对关键信息进行预处理,生成特征聚类所需的链表特征节点信息。S405:特征提取装置对链表特征节点信息进行聚类分析,得到未识别数据流的流量行为特征。具体地,特征提取装置采用聚类算法对链表特征节点信息进行聚类分析,可通过调用比较(compare)DLL接口,进行各链表特征节点比较,得到未识别数据流的特征关键字,获取流量行为特征,为了保证获取的流量行为特征更有效,获取流量行为特征之前,还可以包括对得到的特征关键字进行筛选,以保留有效的特征关键字,一般采用特征关键字中覆盖流数比例高、相同特征较多的聚类集合的特征作为未识别数据流的流量行为特征。如果对关键信息进行预处理采用的是第二种可行的实现方式,则对链表特征节点信息进行聚类分析,获取流量行为特征之后还包括:释放特征识别维度信息,具体是释放与特征识别维度信息对应的动态链接库,一般是释放不再使用的特征识别维度信息,可以采用释放(Free)DLL接口对其进行释放。S406:特征提取装置向流量识别装置发送流量行为特征。可选地,为了确保特征提取装置提取出高质量的流量行为特征,在特征提取装置向流量识别装置发送流量行为特征之前,还包括确定流量行为特征是否满足质量判决条件,若满足,则将满足质量判决条件的流量行为特征发送给流量识别装置,若不满足,则丢弃流量行为特征,根据配置文件重新加载特征识别维度信息,或者,特征识别维度信息不变,只修改特征识别维度的参数信息,进行流量行为特征提取,直到提取到满足质量判决条件的流量行为特征。确定流量行为特征是否满足质量判决条件,具体地,确定流量行为特征的特征覆盖率是否大于第一阈值,或者确定流量行为特征的覆盖流量是否大于第二阈值,或者确定流量行为特征的误码率是否大于第三阈值,或者确定流量行为特征是否满足上述三个条件中的任意两个的结合,或者同时满足上述三个条件,上述第一阈值、第二阈值和第三阈值是根据实际应用环境而预设的。S407:流量识别装置接收特征提取装置发送的流量行为特征。本步骤与图2所示实施例的S205相似,在此不再赘述。S408:流量识别装置根据流量行为特征识别未识别数据流。在识别出未识别数据流所属的应用程序之后,还可以执行S409。S409:流量识别装置根据数据流识别结果,对应用程序发送的数据流进行策略控制。具体地,根据数据流所属的应用程序,对数据流进行阻断、限流等策略控制。本实施例中,通过流量识别装置向特征提取装置发送未识别数据流,特征提取装置接收未识别数据流,获取未识别数据流的关键信息,对关键信息进行预处理,生成特征聚类所需的链表特征节点信息,对链表特征节点信息进行聚类分析,以获取未识别数据流的数据流特征行为,特征提取装置向流量识别装置发送流量行为特征,流量识别装置根据流量行为特征识别未识别数据流,本实施例中,流量行为特征提取采用特征提取装置进行提取,效率较高,能够提升现网数据流识别率。特征提取装置在流量行为特征提取过程中,可动态加载和释放多特征识别维度信息,避免了采用传统方法新增特征识别维度信息时修改特征提取代码,进一步地提高了流量行为特征提取的效率,对得到的特征关键字进行筛选,保留有效的特征关键字,作为未识别数据流的流量行为特征,并且在向流量识别装置发送流量行为特征之前,还确定流量行为特征是否满足质量判决条件,将满足质量判决条件的流量行为特征发送给流量识别装置,进一步地提高了流量行为特征的质量,以提高流量识别装置根据流量行为特征识别数据流的准确性,流量识别装置根据是结果,对应用程序发送的数据流进行策略控制,以合理分配网络资源,提高网络的性能。图5为本发明特征提取装置实施例一的结构示意图,本实施例的装置,可以是独立设置的,也可以是集成在其他网元中的,如图5所示,本实施例的装置包括接收模块51、处理模块52和发送模块53,其中,接收模块51用于接收流量识别装置发送的未识别数据流,未识别数据流为未知应用程序所产生的数据流或所述流量识别装置无法识别的数据流;处理模块52用于对未识别数据流进行行为特征提取,以获取未识别数据流的流量行为特征,流量行为特征为能够唯一标识未识别数据流的行为特征;发送模块53用于向流量识别装置发送流量行为特征,以使流量识别装置根据流量行为特征识别未识别数据流。本实施例的装置用于执行图1所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。在上述实施例中,处理模块52具体包括:获取单元,用于获取未识别数据流的关键信息;预处理单元,用于对获取单元获取的关键信息进行预处理,生成特征聚类所需的链表特征节点信息;聚类分析单元,用于对链表特征节点信息进行聚类分析,得到未识别数据流的流量行为特征。在上述实施例中,预处理单元具体用于,若未识别数据流的数据流大小达到预设值,则对关键信息进行预处理,生成特征聚类所需的链表特征节点信息;聚类分析单元具体用于,对链表特征节点信息进行聚类分析,得到未识别数据流的特征关键字;对得到的特征关键字进行筛选,以保留有效的特征关键字,作为未识别数据流的流量行为特征。在上述实施例中,预处理单元具体用于加载特征识别维度信息,特征识别维度信息用于描述需要从数据流中提取的特征信息;获取未识别数据流的关键信息中与特征识别维度信息对应的信息,并将获取到的所述信息转化成特征聚类所需的链表特征节点信息;释放特征识别维度信息。在上述实施例中,发送模块53具体用于确定流量行为特征是否满足质量判决条件,若满足,则将所述流量行为特征发送给流量识别装置;若不满足,则丢弃所述流量行为特征。在上述实施例中,处理模块52具体用于,确定流量行为特征的特征覆盖率是否大于第一阈值,若是,则将所述流量行为特征发送给所述流量识别装置,若否,则丢弃所述流量行为特征;和/或,确定流量行为特征的覆盖流量是否大于第二阈值,若是,则将所述流量行为特征发送给所述流量识别装置,若否,则丢弃所述流量行为特征;和/或,确定流量行为特征的误识别率是否大于第三阈值,若是,则将所述流量行为特征发送给所述流量识别装置,若否,则丢弃所述流量行为特征。本实施例的装置,可用于执行图4所示方法实施例的技术方案,其实现原理和技术效果类似,参见图4所示实施例中特征提取装置的相关描述,此处不再赘述。图6为本发明流量识别装置实施例一的结构示意图,如图6所示,本实施例的装置包括接收模块61、发送模块62和处理模块63,其中,接收模块61用于接收应用程序发送的数据流;发送模块62用于若数据流为未识别数据流,则向特征提取装置发送未识别数据流,以使特征提取装置对未识别数据流进行行为特征提取,以获取未识别数据流的流量行为特征;接收模块61还用于接收特征提取装置发送的流量行为特征;处理模块63用于根据流量行为特征识别未识别数据流。本实施例的装置用于执行图2所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。在上述实施例中,处理模块63具体用于通过查询流量行为特征与应用程序的对应关系表,识别未识别数据流。在上述实施例中,处理模块63还用于根据流量行为特征识别未识别数据流之后,根据数据流识别结果,对应用程序发送的数据流进行策略控制。本实施例的装置,可用于执行图4所示方法实施例的技术方案,其实现原理和技术效果类似,参见图4所示实施例中流量识别装置的相关描述,此处不再赘述。图7为本发明特征提取装置实施例二的结构示意图,如图7所示,本实施例的装置包括通信接口71、至少一个处理器72和存储器73,处理器72、存储器73和通信接口71通过总线连接并完成相互间的通信。所述总线可以是工业标准体系结构(IndustryStandardArchitecture,简称为ISA)总线、外部设备互连(PeripheralComponent,简称为PCI)总线或扩展工业标准体系结构(ExtendedIndustryStandardArchitecture,简称为EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。其中,通信接口71用于接收流量识别装置发送的未识别数据流,未识别数据流为未知应用程序所产生的数据流,或者所述流量识别装置无法识别的数据流;具体地,通信接口71可以为网口、USB接口、射频单元、天线、wi-fi通信模块等可以实现数据收发功能的器件或单元;存储器73用于存储可执行程序代码,该程序代码包括计算机操作指令。存储器73可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。在一个实施例中,处理器72通过读取存储器73中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于:对未识别数据流进行行为特征提取,以获取未识别数据流的流量行为特征,流量行为特征为能够唯一标识数据流的行为特征;通信接口71还用于向流量识别装置发送流量行为特征,以使流量识别装置根据流量行为特征识别未识别数据流。本实施例的装置用于执行图1所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。处理器72可能是一个中央处理器(CentralProcessingUnit,简称为CPU),或者是特定集成电路(ApplicationSpecificIntegratedCircuit,简称为ASIC),或者是被配置成实施本发明实施例的一个或多个集成电路。在上述实施例中,处理器72具体用于读取并执行存储器73中的代码,以获取未识别数据流的关键信息;对关键信息进行预处理,生成特征聚类所需的链表特征节点信息;对链表特征节点信息进行聚类分析,得到未识别数据流的流量行为特征。需说明的是,上述处理器72除了具有上述功能之外,还可用于执行上述方法实施例中的其他流程,在此不再赘述。其中,上述流程的具体细节,可以参照上述方法及装置实施例,此处不再赘述。本实施例的装置,可用于执行图4所示方法实施例的技术方案,其实现原理和技术效果类似,参见图4所示实施例中特征提取装置的相关描述,此处不再赘述。图8为本发明流量识别装置实施例二的结构示意图,如图8所示,本实施例的装置包括通信接口81、存储器82和至少一个处理器83,处理器83、存储器82和通信接口81通过总线连接并完成相互间的通信。所述总线可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。其中,通信接口81用于接收应用程序发送的数据流;并当该数据流为未识别数据流时,则向特征提取装置发送未识别数据流,以使特征提取装置对未识别数据流进行行为特征提取,以获取未识别数据流的流量行为特征;其中,未识别数据流为未知应用程序所产生的数据流,或者所述流量识别装置无法识别的数据流;通信接口81还用于接收特征提取装置发送的流量行为特征;具体地,通信接口81可以为网口、USB接口、射频单元、天线、wi-fi通信模块等可以实现数据收发功能的器件或单元;存储器82用于存储可执行程序代码,该程序代码包括计算机操作指令。存储器82可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。在一个实施例中,处理器83通过读取存储器82中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于:根据流量行为特征识别未识别数据流。处理器83可能是一个中央处理器(CentralProcessingUnit,简称为CPU),或者是特定集成电路(ApplicationSpecificIntegratedCircuit,简称为ASIC),或者是被配置成实施本发明实施例的一个或多个集成电路。需说明的是,上述处理器83除了具有上述功能之外,还可用于执行上述方法实施例中的其他流程,在此不再赘述。其中,上述流程的具体细节,可以参照上述方法及装置实施例,此处不再赘述。本实施例的装置用于执行图2所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。在上述实施例中,处理器83具体用于通过查询流量行为特征与应用程序的对应关系表,识别未识别数据流。在上述实施例中,处理器83还用于根据流量行为特征识别未识别数据流之后,根据数据流识别结果,对应用程序发送的数据流进行策略控制。本实施例的装置,可用于执行图4所示方法实施例的技术方案,其实现原理和技术效果类似,参见图4所示实施例中流量识别装置的相关描述,此处不再赘述。图9为本发明网络流量识别系统实施例的结构示意图,如图9所示,本实施例的系统包括:特征提取装置91和流量识别装置92,该系统可以部署在不同的网络环境中,图10为本发明网络流量识别系统内置部署结构示意图,如图10所示,内置部署可以是将网络流量识别系统集成在核心网元中,核心网元可以为通用分组无线服务网关支撑节点(GatewayGeneralPacketRadioServiceSupportNode:以下简称:GGSN)、无线网络控制器(RadioNetworkController,以下简称:RNC)等,图10示出了网络流量识别系统集成在GGSN中,网络流量识别系统中各装置的工作原理可参见图4所示实施例,在此不在赘述。图11为本发明网络流量识别系统云部署结构示意图,如图11所示,云部署可以是将网络流量识别系统部署在云服务器端,网络流量识别系统中各装置的工作原理可参见图4所示实施例,在此不在赘述,由于所有的应用软件服务器都在云服务器端,因此,在云服务器端部署流量识别系统,可以满足云服务模式下流量行为特征提取,以识别现网中的数据流。图12为本发明网络流量识别系统旁路部署结构示意图,如图12所示,旁路部署是将网络流量识别系统独立设置,与核心网元连接,核心网元可以为GGSN、RNC、核心路由器等,网络流量识别系统中各装置的工作原理可参见图4所示实施例,在此不在赘述。采用旁路部署方式能够降低流量识别系统对核心网元处理性能的影响。图13为本发明网络流量识别系统开放实验室部署结构示意图,如图13所示,开放实验室部署可以将网络流量识别系统集成在路由器中,也可以独立设置部署在开放实验室的网络环境中,以识别现网中的数据流。图14为本发明网络流量识别系统企业网部署结构示意图,如图14所示,企业网部署可以是将网络流量识别系统部署在企业核心路由器中,即企业核心出口节点,网络流量识别系统可支持对企业网新协议、新应用的流量行为特征提取,识别企业现网中的数据流。本发明实施例的网络流量识别系统通过部署于不同网络环境中,识别不同网络环境的数据流,提高不同网络环境的现网识别率。本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1