专利名称：终端分布信息获取方法、数据获取装置以及通信系统的制作方法
技术领域：
本发明涉及通信技术领域，尤其涉及一种终端分布信息获取方法、数据获取装置以及通信系统。
背景技术：
深度数据包检测(De印Packet Inspection，以下简称DPI)技术不仅能够如同普通报文检测一样，分析出IP数据包中的源地址、目的地址、源端口、目的端口以及协议类型，而且还增加了应用层分析，能够高效的识别出网络上的各种应用及其内容，普通报文检测是通过端口号来识别应用类型的，如检测到端口号为80时，则认为该应用代表着普通上网应用。而当前网络上的一些非法应用会采用隐藏或假冒端口号的方式躲避检测和监管，造成仿冒合法报文的数据流侵蚀着网络。此时普通报文检测方法就无能为力了。DPI技术就是通过对应用流中的数据报文内容进行探测，从而确定数据报文的真正应用。商业智能(Business Intelligence,以下简称BI)技术是企业将现有的数据转化为信息和知识的技术，该技术实质上是数据仓库、联机分析处理和数据挖掘等技术的综合运用，能够为企业提供一个实时的数据分析系统，帮助企业提高运营水平。例如，对于通信运营商和手机终端厂商而言，随着网络技术的不断演进，需要统计指定地区当前流行的手机终端设备，以及该类手机终端设备的网络使用情况，也可称为是对终端分布信息进行统计。现有技术中队上述信息的统计是由通信运营商从网络管理系统，业务运营支撑系统(Business & Operation Support System，以下简称BOSS)中导出用户话单，或者消费记录后进行人工统计分析的方式获取。现有技术中存在的对手机等终端的分布信息进行统计的方式普遍存在统计效率低的缺陷，同时其统计结果的精度也较低。
发明内容
本发明实施例提供一种终端分布信息获取方法、数据获取装置以及通信系统，以及数据汇聚装置，用以提高对终端分布信息进行统计时的统计效率，同时提高统计结果的精度。本发明实施例提供了一种终端分布信息获取方法，包括向深度数据包检测装置发送携带预解析的数据报文的请求消息，所述请求消息用于指示深度数据包检测装置对所述数据报文进行协议解析；接收所述深度数据包检测装置返回的携带协议解析数据的响应消息，所述协议解析数据包括发送所述数据报文的终端的类型标识、所述数据报文的协议类型以及对应该协议类型的业务流量值；向数据汇聚装置发送携带所述协议解析数据的通知消息，以使所述数据处理模块根据所述协议解析数据汇聚生成各类型终端的终端分布信息，所述终端分布信息包括各类型终端及其对应的特定时间段内的流量统计值。本发明实施例还提供了一种终端分布信息获取方法，包括接收数据获取装置发送的携带对数据报文解析获得的协议解析数据的通知消息， 所述协议解析数据包括发送所述数据报文的终端的类型标识、所述数据报文的协议类型以及对应该协议类型的业务流量值；根据接收到的各个数据获取装置反馈的所述协议解析数据汇聚生成各类型终端的终端分布信息，所述终端分布信息包括各类型终端及其对应的特定时间段内的流量统计值。本发明实施例还提供了一种数据获取装置，包括第一发送模块，用于向深度数据包检测装置发送携带预解析的数据报文的请求消息，所述请求消息用于指示深度数据包检测装置对所述数据报文进行协议解析；第一接收模块，用于接收所述深度数据包检测装置返回的携带协议解析数据的响应消息，所述协议解析数据包括发送所述数据报文的终端的类型标识、所述数据报文的协议类型以及对应该协议类型的业务流量值；第二发送模块，用于向数据汇聚装置发送携带所述协议解析数据的通知消息，以使所述数据处理模块根据所述协议解析数据汇聚生成各类型终端的终端分布信息。本发明实施例还提供了一种数据汇聚装置，包括第二接收模块，用于接收数据获取装置发送的对数据报文解析获得的携带协议解析数据的通知消息，所述协议解析数据包括发送所述数据报文的终端的类型标识、所述数据报文的协议类型以及对应该协议类型的业务流量值；第二获取模块，用于根据各个数据获取装置反馈的所述协议解析数据汇聚生成各类型终端的终端分布信息，所述终端分布信息包括终端类型及其对应的特定时间段内的流量统计值。本发明实施例还提供了一种通信系统，包括设置有上述的数据获取装置的服务 GRPS支持节点和设置有上述的数据汇聚装置的商务智能系统。本发明上述实施例提供的终端分布信息获取方法、数据汇聚装置、数据获取装置以及通信系统，其中可以由数据获取装置将终端发送给服务器的数据报文，发送给DPI装置进行协议解析，以获发送数据报文的终端的类型标识，数据报文的协议类型，以及业务流量值等信息，通过进一步的将上述信息发送给数据汇聚装置进行汇聚，即可统计获得各类型终端及其对应的特定时间段内的流量统计值，能够提高对终端分布信息进行统计时的统计效率，同时提高统计结果的精度。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本发明终端分部信息获取方法实施例一的流程示意图；图2为本发明一具体实施例的流程示意图3为本发明实施例中DPI装置的结构示意图；图4为本发明另一具体实施例的流程示意图；图5为本发明实施例中IMSI的构成示意图；图6为本发明实施例中IMEI的构成示意图；图7为本发明终端分布信息获取方法实施例二的流程示意图；图8为本发明实施例中数据聚合的示意图；图9为本发明数据获取装置实施例的结构示意图；图10为本发明数据汇聚装置实施例的结构示意图。
具体实施例方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明实施例提供了一种获取终端分布信息的技术方案，具体的可以是通信系统中设置数据获取装置以及深度数据包检测装置，实时获取各个类型的终端及其对应的业务数据流的大小，具体的可以是将上述装置在网关服务GPRS节点GGSN上，然后将其向数据汇聚装置发送，由数据汇聚装置统计获得终端分布信息。图1为本发明终端分部信息获取方法实施例一的流程示意图，如图1所示，包括如下步骤步骤101、向深度数据包检测(De印Packet Inspection，以下简称DPI)装置发送携带预解析的数据报文的请求消息，所述请求消息用于指示DPI装置对所述IP数据包进行协议解析；步骤102、接收所述D PI装置返回的携带协议解析数据的响应消息，所述协议解析数据包括发送所述数据报文的终端的类型标识、所述数据报文的协议类型以及对应该协议类型的业务流量值；步骤103、向数据汇聚装置发送携带所述协议解析数据的通知消息，以使所述数据汇聚装置根据所述协议解析数据汇聚生成各类型终端的终端分布信息，所述终端分布信息包括各类型终端及其对应的特定时间段内的流量统计值。本发明上述实施例中的步骤，具体的可以是由设置在GGSN中的数据获取装置执行，该数据获取装置将终端发送给服务器的数据报文，发送给DPI装置进行协议解析，以获发送数据报文的终端的类型标识，数据报文的协议类型，以及业务流量值等信息，通过进一步的将上述信息发送给数据汇聚装置进行汇聚，即可统计获得各类型终端及其对应的特定时间段内的流量统计值。本发明上述实施例中，由于IP数据传输的特性，一个按照协议生成完整的数据报文可能被分为多个数据包传输，即上述预解析的数据报文可能是完整数据报文，或者是非完整数据报文。其中对于完整的数据报文，可以通过深度数据包检测装置一次解析获得协议解析数据，而对数据报文是非完整的数据报文的情况，上述步骤101中可以是至少两次向DPI装置发送携带预解析的非完整数据报文的请求消息，而步骤102可以是接收DPI装置返回的根据至少两个非完整性数据报文进行解析获取的协议解析数据。而上述解析非完整数据报文的情况，具体的可以是在首次向DPI装置发送预解析的数据报文后，DPI装置检测获得部分协议解析数据，将其封装到上下文信息中，DPI装置返回携带上述上下文信息以及指示需要再次进行数据检测信息的响应响应消息，数据获取装置再次发送携带非完整数据报文的请求消息，同时还携带上述的上下文信息，以由DPI装置根据新获得的非完整数据报文进一步进行协议解析，并将前后两次获得的协议解析数据进行合并，直到能够获得完整的协议解析数据为止，否则将持续执行上述的流程。另外，本发明上述实施例中，对于终端的类型标识可以是国际移动设备标识码中的设备型号核准号码，而上述步骤102中数据获取装置在接收到DPI装置返回的携带协议解析数据的响应消息之后，数据获取装置进一步的执行下述步骤根据上述设备型号核准号码以及设备型号核准号码与移动终端型号对应关系表， 获取对应的移动终端型号。并且向数据汇聚装置发送的通知消息中携带的协议解析数据包括发送上述数据报文的移动终端型号、上述数据报文的协议类型以及对应该协议类型的业务流量值。图2为本发明一具体实施例的流程示意图，如上所述的，发送给DPI装置的数据报文可以是完整数据报文，或者是非完整数据报文，本实施例中是针对完整数据报文的情况， 如图2所示，包括如下步骤步骤201、移动终端(Mobile Station,以下简称僅幻向服务器发送IP数据包(例如IP Packetl和IP Packet2)，上述的IP数据包经过GGSN，且各个IP数据包在GGSN上进行流匹配和重组，对于一个业务流上的IP数据包进行排序，并过滤重复的数据报文，得到 TCP数据包(TCP Packetl和TCPI^ckeU)，进一步的，该GGSN上还设置有上述的数据获取装置，该数据获取装置会根据预先配置的规则，选择性的向DPI装置发送请求消息，该请求消息中携带预解析的数据报文(TCP数据包)，请求DPI装置进行7层协议解析，具体的本实施例中，可以是GGSN每接收到两个IP数据包，则向DPI装置发送一次请求消息，另外还可以是设定一时间段，例如每分钟发送一次请求消息；步骤202、DPI装置(DPI Parser)对接收到的TCP数据包进行协议解析，解析前会先识别出7层协议类型，并根据协议类型确定需要解析得到的协议解析数据，上述的协议解析数据可以包括如下的信息中的一项或多项，例如国际移动用户标识码(International Mobile Subscriber Identification ΠΚΙ)、国际移动设备标识码(International Mobile Equipment Identification，以下简称IMEI)、协议大类(Protocol Category，例如 P2P、 VOIP等)、协议类型(Protocol，例如BT、eDonkey)、范围的URL名称、业务流量值(可以包括上行业务流量和下行业务流量)等信息，而上述IMET中的TAC标识是与移动终端型号一一对应的，上行业务流量可以具体是针对特定类型终端，在特定协议类上的上行业务流量，而下行业务流量也可以具体是针对特定类型终端，在特定协议类上的下行业务流量。具体的，如图3所示，DPI装置可以包括解析规则库、预处理模块、解析模块、后处理模块、中间状态存储模块和五元组管理模块，上述的解析规则库中存储有解析规则，具体的该解析规则可以是依据不同协议类型的解析策略，可以保证对不同协议类型的TCP数据包进行解析。预处理模块在接收到封装有一个或多个IP数据包的TCP数据包后，同时从解析协议规则库中获取对应的解析规则，将其发送给解析模块进行解析，获得解析结果，由后处理模块将解析结果返回给数据获取装置，并可以将解析得到的状态信息存储到DPI装置的中间状态存储模块中，再次对IP数据包进行解析时，由预处理模块获取并发送给解析模块解析时参考，另外将上述的状态信息作为上下文信息携带在响应消息中返回给数据获取装置，以由数据获取装置在下一次针对同一业务流进行解析时，将其携带在请求消息中发送给DPI装置，而上述五元组管理模块负责五元组信息的创建、老化、更新和查询。步骤203、GGSN将接收到的协议解析数据进行相应处理，并将处理后的协议解析数据发送给服务器(server)中的数据汇聚装置，该数据汇聚装置可以是具体的这里的处理可以包括是在上述的终端类型标识是IMET中的TAC标识，根据TAC标识与移动终端型号的对应关系，获取移动终端型号，并将其携带在通知消息中发送给服务器。另外对于上述步骤中涉及的上下文信息，可以在需要DPI装置再次对同一业务流的TCP数据包解析时发送给DPI装置，同时在业务流释放时释放内存中的相关上下文信息。步骤204、GGSN根据解析的结果和协议的特性(采用配置的方式)来确定是否将后续的TCP数据包发送给DPI装置进行解析，具体的可以针对步骤201中涉及的配置规则执行，例如图2所示，GGSN对后需接收到的IP数据包(IP Packet3)，不发送给DPI进行解析，而是直接发送给服务器处理(server)。上述实施例是针对TCP数据包为完整数据报文的情况的实施例，而针对IP数据包为非完整数据报文的情况，可如图4所示，包括如下的步骤步骤301、与上述步骤201的步骤基本相同，区别在于由于IP分片的特性，GGSN发送给DPI装置的TCP数据包为非完整数据报文。步骤302、DPI装置对接收到的非完整数据报文进行解析，由于是非完整数据报文，因此DPI装置无法通过一次解析获得完整的协议解析数据，DPI装置需要进行对非完整数据报文进行解析后缓存必要的信息，生成上下文信息。步骤303、DPI装置向GGSN返回响应消息，该响应消息中携带需要继续发送TCP数据包进行解析的指示信息，同时还可以将上述的上下文信息发送给GGSN。GGSN会把之前接收到的IP数据包发送给服务器。步骤304、GGSN在接收到后续的IP数据包(IP Packet3)后，会继续将转换得到的 TCP数据包发送给DPI装置，由DPI装置进行解析，同时也会将上次解析得到的上下文信息发送给DPI装置。步骤305、DPI装置对接收到的TCP数据包(TCP Packet3)进行解析，同时会将解析得到的信息与上述的上下文信息进行合并，如果已经获得完整的协议解析数据，则会将解析结果返回给GGSN，表明解析成功，同时也可以返回图2所示实施例中的上下文信息，以在解析同一业务流的TCP数据包时参考。步骤306、GGSN将解析获得的完整的协议解析数据发送给服务器中的数据汇聚装置。另外本实施例中，GGSN也同样会将发送给DPI装置解析的IP数据包(IP PacketU IP Packet2和IP Packet3)发送给服务器。具体的，针对上述的IMSI，其数据结构可以如图5所示，包括移动国家代码 (Mobile Country Code,以下简称MCC)、MCC唯一的标识移动用户所在的国家，由3位组成；MNC用以标识移动用户有效的GSM PLMN代码，由2或3位组成；MNC和MSIN共同组成国家移动用户标识(National Mobile Subscriber Identity，以下简称NMSI)。IMEI的结构可以如图6所示，其包括表示移动终端设备的机型的设备型号核准号码TAC，表示终端设备的产地的工厂装配码FAC，表示生产顺序号的串号SNR，以及校验码 SP。在上述的数据获取装置获取协议解析数据后，将其发送给数据汇聚装置，数据汇聚装置根据接收到的各个数据获取装置反馈的协议解析数据生成各类型终端的终端分布信息。图7为本发明终端分布信息获取方法实施例二的流程示意图，如图7所示，该方法包括如下的步骤步骤401、接收数据获取装置发送的携带对数据报文解析获得的协议解析数据的通知消息，所述协议解析数据包括发送所述数据报文的终端的类型标识、所述数据报文的协议类型以及对应该协议类型的业务流量值；步骤402、根据接收到的各个数据获取装置反馈的所述协议解析数据汇聚生成各类型终端的终端分布信息，所述终端分布信息包括各类型终端及其对应的特定时间段内的流量统计值。本发明上述实施例中，通过对接收到的各个数据获取装置反馈的协议解析数据进行汇聚，获得各类型终端的终端分布信息，即获取各类型终端及其在对应的特定时间段内的流量统计值，能够提高对终端分布信息的统计效率，同时提供统计结果的准确性。具体的上述实施例中，对于协议解析数据中的终端的类型标识可以是IMEI中的 TAC码，也可以是根据TAC码获取的移动终端型号，在上述的终端的类型标识为TAC码时，本实施例中可以将其转换为移动终端型号。在发送给数据汇聚装置的协议解析数据中，除可以包括上述的终端的类型标识、 数据报文的协议类型以及对应该协议类型的业务流量值外，还可以包括IMSI(即手机号码)，或者是包括与上述的数据报文相关的网站/服务器等内容，上述的信息可以是以UDP 数据包的形式发送到BI系统的数据收集模块DRM，该模块是数据汇聚装置的一部分，DRM将收到UDP数据包转换为CSV文件，该CSV文件为一种用来存储数据的纯文本，英文全称为 Comma Separated Values，并写在硬盘上。同时，对于“所处地域信息”和“用户详细信息”， 也可以通过手机号码关联到运营商内部业务支撑系统获得，以CSV文件的形式保存到硬盘上。CSV文件解析组件定时解析过滤CSV文件数据到缓冲表(ETL表)，再由内存和 ORACLE存储过程的将数据从缓冲表(ETL表)按照一定要求放置到元数据表中。BI系统 ETL(数据处理模块)模块将读取硬盘上的CSV文件并将记录插入到Oracle后台数据库里相应的表中。每条原始记录包括流量统计值(具体可以包括上行流量信息和下行流量信息)，通过终端类型来对记录进行分组汇总求和，得出某种终端的总流量大小。通过汇聚任务对元数据表数据进行汇聚至汇聚表，即可在BI系统中形成基于各种维度的分布统计报表，分析引擎(Analysis Engine)根据需求远程创建并管理多维数据集Cube，分析师通过HTTP接口与报表系统进行基于各种维度信息进行交互，具体的生成的分布统计报表可以如下所示
等级手机型号流量大小1A1000
权利要求
1.一种终端分布信息获取方法，其特征在于，包括向深度数据包检测装置发送携带预解析的数据报文的请求消息，所述请求消息用于指示深度数据包检测装置对所述数据报文进行协议解析；接收所述深度数据包检测装置返回的携带协议解析数据的响应消息，所述协议解析数据包括发送所述数据报文的终端的类型标识、所述数据报文的协议类型以及对应该协议类型的业务流量值；向数据汇聚装置发送携带所述协议解析数据的通知消息，以使所述数据处理模块根据所述协议解析数据汇聚生成各类型终端的终端分布信息，所述终端分布信息包括各类型终端及其对应的特定时间段内的流量统计值。
2.根据权利要求1所述的终端分布信息获取方法，其特征在于，所述预解析的数据报文为完整数据报文或非完整数据报文，且在所述预解析的数据报文为非完整数据报文，所述向深度数据包检测装置发送携带预解析的数据报文的请求消息包括至少两次向所述深度数据包检测装置发送携带预解析的非完整数据报文的请求消息；所述接收所述深度数据包检测装置返回的所述数据报文的协议解析数据包括接收深度数据包检测装置返回的根据至少两个非完整数据报文进行解析获取的协议解析数据。
3.根据权利要求1所述的终端分布信息获取方法，其特征在于，所述终端的类型标识为国际移动设备标识码中的设备型号核准号码，在接收所述深度数据包检测装置返回的携带协议解析数据的响应消息之后还包括根据所述设备型号核准号码以及设备型号核准号码与移动终端型号对应关系表，获取对应的移动终端型号；则向数据汇聚装置发送的通知消息中携带的协议解析数据包括发送所述数据报文的移动终端型号、所述数据报文的协议类型以及对应该协议类型的业务流量值。
4.一种终端分布信息获取方法，其特征在于，包括接收数据获取装置发送的携带对数据报文解析获得的协议解析数据的通知消息，所述协议解析数据包括发送所述数据报文的终端的类型标识、所述数据报文的协议类型以及对应该协议类型的业务流量值；根据接收到的各个数据获取装置反馈的所述协议解析数据汇聚生成各类型终端的终端分布信息，所述终端分布信息包括各类型终端及其对应的特定时间段内的流量统计值。
5.根据权利要求4所述的终端分布信息获取方法，其特征在于，所述终端的类型标识为移动终端型号。
6.根据权利要求4所述的终端分布信息获取方法，其特征在于，所述根据接收到的各个数据获取装置反馈的协议解析数据汇聚生成各类型终端的终端分布信息包括根据各个数据获取装置反馈的协议解析数据进行内存聚合，汇聚生成分钟粒度的各类型终端的终端分布信息和/或小时粒度的各类型终端的终端分布信息；以及根据各个数据获取装置反馈的协议解析数据进行数据库聚合，汇聚生成天粒度的各类型终端的终端分布信息和/或月粒度的各类型终端的终端分布信息。
7.一种数据获取装置，其特征在于，包括第一发送模块，用于向深度数据包检测装置发送携带预解析的数据报文的请求消息， 所述请求消息用于指示深度数据包检测装置对所述数据报文进行协议解析；第一接收模块，用于接收所述深度数据包检测装置返回的携带协议解析数据的响应消息，所述协议解析数据包括发送所述数据报文的终端的类型标识、所述数据报文的协议类型以及对应该协议类型的业务流量值；第二发送模块，用于向数据汇聚装置发送携带所述协议解析数据的通知消息，以使所述数据处理模块根据所述协议解析数据汇聚生成各类型终端的终端分布信息。
8.根据权利要求7所述的数据获取装置，其特征在于，还包括第一获取装置，用于在所述终端的类型标识为国际移动设备标识码中的设备型号核准号码，根据所述设备型号核准号码以及所述设备型号核准号码与移动终端型号对应关系表，获取对应的移动终端型号；且所述第二发送模块发送的通知消息中携带的协议解析数据包括发送所述数据报文的移动终端型号、所述数据报文的协议类型以及对应该协议类型的业务流量值。
9.一种数据汇聚装置，其特征在于，包括第二接收模块，用于接收数据获取装置发送的对数据报文解析获得的携带协议解析数据的通知消息，所述协议解析数据包括发送所述数据报文的终端的类型标识、所述数据报文的协议类型以及对应该协议类型的业务流量值；第二获取模块，用于根据各个数据获取装置反馈的所述协议解析数据汇聚生成各类型终端的终端分布信息，所述终端分布信息包括终端类型及其对应的特定时间段内的流量统计值。
10.一种通信系统，其特征在于，包括设置有权利要求7或8所述的数据获取装置的服务GRPS支持节点和设置有权利要求9所述的数据汇聚装置的商务智能系统。
全文摘要
本发明提供一种终端分布信息获取方法、数据获取装置以及通信系统，其中获取方法包括向深度数据包检测装置发送携带预解析的数据报文的请求消息；接收所述深度数据包检测装置返回的携带协议解析数据的响应消息，所述协议解析数据包括发送所述数据报文的终端的类型标识、所述数据报文的协议类型以及对应该协议类型的业务流量值；向数据汇聚装置发送携带所述协议解析数据的通知消息，以使所述数据处理模块根据所述协议解析数据汇聚生成各类型终端的终端分布信息，所述终端分布信息包括各类型终端及其对应的特定时间段内的流量统计值。上述技术方案能够提高对终端分布信息进行统计时的统计效率，同时提高统计结果的精度。
文档编号H04W12/00GK102301764SQ201180001526
公开日2011年12月28日 申请日期2011年7月1日 优先权日2011年7月1日
发明者布丕库马尔杰恩, 王绍宇, 陈飞 申请人:华为技术有限公司