数据处理、存储、查询方法和数据处理系统与流程

本发明涉及数据处理技术领域，尤其涉及一种数据处理、存储、查询方法和数据处理系统。

背景技术：

随着智能手机的普及，更多的人习惯使用移动网络，而花在移动网络上的平均时间呈逐年递升趋势，在此环境下，运营商为了更好的对用户提供服务，及时发现网络中的问题，保证用户使用感知，对全网进行了dpi采集。dpi数据的产生让数据规模也越来越大，在数据采集、数据处理、数据存储带来了进一步的挑战。

在实现本发明过程中，发明人发现现有技术中存在以下问题：随着dpi数据规模越来越大，传统的数据处理模式已经无法满足日益增长的海量数据所带来的挑战，无法满足大数据的存储和分析要求。

技术实现要素：

本发明实施例提供一种数据处理、存储、查询方法和数据处理系统，以解决传统的数据处理模式已经无法满足日益增长的海量数据所带来的挑战，无法满足大数据的存储和分析要求的问题。

第一方面，本发明实施例提供一种数据处理方法，包括：通过消息通知机制采集网络信令数据；按照维度将所述网络信令数据进行分组以及进行指标计算；将所述网络信令数据对应的指标计算结果发送给共享服务器。

可选地，所述指标计算包括：用户指标的计算和/或业务量指标的计算。

可选地，所述业务量指标至少包括以下之一：流量、http成功率和http时延。

可选地，所述按照维度将所述网络信令数据进行分组以及进行指标计算，包括：基于指标算法确定所述网络信令数据的类型以及确定所述网络信令数据中的数据字段；将所述数据字段按照第一维度进行分组；将分组后的所述数据字段按照第二维度和/或时间粒度进行指标计算。

可选地，所述第一维度包括：小区；所述第二维度至少包括以下之一：全网、地市、小区、网元、ip地址、设备和热点；所述时间粒度至少包括以下之一：15min、60min和24h。

可选地，所述进行指标计算，包括：计算流量的指标值；和/或，计算http成功率的指标值；和/或，计算http时延的指标值。

第二方面，本发明实施例提供一种数据存储方法，包括：采集网络信令数据；按照分布key规则确定用户的key值；按照所述key值将所述网络信令数据存储于所述分布式文件系统。

可选地，所述key至少包括以下之一：用户号码、xdr类型、时间的组合。

第三方面，本发明实施例提供一种数据查询方法，包括：调用系统接口，获取用户输入的key值；根据所述号码/或时间段返回相应的xdr记录；其中，所述key值包括用户的号码和/或时间时段。

第四方面，本发明实施例提供一种数据处理系统，包括：采集模块，用于通过消息通知机制采集网络信令数据；计算模块，用于按照维度将所述网络信令数据进行分组以及进行指标计算；发布模块，用于将所述网络信令数据对应的指标计算结果发送给共享服务器；加载模块，用于按照分布key规则确定用户的key值；按照所述key值将所述网络信令数据存储于所述分布式文件系统；查询模块，用于调用系统接口，获取用户输入的key值；根据所述号码/或时间段返回相应的xdr记录。

本发明实施提供的数据处理方案，通过消息通知机制采集网络信令数据，按照维度将网络信令数据进行分组以及进行指标计算，将网络信令数据对应的指标计算结果发送给共享服务器；可实时定向采集网络信令数据，后续过滤分组步骤，可降低序列化开销和网络开销，将计算结果存储于共享服务器可以供第三方系统读取使用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面附图中反映的仅仅是本发明的一部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得本发明的其他实施方式。而所有这些实施例或实施方式都在本发明的保护范围之内。

图1为本发明实施例提供的一种数据处理方法的流程图；

图2为本发明实施例提供的一种数据处理方法中一种可选方案的流程图；

图3为本发明实施例提供的一种数据存储方法的流程图；

图4为本发明实施例提供的一种数据查询方法的流程图；

图5为本发明实施例提供的一种数据处理系统的结构示意图。

具体实施方式

下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种数据处理方法的流程图，如图1所示，该方法具体包括如下步骤：

s101、通过消息通知机制采集网络信令数据。

基于消息通知机制，后台服务器实时从数据源中采集网络信令数据，网络信令数据可以是，但不限于：gn信令、iups信令、lte信令和volte信令。

具体地，当有网络信令数据生成时,根据消息通知机制生成通知消息，并将该通知消息向后台服务器发送，后台服务器根据该通知消息执行对网络信令数据的采集。

基于消息通知机制，在实时采集网络信令数据的过程中降低了数据采集的时延。

在本实施例的一种可选方案中，可将采集到的网络信令数据存储于分布式文件服务器中。

s102、按照维度将网络信令数据进行分组以及进行指标计算。

获取存储的网络信令数据(譬如，从分布式文件服务器中读取网络信令数据)，按照维度将网络信令数据进行分组以及进行指标计算，可以采用指标算法实现本步骤，还可以采用能够实现本步骤的其他算法，对此，本实施例不作具体限定。

s103、将网络信令数据对应的指标计算结果发送给共享服务器。

在本发明实施例的一种可选方案中，指标计算包括：用户指标的计算和/或业务量指标的计算。

在本发明实施例的一种可选方案中，业务量指标至少包括以下之一：流量、http成功率和http时延。

将对网络信令数据对应的计算结果数据转换为文件的形式，并将该文件发送给共享服务器，在本实施例共享服务器可以包括多个，如一个由多个共享服务器组成的ftp集群，根据计算周期的不同，生成不同周期的文件目录，每一个周期一个文件，在文件生成完成之后，发送文件落地消息，供第三方系统读取使用。

在本发明实施例的一种可选方案中，s102可具体包括如下子步骤：

s1021、基于指标算法确定网络信令数据的类型以及确定网络信令数据中的数据字段。

s1022、将数据字段按照第一维度进行分组。

s1023、将分组后的数据字段按照第二维度和/或时间粒度进行指标计算。

根据指标算法确定网络信令数据的类型，过滤网络信令数据中的无用字段，保留有用字段(即数据字段)，降低后续步骤过程中，数据传输和处理时的序列化开销和网络开销。

将过滤后的数据按照第一维度进行分组，使数据均匀地分布,便于后续步骤执行实时指标计算和数据合并的处理，避免高并发下由于数据单点、热点集中而造成系统瓶颈，拖慢处理流程。

在本发明实施例的一种可选方案中，第一维度包括：小区；第二维度至少包括以下之一：全网、地市、小区、网元、ip地址、设备和热点；时间粒度至少包括以下之一：15min、60min和24h。

在本发明实施例的一种可选方案中，s1023可包括如下指标计算：计算流量的指标值；和/或，计算http成功率的指标值；和/或，计算http时延的指标值。

流量:对于lte信令数据和gn信令数据中的每条信令记录,取上行流量和下行流量字段,计算上行流量+下行流量；http成功率:http成功率为http请求次数与http成功次数的比值；http时延:http时延为http响应时长与http成功次数的比值。

本发明实施提供的一种数据处理方法，通过消息通知机制采集网络信令数据，按照维度将网络信令数据进行分组以及进行指标计算，将网络信令数据对应的指标计算结果发送给共享服务器；可实时定向采集网络信令数据，后续过滤分组步骤，可降低序列化开销和网络开销，将计算结果存储于共享服务器可以供第三方系统读取使用。

图3为本发明实施例提供的一种数据存储方法的流程图，如图3所示，该方法具体包括如下步骤：

s301、采集网络信令数据。

s302、按照分布key规则确定用户的key值。

s303、按照key值将网络信令数据存储于分布式文件系统。

在本发明实施例的一种可选方案中，key至少包括以下之一：用户号码、xdr类型、时间的组合。

key值的组合一般选取用户号码(如用户的手机号)进行分布，为了确保随机分布的均匀性，首先讲用户进行倒置，在此基础上加上时间戳行程符合应用需求的按用户号码设计的分布键。

根据所述的分布键，将采集数据按照分布键在分布式文件系统中进行存储，便于后续的读取和使用。

图4为本发明实施例提供的一种数据查询方法的流程图，如图4所示，该方法具体包括如下步骤：

s401、调用系统接口，获取用户输入的key值。

s402、根据号码/或时间段返回相应的xdr记录。

其中，key值包括用户的号码和/或时间时段。

通过webservice的方式或者rest的方式提供供应于应用访问的服务接口，即用户只需要输入号码与时间段，便可在数秒之内返回所需要的详细结果集。

通过上述技术方案，可实现对海量网络信令数据的计算与汇聚功能，支持超过1000以上的并发汇聚任务执行，同时又具备详单记录的快速查询能力，按照用户号码信息查询返回用户的详单记录时延基本控制在秒级(2-5秒)之内，本实施例的本技术方案可应用于10086客服热线中，可快速有效地响应用户投诉信息。

上述主要从后台服务器和分布式文件服务器交互的角度对本发明实施例的方案进行了介绍。可以理解的是，后台服务器、分布式文件服务器等为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本发明实施例可以根据上述方法示例对后台服务器和分布式文件服务器等进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本发明实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用集成的单元的情况下，图5示出了上述实施例中所涉及的数据处理系统的一种可能的结构示意图。如图5所示，数据处理系统500可以包括：采集单元501、计算单元502、发布单元503、加载单元504和查询单元505。

具体地，采集单元501，用于通过消息通知机制采集网络信令数据；计算单元502，用于按照维度将网络信令数据进行分组以及进行指标计算；

发布单元503，用于将网络信令数据对应的指标计算结果发送给共享服务器；加载单元504，用于按照分布key规则确定用户的key值；按照key值将网络信令数据存储于分布式文件系统；查询单元505，用于调用系统接口，获取用户输入的key值；根据号码/或时间段返回相应的xdr记录。

本实施例提供的数据处理系统，可作为如图1-4中各个实施例的执行主体，以及执行上述实施例中的各个步骤，并实现如图1-4各个实施例的技术效果，为简洁描述，在此，不作赘述。

结合本发明公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、移动硬盘、cd-rom或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。另外，该asic可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于用户设备中。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。