一种大数据处理方法、装置及系统的制作方法
【专利摘要】本发明公开了一种大数据处理方法、装置及系统。其中，该方法包括：基于不同维度对日志数据进行分析，并设置索引；其中，用户的通讯交互信息记录为所述日志数据，索引用于关联不同维度与其所对应的日志数据；预设不同的统计需求；利用所述索引，定期统计满足预设的统计需求的日志数据，并保存所述日志数据以供用户查询。通过本发明，解决了相关技术中通讯业务系统产生大量分散的日志数据，难以处理的问题，能够较大限度地利用各种信息，提高用户满意度和市场竞争力。
【专利说明】
一种大数据处理方法、装置及系统
技术领域
[0001]本发明涉及通讯领域，特别是涉及一种大数据处理方法、装置及系统。
【背景技术】
[0002]在通讯技术高速发展的今天，通讯行业的增值业务产品也越来越多。在激烈的竞争环境下，谁的新增业务产品更好地贴近个人，更好地服务于个人，而个人更愿意选择使用该产品，谁的产品就能在残酷的市场竞争中占领有利的位置。
[0003]同时，大数据这个概念也越演越烈，在海量数据中，哪些数据对用户有用，用户可以通过海量数据发现些什么，可以挖掘出更高的价值。这个对于厂家，对个人用户来说，都具有很大的吸引力。
[0004]例如:语音信箱业务，是电信行业中用户量庞大的业务，其各用户行为具有很高的价值。如今，如图1所示的语音信箱系统的结构示意图，语音信箱系统包括:语音控制模块
10、留言通知模块12、语音控制日志模块14、留言通知日志模块16。其中，语音控制模块10产生语音控制日志，留言通知模块12产生留言通知日志。语音信箱系统提供了支持千万级用户使用业务的能力，其系统产生的日志是海量的。
[0005]针对电信行业中的各种通讯业务系统(如上述语音信箱系统)，其产生的日志都非常多。而各种通讯业务系统一般都由多个子模块组成，产生的日志比较分散，而且日志的数据量很大，难以处理。
【发明内容】
[0006]针对相关技术中通讯业务系统产生大量分散的日志数据，难以处理的问题，本发明提供了一种大数据处理方法、装置及系统，用以解决上述技术问题。
[0007]根据本发明的一个方面，本发明提供了一种大数据处理方法，其中，该方法包括:基于不同维度对日志数据进行分析，并设置索引；其中，用户的通讯交互信息记录为所述日志数据，所述索引用于关联不同维度与其所对应的日志数据；预设不同的统计需求；利用所述索引，定期统计满足预设的统计需求的日志数据，并保存所述日志数据以供用户查询。
[0008]优选地，基于不同维度对日志数据进行分析之前，所述方法还包括:获取由终端通讯模块中的通讯交互信息所记录产生的日志数据；和/或，接收由终端通讯模块发送的通讯交互信息，将所述通讯交互信息记录为日志数据。
[0009]优选地，基于不同维度对日志数据进行分析，并设置索引之后，所述方法还包括:接收用户的统计需求，利用所述索引，统计满足所述统计需求的日志数据。
[0010]优选地，所述维度至少包括以下之一:主叫号码、被叫号码、通讯时间、通讯时长、通讯内容关键字。
[0011]根据本发明的另一方面，本发明还提供了一种大数据处理装置，其中，该装置包括:日志索引模块，用于基于不同维度对日志数据进行分析，并设置索引；其中，用户的通讯交互信息记录为所述日志数据，所述索引用于关联不同维度与其所对应的日志数据；日志应用模块，用于预设不同的统计需求；利用所述索引，定期统计满足预设的统计需求的日志数据，并保存所述日志数据以供用户查询。
[0012]优选地，所述日志索引模块包括:主动索引单元，用于获取由终端通讯模块中的通讯交互信息所记录产生的日志数据；和/或，被动索引单元，用于接收由终端通讯模块发送的通讯交互信息，将所述通讯交互信息记录为日志数据。
[0013]优选地，日志应用模块，还用于针对用户的统计需求，利用所述索引，统计满足所述统计需求的日志数据。
[0014]根据本发明的另一方面，本发明还提供了一种大数据处理系统，其中，该装置包括:终端通讯模块，用于将用户的通讯交互信息记录为日志数据并存储，以供日志索引模块进行分析；日志索引模块，用于基于不同维度对所述日志数据进行分析，并设置索引；其中，所述索引用于关联不同维度与其所对应的日志数据；日志应用模块，用于预设不同的统计需求；利用所述索引，定期统计满足预设的统计需求的日志数据，并保存所述日志数据以供用户查询。
[0015]优选地，所述通讯交互信息包括:通讯信息、留言通知信息；所述终端通讯模块包括:语音控制模块，用于接收用户未成功接收到的通讯信息，并将其记录为日志数据；语音控制日志模块，用于存储所述语音控制模块产生的日志数据；留言通知模块，用于在用户未成功接收到通讯信息时，向用户发送留言通知信息，并将所述留言通知信息记录为日志数据；留言通知日志模块，用于存储所述留言通知模块产生的日志数据。
[0016]本发明有益效果如下:
[0017]通讯业务(例如语音信箱业务)的客户量很大，很多国家都是千万级用户，对系统日志的分析及应用，可以很好地分析统计用户的行为，更好地为用户服务。通过本发明技术方案，解决了相关技术中通讯业务系统产生大量分散的日志数据，难以处理的问题，能够较大限度地利用各种信息，提高用户满意度和市场竞争力。
[0018]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的【具体实施方式】。
【附图说明】
[0019]图1是根据相关技术的语音信箱系统的结构示意图；
[0020]图2是根据本发明实施例的大数据处理装置的结构框图；
[0021]图3是根据本发明实施例的大数据处理系统的结构框图；
[0022]图4是根据本发明实施例的语音信箱系统的结构示意图；
[0023]图5是根据本发明实施例的统计某用户N年内留言的分布情况的流程图；
[0024]图6是根据本发明实施例的统计某用户N年内收到留言联系人情况的流程图；
[0025]图7是根据本发明实施例的大数据处理方法的流程图。
【具体实施方式】
[0026]为了解决现有技术中通讯业务系统产生大量分散的日志数据，难以处理的问题，本发明提供了一种大数据处理方法、装置及系统，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。
[0027]现有的通讯业务系统一般由多个子模块组成，产生的日志比较分散，而且日志的数据量很大。通讯业务系统中缺乏一个日志分析应用模块，针对个人用户日志进行分析，并结合业务特点提供应用场景。
[0028]鉴于此，本发明提供一种基于通讯业务(例如:语音信箱业务)的大数据处理方案，把通讯业务系统中产生的海量日志数据进行分析加工，再结合用户可能用到的应用场景，设定一些维度，结合算法分析，得到一些系统应用数据，提供给用户使用。下面通过具体实施例进行介绍。
[0029]实施例一
[0030]本实施例提供了一种大数据处理装置，该装置可以设置在设备侧。图2是根据本发明实施例的大数据处理装置的结构框图，如图2所示，该装置包括:日志索引模块20和日志应用模块22。下面对该结构进行详细介绍。
[0031]日志索引模块20，用于基于不同维度对日志数据进行分析，并设置索引；其中，用户的通讯交互信息记录为日志数据，索引用于关联不同维度与其所对应的日志数据；
[0032]其中，上述维度可默认设置为主叫号码、被叫号码、通讯时间、通讯时长、通讯内容关键字等，也可根据用户需求更改设置。
[0033]日志应用模块22，用于预设不同的统计需求；利用索引，定期统计满足预设的统计需求的日志数据，并保存日志数据以供用户查询。
[0034]其中，上述预设的统计需求，是结合用户可能用到的应用场景所设置的。例如:用户最近一年内的短信息分布情况，或者用户最近两年内的电话沟通对象分布情况等等。
[0035]通过本实施例介绍的大数据处理装置，解决了相关技术中通讯业务系统产生大量分散的日志数据，难以处理的问题，能够较大限度地利用各种信息，统计出用户需求的日志数据，提高用户满意度和市场竞争力。
[0036]对于上述日志索引模块20如何获得日志数据，可以有以下两种实现方式，即:日志索引模块20包括:主动索引单元，用于获取由终端通讯模块中的通讯交互信息所记录产生的日志数据；和/或，被动索引单元，用于接收由终端通讯模块发送的通讯交互信息，将该通讯交互信息记录为日志数据。大数据处理装置可支持其中一种方式或者同时支持两种方式。基于上述优选实施例，能够及时准确的得到终端通讯模块产生的日志数据，便于后续的日志数据的分析和统计。
[0037]在用户主动提出某一种统计需求时，日志应用模块22能够针对用户的统计需求，利用索引，统计满足统计需求的日志数据。从而有效提高用户满意度，进而提高市场竞争力。
[0038]实施例二
[0039]本实施例提供了一种大数据处理系统，该系统可以设置在设备侧。图3是根据本发明实施例的大数据处理系统的结构框图，如图3所示，该装置包括:终端通讯模块30、日志索引模块20和日志应用模块22。下面对该结构进行详细介绍。
[0040]终端通讯模块30，用于将用户的通讯交互信息记录为日志数据，以供日志索引模块进行分析；
[0041]日志索引模块20，用于基于不同维度对日志数据进行分析，并设置索引；其中，索引用于关联不同维度与其所对应的日志数据；
[0042]日志应用模块22，用于预设不同的统计需求；利用索引，定期统计满足预设的统计需求的日志数据，并保存日志数据以供用户查询。
[0043]通过本实施例介绍的大数据处理系统，解决了相关技术中通讯业务系统产生大量分散的日志数据，难以处理的问题，能够较大限度地利用各种信息，统计出用户需求的日志数据，提高用户满意度和市场竞争力。
[0044]在本实施例中，上述通讯交互信息可以包括:通讯信息、留言通知信息。终端通讯模块包括:语音控制模块，用于接收用户未成功接收到的通讯信息，并将其记录为日志数据；语音控制日志模块，用于存储上述语音控制模块产生的日志数据；留言通知模块，用于在用户未成功接收到通讯信息时，向用户发送留言通知信息，并将该留言通知信息记录为日志数据；留言通知日志模块，用于存储上述留言通知模块产生的日志数据。该优选实施例中的语音控制模块和留言通知模块，与现有技术中的功能一样，将通讯业务信息记录为日志数据，方便后续的日志数据分析和统计操作。
[0045]下面以语音信箱系统为例对本实施例技术方案进行介绍。
[0046]图4所示的是改进后的语音信箱系统的结构示意图，如图4所示，该系统包括:语音控制模块10、留言通知模块12、语音控制日志模块14、留言通知日志模块16、日志索引模块20和日志应用模块22。从图1与图4的比较中可知，改进后的语音信箱系统中增添了日志索引模块20和日志应用模块22。下面对各个模块的功能进行介绍。
[0047]语音控制模块10，与语音控制日志模块14相连，主要负责接收用户未接听/关机等情况下，经电信网络的核心网络触发到本系统的信息，并对被叫用户进行留言等处理，同时把用户留言相关的操作信息记录日志。
[0048]留言通知模块12，与语音控制模块10和留言通知日志模块16相连。主要负责向被叫用户发送通知留言的信息，同时把用户留言相关信息记录日志。
[0049]语音控制日志模块14，与语音控制模块10和日志索引模块20相连。主要负责存储语音控制模块10产生的日志文件，同时可以根据系统配置，选择是否向日志索引模块20推送日志信息。
[0050]留言通知日志模块16，与留言通知模块12和日志索引模块20相连。主要负责存储留言通知模块12产生的日志文件，同时可以根据系统配置，选择是否向日志索引模块20推送日志信息。
[0051]日志索引模块20，与语音控制日志模块14、留言通知日志模块16和日志应用模块22相连。主要负责对日志进行分析、创建索引。对日志文件的分析，可以采取多种维度，比如按照主叫号码、被叫号码、留言的时间等。系统通过分析这些关键信息，按照这些关键信息建立索引，便于后续模块使用。日志的来源可以是两种方式，一种是主动到语音控制日志模块14、留言通知日志模块16去取日志；另外一种是接收语音控制日志模块14、留言通知日志模块16的消息，并根据消息产生对应的日志，这些消息可以是任意互通的网络消息。同时，系统可同时支持一种或者两种方法。
[0052]日志应用模块22，与日志索引模块20相连。主要负责分析日志数据，设定不同的分析算法，对个人用户提供各种应用场景。例如，系统可以统计分析出某个用户在10年内，用户使用语音信箱业务的时间区间；系统可以统计分析出某个用户在10年内，给该用户留言的号码。同时，因为涉及时间区间比较长，该模块定期(例如每天)预处理一些数据。保证每天的数据进行了加工，在最后业务场景使用时，可以直接从前一天的数据中提取，提交用户的反应速度。
[0053]结合上述系统为例，下面详细阐述统计某用户N年内留言的分布情况的流程，，以及统计某用户N年内收到留言联系人情况的流程。
[0054]图5所示的是统计某用户N年内留言的分布情况的流程图，如图5所示，当要统计某用户N年内的留言的分布情况时，包括如下步骤:
[0055]步骤S501，主叫号码(用户A)给被叫号码(用户B)拨打电话，B用户未及时接听，触发B用户的语音信息业务。业务逻辑经过语音控制模块、留言通知模块，最后发送给用户B ;
[0056]步骤S502，语音控制模块和留言通知模块把逻辑流程涉及的日志记录保存。保存形式可以是数据库，也可以是日志文件。保存的内容，包括用户A、用户B的电话号码，留言处理时间等信息。
[0057]步骤S503，在日志索引模块主动获取日志数据的模式下，日志索引模块从语音控制日志模块、留言通知日志模块中读取日志，并对日志中的用户A号码、用户B号码、处理时间进行分析，并创建索引；
[0058]步骤S504，日志应用模块可以设定按一定周期预先处理日志数据，例如每天按照每个号码，每个小时的粒度，计算出24小时内该号码的留言条数。在终端用户，比如APP客户端、门户、电话导航等等方式来查询时，可以利用已有的数据快速响应。从而提高效率，提高用户满意度。
[0059]图6所示的是统计某用户N年内收到留言联系人情况的流程图，如图6所示，当统计某用户N年内收到留言联系人情况时，包括如下步骤:
[0060]步骤S601，主叫号码(用户A)给被叫号码(用户B)拨打电话，B用户未及时接听，触发B用户的语音信息业务。业务逻辑经过语音控制模块、留言通知模块，最后发送给用户B ;
[0061]步骤S602，语音控制模块、留言通知模块把用户A、用户B的相关信息记录到日志，例如用户A、用户B的电话号码，处理时间等。在系统配置日志推送模式下，语音控制日志模块、留言通知日志模块通过网络协议:比如HTTP、Socket等传送给日志索引模块；
[0062]步骤S603，日志索引模块把日志根据一定格式把日志保存在本地，并对日志中的用户A号码、用户B号码、处理时间进行分析，并创建索引；
[0063]步骤S604，日志应用模块可以设定按一定周期预先处理日志数据，例如每天按照每个小时的粒度，计算出24小时内同一主叫号码、同一被叫号码的留言次数。在终端用户，比如APP客户端、门户、电话导航等等方式查询时，可以利用已有的数据快速响应。从而提高效率，提高用户满意度。
[0064]实施例三
[0065]对应于实施例一介绍的大数据处理装置和实施例二介绍的大数据处理系统，本实施例提供了一种大数据处理方法，该方法可以在设备侧实现，图7是根据本发明实施例的大数据处理方法的流程图，如图7所示，该方法包括以下步骤(步骤S702-步骤S704):
[0066]步骤S702，基于不同维度对日志数据进行分析，并设置索引；其中，用户的通讯交互信息记录为日志数据，索引用于关联不同维度与其所对应的日志数据；
[0067]其中，上述维度可默认设置为主叫号码、被叫号码、通讯时间、通讯时长、通讯内容关键字等，也可根据用户需求更改设置。
[0068]步骤S704，预设不同的统计需求；利用索引，定期统计满足预设的统计需求的日志数据，并保存日志数据以供用户查询。
[0069]其中，上述预设的统计需求，是结合用户可能用到的应用场景所设置的。例如:用户最近一年内的短信息分布情况，或者用户最近两年内的电话沟通对象分布情况等等。
[0070]通过本实施例介绍的大数据处理方法，解决了相关技术中通讯业务系统产生大量分散的日志数据，难以处理的问题，能够较大限度地利用各种信息，统计出用户需求的日志数据，提高用户满意度和市场竞争力。
[0071 ] 对于如何获得日志数据，可以有以下两种实现方式，即:获取由终端通讯模块中的通讯交互信息所记录产生的日志数据；和/或，接收由终端通讯模块发送的通讯交互信息，将该通讯交互信息记录为日志数据。上述两种方式可以择其一采用，也可以同时采用。
[0072]在用户主动提出某一种统计需求时，接收用户的统计需求，利用索引，统计满足统计需求的日志数据。从而有效提高用户满意度，进而提高市场竞争力。
[0073]从以上的描述中可知，本发明涉及通讯技术和大数据领域，更具体地，涉及通讯领域中的语音信箱业务的大数据应用。本发明能够提供通讯业务(下面以语音信箱业务为例)大数据应用的方法:
[0074]I)语音信箱业务的语音控制模块在接收到电信网络的消息后，触发系统的留言逻辑，通知到最终用户；
[0075]2)同时，系统中的各个模块，如语音控制日志模块、留言通知日志模块将过程日志保存下来；系统的日志索引模块定时来读取原始日志；
[0076]3)日志索引模块针对时间、电话号码进行分析，创建索引，并保存索引文件。
[0077]4)日志应用模块应用日志完成业务场景预先处理数据，在使用时，直接在预先处理的数据中进行加工，提高效率。
[0078]众所周知，通讯业务(例如语音信箱业务)的客户量很大，很多国家都是千万级用户，对系统日志的分析及应用，可以很好地分析统计用户的行为，更好地为用户服务。通过本发明技术方案，解决了相关技术中通讯业务系统产生大量分散的日志数据，难以处理的问题，能够较大限度地利用各种信息，提高用户满意度和市场竞争力。
[0079]尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。
【主权项】
1.一种大数据处理方法，其特征在于，所述方法包括: 基于不同维度对日志数据进行分析，并设置索引；其中，用户的通讯交互信息记录为所述日志数据，所述索引用于关联不同维度与其所对应的日志数据； 预设不同的统计需求；利用所述索引，定期统计满足预设的统计需求的日志数据，并保存所述日志数据以供用户查询。2.如权利要求1所述的方法，其特征在于，基于不同维度对日志数据进行分析之前，所述方法还包括: 获取由终端通讯模块中的通讯交互信息所记录产生的日志数据；和/或， 接收由终端通讯模块发送的通讯交互信息，将所述通讯交互信息记录为日志数据。3.如权利要求1所述的方法，其特征在于，基于不同维度对日志数据进行分析，并设置索引之后，所述方法还包括: 接收用户的统计需求，利用所述索引，统计满足所述统计需求的日志数据。4.如权利要求1所述的方法，其特征在于，所述维度至少包括以下之一: 主叫号码、被叫号码、通讯时间、通讯时长、通讯内容关键字。5.一种大数据处理装置，其特征在于，所述装置包括: 日志索引模块，用于基于不同维度对日志数据进行分析，并设置索引；其中，用户的通讯交互信息记录为所述日志数据，所述索引用于关联不同维度与其所对应的日志数据； 日志应用模块，用于预设不同的统计需求；利用所述索引，定期统计满足预设的统计需求的日志数据，并保存所述日志数据以供用户查询。6.如权利要求5所述的装置，其特征在于，所述日志索引模块包括: 主动索引单元，用于获取由终端通讯模块中的通讯交互信息所记录产生的日志数据；和/或， 被动索引单元，用于接收由终端通讯模块发送的通讯交互信息，将所述通讯交互信息记录为日志数据。7.如权利要求5所述的装置，其特征在于， 日志应用模块，还用于针对用户的统计需求，利用所述索引，统计满足所述统计需求的日志数据。8.一种大数据处理系统，其特征在于，所述系统包括: 终端通讯模块，用于将用户的通讯交互信息记录为日志数据并存储，以供日志索引模块进行分析； 日志索引模块，用于基于不同维度对所述日志数据进行分析，并设置索引；其中，所述索引用于关联不同维度与其所对应的日志数据； 日志应用模块，用于预设不同的统计需求；利用所述索引，定期统计满足预设的统计需求的日志数据，并保存所述日志数据以供用户查询。9.如权利要求8所述的系统，其特征在于， 所述通讯交互信息包括:通讯信息、留言通知信息； 所述终端通讯模块包括: 语音控制模块，用于接收用户未成功接收到的通讯信息，并将其记录为日志数据；语音控制日志模块，用于存储所述语音控制模块产生的日志数据； 留言通知模块，用于在用户未成功接收到通讯信息时，向用户发送留言通知信息，并将所述留言通知信息记录为日志数据；留言通知日志模块，用于存储所述留言通知模块产生的日志数据。
【文档编号】G06F17/30GK106033458SQ201510120011
【公开日】2016年10月19日
【申请日】2015年3月18日
【发明人】钱春晓, 何栩翊, 黄艳秋
【申请人】中兴通讯股份有限公司