基于大数据的事件分析的实时营销方法及系统与流程

1.本发明涉及通信业务支撑领域，具体地说是一种基于大数据的事件分析的实时营销方法及系统。


背景技术：

2.在通信运营商领域，面向终端客户的传统营销方式为，根据运营商的待售产品和潜在用户的基本特征，手动收集数据并分析查找目标客户群体，实时性、准确性不足，尤其是当用户每天第一次通话后，进行资费推荐类的营销的应用场景，当前营销方式面对从海量数据中高效、实时、精准命中目标客户进行营销活动存在不足。
3.如何高效实时的提前出每天用户的第一通主叫通话，成为了该场景下精确实时营销的第一个关键问题。语音呼叫计费话单cdr(charging data records)，指原始通信记录信息，语音话单cdr主要记录以下信息：流水号、用户标识、主叫号码、被叫号码、起始时间、结束时间、通话时长、通话性质、费率、费用、折扣等。话单信息可记录客户每天的第一次主叫通话记录。从语音话单cdr提取用户信息，目前的已有技术或实现方式大多为编写固定解析程序的集中式系统，实现方式单一，缺少灵活性、可扩展性，并且无法利用分布式系统并行处理能力，数据采集解析处理效率低，不能满足营销实时性要求。
4.apache nifi是apache基金会的开源软件，是一个易于使用、功能强大而且可靠的流式数据处理和分发系统。支持从多种数据源动态的拉取数据，并基于web图形界面，通过拖拽、连接、配置完成基于流程的编程，实现数据采集、处理等功能。采用nifi对语音话单进行采集解析则可以满足语音话单的实时采集解析。
5.apache hadoop是一个由apache基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储，具有可靠、高效、可伸缩的特点。围绕hadoop产生了大数据的一个生态圈，如hive是一种数据仓库技术，用于查询和管理存储在分布式环境下的大数据集，通常用于离线分析。spark是开源的类mapreduce的通用并行计算框架，在内存中运行时速度很快。hive-on-spark可以结合以上两个开源软件的优势，使用hive标准hql语句运行在spark集群。运用hive-on-spark技术可以实现大量语音话单文件下，实时高效提取出当天产生第一通主叫通话的用户群体。将这些用户群体作为营销活动的目标用户。
6.故如何自动进行客户关怀、资费推荐等精确营销，实现实时、高效、细粒度的实时营销是目前亟待解决的技术问题。


技术实现要素：

7.本发明的技术任务是提供一种基于大数据的事件分析的实时营销方法及系统，来解决如何自动进行客户关怀、资费推荐等精确营销，实现实时、高效、细粒度的实时营销的问题。
8.本发明的技术任务是按以下方式实现的，一种基于大数据的事件分析的实时营销
方法，该方法具体如下：
9.自动采集并解析实时语音话单数据：从外围系统采集语音话单文件，本地归档并入库，供汇总分析抽取目标用户使用；
10.根据实时语音话单数据基于大数据平台进行分析，自动抽取待营销目标用户群体：将入库到hdfs的语音话单数据，进行话单数据分析，提取出当天的第一次主叫通话信息，生成待营销目标用户客体；
11.配置营销内容及目标群体，进行实时营销活动：通过前台配置页面，自定义营销任务；
12.营销活动配置生成后，自动执行营销活动：后台模块实时加载营销活动信息，将营销目标群体推送到短信网关，最终送达到目标影响客户，促成营销目的达成。
13.作为优选，自动采集并解析实时语音话单数据具体如下：
14.每十分钟触发采集任务开始执行；
15.使用sftp协议从外网系统取话单文件；
16.话单文件放入本地存储；
17.创建hdfs分布式存储文件系统路径，每10分钟对应一个子目录；
18.将本地存储文件上传到hdfs文件系统对应路径。
19.更优地，自动抽取待营销目标用户群体具体如下：
20.实时接收采集的实时语音话单数据消息后，触发执行；
21.生成抽取第一通主叫通话的hql语句；
22.使用nifi的原生excuteremoteshell处理器，将hql提交到spark集群执行；
23.执行完成后，将提取到的目标用户存储到hive。
24.更优地，配置营销内容及目标群体，进行实时营销活动具体如下：
25.配置营销任务基础信息，选择生成目标用户群体作为营销对象；
26.配置营销内容，并配置语音；其中，营销内容包括客户关怀信息和资费推荐信息；
27.配置营销活动执行时间，提供灵活的执行周期，并自动触发执行。
28.一种基于大数据的事件分析的实时营销系统，该系统包括，
29.采集解析模块，用于基于apache nifi进行采集解析，并安装apache nifi集群，配置自动编排流程，自动采集并解析语音话单数据；
30.数据分析模块，用于基于apache hadoop生态圈的大数据平台进行数据分析，并安装大数据平台；同时使用hive标准hql语句运行在spark集群，分析出在用户第一次主叫通话的目标群组；
31.前台模块，用于配置营销内容及目标群体，进行实时营销活动，即配置页面，自定义营销任务；
32.后台模块，用于实时加载营销活动信息，将营销目标群体推送到短信网关，最终送达到目标影响客户，促成营销目的达成。
33.作为优选，所述采集解析模块的工作过程具体如下：
34.(1)、每十分钟触发采集任务开始执行；
35.(2)、使用sftp协议从外网系统取话单文件；
36.(3)、话单文件放入本地存储；
37.(4)、创建hdfs分布式存储文件系统路径，每10分钟对应一个子目录；
38.(5)、将本地存储文件上传到hdfs文件系统对应路径
39.作为优选，所述数据分析模块的工作过程具体如下：
40.(1)、实时接收采集的实时语音话单数据消息后，触发执行；
41.(2)、生成抽取第一通主叫通话的hql语句；
42.(3)、使用nifi的原生excuteremoteshell处理器，将hql提交到spark集群执行；
43.(4)、执行完成后，将提取到的目标用户存储到hive。
44.更优地，所述前台模块的工作过程具体如下：
45.(1)、配置营销任务基础信息，选择生成目标用户群体作为营销对象；
46.(2)、配置营销内容，并配置语音；其中，营销内容包括客户关怀信息和资费推荐信息；
47.(3)、配置营销活动执行时间，提供灵活的执行周期，并自动触发执行。
48.一种电子设备，包括：存储器和至少一个处理器；
49.其中，所述存储器上存储有计算机程序；
50.所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如上述的基于大数据的事件分析的实时营销方法。
51.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如上述的基于大数据的事件分析的实时营销方法。
52.本发明的基于大数据的事件分析的实时营销方法及系统具有以下优点：
53.(一)本发明能够实时、高效、自动采集并解析实时语音话单数据，分析用户特征，实时提取出所有每天产生第一次主叫通话的用户；
54.(二)本发明能够自动进行客户关怀、资费推荐等精确营销，实现实时、高效、细粒度的营销；
55.(三)本发明基于apache nifi的对语音话单的采集、解析技术，并基于apache hadoop生态大数据平台的数据分析技术，可应用于运营商终端客户第一次主叫通话事件的实时营销场景；
56.(四)本发明能够自动化高效、实时采集解析语音话单数据，基于事件分析提取语音话单中的通话记录，利用大数据平台的并行处理能力，实时提取出目标群组；针对这批目标群组，配置对应营销内容，实时发送营销内容到目标用户群体，提高营销活动的转化率。
附图说明
57.下面结合附图对本发明进一步说明。
58.附图1为基于大数据的事件分析的实时营销方法的流程框图。
具体实施方式
59.参照说明书附图和具体实施例对本发明的基于大数据的事件分析的实时营销方法及系统作以下详细地说明。
60.实施例1：
61.如附图1所示，本实施例提供了一种基于大数据的事件分析的实时营销方法，该方
法具体如下：
62.s1、自动采集并解析实时语音话单数据：从外围系统采集语音话单文件，本地归档并入库，供汇总分析抽取目标用户使用；
63.s2、根据实时语音话单数据基于大数据平台进行分析，自动抽取待营销目标用户群体：将入库到hdfs的语音话单数据，进行话单数据分析，提取出当天的第一次主叫通话信息，生成待营销目标用户客体；
64.s3、配置营销内容及目标群体，进行实时营销活动：通过前台配置页面，自定义营销任务；
65.s4、营销活动配置生成后，自动执行营销活动：后台模块实时加载营销活动信息，将营销目标群体推送到短信网关，最终送达到目标影响客户，促成营销目的达成。
66.本实施例步骤s1中的自动采集并解析实时语音话单数据具体如下：
67.s101、每十分钟触发采集任务开始执行；
68.s102、使用sftp协议从外网系统取话单文件；
69.s103、话单文件放入本地存储；
70.s104、创建hdfs分布式存储文件系统路径，每10分钟对应一个子目录；
71.s105、将本地存储文件上传到hdfs文件系统对应路径。
72.本实施例步骤s2中的自动抽取待营销目标用户群体具体如下：
73.s201、实时接收采集的实时语音话单数据消息后，触发执行；
74.s202、生成抽取第一通主叫通话的hql语句；
75.s203、使用nifi的原生excuteremoteshell处理器，将hql提交到spark集群执行；
76.s204、执行完成后，将提取到的目标用户存储到hive。
77.本实施例步骤s3中的配置营销内容及目标群体，进行实时营销活动具体如下：
78.s301、配置营销任务基础信息，选择生成目标用户群体作为营销对象；
79.s302、配置营销内容，可进行多语言配置；其中，营销内容包括客户关怀信息和资费推荐信息；
80.s303、配置营销活动执行时间，提供灵活的执行周期，并自动触发执行。
81.实施例2：
82.本实施例提供了一种基于大数据的事件分析的实时营销系统，该系统包括，
83.采集解析模块，用于基于apache nifi进行采集解析，并安装apache nifi集群，配置自动编排流程，自动采集并解析语音话单数据；
84.数据分析模块，用于基于apache hadoop生态圈的大数据平台进行数据分析，并安装大数据平台；同时使用hive标准hql语句运行在spark集群，分析出在用户第一次主叫通话的目标群组；
85.前台模块，用于配置营销内容及目标群体，进行实时营销活动，即配置页面，自定义营销任务；
86.后台模块，用于实时加载营销活动信息，将营销目标群体推送到短信网关，最终送达到目标影响客户，促成营销目的达成。
87.本实施例中的采集解析模块的工作过程具体如下：
88.(1)、每十分钟触发采集任务开始执行；
89.(2)、使用sftp协议从外网系统取话单文件；
90.(3)、话单文件放入本地存储；
91.(4)、创建hdfs分布式存储文件系统路径，每10分钟对应一个子目录；
92.(5)、将本地存储文件上传到hdfs文件系统对应路径
93.本实施例中的数据分析模块的工作过程具体如下：
94.(1)、实时接收采集的实时语音话单数据消息后，触发执行；
95.(2)、生成抽取第一通主叫通话的hql语句；
96.(3)、使用nifi的原生excuteremoteshell处理器，将hql提交到spark集群执行；
97.(4)、执行完成后，将提取到的目标用户存储到hive。
98.本实施例中的前台模块的工作过程具体如下：
99.(1)、配置营销任务基础信息，选择生成目标用户群体作为营销对象；
100.(2)、配置营销内容，并配置语音；其中，营销内容包括客户关怀信息和资费推荐信息；
101.(3)、配置营销活动执行时间，提供灵活的执行周期，并自动触发执行。
102.实施例3：
103.本发明实施例还提供了一种电子设备，包括：存储器和处理器；
104.其中，存储器存储计算机执行指令；
105.处理器执行所述存储器存储的计算机执行指令，使得处理器执行本发明任一实施例中的基于大数据的事件分析的实时营销方法。
106.处理器可以是中央处理单元(cpu)，还可以是其他通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通过处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
107.存储器可用于储存计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现电子设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器还可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，只能存储卡(smc)，安全数字(sd)卡，闪存卡、至少一个磁盘存储期间、闪存器件、或其他易失性固态存储器件。
108.实施例4：
109.本发明实施例还提供了一种计算机可读存储介质，其中存储有多条指令，指令由处理器加载，使处理器执行本发明任一实施例中的基于大数据的事件分析的实时营销方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。
110.在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
111.用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如cd-rom、
cd-r、cd-rw、dvd-rom、dvd-rym、dvd-rw、dvd+rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上下载程序代码。
112.此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
113.此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的cpu等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
114.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。