本发明涉及通信领域，具体涉及一种利用大数据技术分析mr文件中小区弱覆盖的方法及系统。
背景技术：
传统技术中分析小区弱覆盖情况基本使用dt(drivetest路测)的方式。这种方法主要对有限的道路和点进行测试。缺点是覆盖面小，需要用专用测试设备，耗费大量人力，物力。
由此，如何提供一种覆盖面较大，并能节省人力、物力的小区弱覆盖分析方法，成为亟待解决的技术问题。
技术实现要素：
针对现有技术存在的不足和缺陷，本发明提供一种利用大数据技术分析mr文件中小区弱覆盖的方法及系统。
一方面，本发明实施例提出一种利用大数据技术分析mr文件中小区弱覆盖的方法，包括：
s1、enodeb根据用户配置对从eutran网络获取的与网络测量相关的数据进行统计、整理，生成mr文件，并周期性上传所述mr文件到mr文件服务器；
s2、利用hadoop技术架构对上传到所述mr文件服务器的文件依次进行hdfs和mapreduce环节处理，得到反应小区弱覆盖情况的数据。
另一方面，本发明实施例提出一种利用大数据技术分析mr文件中小区弱覆盖的系统，包括mr文件服务器，还包括：
hadoop技术架构；其中，
所述hadoop技术架构，用于对enodeb周期性上传到所述mr文件服务器的mr文件依次进行hdfs和mapreduce环节处理，得到反应小区弱覆盖情况的数据，其中，所述mr文件是所述enodeb根据用户配置对从eutran网络获取的与网络测量相关的数据进行统计、整理生成的。
本发明实施例提供的利用大数据技术分析mr文件中小区弱覆盖的方法及系统，通过对enodeb周期性上传到mr文件服务器的mr文件依次进行hdfs和mapreduce环节处理，能够得到反应小区弱覆盖情况的数据，相较于利用专用测试设备每次只能测试一个小区域的现有技术，本发明能够测试出整个eutran网络覆盖范围内反应小区弱覆盖情况的数据，便于得到弱覆盖小区，测试覆盖面较大，并能节省人力、物力。
附图说明
图1为本发明利用大数据技术分析mr文件中小区弱覆盖的方法一实施例的流程示意图；
图2为本发明利用大数据技术分析mr文件中小区弱覆盖的方法另一实施例的部分流程示意图；
图3为图1中数据清洗流程示意图；
图4为图1中hdfs环节处理流程示意图；
图5为本发明利用大数据技术分析mr文件中小区弱覆盖的方法又一实施例中map模块处理流程示意图；
图6为本发明利用大数据技术分析mr文件中小区弱覆盖的方法又一实施例中reduce模块处理流程示意图；
图7为本发明利用大数据技术分析mr文件中小区弱覆盖的系统一实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参看图1，本实施例公开一种利用大数据技术分析mr文件中小区弱覆盖的方法，包括：
s1、enodeb根据用户配置对从eutran网络获取的与网络测量相关的数据进行统计、整理，生成mr文件，并周期性上传所述mr文件到mr文件服务器；
s2、利用hadoop技术架构对上传到所述mr文件服务器的文件依次进行hdfs和mapreduce环节处理，得到反应小区弱覆盖情况的数据。
本发明实施例提供的利用大数据技术分析mr文件中小区弱覆盖的方法，通过对enodeb周期性上传到mr文件服务器的mr文件依次进行hdfs和mapreduce环节处理，能够得到反应小区弱覆盖情况的数据，相较于利用专用测试设备每次只能测试一个小区域的现有技术，本发明能够测试出整个eutran网络覆盖范围内反应小区弱覆盖情况的数据，便于得到弱覆盖小区，测试覆盖面较大，并能节省人力、物力。
在前述方法实施例的基础上，在所述hdfs环节处理之前，还可以包括如下的图中未示出的步骤：
所述mr文件服务器对所述mr文件进行汇总，得到mr大数据文件。
如图2所示为步骤s2一实施例的流程示意图，参看图2，步骤s2具体包括如下流程：
所述mr文件服务器对所述mr大数据文件进行数据清洗，得到mrrsrp文件；
部署在所述mr文件服务器上的hdfsclient对所述mrrsrp文件进行hdfs环节处理，得到split片段，并将所述split片段上传至hdfsserver；
所述hdfsserver对所述split片段进行整理，得到<cellid(小区id),rsrpvalue(referencesignalreceivingpowervalue，参考信号接收功率值)>格式的数据；
在具体应用中，cellid的长度可以为2字节，rsrpvalue的长度可以为1字节。
map模块从所述hdfsserver读取<cellid,rsrpvalue>格式的数据，将所述<cellid,rsrpvalue>格式的数据转化成<cellid,list(rsrpvalue)>格式数据；
reduce模块从所述map模块获取<cellid,list(rsrpvalue)>格式数据，计算每一个cellid对应的rsrpvalue中小于-110dbm的rsrpvalue占该cellid对应的rsrpvalue的百分比n％，将结果形成list(<cellid1,n％>)格式，并输出数据文件，发布到所述hdfsserver。
如图3所示，数据清洗的过程可以为：所述mr文件服务器解析所述mr大数据文件，得到cellid和对应的rsrpvalue，并利用所述cellid和对应的rsrpvalue构造mrrsrp文件。
如图4所示，所述hdfsclient处理的过程可以为：mapreduce模块为所述hdfsclient分配jobid；所述hdfsclient从所述mr文件服务器读取mrrsrp文件并划分成split片段；所述hdfsclient上传所述split片段到所述hdfsserver；所述hdfsclient提交job(所述job对应所述jobid)到所述mapreduce模块；所述mapreduce模块从所述hdfsserver读取<cellid,rsrpvalue>格式的数据，并初始化job，其中，所述mapreduce模块包括map模块和reduce模块。
如图5所示，map模块处理的过程可以为：
map：maptask按照cellid对所述<cellid,rsrpvalue>格式的数据进行排列，生成list(<cellid,rsrpvalue>)格式的数据；
bufferinmemory：所述maptask将所述list(<cellid,rsrpvalue>)格式的数据分割成数据块，存储在内存缓冲区中；
spill：所述maptask在内存缓冲区中的数据块存满时，对于每一个cellid，按照rsrpvalue对对应的数据块进行排列，形成<cellid,list(rsrpvalue)>格式数据，并生成一个临时文件；
combine：所述maptask在检查获知所有的输入数据处理完成时，将所有的临时文件合并成一个数据文件。
如图6所示，reduce模块处理的过程可以为：
shuffle：reducetask从所述maptask上拷贝数据，判断拷贝的数据大小是否大于预设的阈值(比如4m)，若大于所述阈值，则将拷贝的数据存在磁盘上，否则存在内存中；
merge：所述reducetask将磁盘和内存中的数据合并；
sort：所述reducetask按照cellid进行归并，并将归并的数据按照rsrpvalue排序；
reduce：所述reducetask对于每一个cellid，统计该cellid对应的rsrpvalue中小于-110dbm的rsrpvalue占该cellid对应的rsrpvalue的百分比n％；
write：所述reducetask将统计结果形成list(<cellid1,n％>)格式，并输出数据文件，发布到所述hdfsserver，其中，所述job包括所述maptask和reducetask。
小区弱覆盖一般是指有信号，但信号强度不能够保证网络能够稳定的达到要求的kpi的情况。当rsrp<-110dbm认定为信号强度弱。根据经验值评估，当小区rsrp样本数据中，信号强度弱的情况占比5％以上，可以认为该小区为弱覆盖小区。
本技术通过大数据分析技术，分析mr文件中小区rsrp值，并输出结果list(<cellid,n％>)，可以查找出所有rsrp值符合弱覆盖特点的小区，这些小区将被用于重点排障。
参看图7，本实施例公开一种利用大数据技术分析mr文件中小区弱覆盖的系统，包括mr文件服务器，还包括：
hadoop技术架构；其中，
所述hadoop技术架构，用于对enodeb周期性上传到所述mr文件服务器的mr文件依次进行hdfs和mapreduce环节处理，得到反应小区弱覆盖情况的数据，其中，所述mr文件是所述enodeb根据用户配置对从eutran网络获取的与网络测量相关的数据进行统计、整理生成的。
本发明实施例提供的利用大数据技术分析mr文件中小区弱覆盖的系统，通过对enodeb周期性上传到mr文件服务器的mr文件依次进行hdfs和mapreduce环节处理，能够得到反应小区弱覆盖情况的数据，相较于利用专用测试设备每次只能测试一个小区域的现有技术，本发明能够测试出整个eutran网络覆盖范围内反应小区弱覆盖情况的数据，便于得到弱覆盖小区，测试覆盖面较大，并能节省人力、物力。
在前述装置实施例的基础上，所述mr文件服务器，还可以用于在所述hadoop技术架构进行hdfs环节处理之前，对所述mr文件进行汇总，得到mr大数据文件，并对所述mr大数据文件进行数据清洗，得到mrrsrp文件；
其中，所述hadoop技术架构，具体用于对所述mrrsrp文件依次进行hdfs和mapreduce环节处理，得到反应小区弱覆盖情况的数据。
在前述装置实施例的基础上，所述hadoop技术架构可以包括hdfsclient、hdfsserver和mapreduce模块(hdfsserver和mapreduce模块部署在data处理/存储节点)，
所述hadoop技术架构在进行hdfs环节处理时，具体可以用于：
所述mapreduce模块为所述hdfsclient分配jobid；
所述hdfsclient从所述mr文件服务器读取mrrsrp文件并划分成split片段，其中，所述hdfsclient部署在所述mr文件服务器上；
所述hdfsclient上传所述split片段到所述hdfsserver，以使所述hdfsserver将所述split片段整理成<cellid,rsrpvalue>格式的数据；
所述hdfsclient提交job到所述mapreduce模块；
所述mapreduce模块从所述hdfsserver读取<cellid,rsrpvalue>格式的数据，并初始化job。
在前述装置实施例的基础上，所述mapreduce模块可以包括map模块和reduce模块，
所述hadoop技术架构在进行mapreduce环节处理时，具体可以用于：
所述map模块的maptask对所述<cellid,rsrpvalue>格式的数据进行处理，生成list(<cellid,rsrpvalue>)格式的数据；
所述maptask将所述list(<cellid,rsrpvalue>)格式的数据分割成数据块，存储在内存缓冲区中；
所述maptask在内存缓冲区中的数据块存满时，对这些数据块进行排列，形成<cellid,list(rsrpvalue)>格式数据，并生成一个临时文件；
所述maptask在检查获知所有的输入数据处理完成时，将所有的临时文件合并成一个数据文件；
所述reduce模块的reducetask从所述maptask上拷贝数据，判断拷贝的数据大小是否大于预设的阈值，若大于所述阈值，则将拷贝的数据存在磁盘上，否则存在内存中；
所述reducetask将磁盘和内存中的数据合并；
所述reducetask按照cellid进行归并，并将归并的数据按照rsrpvalue排序；
所述reducetask对于每一个cellid，统计该cellid对应的rsrpvalue中小于-110dbm的rsrpvalue占该cellid对应的rsrpvalue的百分比n％；
所述reducetask将统计结果形成list(<cellid1,n％>)格式，并输出数据文件，发布到所述hdfsserver，其中，所述job包括所述maptask和reducetask。
hadoop技术：一个并行处理海量数据的工具。
hdfs文件技术：一种分布式文件系统，主要用于大数据文件的分析，特点是将一个超大文件，分解成多个小文件，部署到多台低配置机器上存储和分析。
mapreduce技术：一种编程模型，用于大规模数据集的并行运算。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。