MRS集群外的电力大数据分析平台搭建方法及装置与流程

mrs集群外的电力大数据分析平台搭建方法及装置
技术领域
1.本发明属于电力技术领域，尤其涉及一种mrs集群外的电力大数据分析平台搭建方法及装置。


背景技术：

2.电力大数据是国家电网有限公司抢抓数字新基建机遇，推动电网数字化转型的重要手段。公司及各省电力公司均已建成数据中台，数据中台几乎汇集了公司内包括设备、运行、人资等各领域的所有数据并搭建了mrs集群。电网数据的管理模式为统一管理、按需申请，即公司统一存储、运维中台数据，各分公司按照各自需要向数据中台管理部门申请访问相应的数据表。
3.数据中台运维管理部门只负责存储、运维、管理数据，即当数据使用人员提出访问申请时，向用户赋予相应表的访问权限，不负责使用人员的数据接入、数据表访问、数据开发环境部署工作；另一方面，由于数据中台的数据存储结构复杂，既有存储在传统关系型数据库postgressql中的数据，又有存储在hadoop分布式文件系统hdfs(hadoop distributed file system)中的数据，且各基层单位访问均处在数据中台的大数据集群外，需要在集群外部署服务客户端、配置环境、身份认证、数据开发困难重重，这也是制约基层单位开展大数据分析的工作的主要困难。


技术实现要素：

4.本发明提供一种mrs集群外的电力大数据分析平台搭建方法及装置，用于至少解决上述技术问题之一。
5.第一方面，本发明提供一种mrs集群外的电力大数据分析平台搭建方法，包括：根据mrs集群所部署的云环境，对电力大数据分析平台进行基础环境准备，所述基础环境准备包括操作系统的镜像选择与安装、开发运行基本环境配置以及组件安装工具配置；将电力大数据分析平台时间与master节点时间进行同步，所述同步包括根据命令yum-y install ntp完成电力大数据分析平台ntp服务的安装；根据命令vi/etc/ntp.conf修改ntp.conf文件中server xx.xx.xx.xx prefer，将server指向主节点，其中xx.xx.xx.xx为mater节点时间同步服务器的ip地址；根据命令service ntpd start启动ntp服务，完成分析平台与主节点的时间同步，根据ntpstat查看时间同步状态，确认时间同步成功；在集群外节点安装mrs集群客户端，在管理控制台创建集群用户并授予相应权限，授权用户在电力大数据分析平台登录客户端进行相互身份验证；分析平台节点环境配置和开发环境部署，集成开发环境的安装部署。
6.第二方面，本发明提供一种mrs集群外的电力大数据分析平台搭建装置，包括：准备模块，配置为根据mrs集群所部署的云环境，对电力大数据分析平台进行基础环境准备，所述基础环境准备包括操作系统镜像选择与安装、开发运行基本环境配置以及组件安装工具配置；同步模块，配置为将电力大数据分析平台时间与master节点时间进行同步，所述同
步包括根据命令yum-y install ntp完成电力大数据分析平台ntp服务的安装；根据命令vi/etc/ntp.conf修改ntp.conf文件中server xx.xx.xx.xx prefer，将server指向主节点，其中xx.xx.xx.xx为mater节点时间同步服务器的ip地址；根据命令service ntpd start启动ntp服务，完成分析平台与主节点的时间同步，根据ntpstat查看时间同步状态，确认时间同步成功；验证模块，配置为在集群外节点安装mrs集群客户端，在管理控制台创建集群用户并授予相应权限，授权用户在电力大数据分析平台登录客户端进行相互身份验证；集成模块，配置为分析平台节点环境配置和开发环境部署，集成开发环境的安装部署。
7.第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的mrs集群外的电力大数据分析平台搭建方法的步骤。
8.第四方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行本发明任一实施例的mrs集群外的电力大数据分析平台搭建方法的步骤。
9.本技术的mrs集群外的电力大数据分析平台搭建方法及装置，采用基础环境的准备、集群客户端的安装及认证及开发工具部署的步骤搭建电力大数据分析平台，使得电力大数据分析平台是通用的、可复制的，并且可以用docker容器打包成镜像直接在其他集群外节点使用，开发人员通过该方法能够快速实现数据中台所有资源访问能力，无需进行繁琐的环境部署，降低学习、开发成本。
附图说明
10.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
11.图1为本发明一实施例提供的一种mrs集群外的电力大数据分析平台搭建方法的流程图；
12.图2为本发明一实施例提供的又一种mrs集群外的电力大数据分析平台搭建方法的流程图；
13.图3为本发明一实施例提供的一种mrs集群外的电力大数据分析平台搭建装置的结构框图；
14.图4是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
15.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
16.请参阅图1，其示出了本技术的一种mrs集群外的电力大数据分析平台搭建方法的
流程图。
17.如图1所示，mrs集群外的电力大数据分析平台搭建方法具体包括以下步骤：
18.步骤s101，根据mrs集群所部署的云环境，对电力大数据分析平台进行基础环境准备。
19.需要说明的是，基础环境准备包括操作系统的安装、开发语言包(包括jdk或python)的选择安装、组建安装工具的，其中操作系统版本为linux，redhat7.6及以上；服务端和客户端仅支持自带的openjdk，版本为1.8.0_272，不允许替换；python环境支持python/python3，其中python版本要求不低于2.6.6，最高不超过2.7.13，另外组件安装工具setuptools准备需要注意的是python3开发环境的基本配置，版本要求为47.3.1。
20.步骤s102，将电力大数据分析平台时间与master节点时间进行同步。
21.在本实施例中，所述同步包括根据命令yum-y install ntp完成电力大数据分析平台ntp服务的安装；根据命令vi/etc/ntp.conf修改ntp.conf文件中server xx.xx.xx.xx prefer，将server指向主节点，其中xx.xx.xx.xx为mater节点时间同步服务器的ip地址；根据命令service ntpd start启动ntp服务，完成分析平台与主节点的时间同步，根据ntpstat查看时间同步状态，确认时间同步成功。
22.需要说明的是，实现电力大数据分析平台时间与master节点时间同步，能够保证集群外节点与集群执行同一个任务时才不会出现滞后的现象。
23.步骤s103，在集群外节点安装mrs集群客户端，在管理控制台创建集群用户并授予相应权限，授权用户在电力大数据分析平台登录客户端进行相互身份验证。
24.在本实施例中，授权用户在电力大数据分析平台登录客户端进行相互身份验证具体包括：步骤一、用户准备与授权：在mrs(mapreduce service)集群通过集群管理员账号，在控制台创建用户组，并授予mrs服务对应权限；在控制台创建用户，并将其加入已创建并授权的用户组；用户登录并验证权限，用新创建的用户登录控制台，切换至授权区域，验证权限；步骤二：客户端安装及环境变量配置：在控制台下载mrs客户端，发送至分析平台服务器中指定服务器，安装完成后，切换到客户端安装目录通过命令source bigdata_env一键进行环境变量配置；步骤三：通过kerberos安全认证：使用kerberos认证采用“客户端/服务器”结构与aes等加密技术，使得客户端和服务器端均可对对方进行身份认证，通过命令kinit mrs集群用户(例如，kinit admin)进行验证。这样，使得集群外开发人员可以使用用户账号登陆，通过安全认证后实现分析平台访问数据中台的数据和资源。
25.步骤s104，分析平台节点环境配置和开发环境部署，集成开发环境的安装部署。
26.需要说明的是，电力大数据分析平台支持多种开发环境，兼容性强，包括java、python等，学习人员和开发人员根据自身需求选择安装java、scala、python及开发工具，根据步骤三中安装的客户端中组件，可以一键启动相应的zookeeper、hadoop、spark、hbase等大数据组件。
27.综上，本技术的方法据mrs集群所部署的云环境，进行基础环境准备；安装ntp(network time protocol)服务，配置网络对时配置文件，实现与集群中master节点服务器网络对时；在集群外节点安装mrs集群客户端，在管理控制台创建集群用户并授予相应权限，授权用户在分析平台登录客户端进行相互身份验证；分析平台节点环境配置和开发环境部署，集成开发环境(ide)的安装部署。这样，采用基础环境的准备、集群客户端的安装及
认证及开发工具部署的步骤搭建电力大数据分析平台，使得电力大数据分析平台是通用的、可复制的，并且可以用docker容器打包成镜像直接在其他集群外节点使用，开发人员通过该方法能够快速实现数据中台所有资源访问能力，无需进行繁琐的环境部署，降低学习、开发成本。
28.请参阅图2，其示出了本技术的又一种mrs集群外的电力大数据分析平台搭建方法的流程图。
29.如图2所示，在步骤s201中，获取电流大数据中台的数据，所述数据包括dws库数据以及hive库数据；
30.在步骤s202中，对所述dws库数据和所述hive库数据进行缺失值处理和噪声数据处理；
31.在步骤s203中，根据预设统计学方法和预设机器学习模型对处理后的所述dws库数据和/或所述hive库数据进行关联分析。
32.在本实施例中，完成了基础环境搭建之后，对电力大数据数据中台的数据进行获取与预处理，其中数据获取包括dws库数据读取和hive库数据获取，数据预处理包括缺失值处理与噪声数据处理。针对缺失值的数据处理，预设了三种处理方法，分别是前填充、后填充、平均值填充；针对噪声数据处理，建立常用电力数据业务规则，对不符合业务规则的噪声数据进行处理，例如配变运行电压正常值在220v左右，若采集到配变电压数据为10v或者2000v类似噪声数据，自动进行剔除。对预处理后的数据进行计算，将获取到的多张数据进行相关联，将数据代码转化为通俗易懂的语言，例如在数据表中获取到的电压等级为ac00101，实际意义为交流10kv电压等级，预设统计学方法和预设机器学习模型包括线性回归、随机森林、k-means算法等，使用者可根据自身应用分析需要选择自己需要的方法，非常简便高效。
33.请参阅图3，其示出了本技术的一种mrs集群外的电力大数据分析平台搭建装置的结构框图。
34.如图3所示，电力大数据分析平台搭建装置300，包括准备模块230、同步模块320、验证模块330以及集成模块340。
35.其中，准备模块310，配置为根据mrs集群所部署的云环境，对电力大数据分析平台进行基础环境准备，所述基础环境准备包括操作系统镜像选择与安装、开发运行基本环境配置以及组件安装工具配置；同步模块320，配置为将电力大数据分析平台时间与master节点时间进行同步，所述同步包括根据命令yum-y install ntp完成电力大数据分析平台ntp服务的安装；根据命令vi/etc/ntp.conf修改ntp.conf文件中server xx.xx.xx.xx prefer，将server指向主节点，其中xx.xx.xx.xx为mater节点时间同步服务器的ip地址；根据命令service ntpd start启动ntp服务，完成分析平台与主节点的时间同步，根据ntpstat查看时间同步状态，确认时间同步成功；验证模块330，配置为在集群外节点安装mrs集群客户端，在管理控制台创建集群用户并授予相应权限，授权用户在电力大数据分析平台登录客户端进行相互身份验证；集成模块340，配置为分析平台节点环境配置和开发环境部署，集成开发环境的安装部署。
36.应当理解，图3中记载的诸模块与参考图1中描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征以及相应的技术效果同样适用于图3中的诸模块，在此
不再赘述。
37.在另一些实施例中，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的mrs集群外的电力大数据分析平台搭建方法；
38.作为一种实施方式，本发明的计算机可读存储介质存储有计算机可执行指令，计算机可执行指令设置为：
39.根据mrs集群所部署的云环境，对电力大数据分析平台进行基础环境准备，所述基础环境准备包括操作系统的镜像选择与安装、开发运行基本环境配置以及组件安装工具配置；
40.将电力大数据分析平台时间与master节点时间进行同步，所述同步包括根据命令yum-y install ntp完成电力大数据分析平台ntp服务的安装；根据命令vi/etc/ntp.conf修改ntp.conf文件中server xx.xx.xx.xx prefer，将server指向主节点，其中xx.xx.xx.xx为mater节点时间同步服务器的ip地址；根据命令service ntpd start启动ntp服务，完成分析平台与主节点的时间同步，根据ntpstat查看时间同步状态，确认时间同步成功；
41.在集群外节点安装mrs集群客户端，在管理控制台创建集群用户并授予相应权限，授权用户在电力大数据分析平台登录客户端进行相互身份验证；
42.分析平台节点环境配置和开发环境部署，集成开发环境的安装部署。
43.计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据mrs集群外的电力大数据分析平台搭建装置的使用所创建的数据等。此外，计算机可读存储介质可以包括高速随机存取存储器，还可以包括存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至mrs集群外的电力大数据分析平台搭建装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
44.图4是本发明实施例提供的电子设备的结构示意图，如图4所示，该设备包括：一个处理器410以及存储器420。电子设备还可以包括：输入装置440和输出装置440。处理器410、存储器420、输入装置440和输出装置440可以通过总线或者其他方式连接，图4中以通过总线连接为例。存储器420为上述的计算机可读存储介质。处理器410通过运行存储在存储器420中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例mrs集群外的电力大数据分析平台搭建方法。输入装置440可接收输入的数字或字符信息，以及产生与mrs集群外的电力大数据分析平台搭建装置的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
45.上述电子设备可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
46.作为一种实施方式，上述电子设备应用于mrs集群外的电力大数据分析平台搭建装置中，用于客户端，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：
47.根据mrs集群所部署的云环境，对电力大数据分析平台进行基础环境准备，所述基础环境准备包括操作系统的镜像选择与安装、开发运行基本环境配置以及组件安装工具配置；
48.将电力大数据分析平台时间与master节点时间进行同步，所述同步包括根据命令yum-y install ntp完成电力大数据分析平台ntp服务的安装；根据命令vi/etc/ntp.conf修改ntp.conf文件中server xx.xx.xx.xx prefer，将server指向主节点，其中xx.xx.xx.xx为mater节点时间同步服务器的ip地址；根据命令service ntpd start启动ntp服务，完成分析平台与主节点的时间同步，根据ntpstat查看时间同步状态，确认时间同步成功；
49.在集群外节点安装mrs集群客户端，在管理控制台创建集群用户并授予相应权限，授权用户在电力大数据分析平台登录客户端进行相互身份验证；
50.分析平台节点环境配置和开发环境部署，集成开发环境的安装部署。
51.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
52.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。