交互式统一大数据编程计算平台

本发明涉及大数据计算技术领域，具体为交互式统一大数据编程计算平台。

背景技术：

大数据计算服务(maxcompute，原名odps，是一种快速、完全托管的tb/pb级数据仓库解决方案。maxcompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。编定程序，简称编程，是指让计算机代为解决某个问题，对某个计算体系规定一定的运算方式，使计算体系按照该计算方式运行，并最终得到相应结果的过程。

一般交互式统一大数据编程计算平台存在大数据信息处理方式单一，处理效率低，并且数据信息传递安全性低，同时还不具有数据自动推送的效果，为此，我们提出一种实用性更高的交互式统一大数据编程计算平台。

技术实现要素：

本发明的目的在于提供交互式统一大数据编程计算平台，解决了现有的一般交互式统一大数据编程计算平台存在大数据信息处理方式单一，处理效率低，并且数据信息传递安全性低，同时还不具有数据自动推送的效果的问题。

为实现上述目的，本发明提供如下技术方案：交互式统一大数据编程计算平台，包括用户端、操作服务平台和数据库终端，所述用户端的输出端电性双向连接有操作服务平台，且操作服务平台的输出端电性双向连接有平台服务器，所述平台服务器的一端端电性双向连接有大数据处理系统，且平台服务器的另一端电性双向连接有数据库终端，所述数据库终端的输出端电性双向连接有大数据推送服务器。

优选的，所述操作服务平台包括交互编辑模块、文件存储模块、操作辅助模块、操作运行模块、实验运营模块和数据安全模块。

优选的，所述平台服务器包括备份模块、安全模块、加密模块、储存介质、数据传递模块和处理模块

优选的，所述储存介质包括：移动硬盘、可记录光盘、mp、mp、u盘和闪存卡。

优选的，所述大数据处理系统包括流处理框架、批处理框架和流处理框架+批处理框架。

优选的，所述批处理框架为apachehadoop，且hadoop的处理功能来自mapreduce引擎，所述流处理框架为apachesamza，所述流处理框架+批处理框架为apachespark。

优选的，所述数据库终端包括层次数据库(hierarchicaldatabase，hdb)、关系型数据库(relationaldatabase，rdb)、面向文档(document-oriented)数据库和列存储数据库。

优选的，所述层次数据库(hierarchicaldatabase，hdb)为ims(informationmanagementsystem)数据库，所述关系型数据库(relationaldatabase，rdb)包括oracledatabase、sqlserver、db、postgresql和mysql，所述面向文档(document-oriented)数据库包括mongdb和couchdb，所述列存储数据库包括cassandra和hbase。

优选的，所述大数据推送服务器包括数据记忆模块、数据筛选模块、数据分类模块和数据计算模块。

与现有技术相比，本发明的有益效果如下：

本发明通过大数据处理系统的流处理框架、批处理框架和流处理框架+批处理框架能够实现对大数据的三重处理方式，批处理框架是大数据处理傍边的遍及需求，批处理框架主要操作大容量静态数据集，并在核算进程完成后返回成果，流处理框架针对实时进入体系的数据进行核算操作，处理成果马上可用，并会跟着新数据的抵达继续更新；流处理框架+批处理框架供给一种数据处理的通用处理方案，不仅可以供给处理数据所需的办法，可满足图形剖析、交互式查询等多种场景。

本发明通过大数据推送服务器将大数据推送给用户端；并且根据用户的性别、年龄、所在城市、喜好等方面来进行数据筛选、数据分类和数据计算，从而达到一定的精准推送；如此智能大数据的推送在给我们的使用带来了方便。

本发明通过平台服务器的备份模块、安全模块和加密模块能保证数据传递的安全性，同时通过移动硬盘、可记录光盘、mp、mp、u盘和闪存卡等硬件设备的使用能避免病毒的侵扰，通过操作服务平台的文件存储模块和数据安全模块能够对数据进行及时的保存和查杀，如此能从整体上提高平台数据信息的安全性。

附图说明

图1为本发明流程示意图；

图2为本发明操作服务平台示意图；

图3为本发明平台服务器示意图；

图4为本发明大数据处理系统示意图；

图5为本发明数据库终端示意图；

图6为本发明大数据推送服务器示意图。

图中：1、用户端；2、操作服务平台；201、交互编辑模块；202、文件存储模块；203、操作辅助模块；204、操作运行模块；205、实验运营模块；206、数据安全模块；3、平台服务器；301、备份模块；302、安全模块；303、加密模块；304、储存介质；305、数据传递模块；306、处理模块；4、大数据处理系统；401、流处理框架；402、批处理框架；403、流处理框架+批处理框架；5、数据库终端；501、层次数据库(hierarchicaldatabase，hdb)；502、关系型数据库(relationaldatabase，rdb)；503、面向文档(document-oriented)数据库；504、列存储数据库；6、大数据推送服务器；601、数据记忆模块；602、数据筛选模块；603、数据分类模块；604、数据计算模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

请参阅图1，交互式统一大数据编程计算平台，包括用户端1、操作服务平台2和数据库终端5，用户端1的输出端电性双向连接有操作服务平台2，且操作服务平台2的输出端电性双向连接有平台服务器3，平台服务器3的一端端电性双向连接有大数据处理系统4，且平台服务器3的另一端电性双向连接有数据库终端5，数据库终端5的输出端电性双向连接有大数据推送服务器6。

请参阅图2和图3：操作服务平台2包括交互编辑模块201、文件存储模块202、操作辅助模块203、操作运行模块204、实验运营模块205和数据安全模块206，平台服务器3包括备份模块301、安全模块302、加密模块303、储存介质304、数据传递模块305和处理模块306，储存介质304包括：移动硬盘、可记录光盘、mp3、mp4、u盘和闪存卡；通过平台服务器3的备份模块301、安全模块302和加密模块303能保证数据传递的安全性，同时通过移动硬盘、可记录光盘、mp3、mp4、u盘和闪存卡等硬件设备的使用能避免病毒的侵扰，通过操作服务平台2的文件存储模块202和数据安全模块206能够对数据进行及时的保存和查杀，如此能从整体上提高平台数据信息的安全性。

请参阅图4：大数据处理系统4包括流处理框架401、批处理框架402和流处理框架+批处理框架403，批处理框架402为apachehadoop，且hadoop的处理功能来自mapreduce引擎，流处理框架401为apachesamza，流处理框架+批处理框架403为apachespark；通过大数据处理系统4的流处理框架401、批处理框架402和流处理框架+批处理框架403能够实现对大数据的三重处理方式，批处理框架402是大数据处理傍边的遍及需求，批处理框架402主要操作大容量静态数据集，并在核算进程完成后返回成果，流处理框架401针对实时进入体系的数据进行核算操作，处理成果马上可用，并会跟着新数据的抵达继续更新；流处理框架+批处理框架403供给一种数据处理的通用处理方案，不仅可以供给处理数据所需的办法，可满足图形剖析、交互式查询等多种场景。

请参阅图5和图6：数据库终端5包括层次数据库(hierarchicaldatabase，hdb)501、关系型数据库(relationaldatabase，rdb)502、面向文档(document-oriented)数据库503和列存储数据库504，所述层次数据库(hierarchicaldatabase，hdb)501为ims(informationmanagementsystem)数据库，所述关系型数据库(relationaldatabase，rdb)502包括oracledatabase、sqlserver、db2、postgresql和mysql，所述面向文档(document-oriented)数据库503包括mongdb和couchdb，所述列存储数据库504包括cassandra和hbase，大数据推送服务器6包括数据记忆模块601、数据筛选模块602、数据分类模块603和数据计算模块604；通过大数据推送服务器6将大数据推送给用户端1；并且根据用户的性别、年龄、所在城市、喜好等方面来进行数据筛选、数据分类和数据计算，从而达到一定的精准推送；如此智能大数据的推送在给我们的使用带来了方便。

工作原理：对于这类的交互式统一大数据编程计算平台，首先通过操作服务平台2能够接收用户端1发来的信息，同时操作服务平台2也能将用户端1的信息传递给平台服务器3，文件存储模块202能够对用户端1传递的信息进行记录，以此来留下信息的数据记录，同时通过交互编辑模块201能够实现对信息数据的编辑，操作辅助模块203的设置能对操作运行模块204起到辅助操作的效果，以此能提高操作的便捷性，同时通过操作运行模块204能方便进行操作使用，通过实验运营模块205能保证平台运行的稳定性，避免出现运行紊乱的问题，同时设置的数据安全模块206能保证数据在传递过程中的安全性，平台服务器3上的备份模块301能够对服务器内传递的数据进行备份处理，备份数据可以通过储存介质304进行存储，通过处理模块306能根据用户请求的问题对用户请求发送并进行相应的处理，通过数据传递模块305能接收或发送数据库终端5，安全模块302能保证传递信息的安全性，避免受到外界病毒的，同时也能起到智能查杀病毒的效果，在进行用户请求传送时，通过加密模块303能够对用户请求进行加密处理，避免出现用户请求数据泄露的问题，平台能够根据大数据处理系统4进行数据处理，根据需求可以进行流处理框架401、批处理框架402和流处理框架+批处理框架403三种方式进行处理，以此保证大数据信息处理的效率，数据库终端5可以储存大数据数据和平台的运行数据信息，同时大数据推送服务器6中的数据记忆模块601能够对用户的请求进行记录，并且通过数据的计算、分类与筛选，达到一定的精准推送，就这样完成整个交互式统一大数据编程计算平台的使用过程。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。