一种基于云计算的信息处理方法及系统与流程

本发明属于信息处理技术领域，尤其涉及一种基于云计算的信息处理方法及系统。

背景技术：

目前，云计算是近年来快速发展的一项重要技术，其基于网络提供的服务进行计算，并将计算的资源时间以服务方式提供给客户端，其间用户可接入云计算平台，按照其计算需求进行资源获取。因此，云计算技术是分布式处理、并行处理、网格计算后的计算模式。然而，随着网络通信量和信息处理量的日益增加，要求云计算具有大量并发访问能力，并且将云计算平台的负载合理分配到其包含的节点上，避免各个节点的处理能力成为云计算的发展瓶颈，是迫切解决的问题。现有通过负载均衡进行解决的方案安全性能低，容易遭受恶意攻击和破坏行为，缺少有效的针对恶意代码的检测和防御能力，且缺少对于各个节点负载情况的预测，对可用资源的利用率不够准确。因此，亟需一种新的基于云计算的信息处理方法。

通过上述分析，现有技术存在的问题及缺陷为：现有通过负载均衡进行解决的方案安全性能低，容易遭受恶意攻击和破坏行为，缺少有效的针对恶意代码的检测和防御能力，且缺少对于各个节点负载情况的预测，对可用资源的利用率不够准确。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种基于云计算的信息处理方法及系统。

本发明是这样实现的，一种基于云计算的信息处理方法，所述基于云计算的信息处理方法，包括以下步骤：

步骤一，信息采集模块利用数据采集设备获取待处理的信息数据，并且信息预处理模块利用数据预处理程序控制数据网关对获取的待处理的异构数据进行转换和集成，并将经过分流后的数据输送至中央控制模块；

步骤二，中央控制模块利用中央处理器协调控制所述基于云计算的信息处理系统各个模块的正常运行；用户在客户端通过服务请求提交模块利用请求提交程序向所述基于云计算的信息处理系统提交服务请求；

步骤三，通过信息处理模块利用信息处理程序基于云计算技术根据服务请求对分流后的数据进行处理，获取服务节点的负载情况；优化调节模块利用优化调节程序利用解析调度器对获取的需要动态调节负载的需求进行优化调节；

步骤四，通过大数据挖掘模块利用数据挖掘程序对处理后的数据进行挖掘，获取挖掘后的数据；通过hive数据查询模块利用sql接口实现数据的查询功能，并为hbase数据仓库的各种存储表建立索引关系；

步骤五，通过数据存储模块利用hbase数据仓库存储获取的待处理的信息数据、信息预处理结果、服务请求、服务节点负载情况、优化调节结果、挖掘后的数据，并进行数据分类，建立存储表索引关系；

步骤六，通过更新显示模块利用显示设备对获取的待处理的信息数据、信息预处理结果、服务请求、服务节点负载情况、优化调节结果、挖掘后的数据以及存储表索引关系的实时数据进行更新显示；

步骤一中，所述通过信息预处理模块利用数据预处理程序控制数据网关对获取的待处理的异构数据进行转换和集成，包括：

通过信息预处理模块统一异构数据标准格式的表现形式以及编写异构数据采集中间件，获取待处理的异构数据；

利用数据预处理程序将获取的异构数据按照不同模式、不同主题属性子进行聚类，通过聚类的形式形成可供分类的主题属性子以及模式；

通过数据网关根据分类约束对聚类形成的可供分类的主题属性子以及模式进行模式重组，选择一种带约束的模式对聚类形成的主题数据进行分类；

所述通过信息预处理模块统一异构数据标准格式的表现形式，包括：

建立主题树模型；

通过主题树模型将结构化、半结构化以及非结构化的异构数据映射至最终的统一标准格式xmlscheme；

消除和屏蔽异构数据结构模式上的差异，统一异构数据集成的格式；

步骤三中，所述通过信息处理模块利用信息处理程序基于云计算技术根据服务请求对分流后的数据进行处理，包括：

通过信息处理模块利用解析调度器解析所述服务请求，获得服务请求类型和所需要的节点资源数量，并将解析结果发送至负载均衡器；

通过负载均衡器接收解析调度器发送的解析结果，基于所需要的服务器资源数量以及当前各个节点的负载情况，对节点负载进行预测；

信息处理程序基于云计算技术对负载均衡器进行检测，分析分流后数据的安全属性，并将检测和分析结果提交至中央处理器。

进一步，所述基于所需要的服务器资源数量以及当前各个节点的负载情况，对节点负载进行预测，包括：

负载均衡器从基于云计算的信息处理系统的各个节点的负载的数据集中提取采样序列，并进行预处理；

创建n维时间序列作为学习样本，用信息处理系统的各个节点的负载的训练样本并基于设定的参数进行进行学习；

建立负载预测模型，通过负载预测模型对节点负载进行预测。

进一步，所述信息处理程序基于云计算技术对负载均衡器进行检测，分析分流后数据的安全属性，包括：

负载均衡器检测和分析分流后数据的安全属性；检测到异常事件后，查询黑名单和白名单并根据代码特征库和行为模式库分析；

如果识别为风险，则按照预定规则处理并发出警告；否则将分流后数据散列计算加密后向各节点查询，若查询成功则按照规则处理。

进一步，步骤四中，所述大数据挖掘模块利用数据挖掘程序对处理后的数据进行挖掘，获取挖掘后的数据的具体过程为：

将处理后的数据，建立相应的数据集合；确定数据集合中的数据的来源和特征；

根据确定的数据来源和特征，选取所需的数据并整合成用于数据挖掘的数据集；

对整合成的数据集进行关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析。

进一步，步骤五中，所述数据存储模块对数据进行分类的过程为：

根据待处理的信息数据、信息预处理结果、服务请求、服务节点负载情况、优化调节结果、挖掘后的数据，建立相应的样本数据；

利用贝叶斯网络分类器进行学习，从样本数据中构造分类器；

通过构造的分类器，对类结点的条件概率进行计算，用以对待分类数据进行分类。

本发明的另一目的在于提供一种实施所述基于云计算的信息处理方法的基于云计算的信息处理系统，所述基于云计算的信息处理系统包括：

信息采集模块、信息预处理模块、中央控制模块、服务请求提交模块、信息处理模块、优化调节模块、大数据挖掘模块、hive数据查询模块、数据存储模块、更新显示模块；

信息采集模块，与中央控制模块连接，用于通过数据采集设备获取待处理的信息数据；

信息预处理模块，与中央控制模块连接，用于通过数据预处理程序利用数据网关对获取的待处理的异构数据进行转换和集成，并将经过分流后的数据输送至中央控制模块；通过信息预处理模块利用数据预处理程序控制数据网关对获取的待处理的异构数据进行转换和集成，包括：通过信息预处理模块统一异构数据标准格式的表现形式以及编写异构数据采集中间件，获取待处理的异构数据；利用数据预处理程序将获取的异构数据按照不同模式、不同主题属性子进行聚类，通过聚类的形式形成可供分类的主题属性子以及模式；通过数据网关根据分类约束对聚类形成的可供分类的主题属性子以及模式进行模式重组，选择一种带约束的模式对聚类形成的主题数据进行分类；

中央控制模块，与信息采集模块、信息预处理模块、服务请求提交模块、信息处理模块、优化调节模块、大数据挖掘模块、hive数据查询模块、数据存储模块、更新显示模块连接，用于通过中央处理器协调控制所述基于云计算的信息处理系统各个模块的正常运行；

服务请求提交模块，与中央控制模块连接，用户在客户端通过请求提交程序向所述基于云计算的信息处理系统提交服务请求；

信息处理模块，与中央控制模块连接，用于通过信息处理程序基于云计算技术根据服务请求对分流后的数据进行处理，获取服务节点的负载情况；其中，具体为：通过信息处理模块利用解析调度器解析所述服务请求，获得服务请求类型和所需要的节点资源数量，并将解析结果发送至负载均衡器；通过负载均衡器接收解析调度器发送的解析结果，基于所需要的服务器资源数量以及当前各个节点的负载情况，对节点负载进行预测；信息处理程序基于云计算技术对负载均衡器进行检测，分析分流后数据的安全属性，并将检测和分析结果提交至中央处理器。

进一步，所述基于云计算的信息处理系统还包括：

优化调节模块，与中央控制模块连接，用于通过优化调节程序利用解析调度器对获取的需要动态调节负载的需求进行优化调节；

大数据挖掘模块，与中央控制模块连接，用于通过数据挖掘程序对处理后的数据进行挖掘，获取挖掘后的数据；大数据挖掘模块利用数据挖掘程序对处理后的数据进行挖掘过程为：将处理后的数据，建立相应的数据集合；确定数据集合中的数据的来源和特征；根据确定的数据来源和特征，选取所需的数据并整合成用于数据挖掘的数据集；对整合成的数据集进行关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析；

hive数据查询模块，与中央控制模块连接，用于通过sql接口实现数据的查询功能，并为hbase数据仓库的各种存储表建立索引关系；

数据存储模块，与中央控制模块连接，用于通过hbase数据仓库存储获取的待处理的信息数据、信息预处理结果、服务请求、服务节点负载情况、优化调节结果、挖掘后的数据，并进行数据分类，建立存储表索引关系；数据存储模块对数据进行分类的过程为：根据待处理的信息数据、信息预处理结果、服务请求、服务节点负载情况、优化调节结果、挖掘后的数据，建立相应的样本数据；利用贝叶斯网络分类器进行学习，从样本数据中构造分类器；通过构造的分类器，对类结点的条件概率进行计算，用以对待分类数据进行分类；

更新显示模块，与中央控制模块连接，用于通过显示设备对获取的待处理的信息数据、信息预处理结果、服务请求、服务节点负载情况、优化调节结果、挖掘后的数据以及存储表索引关系的实时数据进行更新显示。

进一步，所述显示设备包括显示屏，所述显示屏下方设有配重块，所述配重块上端设有对称固定连接有支撑板，两块所述支撑板的相向侧通过两个轴承共同转动连接有转动轴，所述显示屏固定连接在转动轴的轴壁上。

本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述的基于云计算的信息处理方法。

本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述的基于云计算的信息处理方法。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的基于云计算的信息处理方法，通过信息采集模块、信息预处理模块、大数据挖掘模块、hive数据查询模块以及数据存储模块的设置，能够有效解决现有异构数据集成中存在的数据不一致、数据语义冲突、数据大量冗余、无法集中管理和实时共享等问题，创新性的研究着重从语法和语义异构，兼顾系统异构和结构异构，真正意义上实现企业异构数据集成共享和交换。同时，本发明通过服务请求提交模块、信息处理模块、优化调节模块等模块的设置，能够增强基于云计算的信息处理系统对恶意代码的检测和防御能力，并且通过对各个节点的负载情况的预测，全面获取所述基于云计算的信息处理系统的当前负载情况，提升可用资源的利用率，降低基于云计算的信息处理系统的功耗。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于云计算的信息处理系统结构框图；

图中：1、信息采集模块；2、信息预处理模块；3、中央控制模块；4、服务请求提交模块；5、信息处理模块；6、优化调节模块；7、大数据挖掘模块；8、hive数据查询模块；9、数据存储模块；10、更新显示模块。

图2是本发明实施例提供的基于云计算的信息处理方法流程图。

图3是本发明实施例提供的信息预处理模块对获取的待处理的异构数据进行转换和集成的方法流程图。

图4是本发明实施例提供的信息预处理模块统一异构数据标准格式的表现形式的方法流程图。

图5是本发明实施例提供的信息处理模块对分流后的数据进行处理的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种基于云计算的信息处理方法及系统，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的基于云计算的信息处理系统包括：信息采集模块1、信息预处理模块2、中央控制模块3、服务请求提交模块4、信息处理模块5、优化调节模块6、大数据挖掘模块7、hive数据查询模块8、数据存储模块9、更新显示模块10。

信息采集模块1，与中央控制模块3连接，用于通过数据采集设备获取待处理的信息数据；

信息预处理模块2，与中央控制模块3连接，用于通过数据预处理程序利用数据网关对获取的待处理的异构数据进行转换和集成，并将经过分流后的数据输送至中央控制模块；

中央控制模块3，与信息采集模块1、信息预处理模块2、服务请求提交模块4、信息处理模块5、优化调节模块6、大数据挖掘模块7、hive数据查询模块8、数据存储模块9、更新显示模块10连接，用于通过中央处理器协调控制所述基于云计算的信息处理系统各个模块的正常运行；

服务请求提交模块4，与中央控制模块3连接，用户在客户端通过请求提交程序向所述基于云计算的信息处理系统提交服务请求；

信息处理模块5，与中央控制模块3连接，用于通过信息处理程序基于云计算技术根据服务请求对分流后的数据进行处理，获取服务节点的负载情况；

优化调节模块6，与中央控制模块3连接，用于通过优化调节程序利用解析调度器对获取的需要动态调节负载的需求进行优化调节；

大数据挖掘模块7，与中央控制模块3连接，用于通过数据挖掘程序对处理后的数据进行挖掘，获取挖掘后的数据；

hive数据查询模块8，与中央控制模块3连接，用于通过sql接口实现数据的查询功能，并为hbase数据仓库的各种存储表建立索引关系；

数据存储模块9，与中央控制模块3连接，用于通过hbase数据仓库存储获取的待处理的信息数据、信息预处理结果、服务请求、服务节点负载情况、优化调节结果、挖掘后的数据以及存储表索引关系；

更新显示模块10，与中央控制模块3连接，用于通过显示设备对获取的待处理的信息数据、信息预处理结果、服务请求、服务节点负载情况、优化调节结果、挖掘后的数据以及存储表索引关系的实时数据进行更新显示。

本发明实施例提供的显示设备包括显示屏，所述显示屏下方设有配重块，所述配重块上端设有对称固定连接有支撑板，两块所述支撑板的相向侧通过两个轴承共同转动连接有转动轴，所述显示屏固定连接在转动轴的轴壁上。

如图2所示，本发明实施例提供的基于云计算的信息处理方法包括以下步骤：

s101，信息采集模块利用数据采集设备获取待处理的信息数据，并且信息预处理模块利用数据预处理程序控制数据网关对获取的待处理的异构数据进行转换和集成，并将经过分流后的数据输送至中央控制模块。

s102，中央控制模块利用中央处理器协调控制所述基于云计算的信息处理系统各个模块的正常运行；用户在客户端通过服务请求提交模块利用请求提交程序向所述基于云计算的信息处理系统提交服务请求。

s103，通过信息处理模块利用信息处理程序基于云计算技术根据服务请求对分流后的数据进行处理，获取服务节点的负载情况；优化调节模块利用优化调节程序利用解析调度器对获取的需要动态调节负载的需求进行优化调节。

s104，通过大数据挖掘模块利用数据挖掘程序对处理后的数据进行挖掘，获取挖掘后的数据；通过hive数据查询模块利用sql接口实现数据的查询功能，并为hbase数据仓库的各种存储表建立索引关系。

s105，通过数据存储模块利用hbase数据仓库存储获取的待处理的信息数据、信息预处理结果、服务请求、服务节点负载情况、优化调节结果、挖掘后的数据，并进行数据分类，建立存储表索引关系。

s106，通过更新显示模块利用显示设备对获取的待处理的信息数据、信息预处理结果、服务请求、服务节点负载情况、优化调节结果、挖掘后的数据以及存储表索引关系的实时数据进行更新显示。

如图3所示，本发明实施例提供的步骤s101中，所述通过信息预处理模块利用数据预处理程序控制数据网关对获取的待处理的异构数据进行转换和集成，包括：

s201，通过信息预处理模块统一异构数据标准格式的表现形式以及编写异构数据采集中间件，获取待处理的异构数据；

s202，利用数据预处理程序将获取的异构数据按照不同模式、不同主题属性子进行聚类，通过聚类的形式形成可供分类的主题属性子以及模式；

s203，通过数据网关根据分类约束对聚类形成的可供分类的主题属性子以及模式进行模式重组，选择一种带约束的模式对聚类形成的主题数据进行分类。

如图4所示，本发明实施例提供的步骤s201中，所述通过信息预处理模块统一异构数据标准格式的表现形式，包括：

s301，建立主题树模型；

s302，通过主题树模型将结构化、半结构化以及非结构化的异构数据映射至最终的统一标准格式xmlscheme；

s303，消除和屏蔽异构数据结构模式上的差异，统一异构数据集成的格式。

如图5所示，本发明实施例提供的步骤s103中，所述通过信息处理模块利用信息处理程序基于云计算技术根据服务请求对分流后的数据进行处理，包括：

s401，通过信息处理模块利用解析调度器解析所述服务请求，获得服务请求类型和所需要的节点资源数量，并将解析结果发送至负载均衡器；

s402，通过负载均衡器接收解析调度器发送的解析结果，基于所需要的服务器资源数量以及当前各个节点的负载情况，对节点负载进行预测；

s403，信息处理程序基于云计算技术对负载均衡器进行检测，分析分流后数据的安全属性，并将检测和分析结果提交至中央处理器。

本发明实施例提供的步骤s402中，所述基于所需要的服务器资源数量以及当前各个节点的负载情况，对节点负载进行预测，包括：

1）负载均衡器从基于云计算的信息处理系统的各个节点的负载的数据集中提取采样序列，并进行预处理；

2）创建n维时间序列作为学习样本，用信息处理系统的各个节点的负载的训练样本并基于设定的参数进行进行学习；

3）建立负载预测模型，通过负载预测模型对节点负载进行预测。

本发明实施例提供的步骤s403中，所述信息处理程序基于云计算技术对负载均衡器进行检测，分析分流后数据的安全属性，包括：

负载均衡器检测和分析分流后数据的安全属性；检测到异常事件后，查询黑名单和白名单并根据代码特征库和行为模式库分析；

如果识别为风险，则按照预定规则处理并发出警告；否则将分流后数据散列计算加密后向各节点查询，若查询成功则按照规则处理。

本发明实施例提供的步骤s104中，大数据挖掘模块利用数据挖掘程序对处理后的数据进行挖掘，获取挖掘后的数据的具体过程为：

将处理后的数据，建立相应的数据集合；确定数据集合中的数据的来源和特征；

根据确定的数据来源和特征，选取所需的数据并整合成用于数据挖掘的数据集；

对整合成的数据集进行关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析。

本发明实施例提供的步骤s105中，数据存储模块对数据进行分类的过程为：

根据待处理的信息数据、信息预处理结果、服务请求、服务节点负载情况、优化调节结果、挖掘后的数据，建立相应的样本数据；

利用贝叶斯网络分类器进行学习，从样本数据中构造分类器；

通过构造的分类器，对类结点的条件概率进行计算，用以对待分类数据进行分类。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。