数据处理系统及方法与流程

本发明涉及大数据领域，尤其涉及一种数据处理系统、方法、监控装置及计算机可读介质。

背景技术：

随着互联网技术的发展，越来越多的信息已经无法通过常规的方式进行获取、存储和处理，而是需要借助于云计算(cloudcomputing)和大数据(bigdata)技术。大数据是指一定时间范围内规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

为了在一定时间内能够有效地处理大量数据，需要使用特殊的大数据处理技术。目前，适用于大数据的技术主要包括：大规模并行处理(mpp)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统等。

技术实现要素：

本发明所要解决的技术问题是提供一种数据处理系统、方法、监控装置及计算机可读介质。

本发明为解决上述技术问题而采用的技术方案是提供一种数据处理系统，包括：数据消息队列系统，配置为定义第一主题和第二主题，所述第一主题与结构化数据关联，所述第二主题与非结构化数据关联，所述数据消息队列系统配置为按照所述第一主题和第二主题将输入数据分为第一数据队列和第二数据队列；第一数据采集引擎，配置为从所述第一数据队列中获取结构化数据；第二数据采集引擎，配置为从所述第二数据队列中获取非结构化数据；第一数据平台，配置为存储并处理所述第一数据采集引擎的结构化数据；以及第二数据平台，配置为存储并处理所述第二数据采集引擎的非结构化数据。

在本发明的一实施例中，还包括：过滤模块，配置为过滤数据并输入至所述数据消息队列系统。

在本发明的一实施例中，所述第一数据平台配置为对所述结构化数据进行聚合统计，获得统计数据；在所述第二数据平台配置为按照预设函数和/或算法从所述非结构化数据中提取有效数据。

在本发明的一实施例中，所述第一数据平台包括相互分离的存储模块和处理模块。

在本发明的一实施例中，还包括交互接口，连接所述第一数据平台和所述第二数据平台，所述交互接口配置为：根据所述第一数据平台的请求从所述第二数据平台中获取所述有效数据；和/或根据所述第二数据平台的请求从所述第一数据平台中获取统计数据。

在本发明的一实施例中，还包括：在所述第一数据平台利用关联的有效数据和统计数据进行交叉验证；和/或在所述第二数据平台利用关联的有效数据和统计数据进行交叉验证。

本发明的另一方面提供一种数据处理方法，包括以下步骤：定义第一主题和第二主题，所述第一主题与结构化数据关联，所述第二主题与非结构化数据关联；按照所述第一主题和第二主题将输入数据分为第一数据队列和第二数据队列；从所述第一数据队列中获取结构化数据到第一数据平台；从所述第二数据队列中获取非结构化数据到第二数据平台；在所述第一数据平台存储并处理所述结构化数据；以及在所述第二数据平台存储并处理所述非结构化数据。

在本发明的一实施例中，还包括：在所述第一数据平台对所述结构化数据进行聚合统计，获得统计数据；在所述第二数据平台按照预设函数和/或算法从所述非结构化数据中提取有效数据；在所述第一数据平台通过交互接口从所述第二数据平台中获取所述有效数据；以及在所述第一数据平台利用关联的有效数据和统计数据进行交叉验证。

本发明的另一方面提供一种监控装置，包括：存储器，用于存储可由处理器执行的指令；处理器，用于执行所述指令以实现如下的方法：定义第一主题和第二主题，所述第一主题与结构化数据关联，所述第二主题与非结构化数据关联；按照所述第一主题和第二主题将输入数据分为第一数据队列和第二数据队列；从所述第一数据队列中获取结构化数据到第一数据平台；从所述第二数据队列中获取非结构化数据到第二数据平台；在所述第一数据平台存储并处理所述结构化数据；以及在所述第二数据平台存储并处理所述非结构化数据。

本发明的另一方面提供一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如下方法：定义第一主题和第二主题，所述第一主题与结构化数据关联，所述第二主题与非结构化数据关联；按照所述第一主题和第二主题将输入数据分为第一数据队列和第二数据队列；从所述第一数据队列中获取结构化数据到第一数据平台；从所述第二数据队列中获取非结构化数据到第二数据平台；在所述第一数据平台存储并处理所述结构化数据；以及在所述第二数据平台存储并处理所述非结构化数据。

本发明由于采用以上技术方案，使之与现有技术相比，具有如下显著优点：

本发明的数据处理系统可以有效地处理包含结构化数据和非结构化数据的混合数据，包括对这些数据的存储、计算以及数据之间的交叉验证。

附图说明

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：

图1是本发明一实施例的一种数据处理系统的结构示意图；

图2是本发明一实施例的一种数据处理系统的数据流的示意图；

图3是本发明一实施例的一种数据处理系统的数据处理过程的示意图；

图4是本发明一实施例的一种数据处理系统的结构化数据和非结构化数据的示意图；

图5是本发明一实施例的一种数据处理方法的流程图；

图6是本发明一实施例的一种监控装置的结构示意图。

图中元件标号说明：

110：数据消息队列系统

121：第一数据采集引擎

122：第二数据采集引擎

131：第一数据平台

132：第二数据平台

140：过滤模块

150：交互接口

210：输入数据

211：第一数据队列

212：第二数据队列

221：结构化数据

222：非结构化数据

231：统计数据

232：有效数据

501～506：步骤

610：存储器

620：处理器

630：通信接口

640：输入/输出设备

具体实施方式

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，因此本发明不受下面公开的具体实施例的限制。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

为了方便描述，此处可能使用诸如“之下”、“下方”、“低于”、“下面”、“上方”、“上”等等的空间关系词语来描述附图中所示的一个元件或特征与其他元件或特征的关系。将理解到，这些空间关系词语意图包含使用中或操作中的器件的、除了附图中描绘的方向之外的其他方向。例如，如果翻转附图中的器件，则被描述为在其他元件或特征“下方”或“之下”或“下面”的元件的方向将改为在所述其他元件或特征的“上方”。因而，示例性的词语“下方”和“下面”能够包含上和下两个方向。器件也可能具有其他朝向(旋转90度或处于其他方向)，因此应相应地解释此处使用的空间关系描述词。此外，还将理解，当一层被称为在两层“之间”时，它可以是所述两层之间仅有的层，或者也可以存在一个或多个介于其间的层。

在本申请的上下文中，所描述的第一特征在第二特征之“上”的结构可以包括第一和第二特征形成为直接接触的实施例，也可以包括另外的特征形成在第一和第二特征之间的实施例，这样第一和第二特征可能不是直接接触。

应当理解，当一个部件被称为“在另一个部件上”、“连接到另一个部件”、“耦合于另一个部件”或“接触另一个部件”时，它可以直接在该另一个部件之上、连接于或耦合于、或接触该另一个部件，或者可以存在插入部件。相比之下，当一个部件被称为“直接在另一个部件上”、“直接连接于”、“直接耦合于”或“直接接触”另一个部件时，不存在插入部件。同样的，当第一个部件被称为“电接触”或“电耦合于”第二个部件，在该第一部件和该第二部件之间存在允许电流流动的电路径。该电路径可以包括电容器、耦合的电感器和/或允许电流流动的其它部件，甚至在导电部件之间没有直接接触。

在餐饮行业，根据不同业务的需求，常常需要对采集到的大量数据进行及时有效地处理。举例来说，这些数据可以是包括来自订单、财务等的结构化数据，以及包括活动数据、市场数据等等的非结构化数据。因此，业界亟需一种数据处理系统来有效处理包含结构化数据和非结构化数据的混合数据。

本发明的以下实施例提供一种数据处理系统，该数据处理系统可以有效地处理包含结构化数据和非结构化数据的混合数据。

图1是本发明一实施例的一种数据处理系统的结构示意图。图2是本发明一实施例的一种数据处理系统的数据流的示意图。可以理解的是，下面所进行的描述仅仅示例性的，本领域技术人员可以在不脱离本发明的精神的情况下，进行各种变化。

参考图1和图2所示，该数据处理系统10包括数据消息队列系统110、第一数据采集引擎121、第二数据采集引擎122、第一数据平台131以及第二数据平台132。

首先，数据消息队列系统110定义第一主题和第二主题。其中，第一主题与结构化数据221关联，第二主题与非结构化数据222关联。数据消息队列系统110按照定义的第一主题和第二主题将输入数据210分为第一数据队列211和第二数据队列212。然后，第一数据采集引擎121从第一数据队列211中获取结构化数据221，第二数据采集引擎122从第二数据队列211中获取非结构化数据222。之后，第一数据平台131存储并处理第一数据采集引擎121获取到的结构化数据221，第二数据平台132存储并处理第二数据采集引擎122获取到的非结构化数据222。

应当理解，结构化数据也称为行数据，是可以由二维逻辑表结构来表达和实现的数据。结构化数据严格地遵循数据格式与长度规范，并主要通过关系型数据库进行存储和管理。示例性的，结构化数据可以是但不限于从平台服务器端获取的数据。例如，结构化数据可以是从门店运营平台获取的商品的价格、名称、库存状况等数据。

非结构化数据是数据结构不规则、不完整或没有被预定义的数据。非结构化数据无法用数据库二维逻辑表来表现。示例性的，非结构化数据可以是但不限于从终端获取的用户对商品的评价、聊天记录以及搜集偏好、网站评论和位置信息等数据。

图3是本发明一实施例的一种数据处理系统的数据处理过程的示意图。下面参考图1至图3对数据处理系统10的数据处理过程进行说明。

在图3所示的示例中，数据消息队列系统110可以是例如kafka集群等的开源流数据处理平台。kafka是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中的所有动作流数据。数据消息队列系统(kafka集群)110可以按照预先定义的第一主题和第二主题将输入数据210筛选为第一数据队列211和第二数据队列212。

在本发明的一实施例中，上述数据处理系统10还包括过滤模块140。过滤模块140配置为过滤数据并输入至数据消息队列系统110。例如，过滤模块140可以对原始数据(图未示)进行过滤生成输入数据210，然后将该输入数据210输入至数据消息队列系统110中。

在图3所示的示例中，数据处理系统10进行原始数据采集后，可以先将采集到的数据通过过滤模块140进行过滤清洗，然后将过滤后的数据作为输入数据210输入至数据消息队列系统(kafka集群)110中。可以理解，原始数据也可以不经过过滤而直接作为输入数据210输入至数据消息队列系统(kafka集群)110中，但本实施例并未以此为限。

图4是本发明一实施例的一种数据处理系统的结构化数据和非结构化数据的示意图。参考图4所示，kafka集群可以通过定义不同的数据队列来区分结构化221与非结构化数据222。例如，如果要区分有关订单的结构化数据221和市场的非结构化数据222时，可以定义第一主题和第二主题分别为订单(order)和市场(market)。这样，在第一数据队列(order数据队列)211里的数据全部都是结构化数据221，在第二数据队列(market数据队列)212里数据流都是非结构化数据222。

参考图3所示，第一数据采集引擎121从第一数据队列211中获取结构化数据(例如订单数据)221，第二数据采集引擎122从第二数据队列211中获取非结构化数据(例如市场数据)222。

可以理解，第一数据采集引擎121和第二数据采集引擎122可以使用现有的例如flume的平台系统。例如，第一数据采集引擎121可以是使用了datahub开发组件的flume平台；第二数据采集引擎122可以是使用了datahub的flume平台。flume是cloudera公司提供的一个分布式日志采集、聚合和传输系统，具有较高的可用性和可靠性。flume支持在日志系统中定制各类数据发送方，用于收集数据。同时，flume提供对数据进行简单处理，并具有写到数据接受方的能力。

在本发明的一实施例中，第一数据平台131还可以对第一数据采集引擎121获取到的结构化数据221进行聚合统计，得到统计数据231。第二数据平台132还可以按照预设函数和/或算法从第二数据采集引擎122获取到的非结构化数据222中提取得到有效数据232。

示例性的，第一数据平台131对第一数据采集引擎121获取到的结构化数据221(例如订单数据)进行的聚合统计时，可以使用包含订单日期、订单id、订单数量、订单金额以及购买客户等标准在内的订单信息。同时根据实际业务需求，统计出某一天的总销售额、总销售量、总订单数和顾客数量等信息。

在图3所示的示例中，第一数据平台131可以是例如greenplum或hybriddb等的关系型的数据平台。第一数据平台131根据业务的需求对第一数据采集引擎121获取到的结构化数据221(例如订单数据)进行存储和处理。

greenplum平台采用了大规模并行处理(massivelyparallelprocessing,mpp)的架构。在mpp系统中，每个对称多处理(symmetricalmulti-processing,smp)节点也可以运行自己的操作系统和数据库等。节点之间的信息交互是通过节点互联网络，即数据重分配(dataredistribution)来实现的。

hybriddb是同时支持海量数据在线事务(oltp)和在线分析(olap)的htap(hybridtransaction/analyticalprocessing)关系型数据库。hybriddb免去了在线数据库(operationaldatabase)和离线数据仓库(datawarehouse)之间的海量数据加载过程，缩短了数据分析的延迟，并使实时分析决策系统成为可能。

第一数据平台131首先使用数据准备区(staging)对从第一数据采集引擎121获取到的结构化数据221(例如订单数据)进行存放。然后该结构化数据221通过操作型数据存储(operationaldatastore,ods)、数据仓库(datawarehouse,dw)以及数据挖掘(datamining,dm)等进行聚合统计，并得到统计数据231。

ods(又称运营数据仓储)是一种面向主题的、集成的、当前或接近当前的且不断变化的数据集合。dw是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。dm一般是指从大量的数据中通过算法搜索隐藏信息的过程。数据挖掘一般通过统计、在线分析处理、情报检索、机器学习、专家系统(例如经验法则)和模式识别等诸多方法来实现。

在本发明的一实施例中，第一数据平台131还包括相互分离的存储模块和处理模块。例如，在图3所示的一个示例中，在搭建数仓存储时，可以采取存储和计算相分离的方案，存储可以使用hybriddbforpostgresql的平台，计算可以使用greenplum的平台，且它们之间相互分离。利用这两个平台的优势互补，来确保数仓稳定的对外服务。可选的，第一数据平台131的底层存储可以是支持json(javascriptobjectnotation，一种轻量级的数据交换格式)的postgresql的平台。

第二数据平台132还可以按照例如正则表达式函数或特定的分词、打标签等算法从第二数据采集引擎122获取到的非结构化数据222转换为业务语言，从而得到有效数据232。例如，某用户对一道菜的评价是：“这个菜的份量有点少，太酸了，不好吃”。通过分词算法对非结构化数据222(例如用户的评价)进行提取后可以得到包含“份量少、太酸、不好吃”等信息的有效数据232。在一些示例中，还可以根据提取到的有效数据232对菜品进行打分，以方便对数据进一步挖掘和分析。

在图3所示的示例中，第二数据平台132可以是例如hadoop、cdh以及emr等的大数据平台。第二数据平台132根据业务的需求对第二数据采集引擎122获取到的非结构化数据222(例如市场数据)进行存储和处理。

hadoop是一个能够对大量数据进行分布式处理的软件平台并可以实现以高效、可靠、可伸缩的方式来进行数据处理。cdh(cloudera’sdistributionincludingapachehadoop)是cloudera公司的基于web的一种用户界面，支持大多数hadoop组件并简化了大数据平台的安装过程以及使用难度。emr(elasticmapreduce)提供的托管hadoop框架可以快速、经济且高效地在多个动态可扩展的机器实例中处理大量数据，并能够安全可靠地处理广泛的大数据使用案例，包括日志分析、web索引、数据转换(etl)、机器学习、财务分析、科学模拟和生物信息等。

第二数据平台132首先使用数据准备区(staging)对从第二数据采集引擎122获取到的非结构化数据222(例如市场数据)进行存放。然后该非结构化数据222通过操作型数据存储(ods)、数据仓库(dw)以及数据挖掘(dm)等按照预设函数和/或算法从非结构化数据222提取得到有效数据232。

可选的，staging、ods以及dw的过程可以基于hive工具来实现。hive是基于hadoop的一个数据仓库工具，可以将结构化数据文件映射为一张数据库表，并提供简单的sql查询功能，并将sql语句转换为mapreduce任务来运行。dm的过程则可以基于hbase/mysql的工具来实现。hbase是一个分布式的、面向列的适合于非结构化数据存储的开源数据库。hbase数据库通常采用基于列的而不是基于行的模式。mysql则是一种常见的关系型数据库管理系统。

在本发明的一实施例中，上述数据处理系统10还包括交互接口150。交互接口150连接第一数据平台131和第二数据平台132。交互接口150可以根据第一数据平台131的请求从第二数据平台132中获取有效数据232。交互接口150还可以根据第二数据平台132的请求从第一数据平台131中获取统计数据231。

在图3所示的示例中，交互接口150可以连接例如是greenplum(nosql数仓)/hybriddbforpostgresql平台的第一数据平台131和例如是hadoop大数据平台的第二数据平台132。交互接口150可以根据greenplum/hybriddbforpostgresql平台的请求从hadoop大数据平台中获取有效数据232。交互接口150还可以根据hadoop大数据平台的请求从greenplum/hybriddbforpostgresql平台中获取统计数据231。

在本发明的一实施例中，上述数据处理系统10还包括在第一数据平台131利用关联的有效数据232和统计数据231进行交叉验证以及在第二数据平台132利用关联的有效数据232和统计数据231进行交叉验证。

例如，可以在greenplum/hybriddbforpostgresql平台利用关联的有效数据232和统计数据231进行交叉验证以及在hadoop大数据平台利用关联的有效数据232和统计数据231进行交叉验证。

可选的，在本发明的一些实施例中，还可以通过例如kettle、datax和sqoop等相关工具将统计数据231和有效数据232进行同步，以完成数据的交叉验证。

kettle是一种利用java编写的开源的etl(extract-transform-load，即数据萃取、转置和加载)工具，并可以在windows、linux和unix上运行，对数据的抽取高效且稳定。datax是一个异构数据源离线同步工具，可以实现包括关系型数据库(例如mysql、oracle)、hdfs、hive、odps、hbase、ftp等各种异构数据源之间稳定高效的数据同步功能。sqoop是一种用于hadoop(hive)与传统的数据库(例如mysql、postgresql)之间进行数据的传递的开源的工具，可以将关系型数据库中的数据导入到hadoop的hdfs(hadoop分布式文件系统)中，也可以将hdfs的数据导进到关系型数据库中。

例如，可以在hadoop大数据平台中对非结构化数据222(例如市场数据)进行处理，评估某一区域内的所有餐饮门店，分析出销量最佳的菜品及该菜品销量最佳的原因。同时，将greenplum/hybriddbforpostgresql平台的关系型数据库中存储的销量最佳的菜品的销售情况与其他菜品相比较，通过交叉验证的方式来判断hadoop大数据平台分析出的销量最佳的菜品的结果是否准确。

在本发明一实施例中，在第一数据平台131得到统计数据231以及第二数据平台132得到有效数据232后，还可以将统计数据231和有效数据232进行整合。

在图3所示的示例中，greenplum/hybriddbforpostgresql平台得到的统计数据231和hadoop大数据平台得到的有效数据232还可以根据业务的需求，通过联机事务处理过程(on-linetransactionprocessing,oltp)进行数据的整合。oltp是专注于面向事务的一类数据处理过程，通常涉及在数据库中插入、更新或删除少量的数据，主要用于处理大量用户时的事务数据。

本发明的以上实施例提供了一种数据处理系统，该数据处理系统可以有效地处理包含结构化数据和非结构化数据的混合数据。

本发明的另一方面提供一种数据处理方法，该数据处理方法可以有效地处理包含结构化数据和非结构化数据的混合数据。

图5是本发明一实施例的一种数据处理方法的流程图。可以理解，这一流程例如可以在图1所示的系统10或其变化例中实施，但本发明不以此为限。

参考图5所示，该数据处理方法包括以下步骤：

步骤501，定义第一主题和第二主题。

参考图1至图2所示，数据消息队列系统110定义第一主题和第二主题。第一主题与结构化数据221关联，第二主题与非结构化数据222关联。

步骤502，按照第一主题和第二主题将输入数据分为第一数据队列和第二数据队列。

参考图1至图2所示，数据消息队列系统110按照第一主题和第二主题将输入数据210分为第一数据队列211和第二数据队列212。

步骤503，从第一数据队列中获取结构化数据到第一数据平台。

参考图1至图2所示，第一数据采集引擎121从第一数据队列211中获取结构化数据221到第一数据平台131。

步骤504，从第二数据队列中获取非结构化数据到第二数据平台。

参考图1至图2所示，第二数据采集引擎122从第二数据队列212中获取非结构化数据222到第二数据平台132。

步骤505，在第一数据平台存储并处理结构化数据。

参考图1至图2所示，在第一数据平台131存储并处理结构化数据221。

步骤506，在第二数据平台存储并处理非结构化数据。

参考图1至图2所示，在第二数据平台132存储并处理非结构化数据222。

在本发明的一实施例中，上述数据处理方法还可以包括以下步骤：

步骤507，在第一数据平台对结构化数据进行聚合统计，获得统计数据。

参考图1至图2所示，在第一数据平台131对结构化数据221进行聚合统计，获得统计数据231。

步骤508，在第二数据平台按照预设函数和/或算法从非结构化数据中提取有效数据。

参考图1至图2所示，在第二数据平台132按照预设函数和/或算法从非结构化数据222中提取有效数据232。

步骤509，在第一数据平台通过交互接口从第二数据平台中获取有效数据。

参考图1至图2所示，在第一数据平台131通过交互接口150从第二数据平台132中获取有效数据232。

步骤510，在第一数据平台利用关联的有效数据和统计数据进行交叉验证。

参考图1至图2所示，在第一数据平台131利用关联的有效数据232和统计数据231进行交叉验证。

本发明的另一方面提供一种监控装置，该监控装置可以有效地处理包含结构化数据和非结构化数据的混合数据。

图6是本发明一实施例的一种监控装置的结构示意图。参考图6所示，该监控装置包括存储器610和处理器620。存储器610用于存储可由处理器620执行的指令。处理器620用于执行指令以实现如下的方法：定义第一主题和第二主题，第一主题与结构化数据关联，第二主题与非结构化数据关联；按照第一主题和第二主题将输入数据分为第一数据队列和第二数据队列；从第一数据队列中获取结构化数据到第一数据平台；从第一数据队列中获取非结构化数据到第二数据平台；在第一数据平台存储并处理结构化数据；以及在第二数据平台存储并处理非结构化数据。

在本发明的一些实施例中，上述监控装置还可以包括通信接口630、输入/输出设备640以及内部通信总线650。通信接口630可以连接网络以实现监控装置和其他外部设备之间的上、下行数据通信。其中，网络可以是各种已知的有线网络(如以太网)或者无线网络，局域网或者广域网，在此不再展开。输入/输出设备640可以支持监控装置与其他部件之间的输入/输出数据流。作为举例，输入/输出设备640可以包括以下的部件的一种或多种：鼠标、轨迹球、键盘、触控组件、声音接收器等。内部通信总线650可以实现监控装置各部件之间的数据通信。

本实施例的菜品状态监控装置的其他实施细节可参考参照图1至图5所描述的实施例，在此不再展开。

本发明的另一方面提供一种存储有计算机程序代码的计算机可读介质，该存储有计算机程序代码的计算机可读介质可以有效地处理包含结构化数据和非结构化数据的混合数据。

计算机程序代码在由处理器执行时可以实现如下方法：定义第一主题和第二主题，第一主题与结构化数据关联，第二主题与非结构化数据关联。按照第一主题和第二主题将输入数据分为第一数据队列和第二数据队列。从第一数据队列中获取结构化数据到第一数据平台。从第二数据队列中获取非结构化数据到第二数据平台。在第一数据平台存储并处理结构化数据。在第二数据平台存储并处理非结构化数据。

在本发明的一实施例中，计算机程序代码可以由图6所示的监控装置中的处理器620执行时实现本发明的数据处理方法。

举例来说，本申请的数据处理方法可以实施为数据处理方法的程序，保存在图6所示的监控装置的存储器610中，并可加载到处理器620中执行，以实施上述方法。

本申请的数据处理方法实施为计算机程序时，也可以存储在有计算机程序代码的计算机可读介质中作为制品。例如，计算机可读存储介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁条)、光盘(例如，压缩盘(cd)、数字多功能盘(dvd))、智能卡和闪存设备(例如，电可擦除可编程只读存储器(eprom)、卡、棒、键驱动)。此外，本文描述的各种存储介质能代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可以包括但不限于能存储、包含和/或承载代码和/或指令和/或数据的无线信道和各种其它介质(和/或存储介质)。

应该理解，上文所描述的实施例仅是示意。本文描述的实施例可在硬件、软件、固件、中间件、微码或者其任意组合中实现。对于硬件实现，处理单元可以在一个或者多个特定用途集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器和/或设计为执行本文所述功能的其它电子单元或者其结合内实现。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述发明披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如java、scala、smalltalk、eiffel、jade、emerald、c++、c#、vb.net、python等，常规程序化编程语言如c语言、visualbasic、fortran2003、perl、cobol2002、php、abap，动态编程语言如python、ruby和groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(lan)或广域网(wan)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(saas)。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个申请实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可作出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。