一种多源异构数据的处理方法
【技术领域】
[0001]本发明属于数据处理技术领域，具体涉及一种多源异构数据的处理方法。
【背景技术】
[0002]“互联网还没搞清楚的时候，移动互联来了，移动互联还没搞清楚的时候，大数据来了”。大数据应用早已深入到寻常的生活之中，将逐渐成为现代社会基础设施的一部分，就像公路、铁路、港口、水电和通信网络一样不可或缺。
[0003]大数据时代改变了什么？我们工作、生活中的各种场景悄然发生了改变。美国作家罗伯特?斯考伯在《Age of Context》一书中，称“大数据时代后，下一个科技趋势就是场景时代！谁能占据场景，就能赢得未来！”
[0004]经过多年的信息化建设，在我国政府、企业，智慧城市、数字油田等等都建设强大的数据库系统，尤其在企业内各级部门都先后建成了各类业务相关的信息化系统，推进了企业信息化的发展；然而，由于建设的多元性，如多期次、多IT商、多格式、多数据库、多系统、多技术方法等导致数据的多源性。构成了数据的“数据病”。这就是数据库VS数据库；信息系统VS信息系统；信息系统VS专业软件；专业软件VS专业软件不能实现数据共享，出现了“数据碎片化”与“鸿沟”。
[0005]目前，在我国据估计数据建设费用投资在万亿元，对于这样的现状，不可能推翻重来，也不可能放弃这些数据不用。而按照传统的做法就是每遇到“数据病”问题，就要采用人工编码、手工整理数据的方式开发软件(中间件)做数据接口。但是软件开发是一个复杂的工程，开发周期长，在庞大数据下，采用人工编码、手工整理数据的方式实现系统的集成应用与数据运维管理，犹如采用人工劳力的方式建设打通各个岛屿之间的跨海大桥一样的工作量，非常庞大。
[0006]我们发明了一种在整体设计上遵循零代码原则，用户不需要了解复杂的编程技术，仅需要排列和组合各种功能节点，即可实现对海量多源异构数据的整合与应用的大数据提取、整理、融合、分析与数据挖掘的重要软件。
【发明内容】
[0007]发明目的:本发明针对上述现有技术存在的问题做出改进，即本发明公开了一种多源异构数据的处理方法。
[0008]技术方案:一种多源异构数据的处理方法，包括以下步骤:
[0009](I)、数据提取；
[0010](2)、构造SQL语句数据筛选；
[0011](3)、通过流程，节点操作实现数据生成；
[0012](4)、根据需求将数据推送到客户端；
[0013](5)、根据用户需要对数据进行融合后，将融合后的数据呈现在显示设备上。
[0014]进一步地，步骤(I)包括以下步骤:
[0015](11)、根据用户需求选择数据库并输入用户的数据需求；
[0016](12)、建立数据流程；
[0017](13)、节点化操作。
[0018]从各种数据库中，面对结构化、半结构化和非结构化数据库的各种数据，包括政府数据、市政数据和专业性超强的数据，只要提出需求，就会按照需求，开始工作。
[0019]有益效果:本发明公开了一种多源异构数据的处理方法，其具有以下有益效果:
[0020]1、数据处理效率高；
[0021]2、数据过程可视化，将业务流与数据流相融合，为IT技术人员与传统业务领域的专家提供对话、协作平台，使跨领域的交叉融合。同时，固化的经验、公式、算法，可形成经典数据分析流程，使得研宄方法可继承、可编排，从而保障数据分析方法的延续性，也避免企业因人才升迀而引发的研宄方法的流失；
[0022]3、多源异构数据无缝接入，系统可对不同格式、不同结构的数据进行同步处理，通过函数与流程支持Oracle、MySQL、SQL Server等十余种数据库，FTP、Excel、Word、TEXT、GIS、WIS等文件格式，开放了二次开发接口，用户可根据需要定制脚本读入数据；
[0023]4、企业级数据整合，一键式创建流程。系统提供企业级数据快速接入模块，可根据企业的数据模型、数据库字典按专业领域组织数据，提供关键字检索，实现数据表的快速定位，并提供一键式创建流程，访问企业级数据库中的数据。系统提供丰富的节点和方法，便于再造企业业务流程；
[0024]5、数据呈现方式灵活多样，用户可使用报表、统计图形、专业图板、空间分布等维度展示数据，挖掘数据之间内在的联系和规律；
[0025]6、面对任何格式与任意数据库的任何数据智能提取；
[0026]7、零编码、流程编辑器，根据需求自动编辑流程；
[0027]8、节点式操作，如同搭积木来完成数据的提取，可做数据整理、融合与可视化。
【附图说明】
[0028]图1为本发明公开的一种多源异构数据的处理方法的流程示意图；
[0029]图2为本发明公开的一种多源异构数据的处理方法的流程图。
【具体实施方式】
:
[0030]下面对本发明的【具体实施方式】详细说明。
[0031]如图1和图2所示，一种多源异构数据的处理方法，包括以下步骤:
[0032](I)、数据提取；
[0033](2)、构造SQL语句数据筛选；
[0034](3)、通过流程，节点操作实现数据生成；
[0035](4)、根据需求将数据推送到客户端；
[0036](5)、根据用户需要对数据进行融合后，将融合后的数据呈现在显示设备上。
[0037]进一步地，数据提取包括以下步骤:
[0038](11)、根据用户需求选择数据库并输入用户的数据需求；
[0039](12)、建立数据流程；
[0040](13)、节点化操作。
[0041]以油田数据为例:某油田企业，由于信息系统不稳定、入库规则复杂，分析试验中心有5万张铸体薄片图像，未能及时入库；给科研人员使用薄片数据进行油气藏研宄带来了不便。上级部门要求将这些照片数据整理入库，经过提取井名、深度、与数据库中样品批号配对、标准化照片名称、剔除重复照片、剔除现有数据库中已有照片、录入照片索引信息、上传照片文件等10余个步骤；整理一张薄片照片大约耗费3分钟，完成5万张照片大约需要300多个工作日，数据整理工作繁琐、工作量巨大。
[0042]使用多源异构数据的处理方法，构建数据分析处理的流程，仅需要4个小时完成数据整理任务(提高工作效率数百倍)。
[0043]上面对本发明的实施方式做了详细说明。但是本发明并不限于上述实施方式，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
【主权项】
1.一种多源异构数据的处理方法，其特征在于，包括以下步骤: (1)、数据提取； (2)、构造SQL语句数据筛选； (3)、通过流程，节点操作实现数据生成； (4)、根据需求将数据推送到客户端； (5)、根据用户需要对数据进行融合后，将融合后的数据呈现在显示设备上。2.根据权利要求1所述的一种多源异构数据的处理方法，其特征在于，步骤(I)包括以下步骤: (11)、根据用户需求选择数据库并输入用户的数据需求； (12)、建立数据流程； (13)、节点化操作。
【专利摘要】本发明属于数据处理技术领域，具体涉及一种多源异构数据的处理方法。一种多源异构数据的处理方法，包括以下步骤：(1)、数据提取；(2)、构造SQL语句数据筛选；(3)、通过流程，节点操作实现数据生成；(4)、根据需求将数据推送到客户端；(5)、根据用户需要对数据进行融合后，将融合后的数据呈现在显示设备上。本发明公开了一种多源异构数据的处理方法，其具有以下有益效果：1、数据处理效率高；2、数据过程可视化；3、多源异构数据无缝接入，系统可对不同格式、不同结构的数据进行同步处理。
【IPC分类】G06F17/30
【公开号】CN104899301
【申请号】CN201510316367
【发明人】高志亮, 高倩, 孙少波, 晁会霞, 常象宇, 崔维庚, 孙阳, 梁宝娟
【申请人】西安数源软件有限公司
【公开日】2015年9月9日
【申请日】2015年6月10日