专利名称：无源数据库的制作方法
技术领域：
本发明涉及一种存取和检索的方法，具体地是指一种新的数据库架构技术和实现方法。
背景技术：
随着目前计算机和网络信息技术的迅猛发展，现有的办公和生活中已经越来越离不开对于计算机和网络的使用，各种大量的信息和数据通过网络或是单机运行，实现了数据的共享和远程传输。
传统的数据库主要是面向查询或数据仓库的，包括有层次、网状和关系数据库等数据管理方法，虽然可在一定程度上解决数据存取和检索的问题，但是建立并应用这类商用的数据库仍存在一定的缺陷，为了实现存储和查询海量的数据，需要配置大量的存储设备，而且，随着数据量增大到一定程度，将导致数据查询性能的严重下降，无法满足实时响应、快速存取和检索的要求，因此，在对数据库中的数据进行管理的同时，还需要针对数据进行有效地分类存取以及借助高效的检索方法和软件。
发明内容
本发明的目的在于提出了一种新的网络数据库系统架构技术，为无源数据库(Unsource Database，简称UDB)，将描述数据与原始数据相分离，并建立多级数据存储和查询机制，有效提高了数据的存储和查询效率，适用于需要以较低成本实现对海量数据进行管理的场合。
本发明无源数据库，包括数据采集模块、数据库集群以及查询接口，数据库集群中包括若干个数据库，数据采集模块和查询接口与若干个数据库分别链接，通过数据库集群分类存放经由数据采集模块收集的各类数据，通过查询接口向数据库集群提取数据信息。
其中，数据采集模块设置有数据采集配置数据库、FTP/HTTP客户端以及本地采集文件缓存，各种业务系统通过FTP/HTTP客户端与数据采集模块链接，数据采集配置数据库和本地采集文件缓存中的数据由客户端经过用户数据过滤后再压缩输出至各个数据库进行分类地保存。
数据库集群包括若干个数据库、数据入库接口、滑动查询窗口以及索引数据库，通过数据入库接口实现数据采集模块与各数据库之间的链接，数据采集模块的分类数据资料通过数据入库接口存放于各数据库中，索引数据库内保存无源数据库UDB的常用的查询描述数据，索引数据库通过滑动查询窗口向数据库提取数据资料。
数据查询接口包括查询分析器和数据查询模块，查询分析器分别与索引数据库和门户网站portal链接，查询分析器通过门户网站portal接受数据查询请求，然后预先定位数据所归属的数据库的统一资源定位器(URL)。
数据查询模块(UniReader)包括任务分发器、分布搜索引擎以及各子数据库，其中，任务分发器将待查询的若干子任务通知给各分布搜索引擎，分布搜索引擎与各子数据库链接，进行数据搜索，将结果返回给任务分发器。
所述子数据库可以通过普通关系数据库、文件数据库和脱机数据库中任选一种或多种存储方式进行存储。
与现有技术相比，在本发明无源数据库的优点如下(1)UDB系统采用实时采集技术，解决了对海量数据的采集和分析存储难题，成为集中管理海量LOG记录的基础；(2)灵活的原始数据适配方案，便于增加新的数据管理需求，同时并不需要额外的开发工作，从而减小了系统维护、升级的成本；(3)实用的线性查询速度，不因数据量增加而改变查询时间，解决传统数据库因为数据量增大而查询性能严重降低的问题，在海量数据的情况下，可以以较低的成本和恒定的速度完成数据的查询操作。
(4)UDB系统根据运维工作的特点，实现了″一点查询、全程服务″的功能。
为使本发明更加容易理解，下面将结合附图进一步阐述本发明无源数据库的具体实施例。
图1是本发明无源数据库的系统总体结构示意图；图2是本发明无源数据库的数据采集模块结构示意图；图3是本发明无源数据库的数据集群结构示意图；图4是本发明无源数据库的数据查询接口；图5是本发明无源数据库的数据查询模块结构示意图。
具体实施例方式
下面结合说明书附图来进一步说明本发明的具体实施方式
。
本发明无源数据库(Unsource Database，简称UDB)可以跨平台的支持多种系统，包括Windows、UNIX、Solaris、Linux(Redhat，Fedora，FreeBSD)、HPUX、IBM AIX等。应用软件为UDB系统软件。
以下对该无源数据库的系统结构作进一步描述。
参照图1所示，本发明无源数据库包括数据采集模块1、数据库集群2以及查询接口3，数据库集群2中包括若干个数据库20，数据采集模块1和查询接口3与若干个数据库20分别链接，通过数据库集群2分类存放经由数据采集模块1收集的各类数据，通过查询接口3向数据库集群2提取所要的数据信息。
参照图2所示，其中，数据采集模块1与短消息数据库(MMS Log)，网络数据库(WAP Log)，KJava Log等等各种业务系统相链接，对各种原始文件进行采集和整理，由于各种业务系统的数据是分散存放的，因此需要分别制定采集算法和登录参数，并实现集中采集的功能。参照图2所示，数据采集模块1设置有数据采集配置数据库10、FTP/HTTP客户端12、本地采集文件缓存14以及数据过滤模块16，各种业务系统通过FTP/HTTP客户端12与数据采集模块1链接，该FTP/HTTP客户端12将采集的各种数据资料通过设定的采集算法分配至指定的数据采集配置数据库10和本地采集文件缓存14进行保存，并保持库存资源与客户端之间的数据互通。数据采集配置数据库10和本地采集文件缓存14中的数据由客户端经过数据过滤模块16对数据进行过滤后再压缩输出至各个数据库20进行分类地保存。
参照图3所示，数据库集群2包括若干个数据库20、数据入库接口21、滑动查询窗口22以及索引数据库23，通过数据入库接口21实现数据采集模块1与各数据库20之间的链接，数据采集模块1的分类数据资料通过数据入库接口21存放于各数据库20中，索引数据库23内保存无源数据库UDB的常用的查询描述数据，索引数据库23通过滑动查询窗口22向数据库20提取数据资料，取得基础数据查询和海量数据保存的两个需求的均衡。
参照图4所示，数据查询接口3包括功能模块查询分析器30和数据查询模块(UniReader)32，查询分析器30分别与索引数据库23和门户网站portal链接，查询分析器30通过门户网站portal接受数据查询请求，然后预先定位数据所归属的数据库的统一资源定位器(URL，Uniform Resource Locator)，通过集中配置的索引数据库23查询所需数据库的URL以及具体数据库的查询方案。
参照图5所示，数据查询模块(UniReader)32的功能模块包括任务分发器320、分布搜索引擎322以及各子数据库324，其中，任务分发器320将每个查询任务根据总体存储策略计算出需要多个子系统324协同工作的若干子任务，并通知给各分布搜索引擎322；分布搜索引擎322在指定端口侦听搜索任务，并转换成本地查询方案，通过本地查询方案进行数据搜索，将结果返回给任务分发器320；子数据库324可以根据平台的特性以多种方式存储数据，包括普通关系数据库、文件数据库、脱机数据库如磁带以及其他补充的存储方案如目录服务。数据查询模块32的任务分发器320需要接收从查询分析器30所查找到的子数据库324的URL，通知驻留在各个子数据库主机上的分布搜索引擎322所需查找的查询条件；分布搜索引擎322收到通知后，将通过子数据库324查找所需数据，并将查找结果返回数据查询模块32。
首先，查询索引数据库23，搜索常用的查询描述数据，然后将查询结果返回给数据查询模块32，由数据查询模块32的任务分发器320对待查询任务进行分解，然后通过分布搜索引擎322对各子数据库324进行索引，实现对数据库群的统一查询，并向查询分析器30返回查询结果，然后门户网站portal再将查询结果进行归一化，并返回给查询用户。
以上所揭露的仅为本发明无源数据库的较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明申请专利范围所作的等同变化，仍属本发明所涵盖的范围。
权利要求
1.无源数据库，其特征在于包括数据采集模块、数据库集群以及查询接口，数据库集群中包括若干个数据库，数据采集模块和查询接口与若干个数据库分别链接，通过数据库集群分类存放经由数据采集模块收集的各类数据，通过查询接口向数据库集群提取数据信息。
2.如权利要求1所述的无源数据库，其特征在于数据采集模块设置有数据采集配置数据库、FTP/HTTP客户端以及本地采集文件缓存，各种业务系统通过FTP/HTTP客户端与数据采集模块链接，数据采集配置数据库和本地采集文件缓存中的数据由客户端经过用户数据过滤后再压缩输出至各个数据库进行分类地保存。
3.如权利要求1所述的无源数据库，其特征在于数据库集群包括若干个数据库、数据入库接口、滑动查询窗口以及索引数据库，通过数据入库接口实现数据采集模块与各数据库之间的链接，数据采集模块的分类数据资料通过数据入库接口存放于各数据库中，索引数据库内保存无源数据库UDB的常用的查询描述数据，索引数据库通过滑动查询窗口向数据库提取数据资料。
4.如权利要求1所述的无源数据库，其特征在于数据查询接口包括查询分析器和数据查询模块，查询分析器分别与索引数据库和门户网站portal链接，查询分析器通过门户网站portal接受数据查询请求，然后预先定位数据所归属的数据库的统一资源定位器(URL)。
5.如权利要求4所述的无源数据库，其特征在于数据查询模块(UniReader)包括任务分发器、分布搜索引擎以及各子数据库，其中，任务分发器将待查询的若干子任务通知给各分布搜索引擎，分布搜索引擎与各子数据库链接，进行数据搜索，将结果返回给任务分发器。
6.如权利要求5所述的无源数据库，其特征在于所述子数据库可以通过普通关系数据库、文件数据库和脱机数据库中任选一种或多种存储方式进行存储。
全文摘要
本发明提供了无源数据库，包括数据采集模块、数据库集群以及查询接口，数据库集群中包括若干个数据库，数据采集模块和查询接口与若干个数据库分别链接，通过数据库集群分类存放经由数据采集模块收集的各类数据，通过查询接口向数据库集群提取数据信息。本发明无源数据库解决了对海量数据的采集和分析存储，以及因数据量增大而严重降低查询性能的问题，可以以较低的成本和恒定的速度完成数据的查询操作，从而减小了系统维护、升级的成本。
文档编号G06F17/30GK1845097SQ20061003533
公开日2006年10月11日 申请日期2006年4月30日 优先权日2006年4月30日
发明者舒波, 孙剑骏, 王峻, 陈东明, 黄昭文, 李志锋, 林茂, 邱岭, 郑浩彬, 范晓强, 侯韶宗 申请人:广东移动通信有限责任公司