专利名称：网络优化系统中的网管数据同步方法及网管数据同步系统的制作方法
技术领域：
本发明涉及网络优化系统中数据同步的方法，尤其涉及一种网络优化系统中对网管系统数据同步的方法。
背景技术：
在通信系统网络中，网络优化涉及到配置优化和性能优化两个方面。
配置优化主要是调整网络中各种类型的网元设备和重要参数的设置情况；性能优化主要是对已经产生的话务数据进行统计分析，然后根据结果来对通信系统网络进行配置优化，从而提高网络性能。
随着网优系统在通信网络系统中的地位越来越重要，愈来愈不可缺少，加上网管系统的独立性，网管数据与网优数据的不同步情况必将越来越普遍，因此网管系统与网优系统之间的数据同步是我们不可避免的问题。
在现有的网优系统中，与网管数据同步的第一种方法是操作维护人员在网管系统上运行一个小工具，将网管数据导出成文件，将文件通过FTP的方式传到网优系统，然后在网优系统从文件中导入网管数据。这种方式的缺点是每个网管服务器上需配置一套，增加了网管操作维护人员的工作量；数据同步的实时性差，需要人为的操作干预；中间处理流程复杂，需要多个程序间的配合，出错的概率大大的增加，且出现问题不容易查找；当网管数据库出现变动，网优系统的导入程序需要做较多修改；网管系统中出现不符合网优系统要求的数据时，造成采集的异常或停止。
第二种方法是依赖于网管数据库系统提供的同步复制功能。数据库管理系统作为管理者的一部分，使用者需要对其进行相应的同步功能配置，同步复制模块会根据使用者的配置完成数据的自动同步功能。但使用这种同步方法存在以下的问题若要数据库系统同步功能软件模块的支持，需要向国外厂商进行购买，不是属于标准配置；网管数据库与网优数据库不是完全一致，通常网管数据同步到网优系统中需要进行预处理；数据库系统同步功能不适用于异构数据库即网优和网管采用不同数据库；可靠性差，完全依赖于数据库提供的同步复制的可靠性，不利于问题出现时跟踪定位。
发明内容
本发明的目的是提供一种网络优化系统中的网管数据同步方法及网管数据同步系统，解决需要人为操作干预、可靠性差、兼容性差、问题跟踪困难等一系列问题，实现简单有效、易于升级的网管数据同步。
为了实现上述目的，本发明提供了一种网络优化系统中的网管数据同步系统，用于通信系统，包括采集数据的元数据设置及保存模块，用于设置并保存采集数据的元数据，所述元数据以配置的方式保存，独立于数据源系统；数据采集模块，用于通过元数据建立数据采集的通信连接，并组织数据查询请求执行数据采集，同时还用于将数据源返回的查询数据保存到临时存储区；数据过滤及保存模块，用于对临时存储区的数据进行清洗、过滤后保存。
上述的网络优化系统中的网管数据同步系统，所述数据过滤及保存模块还用于将清洗、过滤过程中出现的特例数据进行保存。
上述的网络优化系统中的网管数据同步系统，还包括一数据补采模块，用于对差异数据所在的范围的数据进行再次同步采集。
为了更好的实现上述目的，本发明还提供了一种网络优化系统中的网管数据同步方法，用于通信系统，包括采集数据的元数据设置及保存步骤，设置并保存采集数据的元数据，所述元数据以配置的方式保存，独立于数据源系统；数据采集步骤，通过元数据建立数据采集的通信连接，并组织数据查询请求执行数据采集，同时还用于将数据源返回的查询数据保存到临时存储区；数据过滤及保存步骤，对临时存储区的数据进行清洗、过滤后保存。
上述的网络优化系统中的网管数据同步方法，其中，所述数据过滤及保存步骤中，还将清洗、过滤过程中出现的特例数据进行保存。
上述的网络优化系统中的网管数据同步方法，其中，还包括一数据补采步骤，根据差异数据所在的范围的数据进行再次同步采集。
上述的网络优化系统中的网管数据同步方法，其中，所述元数据包括数据源地址、用户名、密码、数据内容、数据项、数据格式及时间段信息，所述数据采集步骤中，通过元数据中的数据源地址、用户名、密码建立数据采集的通信连接，通行连接建立成功后，通过数据内容、数据项、数据格式、时间段信息组织数据查询请求。
上述的网络优化系统中的网管数据同步方法，其中，所述数据过滤及保存步骤中，完成数据的清洗和过滤，并将特例数据从临时存储区中剔除，然后将临时存储区中的数据导入到正式数据区中，再将数据从正式数据区通过数据转换服务导到数据仓库中。
本发明的网络优化系统中的网管数据同步方法及网管数据同步系统中由于元数据独立于数据源系统，因此既支持网管和网优采用相同的数据库，又支持网管和网优采用不同数据库，而且设置了定时采集，不需人为的干预，同时数据补采对差异数据所在的范围的数据进行再次同步采集，保证了数据的完整性。
图1是本发明的自动调度模块的处理流程示意图；图2为本发明的数据采集步骤的详细流程图。
具体实施例方式
本发明的网络优化系统中的网管数据同步方法，用于通信系统，包括下列步骤采集数据的元数据设置及保存步骤，设置并保存采集数据的元数据，该元数据可以灵活设置，数据采集所需要的元数据包括数据源地址、用户名、密码、数据内容、数据项、数据格式等元数据都以配置的方式保存，不需要定义采集数据的传输格式，也不需要定义数据传输协议，并且独立于数据源系统，当数据源系统出现变动时，只需要修改采集数据的元数据，就可以兼容新的数据源系统，对系统的变更影响降到最低；数据采集步骤，通过元数据中的数据源地址、用户名、密码建立数据采集的通信连接，通行连接建立成功后，通过数据内容、数据项、数据格式、时间段信息组织数据查询请求，如果有符合要求的数据，则将数据源返回的查询数据保存到临时存储区。如果元数据中有不止一个的数据源，则此过程将执行多次；数据过滤及保存步骤，对采集到放在临时存储区的数据要进行清洗和过滤，数据的清洗过程是通过业务处理规则对数据进行必要的转化，以符合数据以后处理的要求，数据的过滤是对数据清洗以后的数据进行数据合理性判断，以识别出不合法数据。在清洗和过滤过程中，要将出现的特例数据(此类数据一般由于数据源系统变更或未知情况的出现引起)进行保存，这可以保证每次数据同步的成功率，并且异常数据不会影响系统的正常运行，方便系统日后完善和异常情况的定位，也便于这些异常数据在特殊处理后重新使用，保证了采集数据的完整性；数据补采步骤，根据成功采集记录和采集内容来判断是不是存在没有采集成功的数据，然后对没有采集成功的数据进行重新采集，保证数据采集的完整性，同时也提高采集的效率。
本发明的网络优化系统中的网管数据同步系统，用于通信系统，包括采集数据的元数据设置及保存模块，用于设置并保存采集数据的元数据，该元数据可以灵活设置，数据采集所需要的数据源、用户名、密码、数据格式、数据项、数据内容等元数据都以配置的方式保存，不需要定义采集数据的传输格式，也不需要定义数据传输协议，并且独立于数据源系统，当数据源系统出现变动时，只需要修改采集数据的元数据，就可以兼容新的数据源系统，对系统的变更影响降到最低；数据采集模块，用于通过元数据中的数据源地址、用户名、密码建立数据采集的通信连接，通行连接建立成功后，通过数据内容、数据项、数据格式、时间段信息组织数据查询请求，如果有符合要求的数据，则将数据源返回的查询数据保存到临时存储区，如果元数据中有不止一个的数据源，则此过程将执行多次；当通信连接出现问题时，能够及时做出处理，不会影响下一次的查询请求的处理，数据采集模块中有一个自动调度模块，用于根据采集数据的元数据进行数据采集动作；数据过滤及保存模块，用于对采集到的数据进行清洗、过滤后保存，在数据同步出现特例数据(此类数据一般由于数据源系统变更或未知情况的出现引起)时，保证每次数据同步的成功率，并且异常数据不会影响系统的正常运行，数据过滤及保存模块还用于保存异常数据，方便系统日后完善和异常情况的定位，也便于这些异常数据在特殊处理后重新使用，保证了采集数据的完整性；数据补采模块，在实际使用中，由于各种使用环境中出现的变化或问题，一定会出现已同步数据比数据源的数据少的情况，对于这部分缺少的数据，即差异数据，数据补采模块通过对数据的采集时间、数据关键字、采集成功的数据集和数据源数据在规定的一段时间内的数据集，得到差异数据所在的范围，并由本模块针对这些范围段内的数据进行再次同步，保证数据采集的完整性，同时也提高采集的效率。
下面以PHS网优系统为例对本发明进行进一步的详细介绍。
系统初始化时，采集数据的元数据设置及保存模块会将对用户设置的对应数据源版本的采集数据的元数据如数据源地址、用户名、密码、数据库类型进行检查，如检查通过则保存。
图1是本系统的自动调度模块的处理流程示意图。HasReTransfered初始化为false，当采集成功后将其置为true，每天0点置false，可以防止重复采集，包括如下步骤步骤11，判断是否是新的一天，如是则将HasReTransfered(采集标志符)设置为false，如否，则直接进入步骤12；步骤12，判断是否到了调度时间点，如是，则进入步骤13，如否，返回步骤11；步骤13，到达采集时间点，数据采集模块将采集数据的元数据组织成一个数据包加入到任务队列中，数据采集模块顺序被执行数据采集任务，数据采集模块首先根据采集数据的元数据中的数据源地址、用户名、密码建立数据采集的通信连接，然后通过采集数据的元数据中的数据内容、数据项、数据格式、时间段信息组织数据查询请求，将所有采集到的数据都放到临时存储区，由数据过滤及保存模块完成数据的清洗和过滤，并将特例数据从临时存储区中剔除，然后将临时存储区中的数据导入到正式数据区中，再将数据从正式数据区通过DTS(Data Transformation Services，数据转换服务)导到数据仓库中步骤14，判断运行成功的作业是否为补采作业，如是，则进入步骤15，如否，返回步骤11；步骤15，设置HasReTransfered为true，保证数据补采动作只会执行一次，并返回步骤11。
图2为本发明的数据采集步骤的详细流程图，包括如下步骤步骤21，得到采集数据的元数据；步骤22，根据元数据中的数据源地址、用户名、密码建立数据采集的通信连接；步骤23，判断连接是否建立，如果成功进入步骤24，则记录日志(建立数据库连接失败)后结束；步骤24，系统首先判断是否需要将采集时间段进行分拆，如果需要，则根据采集数据的元数据得到分拆粒度，将采集时间分成多个时间段，并算出每个时间段的开始和结束时间，进入步骤25，否则直接进入步骤25；步骤25，根据每个时间段的开始结束时间和元数据中的数据内容、数据项、数据格式组织数据查询请求，并得到记录集；步骤26，根据文件命名规范生成文件名；步骤27，记录日志，开始生成文件；步骤28，判断记录集是否打开成功、记录集是否为空、记录表数据保存为XML文件是否成功，当记录集打开成功，记录集不为空，且记录表数据保存为XML文件成功则进入步骤29，其他情况均记录日志，标明情况后结束流程；步骤29，记录日志，生成文件完毕，结束流程。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
权利要求
1.一种网络优化系统中的网管数据同步系统，用于通信系统，其特征在于，包括采集数据的元数据设置及保存模块，用于设置并保存采集数据的元数据，所述元数据以配置的方式保存，独立于数据源系统；数据采集模块，用于通过元数据建立数据采集的通信连接，并组织数据查向请求执行数据采集，同时还用于将数据源返回的查询数据保存到临时存储区；数据过滤及保存模块，用于对临时存储区的数据进行清洗、过滤后保存。
2.根据权利要求1所述的网络优化系统中的网管数据同步系统，其特征在于，所述数据过滤及保存模块还用于将清洗、过滤过程中出现的特例数据进行保存。
3.根据权利要求2所述的网络优化系统中的网管数据同步系统，其特征在于，还包括一数据补采模块，用于对同步数据中差异数据所在的范围的数据进行再次同步采集。
4.根据权利要求1、2或3所述的网络优化系统中的网管数据同步系统，其特征在于，所述元数据包括数据源地址、用户名、密码、数据内容、数据项、数据格式及时间段信息，所述数据采集模块通过元数据中的数据源地址、用户名、密码建立数据采集的通信连接，通行连接建立成功后，通过数据内容、数据项、数据格式、时间段信息组织数据查询请求。
5.一种网络优化系统中的网管数据同步方法，用于通信系统，其特征在于，包括采集数据的元数据设置及保存步骤，设置并保存采集数据的元数据，所述元数据以配置的方式保存，独立于数据源系统；数据采集步骤，通过元数据建立数据采集的通信连接，并组织数据查询请求执行数据采集，同时还用于将数据源返回的查询数据保存到临时存储区；数据过滤及保存步骤，对临时存储区的数据进行清洗、过滤后保存。
6.根据权利要求5所述的网络优化系统中的网管数据同步方法，其特征在于，所述数据过滤及保存步骤中，还将清洗、过滤过程中出现的特例数据进行保存。
7.根据权利要求6所述的网络优化系统中的网管数据同步方法，其特征在于，还包括一数据补采步骤，对同步数据中差异数据所在的范围的数据进行再次同步采集。
8.根据权利要求5、6或7所述的网络优化系统中的网管数据同步方法，其特征在于，所述元数据包括数据源地址、用户名、密码、数据内容、数据项、数据格式及时间段信息，所述数据采集步骤中，通过元数据中的数据源地址、用户名、密码建立数据采集的通信连接，通行连接建立成功后，通过数据内容、数据项、数据格式、时间段信息组织数据查询请求。
9.根据权利要求8所述的网络优化系统中的网管数据同步方法，其特征在于，在指定的时间点，设置采集标志符为True，并执行数据采集步骤数据采集，所述采集标志符在另一指定时间设置为False，所述数据采集完成后置采集标志符为True。
10.根据权利要求5、6、7或9所述的网络优化系统中的网管数据同步方法，其特征在于，所述数据过滤及保存步骤中，完成数据的清洗和过滤，并将特例数据从临时存储区中剔除，然后将临时存储区中的数据导入到正式数据区中，再将数据从正式数据区通过数据转换服务导到数据仓库中。
11.根据权利要求5、6、7或9所述的网络优化系统中的网管数据同步方法，其特征在于，所述数据采集步骤具体包括如下步骤步骤21，得到采集数据的元数据；步骤22，根据元数据中的数据源地址、用户名、密码建立数据采集的通信连接；步骤23，判断连接是否建立，如果成功进入步骤24，则记录建立数据库连接失败日志后结束；步骤24，判断是否需要将采集时间段进行分拆，如果需要，则根据采集数据的元数据得到分拆粒度，将采集时间分成多个时间段，并算出每个时间段的开始和结束时间，进入步骤25，否则直接进入步骤25；步骤25，根据每个时间段的开始结束时间和元数据中的数据内容、数据项、数据格式组织数据查询请求，并得到记录集；步骤26，根据文件命名规范生成文件名；步骤27，记录日志，开始生成文件；步骤28，判断记录集是否打开成功、记录集是否为空、记录表数据保存为XML文件是否成功，当记录集打开成功，记录集不为空，且记录表数据保存为XML文件成功则进入步骤29，其他情况均记录失败日志后结束流程；步骤29，记录日志，生成文件完毕，结束流程。
全文摘要
本发明公开了一种网络优化系统中的网管数据同步方法及网管数据同步系统，其中该系统包括采集数据的元数据设置及保存模块，用于设置并保存采集数据的元数据，元数据以配置的方式保存，独立于数据源系统；数据采集模块，用于通过元数据建立数据采集的通信连接，并组织数据查询请求执行数据采集，同时还用于将数据源返回的查询数据保存到临时存储区；数据过滤及保存模块，用于对临时存储区的数据进行清洗、过滤后保存。本发明由于元数据独立于数据源系统，因此同时支持网管和网优数据库相同或不同的情况，而且设置了定时采集，不需人为的干预，同时数据补采对差异数据所在的范围的数据进行再次同步采集，保证了数据的完整性。
文档编号G06F17/30GK1983952SQ20051013060
公开日2007年6月20日 申请日期2005年12月14日 优先权日2005年12月14日
发明者胡鹏, 刘兵 申请人:中兴通讯股份有限公司