专利名称：动态文件平衡性核查方法及装置的制作方法
技术领域：
本发明涉及业务支撑领域，具体涉及一种动态文件平衡性核查方法及装置。
背景技术：
在各个领域都有大量的文件处理，特别是在电信行业，海量的话单文件通过后台批处理系统，分拣有效数据，按业务逻辑处理数据，得到系统处理结果。在这类系统中，一个原始动态文件往往要经过多个流程处理，各个流程可能会将文件分拆、合并、排重、批价、合帐，最终将有效数据入数据库保存。如何保证在各个处理流程中原始话单文件数据不丢失， 不重复是系统监控要处理的问题。现有系统对文件处理的平衡性校验是对单个应用的输入和输出进行校验，即每个流程的输入和输出数量是平衡的。具体方案为每个流程输出处理日志，记录输入记录条数和输出记录条数，监控系统校验输出处理日志，判断输入记录条数和输出记录条数是否平衡。由此可见，现有技术虽然可以校验每个流程的输入和输出的平衡性，但对整个系统来说，没有办法校验各文件在各个处理流程的平衡性以及各文件在入系统和出系统的平衡性，导致难以彻底核查，核查的效率不高。
发明内容
本发明的第一目的是提出一种高效的动态文件平衡性核查方法。本发明的第二目的是提出一种高效的动态文件平衡性核查装置。为实现上述第一目的，本发明提供了一种动态文件平衡性核查方法，包括在每一文件处理流程的日志文件中均记载对应文件处理流程的各输入信息与所属原始动态文件的对应关系及各输出信息与所属原始动态文件的对应关系；根据各日志文件中的记载内容，核查各原始动态文件在各文件处理流程操作前后的信息平衡性。为实现上述第二目的，本发明提供了一种动态文件平衡性核查装置，包括处理模块，用于在每一文件处理流程的日志文件中均记载对应文件处理流程的各输入信息与所属原始动态文件的对应关系以及各输出信息与所属原始动态文件的对应关系；核查模块，用于根据各日志文件中的记载内容，核查各原始动态文件在各文件处理流程操作前后的信息平衡性。本发明各个实施例中，通过在每一文件处理流程的日志文件中均记载输入信息及输出信息与原始动态文件的对应关系，并根据这种对应关系实现对每个原始动态文件在各个处理流程的平衡性，且根据各个日志文件可以实现核查各个原始动态文件在实现各个处理流程的整个系统的平衡性，保证系统安全运行。
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一并用于解释本发明，并不构成对本发明的限制。在附图中图1为本发明的动态文件平衡性核查方法的实施例一流程图2为本发明的动态文件平衡性核查方法的实施例二示意图；图3为本发明的动态文件平衡性核查方法的实施例三流程图；图4为本发明的动态文件平衡性核查方法的实施例四流程图；图5为本发明的动态文件平衡性核查装置的实施例结构图。
具体实施例方式以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。方法实施例图1为本发明的动态文件平衡性核查方法的实施例一流程图。如图1所示，本实施例包括步骤S102 在每一文件处理流程的日志文件中均记载对应文件处理流程的各输入信息与所属原始动态文件的对应关系以及各输出信息与所属原始动态文件的对应关系； 详细参见图2的解释说明；步骤S104 根据各日志文件中的记载内容，核查各原始动态文件在各文件处理流程操作前后的信息平衡性；详细参见图2的解释说明。本实施例通过在每一文件处理流程的日志文件中均记载输入信息及输出信息与原始动态文件的对应关系，并根据这种对应关系实现对每个原始动态文件在各个处理流程的平衡性，且根据各个日志文件可以实现核查各个原始动态文件在实现各个处理流程的整个系统的平衡性，保证系统安全运行。图2为本发明的动态文件平衡性核查方法的实施例二示意图。本实施例以两个原始动态文件S1、S2为例进行解释说明，如图2所示原始动态文件S1、S2分别包含1000条、 800条数据记录，需要经过3个文件处理流程A、B及C ；具体如下首先，A流程处理分拣原始动态文件Sl的有效记录600条得到文件S1_A、分拣无效记录400条得到文件S1_B ；分拣原始动态文件S2的有效记录400条得到S2_A、分拣无效记录400条得到S2_B ；A流程的日志文件中记载了原始动态文件Sl及S2各自的信息的数量(即记录的条数)，还记载了文件S1_A及S1_B各自的记录的条数，以及文件S1_A及Sl_ B与文件Sl的对应关系，以及记载了文件S2_A及S2_B各自的记录的条数，以及文件S2_A 及S2_B与文件S2的对应关系；其次，B流程继续处理文件S1_A和S2_A，按类型分拣出4个文件S1_A1、S1_A2、 S2_A1、S2_A2 ；B流程的日志文件中记载了文件S1_A和S2_A各自的信息的数量(即记录的条数)，文件S1_A和S2_A分别与原始动态文件Sl及S2的对应关系，还记载了文件S1_A1 及S1_A2各自的记录的条数，以及文件S1_A1及S1_A2与文件S1_A的对应关系，以及记载了文件S2_A1及S2_A2各自的记录的条数，以及文件S2_A1及S2_A2与文件S2_A的对应关系(即输出的日志文件记录每个输出文件对应的原始动态文件名)；再次，C流程处理文件S1_A1、S1_A2、S2_A1、S2_A2，输出有效文件S_A和错误文件 S_B ；C流程的日志文件中记载了文件S1_A1、S1_A2、S2_A1、S2_A2各自的信息的数量(即记录的条数)，文件S1_A1、S1_A2与原始动态文件Sl的对应关系，以及文件S2_A1、S2_A2与原始动态文件S2的对应关系；还记载了文件S_A及S_B各自的记录的条数，以及文件S_A
5中每个记录与原始动态文件Sl及S2的对应关系，S_B中每个记录与原始动态文件Sl及S2 的对应关系(即日志文件记录每个文件中数据与原始动态文件的对应关系；最后，根据上述三个流程的工作日志，可以核查原始动态文件Sl及S2在各个处理流程前后的数据平衡性以及在实现上述三个流程的系统的输入输出平衡性，即A流程的输入及C流程输出的平衡性，其中核查数据的平衡性主要是看输入输出的数据量是否相等。本实施例通过在各个处理流程输出的日志文件中通过记录输入文件与原始动态文件的对应关系或者直接记录各输入信息与原始动态文件的对应关系，并根据这种对应关系实现对每个原始动态文件在各个处理流程的平衡性，且根据各个日志文件可以实现核查各个原始动态文件在实现各个处理流程的整个系统的平衡性，保证系统安全运行，避免了现有系统不能精确计算每一个文件的平衡性，对系统的安全运行带来的隐患。图3为本发明的动态文件平衡性核查方法的实施例三流程图。本实施例是基于图 2所示的实施例中产生的各日志文件而操作的流程。如图3所示，本实施例包括步骤301，将各处理流程的日志文件中的记载内容，生成各原始动态文件中的信息在各文件处理流程作为输入信息及输出信息的清单流信息，即实时处理各日志信息，将不同处理流程的日志文件中的同一原始动态文件信息合并成一条清单流信息，也就是说，每一原始动态文件的清单流信息为对应原始动态文件中的信息在各文件处理流程作为输入信息及输出信息的记录，生成清单流信息的工作方式可以为循环合并处理；具体操作时，可以每一条清单流信息以日志的形式记载；步骤302，将步骤301生成的清单流信息存入内存数据库步骤303，根据步骤301生成的或从内存数据库获取的清单流信息，核查各原始动态文件在各个处理流程的数据平衡性；对于核查各处理流程的平衡性的方法就是确定每个处理流程前后属于各个原始动态文件的记录条数是否相同，对于核查实现各处理流程的整个系统的平衡性的方法(即核查规则)就是确定原始动态文件的记录条数与各个处理流程未转入下一处理流程的记录条数的总和是否相等，即输入系统数量=Σ各落地点记录数量，其中落地点记录数量即为每个流程未转入下一流程的记录数量，对于最后一个处理流程，其为该流程总的输出记录量；核查结果为平衡的信息转入步骤305进行平衡展现，不平衡的信息转入步骤304进行重做处理，本领域技术人员可以理解，也可将不平衡的信息在转入重做处理时进行步骤305的平衡清单流的展现或/和不平衡清单流的展现；步骤304，将因各处理流程的日志信息不完整导致的不平衡的清单流信息转入步骤301重新核查，其中，各处理流程的日志信息不完整可能是由于各处理流程在某个时间段未完成处理操作导致日志内的信息不完整，故一般在各处理流程操作完成之后对各原始动态文件在各处理流程的平衡性进行核查；具体操作时，可以根据核查规则及合并后的清单流信息，可以得到造成不平衡清单流的节点信息(即实现导致不平衡的处理流程的节点)，在该节点的输入路径下查询该节点日志文件中所涉及的输入文件名，如果在输入路径下查到相应的文件信息，则可判断导致不平衡的原因是该流程的日志文件中的信息不完整造成的；步骤305，利用现有的信息展现技术，如利用超文本传输协议(Hyper textTransfer Protocol, HTTP)技术等实现在显示屏上直观的显示平衡清单流的展现或/ 和不平衡清单流。
本实施例通过将各个流程日志综合处理得到清单流信息，实现了根据该清单流信息完成对原始动态文件从入系统到各个流程的处理以及最终输出系统的整个过程中的平衡性关系的核查，避免了根据多个日志文件核查原始动态文件在入系统及出系统的平衡性的不便。图4为本发明的动态文件平衡性核查方法的实施例四流程图。本实施例是从各个日志文件的角度来描述，如可以根据待平衡的清单流信息、已平衡的清单流信息、不平衡的清单流信息分别生成待平衡的日志、平衡日志、不平衡日志，还可以根据进行重做处理的不平衡的清单流信息生成待回收日志。如图4所示，本实施例包括步骤401，动态文件平衡性核查装置(详见图5的解释说明，简称为核查装置)获取各处理流程的日志文件；步骤402，向实现各处理流程的系统查询各处理流程的执行次序关系及核查规则， 对于整个系统而言，该核查规则为输入系统数量=Σ各落地点记录数量，对于各个核查流程而言，该核查规则为该流程的输入记录数量=该流程的输出记录数量；步骤403，系统返回各处理流程的执行次序关系及核查规则；步骤404，根据各处理流程之间的次序关系、核查规则及各处理流程的日志文件的记载内容，得到每一原始动态文件经过各处理流程处理的清单流信息，并生成承载该清单流信息的日志，即待平衡日志，本领域技术人员可以理解，具体操作时，可以根据步骤402 获取的各处理流程的执行次序关系生成清单流，也可以直接根据记载了输入文件名及输出文件名的各处理流程的日志文件生成清单流；步骤405，将所有的待平衡日志存入数据库中；步骤406，根据每一个待平衡日志中的清单流信息，核查每个原始动态文件在各处理流程前后的平衡性等；步骤407，将确认为平衡的待平衡日志记为平衡日志，所有的平衡日志可以记载在平衡日志表中； 步骤408，将确认为不平衡的待平衡日志记为不平衡日志，所有的不平衡日志可以记载在不平衡日志表中；步骤409，判断在不平衡日志中是否有因各处理流程的日志文件中的信息不全而导致不平衡的日志，若有，则执行步骤410 ；步骤410，将不平衡日志中因各处理流程的日志文件中的信息不全而导致不平衡的日志作为待回收日志；步骤411，将待回收日志加入待平衡日志进行重新核查。本实施例通过在各个处理流程输出的日志文件中通过记录输入文件与原始动态文件的对应关系或者直接记录各输入信息与原始动态文件的对应关系，并根据这种对应关系实现对每个原始动态文件在各个处理流程的平衡性；此外，通过将各个流程日志综合处理得到清单流信息，实现了根据该清单流信息完成对原始动态文件从入系统到各个流程的处理以及最终输出系统的整个过程中的平衡性关系的核查，避免了根据多个日志文件核查原始动态文件在入系统及出系统的平衡性的不便。装置实施例图5为本发明的动态文件平衡性核查装置的实施例结构图。图1-4所示的各方法实施例均可适用于本实施例。本实施例包括处理模块52，用于在每一文件处理流程的日志文件中均记载对应文件处理流程的各输入信息与所属原始动态文件的对应关系以及各输出信息与所属原始动态文件的对应关系；核查模块M，用于根据各日志文件中的记载内容，核查各原始动态文件在各文件处理流程操作前后的信息平衡性。具体操作时，该装置还可以包括展现模块56，用于利用HTTP在显示屏上直观的显示各原始动态文件中的信息在各处理流程用作输入信息及输出信息的图示。具体操作时，该核查模块M可以包括生成子模块M2，用于根据各日志文件中的记载内容，生成各原始动态文件中的信息在每一文件处理流程作为输入信息及输出信息的清单流信息；核查子模块M4，用于根据各原始动态文件的清单流信息，核查各原始动态文件在各文件处理流程操作前后的信息平衡性；具体操作时，该核查子模块544还可以包括核查子单元讨如，用于根据各原始动态文件的清单流信息，在预设核查时间阈值内核查各原始动态文件在各文件处理流程操作前后的信息平衡性；判断子单元M4b，用于根据预设超时原因，将超过预设核查时间阈值时未被核查的各原始动态文件分为不平衡文件及待平衡文件；重核子单元Mk，用于对待平衡文件重新核查。处理模块52可以包括第一处理子模块522，用于在文件拆分处理流程的日志文件中，记载各输入文件所属的原始动态文件及各输出文件所属的原始动态文件；第二处理子模块524，用于在文件重组处理流程的日志文件中，直接记载各输入信息与所属原始动态文件的对应关系以及各输出信息与所属原始动态文件的对应关系，文件拆分流程及文件重组处理流程均属于文件处理流程。本实施通过处理模块52在各个处理流程输出的日志文件中通过记录输入文件与原始动态文件的对应关系或者直接记录各输入信息与原始动态文件的对应关系，并通过核查模块M根据这种对应关系实现对每个原始动态文件在各个处理流程的平衡性；此外，通过生成子模块542将各个流程日志综合处理得到清单流信息，实现了核查子模块544根据该清单流信息完成对原始动态文件从入系统到各个流程的处理以及最终输出系统的整个过程中的平衡性关系的核查，避免了根据多个日志文件核查原始动态文件在入系统及出系统的平衡性的不便。最后应说明的是以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
8
权利要求
1.一种动态文件平衡性核查方法，其特征在于，包括在每一文件处理流程的日志文件中均记载对应文件处理流程的各输入信息与所属原始动态文件的对应关系及各输出信息与所属原始动态文件的对应关系；根据各日志文件中的记载内容，核查各原始动态文件在各文件处理流程操作前后的信息平衡性。
2.根据权利要求1所述的动态文件平衡性核查方法，其特征在于，根据各日志文件中的记载内容，核查各原始动态文件在各文件处理流程操作前后的信息平衡性的步骤包括根据所述各日志文件中的记载内容，生成各原始动态文件的清单流信息，其中，每一原始动态文件的清单流信息为对应原始动态文件中的信息在各文件处理流程作为输入信息及输出信息的记录；根据所述各原始动态文件的清单流信息，核查各原始动态文件在各文件处理流程操作前后的信息平衡性。
3.根据权利要求2所述的动态文件平衡性核查方法，其特征在于，所述在每一文件处理流程的日志文件中均记载对应文件处理流程的各输入信息与所属原始动态文件的对应关系及各输出信息与所属原始动态文件的对应关系的步骤包括在文件拆分处理流程的日志文件中，记载各输入文件所属的原始动态文件及各输出文件所属的原始动态文件；在文件重组处理流程的日志文件中，直接记载各输入信息与所属原始动态文件的对应关系及各输出信息与所属原始动态文件的对应关系，所述文件拆分流程及文件重组处理流程均属于所述文件处理流程。
4.根据上述权利要求2或3所述的动态文件平衡性核查方法，其特征在于，所述根据所述各原始动态文件的清单流信息，核查各原始动态文件在各文件处理流程操作前后的信息平衡性的步骤之后还包括根据每一个核查结果为不平衡的原始动态文件对应的清单流信息生成不平衡日志；判断所述不平衡日志的不平衡原因是否为所述各处理流程的日志文件的信息不完整； 并在判定原因为所述各处理流程的日志文件的信息不完整时对所述不平衡日志进行重新核查操作。
5.根据上述权利要求1-3中任一项所述的动态文件平衡性核查方法，其特征在于，还包括利用HTTP在显示屏上直观的显示所述各原始动态文件的信息在所述各处理流程作为输入信息及输出信息的图示。
6.一种动态文件平衡性核查装置，其特征在于，包括处理模块，用于在每一文件处理流程的日志文件中均记载对应文件处理流程的各输入信息与所属原始动态文件的对应关系以及各输出信息与所属原始动态文件的对应关系；核查模块，用于根据各日志文件中的记载内容，核查各原始动态文件在各文件处理流程操作前后的信息平衡性。
7.根据权利要求6所述的动态文件平衡性核查装置，其特征在于，所述核查模块包括生成子模块，用于根据所述各日志文件中的记载内容，生成各原始动态文件的清单流信息，其中，每一原始动态文件的清单流信息为对应原始动态文件中的信息在各文件处理流程作为输入信息及输出信息的记录；核查子模块，用于根据所述各原始动态文件的清单流信息，核查各原始动态文件在各文件处理流程操作前后的信息平衡性。
8.根据权利要求7所述的动态文件平衡性核查装置，其特征在于，所述处理模块包括 第一处理子模块，用于在文件拆分处理流程的日志文件中，记载各输入文件所属的原始动态文件及各输出文件所属的原始动态文件；第二处理子模块，用于在文件重组处理流程的日志文件中，直接记载各输入信息与所属原始动态文件的对应关系以及各输出信息与所属原始动态文件的对应关系，所述文件拆分流程及文件重组处理流程均属于所述文件处理流程。
9.根据上述权利要求7或8所述的动态文件平衡性核查装置，其特征在于，所述核查子模块包括核查子单元，用于根据所述各原始动态文件的清单流信息，核查所述各原始动态文件中至少一个原始动态文件在各文件处理流程操作前后的信息平衡性；判断子单元，用于根据每一个核查结果为不平衡的原始动态文件对应的清单流信息生成不平衡日志；判断所述不平衡日志的不平衡原因是否为所述各处理流程的日志文件的信息不完整；重核子单元，用于在所述判断子单元判定原因为所述各处理流程的日志文件的信息不完整时对所述不平衡日志进行重新核查操作。
10.根据上述权利要求6-8中任一项所述的动态文件平衡性核查系统，其特征在于，还包括展现模块，用于利用HTTP在显示屏上直观的显示所述各原始动态文件的信息在所述各处理流程作为输入信息及输出信息的图示。
全文摘要
本发明提供了一种动态文件平衡性核查方法及装置，其中，该方法包括在每一文件处理流程的日志文件中均记载对应文件处理流程的各输入信息与所属原始动态文件的对应关系及各输出信息与所属原始动态文件的对应关系；根据各日志文件中的记载内容，核查各原始动态文件在各文件处理流程操作前后的信息平衡性。本发明实现对每个原始动态文件在各个处理流程的平衡性，且实现各个处理流程的整个系统的平衡性，保证系统安全运行。
文档编号G06F17/30GK102486795SQ20101058204
公开日2012年6月6日 申请日期2010年12月3日 优先权日2010年12月3日
发明者弋鹏翔, 申民, 马瑞瑾 申请人:中国移动通信集团陕西有限公司