文件采集方法及装置与流程

本发明涉及通信技术领域，尤其涉及一种文件采集方法及装置。

背景技术：

在通信领域，数据的共享有各种协议，其中比较常用的一种协议为文件传输协议，此协议一般由数据交互双方约定好接口规范即可进行数据共享。

在现有技术中，网管系统一般作为数据的使用方，需要通过该文件传输协议进行文件采集，但是，网管系统在作业过程中需要对接各类数据，且不同系统、不同设备之间的文件接口信息多种多样，针对采集的文件归属不同的业务，需要不同的采集逻辑，这样就大大增加了研发人员的工作量，且研发不同的采集逻辑需要大量的时间，增加了作业成本。

技术实现要素：

本发明实施例提供一种文件采集方法，用以减少研发人员的工作量，降低作业成本，该方法包括：

对获取到的数据源信息进行自定义处理；

根据对数据源信息的自定义处理结果制定用于采集多种类型的文件信息的文件采集规则；

根据所述文件采集规则采集待处理的文件信息。

可选的，所述方法还包括：

根据文件采集规则判断是否对待处理的文件信息进行分流处理，若判断结果为是，则根据预设分流处理规则对待处理的文件信息进行分流处理。

可选的，所述方法还包括：

根据配置规则对多种存储类型所对应的存储目录进行配置；

将待处理的文件信息存储到配置后的存储目录中。

可选的，所述方法还包括：

根据预设时间间隔对配置后的存储目录中的文件信息进行清理。

本发明实施例还提供一种文件采集装置，用以减少研发人员的工作量，降低作业成本，该装置包括：

自定义模块，用于对获取到的数据源信息进行自定义处理；

规则制定模块，用于根据对数据源信息的自定义处理结果制定用于采集多种类型的文件信息的文件采集规则；

文件采集模块，用于根据所述文件采集规则采集待处理的文件信息。

可选的，所述装置还包括：

分流处理模块，用于根据文件采集规则判断是否对待处理的文件信息进行分流处理，若判断结果为是，则根据预设分流处理规则对待处理的文件信息进行分流处理。

可选的，所述装置还包括：

配置模块，用于根据配置规则对多种存储类型所对应的存储目录进行配置；

存储模块，用于将待处理的文件信息存储到配置后的存储目录中。

可选的，所述装置还包括：

清理模块，用于根据预设时间间隔对配置后的存储目录中的文件信息进行清理。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

本发明实施例中，通过对获取到的数据源信息进行自定义处理，并根据对数据源信息的自定义处理结果制定用于采集多种类型的文件信息的文件采集规则，根据该文件采集规则即可完成对待处理的文件信息的采集，无需研发人员研发多种采集逻辑，减少了研发人员的工作量，降低了作业成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中文件采集方法的流程图；

图2为本发明实施例中文件采集方法的又一流程图；

图3为本发明实施例中文件信息存储存储过程的流程图；

图4为本发明实施例中文件信息清理过程的流程图；

图5为本发明实施例中文件采集装置的结构示意图；

图6为本发明实施例中文件采集装置的又一结构示意图；

图7为本发明实施例中文件信息的存储结构示意图；

图8为本发明实施例中文件信息的清理结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

附图1示出了本发明实施例提供的文件采集方法的流程图，如附图1所示，该方法包括：

步骤101、对获取到的数据源信息进行自定义处理。

在本实施例中，数据源信息包括：服务器ip地址、端口、用户、密码、传输模式等参数，对数据源信息进行自定义处理指的是：将上述各种参数保存在可以修改的配置文件中，举例来说。数据源信息包括：是否删除源文件:是或否；用户名:xxxxx；密码:xxxxxx；服务器地址:xxx.xxx.xxx.xxx；服务器端口：xx。其中，“是否删除源文件”，以及用户名、密码、服务器地址、服务器端口后面对应的参数都可以进行修改。

步骤102、根据对数据源信息的自定义处理结果制定用于采集多种类型的文件信息的文件采集规则。

在本实施例中，文件采集规则包括：

远程目录，支持按每种文件配置相应的目录，例如，类型1:远程路径1；类型2：远程路径2。

本地目录，支持按每种文件配置本地存储的目录，例如，类型1：本地路径1；类型2：本地路径2。

文件名匹配正则：配置需要采集的文件名的正则表达式，一旦匹配上，则表示该文件符合采集要求。

多设备采集：一个服务器支持多个网元设备同时采集，在配置目录里配置网元变量，然后在采集的时候，逐个替换需要采集的网元设备的名称，实现一次采集多个设备的数据文件。

断点规则：该规则主要用于记录每一次采集的时间点，下一个周期采集时，会从这个时间点继续采集，保证数据不会重复，达到增量采集的效果。

断点查询命令：该规则用于查询最新的需要采集的文件，不用再列出全部文件，可以提高采集效率。

断点文件配置：该规则用于配置断点文件存储的位置，可定义的配置，有利于对文件进行集中管理。

步骤103、根据所述文件采集规则采集待处理的文件信息。

由附图1可知，本发明实施例提供的文件采集方法，通过对获取到的数据源信息进行自定义处理，并根据对数据源信息的自定义处理结果制定用于采集多种类型的文件信息的文件采集规则，根据该文件采集规则即可完成对待处理的文件信息的采集，无需研发人员研发多种采集逻辑，减少了研发人员的工作量，降低了作业成本。

附图2示出了本发明实施例提供的文件采集方法的又一流程图，可以在海量数据的场景下，对文件进行同时处理，满足业务扩展需要，如附图2所示，该方法还包括：

步骤201、根据文件采集规则判断是否对待处理的文件信息进行分流处理，若判断结果为是，则根据预设分流处理规则对待处理的文件信息进行分流处理。

具体实施时，根据步骤102文件采集规则中的“本地目录”信息判断是否对待处理的文件信息进行分流处理，例如，如果配置3个本地目录，则将采到的文件按顺序平均分配到该3个目录中。

图3示出了本发明实施例中文件信息存储过程的流程图，如图3所示，该方法还包括：

步骤301、根据配置规则对多种存储类型所对应的存储目录进行配置。

在本实施例中，配置规则为：配置本地多个同级目录后，我们对文件进行取模，将文件平均分配到各个分流目录，以达到数据均衡。其中，“取模”中的模为文件存放的目录位置。存储类型对应的存储目录可以为：本地目录、临时目录、备份目录等。

具体实施时，根据文件序号取模，在海量数据文件的情况下，取模即可实现数据均衡，分流后，后续处理即可多个服务器同时进行处理，这样就具备横向扩展的能力，在处理能力达到瓶颈时，通过上述分流处理，可以满足很好地业务需要。

步骤302、将待处理的文件信息存储到配置后的存储目录中。

具体实施时，文件存入本地目录前，会先生成临时文件，存入临时目录，再进行下载，将其命名为正式文件。在文件存入本地目录后，可以根据文件大小判断是否需要对其进行压缩，如果进行了压缩工作，后续还需要对该文件进行解压处理，在解压时，如果服务器性能较好，可以对文件进行批量解压，而如果服务器性能较差，则可以对文件进行逐个解压，以达到错峰效果，保证所有文件顺利完成解压。

图4示出了本发明实施例中文件信息清理过程的流程图，如图4所示，该方法还包括：

步骤401、根据预设时间间隔对配置后的存储目录中的文件信息进行清理。

在本实施例中，“时间间隔”可以为年、月、日、天等，即在本地目录中配置了一个时间变量，具体实施时，以时间间隔为1天举例来说，在本地目录中配置一个天粒度变量，这样取过来的文件，即按天存放，在取完后，执行数据清除命令，根据配置的时间，删除过期的数据，降低服务器存储空间的损耗。

基于同一发明构思，本发明实施例中还提供了一种文件采集装置，如下面的实施例所述。由于文件采集装置解决问题的原理与文件采集方法相似，因此，文件采集装置的实施可以参见文件采集方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

附图5示出了本发明实施例提供的文件采集装置的结构示意图，如附图5所示，该装置包括：

自定义模块501，用于对获取到的数据源信息进行自定义处理。

规则制定模块502，用于根据对数据源信息的自定义处理结果制定用于采集多种类型的文件信息的文件采集规则。

文件采集模块503，用于根据所述文件采集规则采集待处理的文件信息。

附图6示出了本发明实施例提供的文件采集装置的又一结构示意图，如附图6所示，该装置还包括：

分流处理模块601，用于根据文件采集规则判断是否对待处理的文件信息进行分流处理，若判断结果为是，则根据预设分流处理规则对待处理的文件信息进行分流处理。

图7示出了本发明实施例中文件信息的存储结构示意图，如图7所示，该装置还包括：

配置模块701，用于根据配置规则对多种存储类型所对应的存储目录进行配置；

存储模块702，用于将待处理的文件信息存储到配置后的存储目录中。

图8示出了本发明实施例中文件信息的清理结构示意图，如图8所示，该装置还包括：

清理模块801，用于根据预设时间间隔对配置后的存储目录中的文件信息进行清理。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。