多类型异构数据不同步上传及延迟集成的方法及系统与流程

本发明涉及数据通讯领域，特别是涉及一种多类型异构数据不同步上传及延迟集成的方法及系统。

背景技术：

根据国家统计局公布的2011年粮食产量数据显示，初步统计，2011年全国粮食总产量达到57121万吨，创造了新的历史纪录，比2010年增产2473万吨，增长4.5％。粮食产量的增长带来直接影响就是剩余粮食的储存量也将大幅度的提高。

我国粮食行业和粮食系统的信息化水平一直比较低，尤其是信息化建设发展不均衡，而且最近几年的粮食系统调整改革，使得原有的信息监管基础设施已不适应新的形势，信息采集分散、多种设施并存、接口和交换独立、标准不统一、信息孤岛现象严重。

“数字粮库”工程，是国家粮食局实施“数字粮食”工程的背景下，重点以粮库的作业与管理实现信息化、自动化和智能化为建设目标，通过数字粮库管理平台与数字粮库系统，实现对储备粮集中监管，增强政府对粮食宏观调控能力的专项工程，是“数字粮食”工程的重要组成部分。

目前粮库管理平台若对粮库进行全局化的管理和相关调度，需获取大量的前端数据，且前端数据为多类型异构数据，因此如何将这些庞大的前端业务信息数据和接口文件顺畅有序地上传至数字粮库管理平台显得尤为重要。

技术实现要素：

本发明所要解决的技术问题是提供一种多类型异构数据不同步上传及延迟集成的方法及系统，能够显著提高数据文件同步上传效率。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种多类型异构数据不同步上传及延迟集成的方法，包括以下步骤：

(1)业务终端服务器定义网络空闲时段、网络忙碌时段、各数据文件的上传需求；

(2)根据业务终端服务器产生的数据文件进行分析判断，将数据文件分为实时上传数据和延迟上传数据：

对延迟上传数据，业务终端服务器标记延迟上传的标识；

对实时上传数据，向业务终端服务器发出基于hessian、webservice文件上传请求，并判断是否上传成功，若上传失败，业务终端服务器于网络空闲时段定时循环检测上传失败数据和延迟上传数据，并提交业务终端服务器进行上传。

在本发明一个较佳实施例中，在步骤(1)中，各数据文件的上传需求包括业务数据类型、网络空闲时段上传/网络忙碌时段上传、数据文件大小。

在本发明一个较佳实施例中，在步骤(2)中，对数据文件进行分析判断的具体过程包括以下步骤：

(21)获取数据文件的类型和大小以及在业务终端服务器中设置的配置参数；

(22)判断参数中该类型数据文件是否需要切割，若需要切割，则结合业务数据进行切割；若不需要切割，则判断当前时间段是网络空闲时段还是网络忙碌时段；

(23)若当前时间段是网络空闲时段，则直接进行上传；若当前时间段是网络忙碌时段，则判断参数中该类型数据文件是否网络忙碌时段上传；

(24)若参数中该类型数据文件需要网络忙碌时段上传，则进行上传，若不需要网络忙碌时段上传，则进行延迟上传的标记，等待网络空闲时段进行上传。

进一步的，在步骤(21)中，所述数据文件的类型包括短视频数据、文件数据、结构化的业务信息、运行日志。

进一步的，在步骤(22)中，数据文件进行切割的方法为：

根据数据文件大小设置切割点阈值，并结合业务数据需求将数据文件按照切割点阈值进行分割。

更进一步的，在步骤(24)中，参数中该类型数据文件需要网络忙碌时段上传的数据为小于切割点阈值大小的数据文件。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种多类型异构数据不同步上传及延迟集成的系统，主要包括：

参数定义模块，用于网络空闲时段、网络忙碌时段、各数据文件的上传需求的定义；

数据文件分析判断模块，用于对系统产生的数据文件进行分析判断，并将数据文件分为实时上传数据和延迟上传数据；

数据文件上传模块，基于hessian、webservice文件上传实时上传数据和延迟上传数据；

数据文件标识模块，用于对延迟上传数据、上传成功数据和网络空闲时段上传失败数据进行标记。

在本发明一个较佳实施例中，所述数据文件分析判断模块包括数据文件分割模块，用于根据数据文件大小设置切割点阈值，并结合业务数据需求将数据文件按照切割点阈值进行分割。

进一步的，该系统采用业务终端服务器。

本发明的有益效果是：本发明将分散的多类型异构数据按照网络性能及实时性要求，分类为实时上传数据和延迟上传数据，减少网络忙碌时段时，数据文件上传积压，减少网络压力的同时提高了文件同步上传效率，并且提高了网络空闲时段网络的利用率，有效防止上传失败造成数据文件漏传；同时粮库只进行一次上传申请，由系统提供实时和非实时的分析，实时数据同步共享，非实时数据通过定义的空闲时段重复抓取直至数据共享完成，实现延迟集成。

附图说明

图1是本发明多类型异构数据不同步上传及延迟集成的方法的流程图；

图2是对数据文件进行分析判断的具体流程示意图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

请参阅图1，本发明实施例包括：

一种多类型异构数据不同步上传及延迟集成的方法，包括以下步骤：

(1)业务终端服务器定义网络空闲时段、网络忙碌时段、各数据文件的上传需求；

为描述简便，以下对网络空闲时段、网络忙碌时段分别描述为闲时、忙时。对忙时、闲时的定义基于日常工作时间、非工作时间，例如9:00—4:00定义为忙时，其它时间定义为闲时；若遇农忙时节，对忙时、闲时的定义可进行参数变更，实现参数配置的灵活性。

各数据文件的上传需求包括业务数据类型、闲时上传/忙时上传、数据文件大小。例如业务数据类型包括出入库、质检等。

(2)根据业务终端服务器产生的数据文件进行分析判断，将数据文件分为实时上传数据和延迟上传数据：

对延迟上传数据，业务终端服务器标记延迟上传的标识；

对实时上传数据，向业务终端服务器发出基于hessian、webservice文件上传请求，并判断是否上传成功，若上传失败，业务终端服务器于网络空闲时段定时循环检测上传失败数据和延迟上传数据，并提交业务终端服务器进行上传。

结合图2，对数据文件进行分析判断的具体过程包括以下步骤：

(21)获取数据文件的类型和大小以及在业务终端服务器中设置的配置参数；

其中，数据文件的类型包括短视频数据(mp4格式)、文件数据(txt、xml格式)、结构化的业务信息、运行日志。所述结构化的业务信息为口令，包括库点信息、出入库时间、仓房信息、粮食种类等。

在业务终端服务器中设置的配置参数与步骤(1)中预先定义的各数据文件的上传需求相同。

此步骤中，获取数据文件的类型和大小是根据业务需求信息即时获取相关数据文件，获取数据文件在业务终端服务器中设置的配置参数是根据库点状态进行配置获得。例如配置参数包括当前库点状态为出入库、数据文件闲时上传/忙时上传、数据文件是否需要切割。

(22)判断参数中该类型数据文件是否需要切割，若需要切割，则结合业务数据进行切割；若不需要切割，则判断当前时间段是闲时还是忙时；

数据文件进行切割的方法为：根据数据文件大小设置切割点阈值，并结合业务数据需求将数据文件按照切割点阈值进行分割。例如出入库粮食过磅的视频数据，会根据一卡通的读卡和取卡时间决定视频截取的开始点和结束点。

按照步骤(21)的数据类型，需要分割的多数为数据较大的视频文件，优选的，视频文件的切割点阈值设置为10m。

(23)若当前时间段是闲时，则直接进行上传；若当前时间段是忙时，则判断参数中该类型数据文件是否忙时上传；

(24)若参数中该类型数据文件需要忙时上传，则进行上传，并标记“已上传成功”；若不需要忙时上传，则进行延迟上传的标记，等待闲时进行上传，并标记“闲时待上传”。

参数中该类型数据文件需要忙时上传的数据为小于切割点阈值大小的数据文件，例如结构化的业务信息可选择忙时上传。

本实施例还对应给出了一种多类型异构数据不同步上传及延迟集成的系统，主要包括：

参数定义模块，用于网络空闲时段、网络忙碌时段、各数据文件的上传需求的定义；

数据文件分析判断模块，用于对系统产生的数据文件进行分析判断，并将数据文件分为实时上传数据和延迟上传数据；

数据文件上传模块，基于hessian、webservice文件上传实时上传数据和延迟上传数据；

数据文件标识模块，用于对延迟上传数据、上传成功数据和网络空闲时段上传失败数据进行标记。

其中，所述数据文件分析判断模块还包括数据文件分割模块，用于根据数据文件大小设置切割点阈值，并结合业务数据需求将数据文件按照切割点阈值进行分割。

进一步的，该系统采用业务终端服务器，例如数字粮库管理平台。

本发明将分散的多类型异构数据按照网络性能及实时性要求，分类为实时上传数据和延迟上传数据，减少网络忙碌时段时，数据文件上传积压，减少网络压力的同时提高了文件同步上传效率，并且提高了网络空闲时段网络的利用率，有效防止上传失败造成数据文件漏传；同时粮库只进行一次上传申请，由系统提供实时和非实时的分析，实时数据同步共享，非实时数据通过定义的空闲时段重复抓取直至数据共享完成，实现延迟集成。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。