专利名称：海量数据融合及实时监视系统的制作方法
技术领域：
本发明涉及一种监视系统，尤其涉及一种海量数据融合及实时监视系统。
背景技术：
目前，国家级气象信息网络传输业务需要收集全国和全球范围的各类气象信息、 为各级气象部门及相关部门提供及时可靠的经过预处理的各类气象信息，并对各类气象信息进行分发。它收集的资料包括区域/省级气象信息业务部门上传数据、同城用户资料、国家级其他气象业务部门资料、国外气象资料，每天收集的数据总量多达上千GB;它分发的资料包括区域/省级气象信息数据、同城用户资料、国家级气象业务部门资料、国外气象交换资料，每天分发的数据总量也多达上千GB。此外，气象资料还具有突发性高(即在某个时刻会出现数据量陡增)等特点，从而影响了气象资料在收集、处理、分发过程中的信息存储和监视的高时效性需求。发明内容
针对目前气象资料收发系统中海量气象资料融合性差、业务流程监视时效性不高的问题，本发明提供了一种高时效的海量数据融合及实时监视系统。
为了解决以上问题本发明提供了一种海量数据融合及实时监视系统，其特征在于包括基于日志网关的数据接收模块、基于日志网关的数据处理模块、基于日志网关的数据入库模块、基于离线统计的数据融合模块、海量数据分布式缓存模块和海量数据实时展现模块；基于日志网关的数据接收模块与基于日志网关的数据处理模块相连，基于日志网关的数据处理模块与基于日志网关的数据入库模块、海量数据分布式缓存模块相连，基于日志网关的数据入库模块与基于离线统计的数据融合模块之间设有数据库，基于离线统计的数据融合模块与海量数据分布式缓存模块相连，海量数据分布式缓存模块与海量数据实时展现模块相连；基于日志网关的数据接收模块用于获取的气象数据，并对该气象数据根据待处理类型进行消息封装，并通过查找配置文件获取该处理类型对应的日志网关消息队列名，并向该指定的消息队列发送信息；基于日志网关的数据处理模块从配置文件中获取要监听的消息队列名，实时监听该消息队列；当消息队列中有待处理的消息时，从该消息队列中获取优先级高的消息，对该消息进行处理；如果消息需要进行入库操作，则将处理后的消息传递给基于日志网关的数据入库模块；如果消息需要及时展现，则将处理后的消息传递给海量数据分布式缓存模块；基于日志网关的数据入库模块接收基于日志网关的数据处理模块传递过来的消息，并从数据库连接池中申请一个数据库连接，当申请成功后，对该消息进行入库操作；基于离线统计的数据融合模块通过基于时间/事件触发，对数据库中的数据进行复杂的操作，形成实时监视所需要的数据，并将该数据传递给海量数据分布式缓存模块；海量数据分布式缓存模块接收来自基于日志网关的数据处理模块或基于离线统计的数据融合模块传递过来的数据；海量数据实时展现模块从海量数据分布式缓存模块获取待监视的数据，并实时将获取的数据进行显示。
有益效果本发明支持集群部署，可实现多台机器共同完成数据的加工、融合、展现，从而解决了一台机器所带来的处理瓶颈，极大的提高任务处理的吞吐量，满足海量数据实时处理的需求，且本发明支持多线程技术。
本发明采用共享消息队列、分布式缓存来缓存数据处理结果，尽可能减少磁盘I/ O读写操作，满足系统时效性的需求，同时，利用共享消息队列、分布式缓存的可靠性机制来提高系统的可靠性。
本发明与以往系统相比，解决海量气象资料的数据融合及监视的高时效难题，可广泛应用于海量数据的实时处理与实时展现。
图I是本发明的系统组成框图示意图。
具体实施方式
下面结合附图对本发明作进一步的描述。
如图I所示，本海量数据融合及实时监视系统包括基于日志网关的数据接收模块、基于日志网关的数据处理模块、基于日志网关的数据入库模块、基于离线统计的数据融合模块、海量数据分布式缓存模块和海量数据实时展现模块。
基于日志网关的数据接收模块用于获取的气象数据，并对该气象数据根据待处理类型进行消息封装，并通过查找配置文件获取该处理类型对应的日志网关消息队列名，并向该指定的消息队列发送信息。
基于日志网关的数据处理模块从配置文件中获取要监听的消息队列名，实时监听该消息队列。当消息队列中有待处理的消息时，从该消息队列中获取优先级高的消息，对该消息进行处理。如果消息需要进行入库操作，则将处理后的消息传递给基于日志网关的数据入库模块；如果消息需要及时展现，则将处理后的消息传递给海量数据分布式缓存模块。
基于日志网关的数据入库模块接收基于日志网关的数据处理模块传递过来的消息，并从数据库连接池中申请一个数据库连接，当申请成功后，对该消息进行入库操作。
基于离线统计的数据融合模块通过基于时间/事件触发，对数据库中的数据进行复杂的操作，如多表联合操作、单表多条件筛选汇总等，形成实时监视所需要的数据，并将该数据传递给海量数据分布式缓存模块。
海量数据分布式缓存模块接收来自基于日志网关的数据处理模块或基于离线统计的数据融合模块传递过来的数据，并将其写入到分布式缓存Memcached中，实现基于内存读写、分布式存储的数据传递和数据存取机制，提高数据访问效率。
海量数据实时展现模块从分布式缓存Memcached中定位并获取待监视的数据，并通过Ajax实时将获取的数据显示在Web页面中。
以上所述仅为本发明的优选实施例而已，并不限制于本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
权利要求
1.一种海量数据融合及实时监视系统，其特征在于包括基于日志网关的数据接收模块、基于日志网关的数据处理模块、基于日志网关的数据入库模块、基于离线统计的数据融合模块、海量数据分布式缓存模块和海量数据实时展现模块；基于日志网关的数据接收模块与基于日志网关的数据处理模块相连，基于日志网关的数据处理模块与基于日志网关的数据入库模块、海量数据分布式缓存模块相连，基于日志网关的数据入库模块与基于离线统计的数据融合模块之间设有数据库，基于离线统计的数据融合模块与海量数据分布式缓存模块相连，海量数据分布式缓存模块与海量数据实时展现模块相连；基于日志网关的数据接收模块用于获取的气象数据，并对该气象数据根据待处理类型进行消息封装，并通过查找配置文件获取该处理类型对应的日志网关消息队列名，并向该指定的消息队列发送信息；基于日志网关的数据处理模块从配置文件中获取要监听的消息队列名，实时监听该消息队列；当消息队列中有待处理的消息时，从该消息队列中获取优先级高的消息，对该消息进行处理；如果消息需要进行入库操作，则将处理后的消息传递给基于日志网关的数据入库模块；如果消息需要及时展现，则将处理后的消息传递给海量数据分布式缓存模块；基于日志网关的数据入库模块接收基于日志网关的数据处理模块传递过来的消息，并从数据库连接池中申请一个数据库连接，当申请成功后，对该消息进行入库操作；基于离线统计的数据融合模块通过基于时间/事件触发，对数据库中的数据进行复杂的操作，形成实时监视所需要的数据，并将该数据传递给海量数据分布式缓存模块；海量数据分布式缓存模块接收来自基于日志网关的数据处理模块或基于离线统计的数据融合模块传递过来的数据；海量数据实时展现模块从海量数据分布式缓存模块获取待监视的数据，并实时将获取的数据进行显示。
全文摘要
本发明涉及一种海量数据融合及实时监视系统，其基于日志网关的数据接收模块与基于日志网关的数据处理模块相连，基于日志网关的数据处理模块与基于日志网关的数据入库模块、海量数据分布式缓存模块相连，基于日志网关的数据入库模块与基于离线统计的数据融合模块之间设有数据库，基于离线统计的数据融合模块与海量数据分布式缓存模块相连，海量数据分布式缓存模块与海量数据实时展现模块相连；本发明与以往系统相比，解决海量气象资料的数据融合及监视的高时效难题，可广泛应用于海量数据的实时处理与实时展现。
文档编号H04L29/08GK102916844SQ20121047635
公开日2013年2月6日 申请日期2012年11月22日 优先权日2012年11月22日
发明者张伟, 王晖 申请人:南京恩瑞特实业有限公司