一种基于大数据的应急物资数据存储及流通监测方法
【技术领域】
[0001] 本发明涉及物资流通大数据分析研宄与应用领域，具体涉及一种基于大数据的应 急物资数据存储及流通监测方法。针对应急工作特点以及物流信息管理与监控的需求，本 发明以Key-Value列数据（HBase)为基础存储环境，基于并行架构实现支持层次化网络中 P2P关系的快速分析，实现物流动态网络中路径、收发以及运输异常的高性能识别与分析技 术。本发明在交通、航空、灾害防控、环境保护、人流监控、物流追溯等方面具有积极的应用 价值。
【背景技术】
[0002] 应急物资（Emergency Supplies)是指为应对严重自然灾害、突发性公共卫生事 件、公共安全事件及军事冲突等突发公共事件应急处置过程中所必需的保障性物质。其主 要包括以下类别：
[0003] ?生命保障：此类物资主要包括用于灾区群众生命、健康保障物资，包括饮用水、 食品、药品、帐蓬等；
[0004] ?救援装备：此类物资主要用于灾区救援工作，主要包括救援工程机械、应急通讯 保障设备等；
[0005] 应急物资是突发事故应急救援和处置的重要物质支撑。以地震为例，在应急处置 工作中，需要集结大量各种类别应急资源。根据应急指挥统一调度、运输、分发。由于应急物 资具有较大针对性，例如：药品针对伤员救助需求、食品\饮用水针对灾区人员安置需求、 大型装备针对抢险救灾需求等。因此，针对应急工作特点建立高性能物流管理与信息服务 系统是必须的。通过这一系统可以实现海量应急物资数据的统一管理、高性能查询、追溯以 及实时异常检测等工作。为应急处置活动的顺利开展奠定基础。应急物流的管理离不开物 资对象与物流网络两个基本元素。在应急工作中，这两个元素呈现以下两方面的特点
[0006] 1.物资对象批量化组织：根据应急工作的特点，通常需要集结较大数量的同类物 资。通过批次化的组织方式实现运输与分发。通常以批次为基础，针对个体对象进行统一 的处置。在应急物资的管理活动中，批次化的组织方式是实现应急物资流通信息管理，跟踪 以及异常发现的基础；
[0007] 2.应急流通节点体系层次化与物流网络树形化：结合国家有关应急管理制度的 要求。通常在灾区形成以省-市-县行政级别为层次的物资集散分发体系。在物资流通过 程中，根据应急需求分批、分组定向运输，既而形成层次化、多流向的流通组织方式。
[0008] 基于以上特点，应急物资流通的监测，主要包括在以下三个方面：
[0009] 1.应急物资的流通网络监测：即为应急物资流通网络中的流通节点之间的层次 关系的监测。根据管理与调度工作的要求，应急物资自一级流通节点依次向下一级节点流 通，不允许同一级节点之间相互流通、跨等级流通以及不同的行政区域之间的流通。通常情 况下，由于应急工作混乱、信息沟通不畅等原因，会发生物资转运错误的情况，因此需要在 监控工作中针对全网范围物资的流向路径进行检查，消除流通错误的情况。
[0010]2.监控物资运输的异常：由于应急工作的特点，物流管理工作需要跟踪每一批 次、每一分组物资的运输，及时发现由于各种原因导致的物资丢失、物资运输失效等情况；
[0011] 3.基于批次的应急物资跟踪、溯源与异常发现：物资对象以批次为单位实现分 发。在分发过程中经过分组，分发到不同节点。在物资流通过程中，根据不同节点物资分发 与到达的数量统计，发现应急物流网络中的异常情况；可以快速追溯发生滞留、误操作的节 点。同时，也可以基于时间针对物流情况进行统计，分析整个网络中物流工作的效率，协助 决策优化。
[0012] 数据的有序存储、管理、查询与统计的开展是应急物流管理的基础。应急工作具有 较大的事件相关性。在灾害时间发生时会形成较大的突发数据增量。在多数应急工作中， 应急物资种类繁多，数量庞大，往往形成较大的增量冲击。传统的关系数据库由于其一致性 保障以及事务处理等方面技术实现机制的限制，无法应对突发性高增量应急物流数据的性 能响应。针对这一情况，本发明基于大数据技术发明了一种应急物流监控技术。
【发明内容】
[0013] 针对目前应急物资管理领域的技术方法与新的发展需求之间的矛盾，本发明的目 的在于提供一种基于大数据的应急物资数据存储及流通监测方法。通过这一方法实现大数 据应用背景下各种类别的应急物资的高性能监测。在这一基础上实现各种约束条件下应急 物资流通的监测，及时发现流通过程中的异常现象，为完善应急物资管理，构建应急保障体 系提供有效的技术支撑。
[0014] 本发明的技术方案为：
[0015] 一种基于大数据的应急物资数据存储方法，其特征在于，流通节点对于读取或收 到的应急物资记录存储到一 Key-value数据库Store中；其中，该数据库的库标识storelD 哈希值为该记录的key，该库的全部进出物资记录、盘库信息作为该key对应value值；
[0016] 所述Key-value数据库Store的数据存储模型为：SStorree = {StorelD, resColumes}, resColumes = {rColj | i = 1, 2,... n};其中，resColumes 为该数 据库的物资记录列族，其由n个列rCol构成，第i类物资记录在列rColi* ;
[0017] 对于任一列 rCol = {colName，rColArray}，rColArray = {rColCellj | j = 1, 2,.....m};其中colName为列的名称，与物资批次标识resourcelD对应；rColArray为 列簇集合，rColCellj是列簇集合rColArray中的第j个列簇rColcell，用于存储与当前列 rcol对应物资的同一时段内进出库物资记录信息；m为列簇rColcell的总数。
[0018] 进一步的，所述列簇集合rColArray包括两部分信息：1)基于时间流关系组织的 进出库物资记录信息；2)记录所述数据库中物资库存情况的盘库信息。
[0019] 进一步的，所述列簇集合rCo 1 Array是以时段划分创建，每一时段对应创建或扩展 出一列，构成列簇集合
【主权项】
1. 一种基于大数据的应急物资数据存储方法，其特征在于，流通节点对于读取或收到 的应急物资记录存储到一Key-value数据库store中；其中，该数据库的库标识storelD哈 希值为该记录的key,该库的全部进出物资记录、盘库信息作为该key对应value值； 所述Key-value数据库Store的数据存储模型为；SStorree= {Stor