一种数据处理方法及装置与流程

本发明涉及信息处理领域，尤其涉及一种数据处理方法及装置。

背景技术：

目前随着GPS(Global Positioning System，全球定位系统)设备的大量普及，现在大部分的智能手机和车辆上都配有GPS模块。GPS最基本的应用就是为人们提供定位的功能，同时人们还可以利用采集的GPS信息中的其它信息进行数据分析。例如利用车辆GPS信息中的时间、位置信息对某个城市在过去一周车流量进行分析，能够得出在某个时间的道路拥挤程度，从而制定合适的出行路线。

但是，由于GPS设备越来越多，并且随着记录时间的不断增长，数据量将会急剧的增长。目前主流的数据的存储方法，大部分是以数据库为介质，大量数据存储在一个数据库表内。但是，这种数据处理方法在数据查询和数据写入操作并发的情况下会产生相互的锁等待，即便只是想提取最近几天的车辆GPS轨迹也需要扫描大量的数据库块文件才能提取到相应的信息。

造成上述问题的主要原因是现有技术是利用设备标识或者时间等关键字段建立数据库索引的方式进行地查询，因为在数据中建立索引虽然提高查询速度，但会影响到实时数据写入的效率，并且会产生巨大的磁盘空间占用，造成额外性能的开销，可见现有方法并不能很好的均衡数据写入和查询效率。

综上，现有技术的数据处理方法存在实时写入数据与查询展示之间效率的矛盾，依赖索引查询的方式严重影响数据写入的效率。

技术实现要素：

本发明实施例提供一种数据处理方法及装置，用以解决现有技术中存在实时写入数据与查询展示之间效率的矛盾，依赖索引查询的方式严重影响数据写入效率的问题。

本发明方法包括一种数据处理方法，该方法包括：每经过一个周期为下一个周期建立一个对应的临时数据表，将周期内实时获取的原始数据存入对应的临时数据表中；按照对应的周期顺序，确定除正在存入原始数据的临时数据表之外的临时数据表中需要写入的至少一个临时数据表；将确定的临时数据表写入到历史数据库中；在收到查询指令时，仅通过所述历史数据库进行查询。

基于同样的发明构思，本发明实施例进一步地还提供一种数据处理装置，该装置包括：建表单元，用于每经过一个周期为下一个周期建立一个对应的临时数据表，将周期内实时获取的原始数据存入对应的临时数据表中；确定单元，用于按照对应的周期顺序，确定除了正在存入原始数据的临时数据表之外的临时数据表中需要写入的至少一个临时数据表；写入单元，用于将确定的临时数据表写入到历史数据库中；查询单元，用于在收到查询指令时，仅通过所述历史数据库进行查询。

本发明实施例提供的数据处理方法一方面依据时间轴为主线设定周期，为每个周期建立一个对应的临时数据表，将周期内实时获取的原始数据存入对应的临时数据表中；另一方面定除了正在存入原始数据的临时数据表之外的临时数据表中需要写入的至少一个临时数据表；将确定的临时数据表写入到历史数据库中。这样就完成查询和写入动作的对象的分离，即当收到查询指令时，仅通过所述历史数据库进行查询，而不影响继续创建临时数据表，进行临时数据表地数据写入，可见，这样就完成了数据库的读写操作相分离，既保证了原始数据的无损存储，也解决了实时写入数据与查询展示之间效率的矛盾，极大的提高了写入和查询效率，节约了系统开销。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供一种数据处理方法流程示意图；

图2为本发明实施例提供一种文件系统存储临时数据表的示意图；

图3为本发明实施例提供一种以时间轴为主线建立的临时数据表；

图4为本发明实施例提供一种数据处理步骤示意图；

图5为本发明实施例提供一种种数据处理装置示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

参见图1所示，本发明实施例提供一种数据处理方法流程示意图，具体地实现方法包括：

步骤S101，每经过一个周期为下一个周期建立一个对应的临时数据表，将周期内实时获取的原始数据存入对应的临时数据表中。

步骤S102，按照对应的周期顺序，确定除了正在存入原始数据的临时数据表之外的临时数据表中需要写入的至少一个临时数据表。

步骤S103，将确定的临时数据表写入到历史数据库中。

步骤S104，在收到查询指令时，仅通过所述历史数据库进行查询。

需要说明的是，原始数据一般指的是GPS轨迹数据，通常来自移动终端或车辆等具有定位模块能够直接或间接上报定位信息的设备。

在步骤S101中，预先建立一个文件系统，在所述文件系统中根据时间轴为 每一周期建立一个对应的临时数据表。具体地如图2所示，在文件系统上按年、月、日、时四个级别划分为四个层次的目录结构，假设设定周期为一小时，这样每过一小时就会建立一个对应地临时数据表，随着时间的推移，将产生很多临时数据表，然后再将同一天的临时数据表放在当天的目录结构中，依次类推。

当完成上述临时数据表的建立机制之后，遍历所述确定的临时数据表，按照预设级别将所述临时数据表中数据进行抽稀处理，将抽稀标识处理后的临时数据表写入到历史数据库中。

之所以还要进行抽稀处理的原因是因为原始数据中往往会有很多重复数据，对进一步数据处理带来诸多不便，造成所要表达的图形不光滑或不符合标准。但是完整无删减的原始数据往往在设备成效分析领域不可缺失，因此要通过某种规则兼顾原始数据与矢量图形不光滑问题。抽稀算法是在保证矢量曲线形状不变的情况下，最大限度地减少数据点个数。数据经过抽稀后，采样数据量会明显降低，并且基本保证能反映原形或曲线的基本形状特征，能够提升传递效率提高交互效果。抽稀在GIS(Geographic Information System，地理信息系统)矢量数据处理，图形数据压缩处理中有广泛的应用。

现有的抽稀处理方法通常为道格拉斯普克算法(Douglas and Peucker Algorithm)等，主要是通过减少表示单条GPS轨迹的数据点的数目来减少数据量。

原始数据通过上述方法抽稀处理，完成抽稀分层标识，达到解决了原始数据满足多种用途的分层次加工处理目的。

当完成抽稀处理后，获取设定时刻之前的所有临时数据表，并将所述临时数据表写入到历史数据库中；或，获取初始生成的临时数据表之前的N个临时数据表，并将所述临时数据表写入到历史数据库中。

具体地，如图3所示，随着时间的推移，依次生成多个临时数据表，历史数据库的确定方式可以是设定某一日期的0点之前的建立的临时数据表均被存入历史数据库，也可以是设定从最初生成的临时数据表之后的一万个临时数据 表均被存入临时数据库。在实际操作中具体选用哪种方式，根据实际需要确定。

完成上述处理后，现有技术的数据处理方法实时写入数据与查询展示之间效率的矛盾得以解决，因为当收到查询指令时，仅对所述历史数据库进行查询，具体地，根据历史数据库中的时间对所述历史数据库进行查询，或者是，根据历史数据库中的标识对所述历史数据库进行查询，所述历史数据库是以所述周期的M倍为最小单位进行分表存储，M为整数。

具体地，所述标识通常指的是建立索引，在实际应用场景中，如果原始数据来自车辆，那么就根据业务需求创建索引，索引可以包括上报轨迹数量、报警数量、行驶里程、胎压中的一种或多种。然后在历史数据库中利用上述索引查询某一车辆的位置，或者行驶路线。结合上述查询方法可以是，根据GPS的上报时间，选择设定时间段的车辆轨迹信息，或者是根据行驶里程数选择固定里程段的车辆轨迹信息。

因为上述查询方式只是在历史数据库中进行，即使当前时刻很多车辆继续在上报它们的GPS信息，利用本发明实施例新建临时数据表的方式也可以存储这些实时数据，查询和写入动作互不干扰，这样就完成了数据库的读写操作相分离，既保证了原始数据的无损存储，也解决了实时写入数据与查询展示之间效率的矛盾，极大的提高了写入和查询效率。

为了整体性描述上述数据处理的过程，本发明实施例进一步地提供图4作系统性地阐述。

步骤201，按小时周期建立临时数据表，将相应时间段的实时数据存储在对应的临时数据表中。

步骤202，将设定日期0点时刻之前的临时数据表确定出来。

步骤203，遍历所述确定的临时数据表，按照预设级别将所述临时数据表中数据进行根据道格拉斯普克抽稀算法处理，抽稀完毕后，写入临时数据表的字段相当对历史数据库进行追加字段，记录抽稀级别(0-3级或更多)，和该点的抽稀标识(0＝未抽稀点、1＝忽略点、2＝抽稀保留点)，抽稀级别的作用是将数据 以空间维度分层(LOD)的一种实现，以此字段满足数据应用中空间数据检索数据压缩等应用场景。

步骤204，将抽稀处理后的临时数据表写入到历史数据库中。

经过上述步骤后，为历史数据库提供查询接口，可以按照时间和标识针对历史数据库进行查询。

上述步骤的执行主体可以是接收GPS信息的中央处理器，也可以与该中央处理器进行连接的第三方查询设备。

基于相同的技术构思，本发明实施例还提供一种数据处理装置，该装置可执行上述方法实施例。本发明实施例提供的装置如图5所示，该装置包括：建表单元401，确定单元402，写入单元403，查询单元404，具体为：

建表单元401，用于每经过一个周期为下一个周期建立一个对应的临时数据表，将周期内实时获取的原始数据存入对应的临时数据表中；

确定单元402，用于按照对应的周期顺序，确定除了正在存入原始数据的临时数据表之外的临时数据表中需要写入的至少一个临时数据表；

写入单元403，用于将确定的临时数据表写入到历史数据库中；

查询单元404，用于在收到查询指令时，仅通过所述历史数据库进行查询。

其中，需要说明的是，原始数据一般指的是GPS轨迹数据，通常来自移动终端或车辆具有定位模块能够直接或间接上报定位信息的设备。

进一步地，所述建表单元401具体用于：建立一个文件系统，在所述文件系统中根据时间轴为每一周期建立一个对应的临时数据表。具体地如图2所示，在文件系统上按年、月、日、时四个级别划分为四个层次的目录结构，假设设定周期为一小时，这样每过一小时就会建立一个对应地临时数据表，随着时间的推移，将产生很多临时数据表，然后再将同一天的临时数据表放在当天的目录结构中，依次类推。

当完成上述临时数据表的建立机制之后，需要进行对临时数据表进行抽稀处理，所述抽稀处理单元用于：遍历所述确定的临时数据表，按照预设级别将 所述临时数据表中数据进行抽稀处理，将抽稀处理后的临时数据表写入到历史数据库中。

之所以还要进行抽稀处理的原因是因为原始数据中往往会有很多重复数据，对进一步数据处理带来诸多不便，造成所要表达的图形不光滑或不符合标准。但是完整无删减的原始数据往往在设备成效分析领域不可缺失，因此要通过某种规则兼顾原始数据与矢量图形不光滑问题。抽稀算法是在保证矢量曲线形状不变的情况下，最大限度地减少数据点个数。数据经过抽稀后，采样数据量会明显降低，并且基本保证能反映原形或曲线的基本形状特征，能够提升传递效率提高交互效果。抽稀在GIS(Geographic Information System，地理信息系统)矢量数据处理，图形数据压缩处理中有广泛的应用。

现有的抽稀处理方法通常为道格拉斯普克算法(Douglas and Peucker Algorithm)等，主要是通过减少表示单条GPS轨迹的数据点的数目来减少数据量。

原始数据通过上述方法抽稀处理，完成抽稀分层标识，达到解决了原始数据满足多种用途的分层次加工处理目的。

当完成抽稀处理后，所述写入单元403具体用于：获取设定时刻之前的所有临时数据表，并将所述临时数据表写入到历史数据库中；或，获取初始生成的临时数据表之前的N个临时数据表，并将所述临时数据表写入到历史数据库中。

具体地，如图3所示，随着时间的推移，依次生成多个临时数据表，历史数据库的确定方式可以是设定某一日期的0点之前的建立的临时数据表均被存入历史数据库，也可以是设定从最初生成的临时数据表之后的一万个临时数据表均被存入临时数据库。在实际操作中具体选用哪种方式，根据实际需要确定。

完成上述处理后，现有技术的数据处理方法实时写入数据与查询展示之间效率的矛盾得以解决，因为当收到查询指令时，仅对所述历史数据库进行查询，所述查询单元404具体用于：根据历史数据库中的时间对所述历史数据库进行 查询，或者是，根据历史数据库中的标识对所述历史数据库进行查询，所述历史数据库是以所述周期的M倍为最小单位进行分表存储，M为整数。

具体地，所述标识通常指的是建立索引，在实际应用场景中，如果原始数据来自车辆，那么就根据业务需求创建索引，索引可以包括上报轨迹数量、报警数量、行驶里程、胎压中的一种或多种。然后在历史数据库中利用上述索引查询某一车辆的位置，或者行驶路线。结合上述查询方法可以是，根据GPS的上报时间，选择设定时间段的车辆轨迹信息，或者是根据行驶里程数选择固定里程段的车辆轨迹信息。

因为上述查询方式只是在历史数据库中进行，即使当前时刻很多车辆继续在上报它们的GPS信息，利用本发明实施例新建临时数据表的方式也可以存储这些实时数据，查询和写入动作互不干扰，这样就完成了数据库的读写操作相分离，既保证了原始数据的无损存储，也解决了实时写入数据与查询展示之间效率的矛盾，极大的提高了写入和查询效率。

综上，本发明实施例提供的数据处理方法一方面依据时间轴为主线设定周期，为每个周期建立一个对应的临时数据表，将周期内实时获取的原始数据存入对应的临时数据表中；另一方面定除了正在存入原始数据的临时数据表之外的临时数据表中需要写入的至少一个临时数据表；将确定的临时数据表写入到历史数据库中。这样就完成查询和写入动作的对象的分离，即当收到查询指令时，仅通过所述历史数据库进行查询，而不影响继续创建临时数据表，进行临时数据表地数据写入，可见，这样就完成了数据库的读写操作相分离，既保证了原始数据的无损存储，也解决了实时写入数据与查询展示之间效率的矛盾，极大的提高了写入和查询效率，原始数据通过抽稀标识、构建索引，原始数据得到的完整的保留，同时也达到了在数据应用层的高效高速应用需求。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。