快递物流数据实时处理方法、装置、设备及存储介质与流程

本发明涉及物流数据分析领域，尤其涉及一种快递物流数据实时处理方法、装置、设备及存储介质。

背景技术：

1、物流运输在当今社会为人们提供了很大的便利，但是，目前的快递物流数据在分析时，大多采用传统的数据库模式，需要定期进行批量计算生成统计分析报表。这导致报表生成有一定延迟，无法实现实时数据统计分析，同时，大量的离线计算批处理也对系统性能造成压力。

2、因此，现有技术还有待于改进和发展。

技术实现思路

1、本发明的主要目的在于解决现有技术在处理快递物流数据时，需要定期进行批量计算处理，导致处理结果有一定的延迟，并且大量离线计算批处理对系统性能造成压力的问题。

2、本发明第一方面提供了一种快递物流数据实时处理方法，包括：获取快递物流的实时数据源，对所述实时数据源进行预处理得到本地数据；将所述本地数据输入到预设聚合模型中，得到统计分析数据；根据预设的存储方式将所述统计分析数据存储到数据中台；获取查询信息，根据所述查询信息从所述数据中台中获取目标统计分析数据。

3、可选的，在本发明第一方面的第一种实现方式中，所述获取快递物流的实时数据源，对所述实时数据源进行预处理得到本地数据的步骤包括：实时获取所述快递物流的实时数据源，其中，所述实时数据源包括订单数据、轨迹数据和投诉数据；根据消息列队收集所述实时数据源；对所述实时数据源进行预处理得到所述本地数据。

4、可选的，在本发明第一方面的第二种实现方式中，所述对所述实时数据源进行预处理得到所述本地数据的步骤包括：获取所述预设聚合模型的聚合指标和预设的地区划分数据；根据所述聚合指标的计算逻辑、微批流处理机制和所述预设的地区划分数据，对所述实时数据源进行处理，得到所述本地数据。

5、可选的，在本发明第一方面的第三种实现方式中，所述将所述本地数据输入到预设聚合模型中，得到统计分析数据的步骤包括：获取所述预设聚合模型的字段；根据所述本地数据更新所述字段，得到统计分析数据。

6、可选的，在本发明第一方面的第四种实现方式中，所述根据所述本地数据更新所述字段，得到统计分析数据的步骤包括：获取所述本地数据；根据所述本地数据，采用增量式写入操作更新所述字段，得到统计分析数据。

7、可选的，在本发明第一方面的第五种实现方式中，所述根据预设的存储方式将所述统计分析数据存储到数据中台的步骤包括：获取所述数据中台的集群；将所述统计分析数据以列存储的方式压缩，得到压缩数据块，将所述压缩数据块存储到所述集群中。

8、可选的，在本发明第一方面的第六种实现方式中，所述获取查询信息，根据所述查询信息从所述数据中台中获取目标统计分析数据的步骤包括：获取查询信息；根据所述查询信息扫描所述数据中台中的所述压缩数据块，从中获取到与所述查询信息对应的目标统计分析数据。

9、本发明第二方面提供了一种快递物流数据实时处理装置，包括：数据获取模块，用于获取快递物流的实时数据源，对所述实时数据源进行预处理得到本地数据；本地数据生成模块，用于将所述本地数据输入到预设聚合模型中，得到统计分析数据；数据存储模块，用于根据预设的存储方式将所述统计分析数据存储到数据中台；数据查询模块，用于获取查询信息，根据所述查询信息从所述数据中台中获取目标统计分析数据。

10、可选的，在本发明第二方面的第一种实现方式中，所述数据获取模块包括：数据源获取单元，用于实时获取所述快递物流的实时数据源，其中，所述实时数据源包括订单数据、轨迹数据和投诉数据；数据源收集单元，用于根据消息列队收集所述实时数据源；预处理单元，用于对所述实时数据源进行预处理得到所述本地数据。

11、可选的，在本发明第二方面的第二种实现方式中，所述预处理单元包括：预设信息获取子单元，用于获取所述预设聚合模型的聚合指标和预设的地区划分数据；处理子单元，用于根据所述聚合指标的计算逻辑、微批流处理机制和所述预设的地区划分数据，对所述实时数据源进行处理，得到所述本地数据。

12、可选的，在本发明第二方面的第三种实现方式中，所述本地数据生成模块包括：子段获取单元，用于获取所述预设聚合模型的字段；分析数据单元，用于根据所述本地数据更新所述字段，得到统计分析数据。

13、可选的，在本发明第二方面的第四种实现方式中，所述分析数据单元包括：本地数据获取子单元，用于获取所述本地数据；增量写入子单元，用于根据所述本地数据，采用增量式写入操作更新所述字段，得到统计分析数据。

14、可选的，在本发明第二方面的第五种实现方式中，所述数据存储模块包括：集群获取单元，用于获取所述数据中台的集群；数据块生成存储单元，用于将所述统计分析数据以列存储的方式压缩，得到压缩数据块，将所述压缩数据块存储到所述集群中。

15、可选的，在本发明第二方面的第六种实现方式中，所述数据查询模块包括：查询获取单元，用于获取查询信息；查询单元，用于根据所述查询信息扫描所述数据中台中的所述压缩数据块，从中获取到与所述查询信息对应的目标统计分析数据。

16、本发明第三方面提供了一种快递物流数据实时处理设备，包括：存储器和至少一个处理器，所述存储器中存储有计算机可读指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述计算机可读指令，以使得所述快递物流数据实时处理设备执行如上所述快递物流数据实时处理方法的各个步骤。

17、本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，当其在计算机上运行时，使得计算机执行如上所述快递物流数据实时处理方法的各个步骤。

18、有益效果：本发明的技术方案中，对快递物流的实时数据源进行实时处理，从而可以消除目前传统快递物流传统数据库采用定期批量计算生成统计分析报表的问题，同时实时处理使得整个处理系统不会堆积过多的数据统一处理，从而减轻大量数据处理对系统造成的压力；进一步的通过聚合模型以及数据中台将数据进行分类写入以及存储，让数据中台中可以及时存储对应的数据，从而在后续进行查询时可以查找到最新的数据，进而满足对实时数据分析的需求。

技术特征：

1.一种快递物流数据实时处理方法，其特征在于，所述快递物流数据实时处理方法包括：

2.根据权利要求1所述快递物流数据实时处理方法，其特征在于，所述获取快递物流的实时数据源，对所述实时数据源进行预处理得到本地数据的步骤包括：

3.根据权利要求2所述快递物流数据实时处理方法，其特征在于，所述对所述实时数据源进行预处理得到所述本地数据的步骤包括：

4.根据权利要求1所述快递物流数据实时处理方法，其特征在于，所述将所述本地数据输入到预设聚合模型中，得到统计分析数据的步骤包括：

5.根据权利要求4所述快递物流数据实时处理方法，其特征在于，所述根据所述本地数据更新所述字段，得到统计分析数据的步骤包括：

6.根据权利要求1所述快递物流数据实时处理方法，其特征在于，所述根据预设的存储方式将所述统计分析数据存储到数据中台的步骤包括：

7.根据权利要求6所述快递物流数据实时处理方法，其特征在于，所述获取查询信息，根据所述查询信息从所述数据中台中获取目标统计分析数据的步骤包括：

8.一种快递物流数据实时处理装置，其特征在于，包括：

9.一种快递物流数据实时处理设备，其特征在于，包括存储器和至少一个处理器，所述存储器中存储有计算机可读指令；

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1-7中任一项所述快递物流数据实时处理方法的各个步骤。

技术总结
本发明涉及物流运输技术领域，公开了一种快递物流数据实时处理方法、装置、设备及存储介质。该方法包括：获取快递物流的实时数据源，对所述实时数据源进行预处理得到本地数据；将所述本地数据输入到预设聚合模型中，得到统计分析数据；根据预设的存储方式将所述统计分析数据存储到数据中台；获取查询信息，根据所述查询信息从所述数据中台中获取目标统计分析数据。本发明解决了在处理快递物流数据时，需要定期进行批量计算处理，导致处理结果有一定的延迟，并且大量离线计算批处理对系统性能造成压力的问题。

技术研发人员：康元佳,张浩,王支路,刘镕硕
受保护的技术使用者：上海东普信息科技有限公司
技术研发日：
技术公布日：2024/1/15