本发明涉及计算机数据处理,尤其涉及一种异常快递包裹的预警方法、设备及存储介质。
背景技术:
1、随着电商和互联网的快速发展,物流行业作为连接消费者与商品的重要桥梁,日益受到关注。然而,在物流过程中,由于各种原因,物流异常事件频繁发生,如货物损坏、丢失、延误等,给消费者和商家带来诸多不便和损失。
2、同时物流异常数据是物流运营过程中产生的关键信息,对于提高物流效率和优化物流服务具有重要意义。然而,由于物流系统的复杂性和数据的多样性,如何有效管理和利用这些异常数据成为了一个挑战。传统的物流异常数据处理方式主要依赖于人工分析和经验判断,存在效率低下、准确性差等问题。
技术实现思路
1、本发明提供了一种异常快递包裹的预警方法、设备及存储介质,对物流数据进行实时采集、处理和分析,从而发现异常数据,为物流运营提供决策支持,提高数据的质量和可用性,同时提高对异常快递包裹的处理效率。
2、第一方面,本发明提供了一种异常快递包裹的预警方法,所述方法包括如下步骤:
3、s1、采集每个快递包裹在运输过程中产生的包裹数据;
4、s2、对所述包裹数据进行预处理,识别出异常包裹对应的包裹数据;
5、s3、整理识别出的异常包裹对应的包裹数据,将异常包裹数据进行分类,确定异常包裹对应的异常类型;
6、s4、发布异常包裹的包裹数据及异常类型,并对该异常包裹进行预警。
7、可选的,步骤s2之前,所述方法还包括:
8、设置每个孤立森林中树的第一当前数量以及样本快速包裹的第二当前数量,并根据所述第一当前数量、第二当前数量,构建多个初始孤立森林模型;
9、针对每个初始孤立森林模型,将所述第二当前数量的所述样本包裹数据输入所述初始孤立森林模型,得到每个样本快递包裹对应的初始包裹类别预测结果;
10、根据每个样本快递包裹对应的初始包裹类别预测结果与真实包裹类别结果之间的差异,得到每个样本快速包裹的预测误差;
11、根据所述每个初始孤立森林模型对应的预测误差,从所述多个初始孤立森林模型中筛选出孤立森林模型;
12、根据所述样本包裹数据对所述孤立森林模型进行训练,得到异常包裹识别模型;
13、步骤s2中对所述包裹数据进行预处理,识别出异常包裹对应的包裹数据,包括:
14、将每个快递包裹的包裹数据输入所述异常包裹识别模型进行异常包裹识别处理,得到每个快递包裹对应的包裹识别结果;
15、将包裹识别结果为异常结果的快递包裹确定为异常包裹,并获取所述异常包裹对应的异常包裹数据。
16、可选的,所述根据所述样本包裹数据对所述孤立森林模型进行训练,得到异常包裹识别模型,包括:
17、将每个样本快递包裹的样本包裹数据输入所述孤立森林模型,计算所述样本包裹数据在所述孤立森林模型中每棵树上的路径长度,得到样本路径长度平均值;所述样本快递包裹标注了样本包裹类别标签,所述样本包裹类别标签包括正常包裹类别标签以及异常包裹类别标签;
18、根据所述样本路径长度平均值与预设阈值之间的差异,得到所述样本快递包裹的样本包裹类别预测结果;
19、根据每个样本快递包裹对应的样本包裹类别预测结果与样本包裹类别标签之间的差异,确定样本损失数据;
20、根据所述样本损失数据对所述孤立森林模型进行训练,得到异常包裹识别模型。
21、可选的,步骤s3之前,所述方法还包括:
22、获取预设快递包裹集中每个预设快递包裹的预设包裹数据,所述每个预设快递包裹为异常包裹且标注了训练异常类型标签;
23、将所述预设快递包裹集按照预设比例划分成训练集以及验证集;
24、将训练集中每个训练快递包裹的训练包裹数据输入lightgbm模型,基于所述lightgbm模型中的异常特征提取网络,对每个训练包裹数据进行异常特征提取处理,得到每个训练快递包裹的训练异常特征;
25、基于所述lightgbm模型中的异常类型预测网络对每个训练快递包裹的训练异常特征进行异常类型预测处理,得到训练异常类型结果;
26、根据所述训练集中每个训练快递包裹的训练异常类型结果与训练异常类型标签之间的差异对所述lightgbm模型进行训练,得到初始异常类型识别模型;
27、根据所述验证集对所述初始异常类型识别模型进行验证,并根据验证结果确定异常类型识别模型;
28、步骤s3中整理识别出的异常包裹对应的包裹数据,将异常包裹数据进行分类,确定异常包裹对应的异常类型,包括:
29、将所述异常包裹对应的包裹数据输入异常类型识别模型进行异常类型识别处理,得到所述异常包裹对应的异常类型。
30、可选的,所述根据所述验证集对所述初始异常类型识别模型进行验证,并根据验证结果确定异常类型识别模型,包括:
31、采用网格搜索算法以及k折交叉验证法,对所述初始异常类型识别模型进行超参数优化及训练,得到中间异常类型识别模型;
32、将所述验证集中的每个验证快递包裹的验证包裹数据输入所述中间异常类型识别模型,得到每个验证快递包裹的验证异常类型结果;
33、根据每个验证快递包裹的验证异常类型结果与验证异常类型标签之间的差异,确定所述中间异常类型识别模型的验证参数;
34、若所述验证参数满足预设验证条件,将所述中间异常类型识别模型确定为所述异常类型识别模型;
35、若所述验证参数不满足所述预设验证条件,对所述中间异常类型识别模型进行重复训练后得到所述异常类型识别模型。
36、可选的,所述根据每个验证快递包裹的验证异常类型结果与验证异常类型标签之间的差异,确定所述中间异常类型识别模型的验证参数,包括:
37、根据每个验证快递包裹的验证异常类型结果与验证异常类型标签之间的差异,确定所述中间异常类型识别模型的精准率;和/或
38、根据每个验证快递包裹的验证异常类型结果与验证异常类型标签之间的差异,确定所述中间异常类型识别模型的召回率;和/或
39、根据每个验证快递包裹的验证异常类型结果与验证异常类型标签之间的差异,确定所述中间异常类型识别模型的f1值;
40、将所述精准率、所述召回率、所述f1值中的至少一个确定为所述中间异常类型识别模型的验证参数。
41、可选的,所述验证参数满足预设验证条件包括以下至少一项:
42、所述精准率达到预设精准率阈值;
43、所述召回率达到预设召回率阈值;
44、所述f1值达到预设f1阈值。
45、本发明还提供了一种异常快递包裹的预警装置,包括:
46、数据采集模块,用于采集每个快递包裹在运输过程中产生的包裹数据;
47、异常包裹识别模块,用于对所述包裹数据进行预处理,识别出异常包裹对应的包裹数据;
48、异常类型确定模块,用于整理识别出的异常包裹对应的包裹数据,将异常包裹数据进行分类,确定异常包裹对应的异常类型;
49、预警模块,用于发布异常包裹的包裹数据及异常类型,并对该异常包裹进行预警。
50、可选的,所述装置还包括:
51、初始模型构建模块,用于设置每个孤立森林中树的第一当前数量以及样本快速包裹的第二当前数量,并根据所述第一当前数量、第二当前数量,构建多个初始孤立森林模型;
52、初始结果预测模块,用于针对每个初始孤立森林模型,将所述第二当前数量的所述样本包裹数据输入所述初始孤立森林模型,得到每个样本快递包裹对应的初始包裹类别预测结果;
53、误差确定模块,用于根据每个样本快递包裹对应的初始包裹类别预测结果与真实包裹类别结果之间的差异,得到每个样本快速包裹的预测误差;
54、模型筛选模块,用于根据所述每个初始孤立森林模型对应的预测误差,从所述多个初始孤立森林模型中筛选出孤立森林模型;
55、异常包裹识别模型训练模块,用于根据所述样本包裹数据对所述孤立森林模型进行训练,得到异常包裹识别模型。
56、所述异常包裹识别模块包括:
57、包裹识别单元,用于将每个快递包裹的包裹数据输入所述异常包裹识别模型进行异常包裹识别处理,得到每个快递包裹对应的包裹识别结果;
58、包裹数据获取单元,用于将包裹识别结果为异常结果的快递包裹确定为异常包裹,并获取所述异常包裹对应的异常包裹数据。
59、可选的,所述异常包裹识别模型训练模块包括:
60、样本数据输入单元,用于将每个样本快递包裹的样本包裹数据输入所述孤立森林模型,计算所述样本包裹数据在所述孤立森林模型中每棵树上的路径长度,得到样本路径长度平均值;所述样本快递包裹标注了样本包裹类别标签,所述样本包裹类别标签包括正常包裹类别标签以及异常包裹类别标签;
61、样本结果预测单元,用于根据所述样本路径长度平均值与预设阈值之间的差异,得到所述样本快递包裹的样本包裹类别预测结果;
62、损失确定单元,用于根据每个样本快递包裹对应的样本包裹类别预测结果与样本包裹类别标签之间的差异,确定样本损失数据;
63、模型确定单元,用于根据所述样本损失数据对所述孤立森林模型进行训练,得到异常包裹识别模型。
64、可选的,所述装置还包括:
65、预设数据获取模块,用于获取预设快递包裹集中每个预设快递包裹的预设包裹数据,所述每个预设快递包裹为异常包裹且标注了训练异常类型标签;
66、数据划分模块,用于将所述预设快递包裹集按照预设比例划分成训练集以及验证集;
67、特征提取模块,用于将训练集中每个训练快递包裹的训练包裹数据输入lightgbm模型,基于所述lightgbm模型中的异常特征提取网络,对每个训练包裹数据进行异常特征提取处理,得到每个训练快递包裹的训练异常特征;
68、训练结果确定模块,用于基于所述lightgbm模型中的异常类型预测网络对每个训练快递包裹的训练异常特征进行异常类型预测处理,得到训练异常类型结果;
69、初始模型确定模块,用于根据所述训练集中每个训练快递包裹的训练异常类型结果与训练异常类型标签之间的差异对所述lightgbm模型进行训练,得到初始异常类型识别模型;
70、异常模型确定模块,用于根据所述验证集对所述初始异常类型识别模型进行验证,并根据验证结果确定异常类型识别模型。
71、相应的,异常类型确定模块,还用于将所述异常包裹对应的包裹数据输入异常类型识别模型进行异常类型识别处理,得到所述异常包裹对应的异常类型。
72、可选的,所述异常模型确定模块包括:
73、参数优化单元,用于采用网格搜索算法以及k折交叉验证法,对所述初始异常类型识别模型进行超参数优化及训练,得到中间异常类型识别模型;
74、验证结果确定单元,用于将所述验证集中的每个验证快递包裹的验证包裹数据输入所述中间异常类型识别模型,得到每个验证快递包裹的验证异常类型结果;
75、验证参数确定单元,用于根据每个验证快递包裹的验证异常类型结果与验证异常类型标签之间的差异,确定所述中间异常类型识别模型的验证参数;
76、模型确定单元,用于若所述验证参数满足预设验证条件,将所述中间异常类型识别模型确定为所述异常类型识别模型;
77、重复训练单元,用于若所述验证参数不满足所述预设验证条件,对所述中间异常类型识别模型进行重复训练后得到所述异常类型识别模型。
78、可选的,所述验证参数确定单元包括:
79、第一参数确定子单元,用于根据每个验证快递包裹的验证异常类型结果与验证异常类型标签之间的差异,确定所述中间异常类型识别模型的精准率;和/或
80、第二参数确定子单元,用于根据每个验证快递包裹的验证异常类型结果与验证异常类型标签之间的差异,确定所述中间异常类型识别模型的召回率;和/或
81、第三参数确定子单元,用于根据每个验证快递包裹的验证异常类型结果与验证异常类型标签之间的差异,确定所述中间异常类型识别模型的f1值;
82、验证参数确定子单元,用于将所述精准率、所述召回率、所述f1值中的至少一个确定为所述中间异常类型识别模型的验证参数。
83、可选的,所述验证参数满足预设验证条件包括以下至少一项:
84、所述精准率达到预设精准率阈值;
85、所述召回率达到预设召回率阈值;
86、所述f1值达到预设f1阈值。
87、本发明还提供了一种电子设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现异常快递包裹的预警方法。
88、本发明还提供了一种计算机存储介质,所述计算机存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行异常快递包裹的预警方法。
89、本发明提供的异常快递包裹的预警方法、设备及存储介质,具有如下技术效果:
90、本发明采集每个快递包裹在运输过程中产生的包裹数据,对包裹数据进行预处理,识别出异常包裹对应的包裹数据,将异常包裹数据进行分类,确定异常包裹对应的异常类型,发布异常包裹的包裹数据及异常类型,并对该异常包裹进行预警,本发明通过对物流数据进行实时采集、处理和分析,从而可以及时发现异常数据,为物流运营提供决策支持,提高数据的质量和可用性,同时提高对异常快递包裹的处理效率。