一种基于深度网络的快递智能分拣方法与流程

本发明涉及图像处理领域，具体为一种基于深度网络的快递智能分拣方法。

背景技术：

1、随着电商行业在国内迅速崛起，带动这快递物流服务业务的高速发展。根据数据统计，2019年11月产生了约16亿个需要精准分拣配送的快递包裹，相较于2010年包裹数量约165倍。面对国内城镇、乡村区域配送站点的复杂性和工分拣及配送局限性，大量的智能化物流分拣方法被应用在实际物流中心用于复杂场景下的包裹自动分拣。

2、当前包裹分拣流程中，市面上分拣设施的流程绝大多数都是首先识别电子面单上的条形码，通过解析条形码获取包裹单号，进而通过单号在数据库中检索包裹的收件人地址信息，再通过解析收件地址进行分区中转，这将使得分拣过程中的条形码成为唯一的包裹身份价值信息。然而，在实际物流中转过程中，崎岖道路的运输环境和复杂多变的梅雨天气，往往容易导致分拣依赖的条形码产生裂纹破损丢失身份信息。当前物流配送环节中，为了应对这种破损条形码，需要在各个中转节点进行人工审核与派送，这既导致物流订单在多个站点之间反复分拣，也使得配送员需要通过底单核对数据库任务清单，不仅极大的增加了人力工作量，而且浪费了大批量的核算清单时间。

技术实现思路

1、本发明的目的是针对现有技术的缺陷，提供一种基于深度网络的快递智能分拣方法，以解决上述背景技术提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于深度网络的快递智能分拣方法，其特征在于：包含按如下步骤1至步骤6完成快递单识别和分拣指令下发：

3、步骤1：物流包裹图片i通过图片解码模块分别输出标准化图片in和灰度化图片iv，通过快递单检测模块modeld检测输出快递单四点检测坐标pd，然后将灰度图片iv和四点检测坐标pd输入到步骤2中；

4、步骤2：灰度图片iv和四点检测坐标pd输入到裁剪模块中获取到快递单图片，通过文本检测模块modelt对快递单图片执行多类别检测任务，输出多个文本位置pt和文本所属关键字段类别ct，然后将步骤1中的标准化图片in、四点检测坐标pd和步骤2中的文本位置pt输入到步骤3中；

5、步骤3：对in、pd、pt进行透视解码模块处理获取到多个文本行图片it，通过文本行识别模块models得到每个文本行图片iti对应的文本内容sti，将文本内容st和对应步骤2中的关键字段类别ct输入到步骤4中；

6、步骤4：输入关键字段类别ct和文本内容st，通过解码矫正模块得到校正后的识别内容stt；

7、步骤5：将stt和ct通过结构化处理模块得到价值信息合集∏，其中价值信息由“寄件日期”、“收件人姓名”、“收件人电话”、“收件人地址”构成，将价值信息合集输入到步骤6中；

8、步骤6：将价值信息合集∏通过物流数据库查询匹配到最优收件人数据，通过收件人数据下发分拣指令，完成快递物流信息分发。

9、作为本发明的一种优选技术方案：假设图片i由[ir,ig,ib]三通道图片组成，所述步骤1中的图片解码模块计算公式为：

10、

11、

12、

13、iv(x，y)＝kr*ir′(x，y)+kg*ig′(x，y)+(1-kr-kg)*ib′(x，y)

14、其中，in(x，y)代表图像坐标点(x，y)的标准化图片输出值，iv(x,y)代表图像坐标(x，y)的灰度图片输出值。

15、作为本发明的一种优选技术方案：所述步骤1的四点检测坐标pd和步骤2的文本位置pt主要区别在于：pt为文本矩形坐标pd为快递单最小外接矩形

16、作为本发明的一种优选技术方案：所述步骤1中快递单检测模块modeld的网络结构为：依次包括残差网络层、fpn层、特征融合层和3个输出头，其中残差网络层采用resnet-18；在fpn层中包含了5个下采样层和4个上采样层，第2、3、4、5个下采样层与第1、2、3、4个上采样层进行依次连接；特征融合层对4个上采样层进行特征融合并输出3个特征图，3个特征图依次分别为：快递单中心点高斯热图、中心点和顶点距离回归图、矩形角度正弦-余弦图。

17、作为本发明的一种优选技术方案：所述步骤2中快递单检测模块modelt的网络结构为：依次包括残差网络层、fpn层、特征融合层和3个输出头，其中残差网络层采用resnet-50；在fpn层中包含了5个下采样层和4个上采样层，第2、3、4、5个下采样层与第1、2、3、4个上采样层进行依次连接；特征融合层对4个上采样层进行特征融合并输出3个特征图；3个特征图依次分别为：文本行中心点高斯热图、文本行宽高回归图、文本行分类图。

18、作为本发明的一种优选技术方案：所述步骤3中透视解码模块计算公式为：

19、

20、

21、

22、

23、matd＝[ud′，vd′，1][ud，vd，1]-1

24、matt＝[ut′，vt′，1][ut，vt，1]-1

25、piit＝matt-1*matd-1*pt

26、其中，ud和vd分别代表pd的x轴和y轴坐标合集，ut和vt分别代表pt的x轴和y轴坐标合集，ud′和vd′代表快递单裁剪后的x轴和y轴坐标合集，ut′和vt′代表文本行裁剪后的x轴和y轴坐标合集。

27、作为本发明的一种优选技术方案：所述步骤3中解码矫正模块分为规则矫正和模糊矫正，其中规则矫正由号码规则和日期规则组成，模糊矫正流程分为：

28、步骤a：根据行政区域划分和地址要素构建多叉树地址字典；

29、步骤b：使用多叉树地址字典对地址关键文本进行结巴分词；

30、步骤c：计算分词内容和多叉树地址字典的最小编辑距离，通过相似度匹配得到正确的寄件地址，其中相似度计算公式为：

31、ssim＝1-ld/maxlen(st，st′)

32、其中ld代表编辑距离，st′分别代表地址字典构建的推荐地址字符串。

33、作为本发明的一种优选技术方案：所述步骤3中快递单检测模块models的网络结构为：依次包括2个特征提取层、4个残差层和识别结果输出层，其中特征提取层是由卷积层、bn层和激活层依次首尾连接形成；其中残差层是由3个卷积层、3个bn层和1个激活层构成，分为a、b双路收尾相连并行计算，a路由卷积层、bn层、激活层、卷积层、bn层构成依次首尾连接形成，b路由卷积层和bn层连接形成；识别结果输出层由池化层和softmax层连接形成。

34、作为本发明的一种优选技术方案：所述号码规则和日期规则的正则表达式分别为：

35、tn_re＝\(？0\d{2，3}[)-]？\d{7，8}

36、dn_re＝(\d{2})：(\d{2})：(\d{2})

37、作为本发明的一种优选技术方案：所述步骤6中物流数据库包含“寄件日期”、“收件人姓名”、“收件人电话”、“收件人地址”，假设价值信息其匹配规则为：

38、假设一组价值信息由“寄件日期”α、“收件人姓名”β、“收件人电话”χ、“收件人地址”δ组成，物流数据库由多组[αi，βi，χi，δi]构成：

39、di＝[αi，βi，χi，δi]△[α，β，χ，δ]

40、

41、其中△代表求并集操作，index代表下发数据库指令编号。

42、本发明所述一种基于深度网络的快递智能分拣方法，采用以上技术方案与现有技术相比，具有以下技术效果：

43、本发明的有益效果是：本发明提出的一种基于深度网络的快递智能分拣方法，使用图像解码输出多模态图片，从而专项提升每个深度学习模块任务效果。在本发明提出方法中，提出了从包裹中检测出快递单，在快递单中检测和识别出文本行所述关键字段类别和文本行内容，对价值信息进行矫正和结构化输出，与物流数据库进行价值信息匹配和任务指令分发的一整套完备方案，可以直接应用于当前物流分拣流水线中，从而提升分拣的准确率和效率。在本发明提出方法中，仅需要包裹图片信息作为价值信息智能提取的模型输入，这将极大的减少非必要信息采集和硬件升级部署，契合当前物流站点的复杂多变环境，有利于大规模物流自动分拣线路的低成本功能迭代。