基于目标检测的卷烟订单纠错方法、装置、系统和设备与流程

1.本发明属于目标检测技术领域，具体涉及一种基于目标检测的卷烟订单纠错方法、装置、系统和设备。


背景技术：

2.目前卷烟物流通过条烟包装机进行自动装箱和出库，在该过程中，由于条烟包装机自身无法精确地对条烟品牌和数量进行校验，导致可能出现条烟包装机包装成的整箱产品与用户需求订单不一致，例如：某商超卷烟零售用户需求订单为中华10条、黄鹤楼10条以及娇子 10条，但打包后的整箱卷烟产品包括中华12条、黄鹤楼9条以及娇子9条，因此存在打包错误。现有技术需要将条烟包装与用户订单进行人工核对，例如核对待分发商户名称、条烟品牌和数量等，人工成本较大，且依靠人工核对校验难免出现疏漏，最后引起错烟、少烟和多烟等，造成经济损失或客户满意度低下。


技术实现要素：

3.本发明的目的是提供一种基于目标检测的卷烟订单纠错方法、装置、系统和设备，用于解决现有技术中利用人工核对条烟包装，容易出错且效率低下的技术问题。
4.为了实现上述目的，本发明采用以下技术方案：
5.第一方面，本发明提供一种基于目标检测的卷烟订单纠错方法，包括：
6.基于yolov4算法建立卷烟目标检测模型；
7.采集打包后的整箱卷烟产品的图像信息，将图像信息输入至所述卷烟目标检测模型中进行目标检测，得到目标检测结果；其中，所述目标检测结果至少包括卷烟品牌和卷烟数量；
8.将所述目标检测结果与用户需求订单进行比对，若比对结果不一致，则触发订单纠错报警。
9.在一种可能的设计中，基于yolov4算法建立卷烟目标检测模型，包括：
10.获取若干历史卷烟打包图像以构建训练样本集，并对所述训练样本集进行处理；
11.利用yolov4算法对处理后的训练样本集进行训练，得到卷烟目标检测模型。
12.在一种可能的设计中，对所述训练样本集进行处理，包括：
13.对所述训练样本集进行预处理，其中，预处理方式包括依次进行的图像格式处理、数据增加处理以及数据融合处理；
14.将预处理后的训练样本集中每一图像进行网格划分，并获取每个网格的预测框，得到带有预测框的最终训练样本集。
15.在一种可能的设计中，在采集包装后的整箱卷烟产品的图像信息之前，所述方法还包括：
16.将零散卷烟产品通过传送机构送入包装机进行包装，并通过设于包装机出口的卷烟感应装置检测整箱卷烟产品的到达信号，以便在检测到信号时触发图像采集装置对整箱
卷烟产品进行图像采集。
17.在一种可能的设计中，所述卷烟感应装置包括至少一个红外感应器，所述红外感应器设于所述传送机构上且靠近所述包装机的出口位置处。
18.在一种可能的设计中，所述图像采集装置包括至少一个工业相机，所述工业相机设于所述卷烟感应装置的上方。
19.第二方面，本发明提供一种基于目标检测的卷烟订单纠错装置，包括：
20.模型建立模块，用于基于yolov4算法建立卷烟目标检测模型；
21.目标检测模块，用于采集打包后的整箱卷烟产品的图像信息，将图像信息输入至所述卷烟目标检测模型中进行目标检测，得到目标检测结果；其中，所述目标检测结果至少包括卷烟品牌和卷烟数量；
22.报警模块，用于将所述目标检测结果与用户需求订单进行比对，若比对结果不一致，则触发订单纠错报警。
23.在一种可能的设计中，所述模型建立模块具体包括：
24.样本处理单元，用于获取若干历史卷烟打包图像以构建训练样本集，并对所述训练样本集进行处理；
25.样本训练单元，用于利用yolov4算法对处理后的训练样本集进行训练，得到卷烟目标检测模型。
26.在一种可能的设计中，在对所述训练样本集进行处理时，所述样本处理单元具体用于：
27.对所述训练样本集进行预处理，其中，预处理方式包括依次进行的图像格式处理、数据增加处理以及数据融合处理；
28.将预处理后的训练样本集中每一图像进行网格划分，并获取每个网格的预测框，得到带有预测框的最终训练样本集。
29.在一种可能的设计中，所述装置还包括：
30.图像采集模块，用于将零散卷烟产品通过传送机构送入包装机进行包装，并通过设于包装机出口的卷烟感应装置检测整箱卷烟产品的到达信号，以便在检测到信号时触发图像采集装置对整箱卷烟产品进行图像采集。
31.在一种可能的设计中，所述卷烟感应装置包括至少一个红外感应器，所述红外感应器设于所述传送机构上且靠近所述包装机的出口位置处。
32.在一种可能的设计中，所述图像采集装置包括至少一个工业相机，所述工业相机设于所述卷烟感应装置的上方。
33.第三方面，本发明提供一种基于目标检测的卷烟订单纠错系统，包括设于包装机出口的卷烟感应装置、设于卷烟感应装置上方的图像采集装置、与卷烟感应装置和图像采集装置分别电连接的控制器以及与所述控制器通信连接的服务器，所述服务器用于执行如第一方面任意一种可能的设计中所述的基于目标检测的卷烟订单纠错方法。
34.第四方面，本发明提供一种计算机设备，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面任意一种可能的设计中所述的基于目标检测的卷烟订单纠错方法。
35.第五方面，本发明提供一种计算机设备，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面任意一种可能的设计中所述的基于目标检测的卷烟订单纠错方法。
36.第六方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面任意一种可能的设计中所述的基于目标检测的卷烟订单纠错方法。
37.第七方面，本发明提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面任意一种可能的设计中所述的基于目标检测的卷烟订单纠错方法。
38.本发明相较于现有技术的有益效果为：
39.本发明基于yolov4算法建立卷烟目标检测模型；采集打包后的整箱卷烟产品的图像信息，将图像信息输入至所述卷烟目标检测模型中进行目标检测，得到目标检测结果；其中，所述目标检测结果至少包括卷烟品牌和卷烟数量；最后将所述目标检测结果与用户需求订单进行比对，若比对结果不一致，则触发订单纠错报警。本发明基于 yolov4算法的卷烟目标检测模型来对打包后的卷烟产品进行目标检测，包括核对卷烟的品牌和数量，从而能够快速、准确和有效的识别校验订单，为高效精准地服务客户提供了有力保障；并且能够大幅度降低作业人员在码放货物的同时核对订单的工作强度，减少因设备故障或人工操作不当，导致的订单差异处理时间，消除了因未及时发现订单差异，而导致的经济损失。
附图说明
40.图1为本实施例中的基于目标检测的卷烟订单纠错方法的流程图；
41.图2为本实施例中的基于目标检测的卷烟订单纠错装置的结构框图；
42.图3为本实施例中的基于目标检测的卷烟订单纠错系统的结构框图。
具体实施方式
43.为使本说明书实施例的目的、技术方案和优点更加清楚，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.为了解决现有技术中人工核对卷烟订单存在人工成本较大、容易出错以及效率低下的技术问题，本实施例例提供了一种基于目标检测的卷烟订单纠错方法，该方法基于yolov4算法的卷烟目标检测模型来对打包后的卷烟产品进行目标检测，包括核对卷烟的品牌和数量，从而能够快速、准确和有效的识别校验订单，为高效精准地服务客户提供了有力保障；并且能够大幅度降低作业人员在码放货物的同时核对订单的工作强度，减少因设备故障或人工操作不当，导致的订单差异处理时间，消除了因未及时发现订单差异，而导致的经济损失。以下对本实施例进行详细说明。
45.实施例
46.如图1所示，第一方面，本发明提供一种基于目标检测的卷烟订单纠错方法，包括但不限于由步骤s1～步骤s3实现：
47.步骤s1.基于yolov4算法建立卷烟目标检测模型；
48.其中，需要说明的是，yolov4目标检测网络相较于传统的目标检测网络，本实施例具有诸多创新，包括但不限于：
49.(1)对输入端的创新：这里的创新包括mosaic数据增强，通过采用4张图片，并利用随机缩放、随机裁剪和随机排布的方式进行拼接。此外，由于在平时样本训练时，小目标的ap(access point，接入点)一般比中目标和大目标低很多，而coco数据集中也包含大量的小目标，但比较麻烦的是小目标的分布并不均匀。coco数据集中小目标占比达到41.4％，数量比中目标和大目标都要多。但在所有的训练集图片中，只有52.3％的图片有小目标，而中目标和大目标的分布相对来说更加均匀一些。那么，通过随机使用4张图片，随机缩放，再随机分布进行拼接，能够大大丰富检测数据集，特别是随机缩放增加了很多小目标，让网络的鲁棒性更好，而在mosaic增强训练时，可以直接计算4张图片的数据，使得mini-batch大小并不需要很大，一个gpu就可以达到比较好的效果。
50.(2)对cmbn归一化的创新：这里的创新主要包括把大batch内部的4个mini batch当做一个整体，对外隔离，主要改变在于bn层的统计量计算方面，具体流程是：假设当前是第t次迭代时刻，也是 mini-batch的起点。在第t时刻开始进行梯度累加操作；在第t时刻开始进行bn统计量汇合操作；应用bn对输入进行变换输出即可；在mini batch的最后一个时刻，进行参数更新和可学习参数更新。
51.(3)对sat自对抗训练的创新：sat是一种自对抗训练数据增强方法。在第一阶段，神经网络改变原始图像而不改变网络权值，以这种方式，神经网络对自身进行对抗性攻击，改变原始图像，以制造图像上没有所需对象的欺骗。在第二阶段，对修改后的图像进行正常的目标检测。
52.(4)对backbone主干网络的创新：将主干网络设为 cspdarknet53结构，其中包含了5个csp模块，每个csp模块前面的卷积核的大小都是3*3，stride＝2，因此可以起到下采样的作用；输入图像是608*608，所以特征图变化的规律是： 608-》304-》152-》76-》38-》19，经过5次csp模块后得到19*19大小的特征图；在backbone中采用了mish激活函数，网络后面仍然采用 leaky_relu激活函数。
53.(5)对neck的创新：目标检测网络在backbone和最后的输出层之间往往会插入一些层，在目标检测领域，为了更好的提取融合特征，通常在backbone和输出层，会插入一些层，这个部分称为neck。相当于目标检测网络的颈部，也是非常关键的。yolov4的neck结构主要采用了spp模块以及fpn+pan的方式，在spp模块中，使用k＝{1*1,5*5,9*9,13*13}的最大池化的方式，再将不同尺度的特征图进行concat操作。
54.(6)对prediction的创新：输出层的锚框机制，主要是训练时的损失函数ciou_loss以及预测框筛选的nms变为diou_nms。
55.在步骤s1中，基于yolov4算法建立卷烟目标检测模型，包括：
56.步骤s11.获取若干历史卷烟打包图像以构建训练样本集，并对所述训练样本集进行处理；
57.具体的，对所述训练样本集进行处理，包括：
58.a.对所述训练样本集进行预处理，其中，预处理方式包括依次进行的图像格式处理、数据增加处理以及数据融合处理；
59.具体的，将采集的若干历史卷烟打包图像的数据格式处理为统一的数据格式，然后对处理后的图像进行数据增强，包括但不限于进行几何变换处理、光学变换处理、增加噪声处理以及mossic数据增强处理，然后将增强后的图像进行数据融合，得到预处理后的训练样本集。
60.b.将预处理后的训练样本集中每一图像进行网格划分，并获取每个网格的预测框，得到带有预测框的最终训练样本集。
61.步骤s12.利用yolov4算法对处理后的训练样本集进行训练，得到卷烟目标检测模型。
62.基于上述公开的内容，通过灵活运用yolov4神经网络的灵活机制，配合卷烟零售行业产品的特点多样，大品类共性较多的特点，可训练一个识别速率快，准确度高的识别网络。
63.步骤s2.采集打包后的整箱卷烟产品的图像信息，将图像信息输入至所述卷烟目标检测模型中进行目标检测，得到目标检测结果；其中，所述目标检测结果至少包括卷烟品牌和卷烟数量；
64.在步骤s2中，在采集包装后的整箱卷烟产品的图像信息之前，所述方法还包括：
65.将零散卷烟产品通过传送机构送入包装机进行包装，并通过设于包装机出口的卷烟感应装置检测整箱卷烟产品的到达信号，以便在检测到信号时触发图像采集装置对整箱卷烟产品进行图像采集。
66.优选的，所述卷烟感应装置包括至少一个红外感应器，所述红外感应器设于所述传送机构上且靠近所述包装机的出口位置处，当然，为了保证检测结果更准确，本实施例还可以设置多个红外感应器同时检测整箱卷烟产品的到达信号，从而触发图像采集装置进行图像采集；当然，可以理解的是，本实施例中的卷烟感应装置不限于红外感应器，还可以是其他位置传感器，例如接近开关等，此处不做限定。
67.优选的，所述图像采集装置包括至少一个工业相机，所述工业相机设于所述卷烟感应装置的上方，当然，为了保证图像采集效果更好，本实施例还可以设置多个工业相机从多个角度同时采集整箱卷烟产品的图像信息，以保证图像信息的完整性；当然，可以理解的是，本实施例中的图像采集装置不限于工业相机，还可以是其他图像采集装置，例如3d结构光相机、高清摄像头等，此处不做限定。
68.步骤s3.将所述目标检测结果与用户需求订单进行比对，若比对结果不一致，则触发订单纠错报警。
69.例如：某卷烟零售商户需求的订单包括中华(软)1条、黄山(新一品)2条、白沙(硬新精品二代)3条、云烟(紫)5条以及红塔山(软经典)4条；但目标检测网络的识别结果为中华(软)1条、黄山(新一品)2条、白沙(硬新精品二代)3条、云烟(紫)4条以及红塔山(软经典)5条，则表明比对结果不一致，此时系统触发订单纠错报警提示，由作业人员进行人工纠错，从而能够大大减小人工工作量。
70.基于上述公开的内容，本实施例基于yolov4算法建立卷烟目标检测模型；采集打包后的整箱卷烟产品的图像信息，将图像信息输入至所述卷烟目标检测模型中进行目标检
测，得到目标检测结果；其中，所述目标检测结果至少包括卷烟品牌和卷烟数量；最后将所述目标检测结果与用户需求订单进行比对，若比对结果不一致，则触发订单纠错报警。本发明基于yolov4算法的卷烟目标检测模型来对打包后的卷烟产品进行目标检测，包括核对卷烟的品牌和数量，从而能够快速、准确和有效的识别校验订单，为高效精准地服务客户提供了有力保障；并且能够大幅度降低作业人员在码放货物的同时核对订单的工作强度，减少因设备故障或人工操作不当，导致的订单差异处理时间，消除了因未及时发现订单差异，而导致的经济损失。
71.如图2所示，第二方面，本发明提供一种基于目标检测的卷烟订单纠错装置，包括：
72.模型建立模块，用于基于yolov4算法建立卷烟目标检测模型；
73.目标检测模块，用于采集打包后的整箱卷烟产品的图像信息，将图像信息输入至所述卷烟目标检测模型中进行目标检测，得到目标检测结果；其中，所述目标检测结果至少包括卷烟品牌和卷烟数量；
74.报警模块，用于将所述目标检测结果与用户需求订单进行比对，若比对结果不一致，则触发订单纠错报警。
75.在一种可能的设计中，所述模型建立模块具体包括：
76.样本处理单元，用于获取若干历史卷烟打包图像以构建训练样本集，并对所述训练样本集进行处理；
77.样本训练单元，用于利用yolov4算法对处理后的训练样本集进行训练，得到卷烟目标检测模型。
78.在一种可能的设计中，在对所述训练样本集进行处理时，所述样本处理单元具体用于：
79.对所述训练样本集进行预处理，其中，预处理方式包括依次进行的图像格式处理、数据增加处理以及数据融合处理；
80.将预处理后的训练样本集中每一图像进行网格划分，并获取每个网格的预测框，得到带有预测框的最终训练样本集。
81.在一种可能的设计中，所述装置还包括：
82.图像采集模块，用于将零散卷烟产品通过传送机构送入包装机进行包装，并通过设于包装机出口的卷烟感应装置检测整箱卷烟产品的到达信号，以便在检测到信号时触发图像采集装置对整箱卷烟产品进行图像采集。
83.在一种可能的设计中，所述卷烟感应装置包括至少一个红外感应器，所述红外感应器设于所述传送机构上且靠近所述包装机的出口位置处。
84.在一种可能的设计中，所述图像采集装置包括至少一个工业相机，所述工业相机设于所述卷烟感应装置的上方。
85.如图3所示，第三方面，本发明提供一种基于目标检测的卷烟订单纠错系统，包括设于包装机出口的卷烟感应装置、设于卷烟感应装置上方的图像采集装置、与卷烟感应装置和图像采集装置分别电连接的控制器以及与所述控制器通信连接的服务器，所述服务器用于执行如第一方面任意一种可能的设计中所述的基于目标检测的卷烟订单纠错方法。
86.第四方面，本发明提供一种计算机设备，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于
读取所述计算机程序，执行如第一方面任意一种可能的设计中所述的基于目标检测的卷烟订单纠错方法。
87.具体举例的，所述存储器可以但不限于包括随机存取存储器 (random-access memory，ram)、只读存储器(read-only memory， rom)、闪存(flash memory)、先进先出存储器(first input firstoutput，fifo)和/或先进后出存储器(first input last output， filo)等等；所述处理器可以不限于采用型号为stm32f105系列的微处理器；所述收发器可以但不限于为wifi(无线保真)无线收发器、蓝牙无线收发器、gprs(general packet radio service，通用分组无线服务技术)无线收发器和/或zigbee(紫蜂协议，基于ieee802.15.4标准的低功耗局域网协议)无线收发器等。此外，所述计算机设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。
88.本实施例第四方面提供的前述计算机设备的工作过程、工作细节和技术效果，可以参见如上第一方面或第一方面中任意一种可能设计所述的方法，于此不再赘述。
89.第五方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面任意一种可能的设计中所述的基于目标检测的卷烟订单纠错方法。
90.其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(memory stick) 等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
91.本实施例第五方面提供的前述计算机可读存储介质的工作过程、工作细节和技术效果，可以参见如上第一方面或第一方面中任意一种可能设计所述的方法，于此不再赘述。
92.第六方面，本发明提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面任意一种可能的设计中所述的基于目标检测的卷烟订单纠错方法。
93.本实施例第六方面提供的前述计算机程序产品的工作过程、工作细节和技术效果，可以参见如上第一方面或第一方面中任意一种可能设计所述的方法，于此不再赘述。
94.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。