基于多特征识别的异型烟分拣差错检测方法与流程

1.本发明涉及一种异型烟分拣差错检测方法，更具体的说，尤其涉及一种基于多特征识别的异型烟分拣差错检测方法。


背景技术：

2.异型烟是指与常规香烟不同粗细、不同长度的卷烟，例如细支、中支和短中支香烟，由于异型香烟的长度、粗细与常规的不同，这就导致每条香烟(通常为20盒包装在一起)的尺寸与常规的不同，也就是每条异型烟的形状和尺寸与常规每条香烟的形状和尺寸不同。不同的商家所订购的异型烟的品规和每个品规的数量不同，为了实现对商家订单的高速、高效分拣，通常设置有异型烟分拣线来实现对商家异型烟订单的自动分拣。
3.异型烟分拣线为自动分拣线，不同品规的异型烟根据订单信息被分拣机的推烟装置输送到主线皮带输送机，再根据订单进行异型烟打码，之后进行裹膜码垛。在上述过程中，推烟装置一旦发生错误，会造成实际分拣的异型烟与分拣订单的数量品规不一致，造成异型烟二次分拣、打码，影响分拣效率，出错烟包进入配送环节后，需进行查找追溯，并由送货人员进行调换，给客户带来不便和困扰的同时，增大了送货员和分拣员劳动量。目前采用的方法是人工进行订单核对，但人工核对时间长、效率低，长时间核对易出错，也会影响后续分拣流程。
4.因此，本发明采用特征提取方法，实现了在异型烟打码前，对分拣订单与实际分拣条烟的品规与数量进行自动核对，代替人工核对，提高异型烟分拣效率，最大程度发挥异型烟集中分拣的统筹协作效用。


技术实现要素：

5.本发明为了克服上述技术问题的缺点，提供了一种基于多特征识别的异型烟分拣差错检测方法。
6.本发明的基于多特征识别的异型烟分拣差错检测方法，包括异型烟分拣线和异型烟分拣差错检测方法，异型烟分拣线由主线皮带输送机(7)、主机与显示器(3)、光电感应设备(5)、彩色高清工业相机(6)和警示灯(1)，主机与显示器用于接收异型烟分拣订单和控制异型烟分拣线的运行；光电感应设备设置于主线皮带输送机上，彩色高清工业相机设置于光电感应设备的上方，彩色高清工业相机的下方形成差错检测识别区域(4)；光电感应设备用于检测是否有成条的异型烟(2)达到差错检测识别区域，彩色高清工业相机用于对差错检测识别区域进行拍照；其特征在于，异型烟分拣差错检测方法通过以下步骤来实现：
7.a).导入订单信息，将客户的异型烟订单信息导入到异型烟分拣线的数据库中，以便分拣机的推烟装置按顺序依次将不同客户的异型烟放到主线皮带输送机上；
8.b).异型烟检测，当光电感应设备检测到主线皮带输送机上有异型烟经过时，表明有异型烟进入到了差错检测识别区域，则触发彩色高清工业相机对差错检测识别区域进行拍照；
9.c).拍照，彩色高清工业相机对差错检测识别区域进行拍照，获得含有异型烟的差错检测识别区域的图片；
10.d).识别异型烟图片，使用卷积神经网络模型识别步骤c)中所拍摄图片中的异型烟，然后将异型烟所在区域进行图片截取，获得异型烟图片；
11.e).信息比对，提取步骤d)中获取的异型烟图片的特征信息，并与事先存储的客户订单中订购的异型烟的异型烟模板进行特征信息进行比对；如果比对结果一直，则表面当前差错检测识别区域中的异型烟为客户订单中的异型烟，对当前品规的异型烟出现的次数进行累计，执行步骤f)；如果对比结果不一致，执行步骤g)；
12.f).异型烟数量判断，判断步骤e)中累计的当前品规异型烟的数量是否小于或等于客户订单中该品规异型烟的总预定数量，如果小于或等于，则执行步骤b)继续进行下一条异型烟的检测；如果大于，则表明当前异型烟的数量分配出现错误，执行步骤g)；
13.g).停机并报警，则表明当前异型烟不是客户订单中的异型烟，则停止主线皮带输送机的输送，并通过警示灯发出声光报警信息，以便进行人工纠错和分拣。
14.本发明的基于多特征识别的异型烟分拣差错检测方法，步骤d)所述的识别异型烟图片具体通过以下步骤来实现：
15.d-1).构建异型烟数据集，利用彩色高清工业相机拍摄异型烟分拣线所要分拣的所有品规的异型烟的多张图片，构建数据集；
16.d-2).生成标签文件，对步骤d-1)获取的异型烟图片进行标注，标注出每张异型烟图片的异型烟类别，生成标签文件，包括标签类型与位置坐标；
17.d-3).训练卷积神经网络模型，将异型烟图片及标签文件作为训练数据输入到卷积神经网络中，按照神经网络模型定义的各项参数进行训练，获得所需的用于识别异型烟的卷积神经网络模型；
18.d-4).图片识别，将彩色高清工业相机拍摄的图片输入至训练好的用于识别异型烟的卷积神经网络模型中，若检测图片输出结果的准确度大于设定的阈值0.85，则表明检测区域有异型烟，输出异型烟类别和坐标信息(x,y,h,w)，(x,y)为中心点坐标信息，h为识别到异型烟区域的宽度信息，w为识别到异型烟区域的高度信息。
19.本发明的基于多特征识别的异型烟分拣差错检测方法，步骤e)所述的信息比对具体通过以下步骤来实现：
20.e-1).制作异型烟模板，采集待分类的所有异型烟的模板图片，按照公式(1)、公式(2)和公式(3)分别提取模板图片的颜色特征vc、纹理特征v
t
、形状特征vs，并存入数据库；
[0021][0022]vt
＝(te,th,tc,tr)
ꢀꢀꢀꢀꢀꢀ
(2)
[0023]vs
＝(s1,s2,s3,s4,s5,s6,s7)
ꢀꢀꢀꢀꢀꢀ
(3)
[0024]
其中，为颜色信息变量，和为两个空间信息变量，共同组合为颜色特征向量；te为灰度共生矩阵能量参数，th为灰度共生矩阵的熵参数，tc为灰度共生矩阵的对比度参数，tr为灰度共生矩阵的相关性参数，四个参数构建了纹理信息向量；形状特征的提取使用hu矩计算，s1,s2,s3,s4,s5,s6,s7为计算出的7个hu矩分量；
[0025]
e-2).异型烟图片的预处理，首先使用高斯滤波器去步骤d)中获取的除异型烟图
片的噪声，再使用大津算法阈值分割增强异型烟图片的对比度；
[0026]
e-3).提异型烟图片的特征信息，利用公式(1)、公式(2)和公式(3)分别获取步骤d)中获取的待检测异型烟图片的颜色特征、纹理特征、形状特征；
[0027]
e-4).计算特征相似度，利用公式(4)、公式(5)和公式(6)分别计算待检测异型烟图片与模板图片的颜色特征相似度sc(q,d)、纹理特征相似度s
t
(q,d)、形状特征相似度ss(q,d)：
[0028][0029][0030][0031]
式中，q为待检测异型烟图片，d为模板图片，分别为待检测异型烟图片和模板图片的颜色特征，分别为待检测异型烟图片和模板图片的纹理特征，分别为待检测异型烟图片和模板图片的形状特征；
[0032]
e-5).计算总相似度，由于颜色特征、纹理特征、形状特征对对于图像总体影响的大小存在不一致，分别为三类特征设定权重，用ω1、ω2、ω3表示，根据公式(7)形成总体相似度：
[0033]
s＝ω1sc(qd)+ω2s
t
(q，d)+ω3ss(q，d)
ꢀꢀꢀ
(7)
[0034]
式中，s代表异型烟品规识别总体相似度；
[0035]
将总体相似度与设定的阈值进行比对，阈值设为0.8，当总体相似度高于0.8时，待检测异型烟图片与模板图片比对一致，若总体相似度低于0.8时，待检测异型烟图片与模板比对不一致。
[0036]
本发明的基于多特征识别的异型烟分拣差错检测方法，所述的颜色特征权重ω1、纹理特征权重ω2、形状特征权重ω3分别为0.4、0.4、0.2。
[0037]
本发明的有益效果是：本发明的基于多特征识别的异型烟分拣差错检测方法，通过高清摄像头对异型烟进行拍照识别异型烟的特征，获得品规信息，将品规信息与订单中相应的条烟品规进行比对，实现异型烟差错检测，分拣异型烟纠错率可达100％，有效解决了现有异型烟烟分拣过程中人工查错存在的准确率低、效率低、劳动量大的问题，具有操作方便、实用性强的优点。
附图说明
[0038]
图1为本发明中异型烟分拣线的结构原理图；
[0039]
图2为本发明的基于多特征识别的异型烟分拣差错检测方法的流程图；
[0040]
图3为本发明中待检测异型烟图片与模板图片的特征比对流程图。
[0041]
图中：1警示灯，2异型烟，3主机与显示器，4差错检测识别区域，5光电感应设备，6彩色高清工业相机，7主线皮带输送机。
具体实施方式
[0042]
下面结合附图与实施例对本发明作进一步说明。
[0043]
如图1所示，给出了本发明中异型烟分拣线的结构原理图，其由主线皮带输送机7、光电感应设备5、彩色高清工业相机6、警示灯1以及主机与显示器3构成，主线皮带输送机7实现对放置到输送带上的异型烟2的运输，光电感应设备5设置在主线皮带输送机7上，用于感应是否有异型烟2到达了差错检测识别区域4。彩色高清工业相机6设置于光电感应设备5的上方，用于对下方的差错检测识别区域4进行拍照。主机与显示器3用于接收异型烟分拣订单和控制异型烟分拣线的运行，当识别出主线皮带输送机7上的异型烟与客户订单中的异型烟不一致或数量超出订购量时，则通过警示灯1发出报警信息，并停止主线皮带输送机7的运行，以便人工纠错和分拣。
[0044]
如图2所示，给出了本发明的基于多特征识别的异型烟分拣差错检测方法的流程图，图3给出了本发明中待检测异型烟图片与模板图片的特征比对流程图；本发明的基于多特征识别的异型烟分拣差错检测方法，通过以下步骤来实现：
[0045]
a).导入订单信息，将客户的异型烟订单信息导入到异型烟分拣线的数据库中，以便分拣机的推烟装置按顺序依次将不同客户的异型烟放到主线皮带输送机上；
[0046]
b).异型烟检测，当光电感应设备检测到主线皮带输送机上有异型烟经过时，表明有异型烟进入到了差错检测识别区域，则触发彩色高清工业相机对差错检测识别区域进行拍照；
[0047]
c).拍照，彩色高清工业相机对差错检测识别区域进行拍照，获得含有异型烟的差错检测识别区域的图片；
[0048]
d).识别异型烟图片，使用卷积神经网络模型识别步骤c)中所拍摄图片中的异型烟，然后将异型烟所在区域进行图片截取，获得异型烟图片；
[0049]
该步骤中，所述的识别异型烟图片具体通过以下步骤来实现：
[0050]
d-1).构建异型烟数据集，利用彩色高清工业相机拍摄异型烟分拣线所要分拣的所有品规的异型烟的多张图片，构建数据集；
[0051]
d-2).生成标签文件，对步骤d-1)获取的异型烟图片进行标注，标注出每张异型烟图片的异型烟类别，生成标签文件，包括标签类型与位置坐标；
[0052]
d-3).训练卷积神经网络模型，将异型烟图片及标签文件作为训练数据输入到卷积神经网络中，按照神经网络模型定义的各项参数进行训练，获得所需的用于识别异型烟的卷积神经网络模型；
[0053]
d-4).图片识别，将彩色高清工业相机拍摄的图片输入至训练好的用于识别异型烟的卷积神经网络模型中，若检测图片输出结果的准确度大于设定的阈值0.85，则表明检测区域有异型烟，输出异型烟类别和坐标信息(x,y,h,w)，(x,y)为中心点坐标信息，h为识别到异型烟区域的宽度信息，w为识别到异型烟区域的高度信息。
[0054]
e).信息比对，提取步骤d)中获取的异型烟图片的特征信息，并与事先存储的客户订单中订购的异型烟的异型烟模板进行特征信息进行比对；如果比对结果一直，则表面当前差错检测识别区域中的异型烟为客户订单中的异型烟，对当前品规的异型烟出现的次数进行累计，执行步骤f)；如果对比结果不一致，执行步骤g)；
[0055]
该步骤中，所述的信息比对具体通过以下步骤来实现：
[0056]
e-1).制作异型烟模板，采集待分类的所有异型烟的模板图片，按照公式(1)、公式(2)和公式(3)分别提取模板图片的颜色特征vc、纹理特征v
t
、形状特征vs，并存入数据库；
[0057][0058]vt
＝(te，th，tc，tr)
ꢀꢀꢀꢀꢀꢀ
(2)
[0059]vs
＝(s1，s2，s3，s4，s5，s6，s7)
ꢀꢀꢀꢀꢀꢀ
(3)
[0060]
其中，为颜色信息变量，和为两个空间信息变量，共同组合为颜色特征向量；te为灰度共生矩阵能量参数，th为灰度共生矩阵的熵参数，tc为灰度共生矩阵的对比度参数，tr为灰度共生矩阵的相关性参数，四个参数构建了纹理信息向量；形状特征的提取使用hu矩计算，s1，s2，s3，s4，s5，s6，s7为计算出的7个hu矩分量；
[0061]
e-2).异型烟图片的预处理，首先使用高斯滤波器去步骤d)中获取的除异型烟图片的噪声，再使用大津算法阈值分割增强异型烟图片的对比度；
[0062]
e-3).提异型烟图片的特征信息，利用公式(1)、公式(2)和公式(3)分别获取步骤d)中获取的待检测异型烟图片的颜色特征、纹理特征、形状特征；
[0063]
e-4).计算特征相似度，利用公式(4)、公式(5)和公式(6)分别计算待检测异型烟图片与模板图片的颜色特征相似度sc(q，d)、纹理特征相似度s
t
(q，d)、形状特征相似度ss(q，d)：
[0064][0065][0066][0067]
式中，q为待检测异型烟图片，d为模板图片，分别为待检测异型烟图片和模板图片的颜色特征，分别为待检测异型烟图片和模板图片的纹理特征，分别为待检测异型烟图片和模板图片的形状特征；
[0068]
e-5).计算总相似度，由于颜色特征、纹理特征、形状特征对对于图像总体影响的大小存在不一致，分别为三类特征设定权重，用ω1、ω2、ω3表示，根据公式(7)形成总体相似度：
[0069]
s＝ω1sc(q，d)+ω2s
t
(q，d)+ω3ss(q，d)
ꢀꢀꢀ
(7)
[0070]
式中，s代表异型烟品规识别总体相似度；
[0071]
将总体相似度与设定的阈值进行比对，阈值设为0.8，当总体相似度高于0.8时，待检测异型烟图片与模板图片比对一致，若总体相似度低于0.8时，待检测异型烟图片与模板比对不一致。
[0072]
所述的颜色特征权重ω1、纹理特征权重ω2、形状特征权重ω3分别为0.4、0.4、0.2。大部分异型烟权重设为0.4、0.4、0.2时最佳，只有人民大会堂(硬红细支)、娇子(宽窄平安中支)、七匹狼(纯境)、泰山(拂光细支)、贵烟(萃)、泰山(黑豹)六种品规的异型烟需将权重设为0.2、0.6、0.2。
[0073]
f).异型烟数量判断，判断步骤e)中累计的当前品规异型烟的数量是否小于或等
于客户订单中该品规异型烟的总预定数量，如果小于或等于，则执行步骤b)继续进行下一条异型烟的检测；如果大于，则表明当前异型烟的数量分配出现错误，执行步骤g)；
[0074]
g).停机并报警，则表明当前异型烟不是客户订单中的异型烟，则停止主线皮带输送机的输送，并通过警示灯发出声光报警信息，以便进行人工纠错和分拣。
[0075]
可见，本发明的基于多特征识别的异型烟分拣差错检测方法，实现了在异型烟打码前，对分拣订单与实际分拣条烟的品规与数量进行自动核对，代替人工核对，提高异型烟分拣效率，最大程度发挥异型烟集中分拣的统筹协作效用。