基于视觉识别的封箱机智能调控方法与流程

1.本发明涉及数字数据处理技术领域，具体涉及一种基于视觉识别的封箱机智能调控方法。


背景技术：

2.封箱机广泛应用物流包装领域中，利用封箱机可实现对纸箱的自动封装，封箱机能够自动化使用胶带对纸箱的开口进行粘贴，极大的节省了人力。在实际的封箱生产中，需要根据不同纸箱的尺寸调整封箱机的参数，如果参数不正确则会导致封箱失败或者导致胶布在纸箱上呈现错误的粘连，导致纸箱密封性和美观度都受到影响，如果密封后的纸箱出现异常需要根据异常情况对封箱机的尺寸进行调整，防止后续纸箱被错误密封。
3.为了避免人为主观判断的误差，现有技术中可利用计算机视觉技术，通过采集密封后纸箱的图像进而快速且自动化的识别出当前纸箱的异常类型。但是胶带在纸箱上会存在多种姿态，各种异常姿态需要多种图像处理算法进行识别，算法较为复杂。因此可通过神经网络训练的方法学习图像中异常密封纸箱的异常特征，进而实现异常识别。为了保证神经网络的准确性，需要保证图像特征的参考性，但是因为胶带的透光性，常规采集图像及处理的方法无法获得准确的图像特征，进而影响神经网络的准确性。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供一种基于视觉识别的封箱机智能调控方法，所采用的技术方案具体如下：本发明提出了一种基于视觉识别的封箱机智能调控方法，所述方法包括：利用图像采集设备采集流水线上经封箱机密封处理后的纸箱的表面图像；所述表面图像中每个像素点包括像素值、激光深度值和声波深度值；获得所述表面图像中的胶带区域，将所述胶带分为多个子区域；所述子区域内的多种表面信息构成表面特征向量；所述表面信息包括像素值信息、激光深度值信息和声波深度值信息；获取每个所述子区域中所有像素点的激光深度值与标准激光深度值的平均激光深度值差异；获取每个所述子区域中所有像素点的声波深度值与标准声波深度值的平均声波深度值差异；获取当前封箱机所使用胶布的透光性；将所述透光性与所述平均声波深度值差异相乘后与所述平均激光深度值差异相加，获得深度值差异指标；获取每个所述子区域的纹理复杂度；构建异常类别识别网络；所述异常类别识别网络包括注意力层和多层感知器层；在训练过程中更新所述注意力层的线性降维矩阵和相似性度量向量，根据所述线性降维矩阵将所述胶带区域中的目标子区域和其他子区域的所述表面特征向量进行降维并整合，并通过所述相似度度量向量对整合后的向量进行度量，结合所述其他子区域的所述深度值差异指标和所述纹理复杂度获得每个所述其他子区域相对于所述目标子区域的注意力权重；
根据加权后的所述其他子区域的所述表面特征向量与所述目标子区域的所述表面特征向量聚合，获得所述多层感知器层的训练数据，基于所述训练数据训练所述多层感知器层；将待检测纸箱的实时表面特征向量输入所述异常类别识别网络，获得异常类别；根据所述异常类别调节封箱机的参数。
5.进一步地，所述图像采集设备包括：所述图像采集设备包含两个相机模组，每个相机模组中包括rgb相机、激光深度相机和超声波雷达；两个相机模组固定在升降杆上且与升降杆的角度均为45
°
，两个相机模组的拍摄视角相对；当待检测纸箱随着传送带传送至两个相机模组中间时，根据纸箱的高度控制升降杆的高度和后续纸箱与待检测纸箱的间距，采集待检测纸箱的表面图像。
6.进一步地，所述子区域内的多种表面信息构成表面特征向量包括：将像素点的像素值、激光深度值和声波深度值构成像素点的特征向量；将所述子区域内的像素点的所述特征向量根据像素点的位置从左到右从上到下进行拼接，获得所述表面特征向量。
7.进一步地，所述获取当前封箱机所使用胶布的透光性包括：利用透光率检测仪获得所用胶布的透光性。
8.进一步地，所述获取每个所述子区域的纹理复杂度包括：获得所述子区域的灰度共生矩阵；获得所述灰度共生矩阵的熵和对比度；根据纹理复杂度公式获得所述纹理复杂度，所述纹理复杂度公式包括：其中，为所述纹理复杂度，为所述熵，为所述对比度，为所述熵的权重，为所述对比度的权重。
9.进一步地，所述根据所述线性降维矩阵将所述胶带区域中的目标子区域和其他子区域的所述特征向量进行降维并整合，并通过所述相似度度量向量对整合后的向量进行度量，结合所述其他子区域的所述深度值差异指标和所述纹理复杂度获得每个所述其他子区域相对于所述目标子区域的注意力权重包括：根据注意力权重公式获得所述注意力权重，所述注意力权重公式包括：其中，为第个所述其他子区域相对于第个所述目标子区域的所述注意力权重，为激活函数，为第个所述目标子区域的所述表面特征向量，为第个所述其他子区域的所述表面特征向量，为所述线性降维矩阵，为所述相似性度量向量，为整合后的向量，为相似度度量函数，为第个所述其他子区域的所述平均激光深度值差异，为第个所述其他子区域的所述透光性，为第个所述其他
子区域的所述平均声波深度值差异，为第个所述其他子区域的所述纹理复杂度，为以自然常数为底的指数函数，为所述其他子区域的集合。
10.进一步地，所述根据加权后的所述其他子区域的所述表面特征向量与所述目标子区域的所述表面特征向量聚合，获得所述多层感知器层的训练数据包括：根据聚合公式获得每个所述目标子区域的聚合向量，所述聚合公式包括：其中，为第个所述目标子区域的所述聚合向量，为第个所述目标子区域的所述表面特征向量，为第个所述其他子区域相对于第个所述目标子区域的所述注意力权重，为第个所述其他子区域的所述表面特征向量，为所述其他子区域的集合；以所述聚合向量作为所述多层感知器层的训练数据，基于所述训练数据训练所述多层感知器层。
11.本发明具有如下有益效果：本发明实施例通过图像采集设备采集密封处理后纸箱的表面像素信息、激光深度信息和声波深度信息。通过两种深度信息共同反应胶带在纸箱表面的贴合状态，避免了光学器件对透明且厚度较薄的胶带进行信息获取时的不适用性。根据胶带透光性作为平均声波深度值差异的权重，结合平均激光深度值获得胶带区域中每个子区域的深度值差异指标，同样避免了胶带的透光特性导致的激光深度信息不正确的缺陷。进一步构建包含注意力层和多层感知层的异常类别识别网络，通过注意力层中的参数确定所有其他子区域相对于目标子区域的注意力权重，然后通过注意力权重重新聚合目标子区域的表面特征向量，获得特征丰富且参考性强的向量，将其作为多层感知器层的训练数据，提高了异常类别识别网络的准确性。进而通过异常类别识别网络准确识别出待检测纸箱的实时表面特征向量的异常类别，方便工作人员根据异常类别对封箱机进行针对性的调控。
附图说明
12.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
13.图1为本发明一个实施例所提供的一种基于视觉识别的封箱机智能调控方法流程图；图2为本发明一个实施例所提供的一种利用图像采集设备采集图像的过程示意图。
具体实施方式
14.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于视觉识别的封箱机智能调控方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
15.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
16.下面结合附图具体的说明本发明所提供的一种基于视觉识别的封箱机智能调控方法的具体方案。
17.请参阅图1，其示出了本发明一个实施例提供的一种基于视觉识别的封箱机智能调控方法流程图，该方法包括：步骤s1：利用图像采集设备采集流水线上经封箱机密封处理后的纸箱的表面图像；表面图像中每个像素点包括像素值、激光深度值和声波深度值。
18.封箱机在进行运行之前需要预先调整机器参数，以适合待密封的纸箱及所使用的胶带。由于机械老化或者人为操作失误，有可能在密封操作后导致胶带在纸箱上粘连异常，通过粘连异常能够反推出封箱机哪些参数设置不合适，进而进行调整。因此在纸箱经过密封后，需要通过流水线继续送入待检测区域，利用图像采集设备采集流水线上经封箱机密封处理后的纸箱的表面图像，通过表面图像中的信息执行后续的网络训练或者异常识别等操作。其中表面图像中每个像素点包括像素值、激光深度值和声波深度值三种信息。
19.具体的，图像采集设备包括包含两个相机模组，每个相机模组中包括rgb相机、激光深度相机和超声波雷达。两个相机模组固定在升降杆上且与升降杆的角度均为45
°
，两个相机模组的拍摄视角相对。当待检测纸箱随着传送带传送至两个相机模组中间时，根据纸箱的高度控制升降杆的高度和后续纸箱与待检测纸箱的间距，采集待检测纸箱的表面图像。在本发明实施例中，激光深度相机采用intel realsense r200深度相机，超声波雷达采用hc-sr04超声波雷达，深度相机的镜头焦距为4mm，视野角度为78
°
。
20.请参阅图2，其示出了本发明一个实施例所提供的一种利用图像采集设备采集图像的过程示意图。图像采集设备通过连接在升降杆a上的相机模组b和相机模组c进行图像采集，其中限位器d用于将传送带上的纸箱固定在两个相机模组中间，限位器e用于固定流水线上后续的纸箱，避免对前一个纸箱的图像信息造成干扰，其中图2中的虚线表示纸箱中心与两个相机模组间距中心共线。
21.需要说明的是，本发明实施例考虑到未粘连的胶布受另一端的粘着力合重力的影响，一般呈一定角度的倾斜状态，如果超声波雷达是从纸箱正上方发射超声波，则会因为胶布形成的斜坡导致声波反射到其他地方，导致超声波雷达无法将准确的深度信息反馈出来。因此将相机模组在斜上方放置，以使得超声波雷达获得更多更准确的深度信息。并且通过两个相机模组分别获得纸箱胶带区域在左右两个侧面上的信息，通过两张图像信息共同表征当前纸箱的状态，使得识别结果更准确。
22.在本发明实施例中，通过当前要密封的纸箱的高度和相机模组的视野角度对升降杆的高度和检测区域纸箱之间的距离进行控制，以使得相机模组能够准确且完整的获得纸
箱表面胶带区域的图像信息。其中间距与升降杆的高度的调整公式包括：，其中为升降杆的高度或者纸箱之间的间距，为纸箱的高度，为相机视野角度 ，在本发明实施例中为78
°
。
23.需要说明的是，因为两个相机模组拍摄的纸箱外形在成像平面的位置是一样的，并且两个相机模组拍摄的图像的特征提取方法相同，因此在后续描述中仅以一种图像为例进行表述。
24.步骤s2：获得表面图像中的胶带区域，将胶带分为多个子区域；子区域内的多种表面信息构成表面特征向量；表面信息包括像素值信息、激光深度值信息和声波深度值信息。
25.因为相机成像位置一定，且胶带在纸箱上封装的位置也一定，因此能够直接划定出胶带区域作为后续过程的感兴趣区域。在本发明实施例中，以纸箱缝隙为中线，胶带宽度的四倍作为感兴趣区域的宽度，对表面图像进行划分，获得胶带区域。
26.需要说明的是，现实世界的真实宽度、高度等数值可通过现有技术进行变换至图像空间中，在此不做赘述。
27.将胶带区域划分为多个子区域，获得每个子区域内的多种表面信息构成表面特征向量，表面信息包括像素值信息、激光深度值信息和声波深度值信息。在本发明实施例中，将胶带区域横向划分为4行，竖向划分为16列，获得多个子区域。
28.需要说明的是，因为本发明实施例中采用的相机为rgb相机，因此表面信息中的像素值信息为r、g和b三个通道的通道值信息。
29.具体获得每个子区域内的表面特征向量的方法包括：将像素点的像素值、激光深度值和声波深度值构成像素点的特征向量，即像素点的特征向量表示为：，其中，为像素点通道的通道值，为像素点通道的通道值，为像素点通道的通道值，为像素点的激光深度值，为像素点的声波深度值。
30.将子区域内的像素点的特征向量根据像素点的位置从左到右从上到下进行拼接，获得表面特征向量步骤s3：获取每个子区域中所有像素点的激光深度值与标准激光深度值的平均激光深度值差异；获取每个子区域中所有像素点的声波深度值与标准声波深度值的平均声波深度值差异；获取当前封箱机所使用胶布的透光性；将透光性与平均声波深度值差异相乘后与平均激光深度值差异相加，获得深度值差异指标；获取每个子区域的纹理复杂度。
31.标准激光深度值和标准声波深度值即为正常情况下纸箱表面到对应深度相机的距离，获取纸箱表面标准激光深度值和标准声波深度值的方法为本领域技术人员熟知的技术手段，在此不做赘述。
32.获取每个子区域中所有像素点的激光深度值与标准激光深度值的平均激光深度值差异。获取每个子区域中所有像素点的声波深度值与标准声波深度值的平均声波深度值差异。需要说明的是，激光深度值差异和声波深度值差异均为对应位置的深度值与标准深度值的差值绝对值。
33.胶布的透光性决定了激光深度信息的参考度，透光性越强激光深度信息越不可靠，此时越需要参考声波深度信息，因此以透光性与平均声波深度值差异相乘后与平均激光深度值差异相加，获得深度值差异指标。即以透光性作为平均声波深度值差异的权重，透光性越强则平均声波深度值差异的信息越重要，因此获得的深度值差异指标在后续的注意力权重中能起到非常重要的参考性。
34.优选的，利用透光率检测以获得所用胶布的透光性。
35.进一步获得每个子区域的纹理复杂度，若某个子区域的纹理复杂度越复杂，则说明此处的子区域的条纹像素变化越剧烈，越有可能出现胶带纠缠或者胶带紧绷将纸箱勒出褶皱。
36.优选的，获得子区域的纹理复杂度的方法包括：获得子区域的灰度共生矩阵；获得灰度共生矩阵的熵和对比度；根据纹理复杂度公式获得纹理复杂度，纹理复杂度公式包括：其中，为纹理复杂度，为熵，为对比度，为熵的权重，为对比度的权重。在本发明实施例中，取值为0.3，取值为0.7。
37.步骤s4：构建异常类别识别网络；异常类别识别网络包括注意力层和多层感知器层；在训练过程中更新注意力层的线性降维矩阵和相似性度量向量，根据线性降维矩阵将胶带区域中的目标子区域和其他子区域的表面特征向量进行降维并整合，并通过相似度度量向量对整合后的向量进行度量，结合其他子区域的深度值差异指标和纹理复杂度获得每个其他子区域相对于目标子区域的注意力权重；根据加权后的其他子区域的表面特征向量与目标子区域的表面特征向量聚合，获得多层感知器层的训练数据，基于训练数据训练多层感知器层。
38.胶带出现凸起、胶带边角未粘连和胶带未切断造成拖尾的情况，均可利用深度值差异进行表示；胶带过度紧绷和胶带纠缠情况可利用纹理复杂度进行表示；胶带歪斜，未成功粘在纸箱中线上则可利用像素值信息进行表示。因为表面特征向量同时包含了像素值信息和深度值信息，因此表面特征向量能够作为后续异常类别识别时所用的特征向量。但是在异常类别识别网络的训练过程中，为了加强网络对各个异常类别的识别，需要在网络中对输入的表面特征向量进行处理，根据深度值差异和纹理复杂度对表面特征向量进行针对性的调整，使得网络能够加强学习异常类别与对应表面特征向量之间的关联。
39.异常识别网络主要包括注意力层和多层感知层。在本发明实施例中，异常识别网络结构采用cs(casesealing)-transformer神经网络结构，具体网络结构与构建手段为本领域技术人员熟知的技术手段，在此不做赘述，以下仅针对本发明实施例的发明构思对异常识别网络进行针对性的说明。
40.异常识别网络的注意力层主要用于根据子区域对应的深度值差异信息和纹理复杂度信息确定每个其他子区域相对于目标子区域的注意力权重。注意力层中的更新参数为线性降维矩阵和相似性度量向量，随着异常识别网络整体的训练及更新，注意力层中的线性降维矩阵和相似性度量向量也会进一步更新，两个更新参数的目的在于：线性降维矩阵将胶带区域中的目标子区域和其他子区域的表面特征向量进行针对性的降维并整合，需要说明的是，随着网络的更新，线性降维矩阵也会发生更新，进而寻找出最优的维度,供后续
注意力权重的计算；相似性度量向量用于对整合后的向量进行相似性度量，即相似性越大说明两个表面特征向量的关联度越大，则其他子区域的表面特征向量对目标子区域的表面特征向量的参考性越强，其他子区域对应的注意力权重就越大。
41.进一步结合其他子区域的深度值差异指标和纹理复杂度即可获得每个其他子区域相对于目标子区域的注意力权重，具体包括：根据注意力权重公式获得注意力权重，注意力权重公式包括：其中，为第个其他子区域相对于第个目标子区域的注意力权重，为激活函数，为第个目标子区域的表面特征向量，为第个其他子区域的表面特征向量，为线性降维矩阵，为相似性度量向量，为整合后的向量，为相似度度量函数，为第个其他子区域的平均激光深度值差异，为第个其他子区域的透光性，为第个其他子区域的平均声波深度值差异，为第个其他子区域的纹理复杂度，为以自然常数为底的指数函数，为其他子区域的集合。
42.注意力权重公式中，深度值差异指标和纹理复杂度与注意力权重呈正相关关系，分母的目的在于对每个注意力权重进行归一化。通过激活函数和指数函数对权重进行数值限定。
43.通过相同的计算可获得每个其他子区域相对于目标子区域的注意力权重，获取所有注意力权重的过程可视为目标子区域感知整个胶带区域信息的过程，根据感知结果即可实现对自身表面特征向量的调整，使得目标子区域中的表面特征向量能够针对性的增强，方便后续感知器层的训练。根据加权后的其他子区域的表面特征向量与目标子区域的表面特征向量聚合，获得多层感知器层的训练数据包括：根据聚合公式获得每个目标子区域的聚合向量，聚合公式包括：其中，为第个目标子区域的聚合向量，为第个目标子区域的表面特征向量，为第个其他子区域相对于第个目标子区域的注意力权重，为第个其他子区域的表面特征向量，为其他子区域的集合。
44.根据聚合公式可将针对注意力权重将整个胶带区域的信息聚合至目标子区域中，通过改变目标子区域即可实现每个子区域的表面特征向量的增强。
45.以聚合向量作为多层感知器层的训练数据，基于训练数据训练多层感知器层。多层感知器层由softmax层和分类器构成，通过训练数据对多层感知器层训练，以对应的异常
类型作为标签，实现分类的目的。
46.需要说明的是，在异常类别识别网络的训练阶段，需要人为的将特定异常类型的纸箱放置在检测区进行数据采集，得到的图像数据作为训练集，网络整体采用交叉熵损失函数，优化器使用adam，使得异常类别识别网络拟合出最优的参数，能够准确识别各种类型的纸箱密封异常类别。在本发明实施例中，异常类别一共六种，分别包括：胶带凸起（01）、胶带边角未粘连（02）、胶带过度紧绷（03）、胶带未切断（04）、胶带歪斜（05）和胶带纠缠（06）。
47.需要说明的是，流水线计算平台不承担神经网络的训练任务，仅用来运行训练完成的模型，因此测试过程的显存占用量反映了真实的计算平台配置需求，本文算法在测试过程中占用显存相比于原算法增加不明显，因此能够适应一般的流水线运行速度。
48.步骤s5：将待检测纸箱的实时表面特征向量输入所述异常类别识别网络，获得异常类别；根据所述异常类别调节封箱机的参数。
49.利用训练好的异常类别识别网络处理待检测纸箱的实时表面特征即可获得当前的异常类别。需要说明的是，因为本发明实施例旨在实现自动化的封箱机密封异常检测，因此能够避免人员主观的判断影响，在获得异常类别后可通过预警信号警示工作人员，使得工作人员能够根据异常类别针对性的调节封箱机的参数，避免了人员的主观判断的不准确性和时间成本的浪费。
50.在本发明实施例中，结合六种异常类型可对封箱机做出针对性的调控，具体包括：若出现胶带凸起和胶带边角未粘连的情况，则说明封箱机的纸箱助推器施加力度不够，导致胶带并未完整贴合至纸箱表面，需要将加大封箱机的纸箱助推器的输出。
51.若出现胶带过度紧绷的情况，则说明限位器过于紧绷，需要将其调松；若出现胶带未切断的情况，则说明限位器过于松弛，使得刀片未能成功施加足够的力在胶带上，需要将其调紧。
52.若出现胶带歪斜和胶带纠缠的情况，则说明胶带在滑轮之间出现了错位，需要人工将其调节理顺。
53.综上所述，本发明实施例采集封箱机密封处理后纸箱表面的像素值信息、激光深度值信息和声波深度值信息，根据这些信息构建胶带区域每个子区域的表面特征向量。构建异常类别识别网络，注意力层根据每个子区域的深度值差异指标和纹理复杂度获得注意力权重，通过注意力权重调整每个子区域的表面特征向量获得多层感知器层的训练数据。通过训练完成的异常类别识别网络识别出待检测纸箱的异常类别，对封箱机参数进行针对性调节。本发明实施例通过对特征向量的增强，进而获得准确的异常类别识别网络进行异常类别识别，通过异常类别能够对封箱机进行针对性的智能调控。
54.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
55.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
56.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。