一种基于传感器耦合的机器视觉垃圾识别定位技术

1.本发明涉及机器视觉的技术领域，尤其涉及一种基于传感器耦合的机器视觉垃圾识别定位技术。


背景技术：

2.现有技术主要还是通过人工流程进行垃圾分拣任务，成本高、效率低、对工人身体健康有负面影响。有少部分采用机器视觉技术，也只停留在通过单一的图像技术进行物类识别与定位，单一的图像识别不能区分外形相似但材质不同的物体，因此无法应对回收过程中高附加值产品的精细分类问题；单一的红外识别的识别精度与效率均不如图象识别，也容易受到外部环境干扰，识别精度与定位精度仍有提升空间。本专利相比人工分拣方式分拣速度更快，预计每条流水线可达5400件/h，更环保，并能有效缓解劳动密集型产业招工难的问题；相比现有机器视觉与垃圾分拣领域的结合应用现状，本技术通过多传感器的耦合对提升识别与定位精度的提升空间进行了一定的探索。


技术实现要素：

3.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
4.鉴于上述现有基于传感器耦合的机器视觉垃圾识别定位技术存在的问题，提出了本发明。
5.因此，本发明目的是提供一种基于传感器耦合的机器视觉垃圾识别定位技术，其通过多传感器的耦合提升识别与定位精度。
6.为解决上述技术问题，本发明提供如下技术方案：一种基于传感器耦合的机器视觉垃圾识别定位技术，通过传感器采集物体图像信息、红外光谱信息和 3d轮廓信息；
7.将图像信息传入yolov5目标识别网络，建立数据集类型；
8.将红外光谱信息传输至主成分分析(pca)和支持向量机(svm)模型，建立数据集类型；
9.将yolov5识别的目标类别与红外光谱识别的物体类别进行耦合；
10.将yolov5获得的物体二维坐标与传感器获得的三维坐标进行耦合；
11.将耦合得到的目标类别传输给并联机器臂；
12.将耦合得到的坐标传输给plc，通过plc的伺服控制模块进行定位；
13.并联机器臂通过控制器指导机械臂进行抓取，根据目标类别选择放置位置。
14.作为本发明所述基于传感器耦合的机器视觉垃圾识别定位技术的一种优选方案，其中：传感器标定牵涉的坐标系包括四个平面坐标系，分别为：像素平面坐标系(u，v)、图像物理坐标系(像平面坐标系)(x，y)、相机坐标系(xc，yc，zc)和世界坐标系(xw，yw，zw)；像素坐标(u，v)可以通过以下公式从像平面坐标得出：
[0015][0016]
其中，dx、dy、u0、v0均为设定参数，dx、dy表示感光芯片上像素的实际大小，是连接像素坐标系和真实尺寸坐标系；u0、v0是图像平面中心，最终可求得内外参数；建立像素平面坐标系(u，v)时，采用棋盘格作为标定检测物体，标定过程中计算棋盘格边长与相应的边在图像中像素个数的对应值，完成坐标系的建立。
[0017]
作为本发明所述基于传感器耦合的机器视觉垃圾识别定位技术的一种优选方案，其中：上述公式转换为矩阵形式为：
[0018][0019]
相机坐标系是经过旋转平移之后的世界坐标系，可以通过旋转矩阵r和平移矩阵t来得到以下关系：
[0020][0021]
根据相机成像原理，可以得到基于相似三角形的边长关系式：
[0022][0023]
最终可以得到如下公式：
[0024][0025]
作为本发明所述基于传感器耦合的机器视觉垃圾识别定位技术的一种优选方案，其中：相机采集的图像在边缘部分的直线可能会畸变成为曲线；径向畸变数学模型为：
[0026][0027]
式中，k1、k2、k3表示各阶次径向畸变系数；(x，y)是理想的无畸变的坐标(图像坐标系)；(x
dr
，y
dr
)是畸变后图像像素点的坐标；r表示目标坐标与原点之间的距离，即r2＝x2+y2；
[0028]
切向畸变数学模型为：
[0029][0030]
式中p1，p2表示各阶次切向畸变系数；r表示目标坐标与原点之间的距离，即r2＝x2+y2；
[0031]
合并：
[0032][0033]
最终可以得到5个畸变参数k1、k2、k3、p1，p2，通过对工业相机内参数与畸变参数进行标定，对采集的图像进行畸变校正处理即可得到校正后的图像。
[0034]
作为本发明所述基于传感器耦合的机器视觉垃圾识别定位技术的一种优选方案，其中：通过参考光谱对得到的反射信号进行矫正，先进行探头高度h ＝1m情况下的白板采样，在探头下铺设整块白瓷砖，进行连续采样，随后用黑棉布包裹探头，采集黑板；随后通过以下公式进行光谱矫正：
[0035][0036]
式中，xi为经过第i个波长参考光谱矫正后的信号强度；为原始反射信号第i个波长的信号强度；为白板漫反射光谱第i个波长的信号强度；为暗电流背景光谱在第i个波长的信号强度。
[0037]
作为本发明所述基于传感器耦合的机器视觉垃圾识别定位技术的一种优选方案，其中：yolov5目标检测模型先通过k近邻(knn)聚类得到anchor 框，随后通过目标框回归预测精确目标框，yolov5采用如下公式：
[0038]bx
＝2σ(t
x
)-0.5+c
x
[0039]by
＝2σ(ty)-0.5+cy[0040]bw
＝pw(2σ(tw))2[0041]bh
＝ph(2σ(th))2[0042]
其中，t
x
、ty、tw、th均为反向传播过程中需要迭代的参数，为sigmoid激活函数，b
x
、by分别为预测框的中心x、y坐标，c
x
和cy分别为单个网格的长度和宽度。bw、bh为预测框的宽度和长度，bw、ph分别为聚类得到的anchor框的宽度和长度；
[0043]
yolov5的损失函数(l)是置信度损失(l
conf
)、分类损失(l
cla
)、边界框损失(l
loc
)三部分的加权和：
[0044]
l(o，c，o，c，l，g)＝λ1l
conf
(o，c)+λ2l
cla
(o，c)+λ3l
loc
(l，g)
[0045]
置信度损失和分类损失通过二元交叉熵定义，公式如下：
[0046]
[0047][0048]
边界框损失通过ciou计算，公式如下：
[0049][0050]
其中，iou为预测框与真值(ground truth)的交并比，b和b
gt
分别为预测框的中心点坐标和ground truth边界框的中心点坐标。w
gt
和h
gt
是ground truth边界框的宽度和高度，w和h代表预测得到的边界框的宽度和高度，v是纵横比一致性参数(consistency of aspect ratio)，α是平衡参数，表达式分别如下：
[0051][0052][0053]
训练过程中，图像被送入改进的yolov5网络模型之后，先进行knn聚类预处理，随后在主干网络进行特征提取，最后在头部分三个尺度进行预测，预测结果经损失函数计算，返回梯度，更新网络权重；预测过程中，图象先进行knn聚类预处理，在头部分为三个尺度，最后送入主干网络进行多尺度的坐标与种类的预测。
[0054]
作为本发明所述基于传感器耦合的机器视觉垃圾识别定位技术的一种优选方案，其中：光谱信息传输至pca与svm模型前进行前处理，采用s-g滤波进行平滑(窗口数为7，多项式阶数为2)，线性去趋势进行基线校正，标准正态变换(standard normal transformation，snv)进行标准化；之后进行pca数据降维，通过python函数sklearn.decomposition.pca实现，主成分数量设置为6-8 为优，具体选择依场景而定；再进行svm类别预测，通过python函数 sklearn.svm.svc实现。
[0055]
作为本发明所述基于传感器耦合的机器视觉垃圾识别定位技术的一种优选方案，其中：对目标类别与物体类别进行耦合，将yolov5网络模型预测得到的类别与光谱法预测得到的类别进行联合判断，具体为谨慎的并联模式。
[0056]
作为本发明所述基于传感器耦合的机器视觉垃圾识别定位技术的一种优选方案，其中：将二维坐标与三维坐标进行耦合，以激光传感器获得的三维坐标为基准，目标识别算法获得的二维坐标主要用于验证对象的一致性。即：如果通过激光得到的三维坐标的x、y坐标与yolov5给出的坐标差别较大，则跳过或报错；差别不大则传输三维坐标给机械臂抓手。
[0057]
作为本发明所述基于传感器耦合的机器视觉垃圾识别定位技术的一种优选方案，其中：通过udp的以太网通信方式实现工控机与plc的通信；通过 cc-link连接方式进行plc与变频器之间的传输。
[0058]
本发明的有益效果：
[0059]
本专利相比人工分拣方式分拣速度更快，预计每条流水线可达5400件/h，更环保，并能有效缓解长三角地区劳动密集型产业招工难的问题；相比现有机器视觉与垃圾分拣领域的结合应用现状，本技术使用多传感器耦合，识别可以使得不同传感器之间优势互补，对于仅需要图像即可判别的类别，可以保证识别精度，对需要依据材质细分的类别，图像和红外的联合判别足以应对绝大多数识别场景，有着更大的应用潜力。此外，激光传感器提供的坐标信息与通过图像判别的坐标信息联合判别，也使得定位更为精准。
附图说明
[0060]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0061]
图1为本发明基于传感器耦合的机器视觉垃圾识别定位技术的yolov5 网络结构示意图。
[0062]
图2为本发明基于传感器耦合的机器视觉垃圾识别定位技术的加入通道注意力机制的网络结构示意图。
[0063]
图3为本发明基于传感器耦合的机器视觉垃圾识别定位技术的流程示意图。
具体实施方式
[0064]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
[0065]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0066]
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0067]
再其次，本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
[0068]
实施例1
[0069]
参照图1、2、3，为本发明第一个实施例，提供了一种基于传感器耦合的机器视觉垃圾识别定位技术，通过ccd摄像头、近红外传感器和线激光传感器采集物体的图像信息、红外光谱信息和3d轮廓信息。这些信息由plc控制采集并被发送至上位机，进行后续处理，ccd摄像头需进行相机标定，目的是使定位更精确，具体方法如下：
[0070]
相机标定牵涉的坐标系包括四个平面坐标系，分别为：像素平面坐标系 (u，v)、图像物理坐标系(像平面坐标系)(x，y)、相机坐标系 (xc，yc，zc)和世界坐标系(xw，yw，zw)。
[0071]
进一步的，像素坐标(u，v)可以通过以下公式从像平面坐标得出：
[0072][0073]
其中，dx、dy、u0、v0均为设定参数，dx、dy表示感光芯片上像素的实际大小，是连接像素坐标系和真实尺寸坐标系；u0、v0是图像平面中心，最终可求得内外参数。
[0074]
建立像素平面坐标系(u，v)时，采用棋盘格作为标定检测物体，标定过程中计算棋盘格边长与相应的边在图像中像素个数的对应值，完成坐标系的建立。
[0075]
上述公式运用线性代数知识转换为矩阵形式为：
[0076][0077]
相机坐标系(xc，yc，zc)和世界坐标系(xw，yw，zw)之间的关系：相机坐标系是经过旋转平移之后的世界坐标系，可以通过旋转矩阵r和平移矩阵t来得到以下关系：
[0078][0079]
相机坐标系(xc，yc，zc)与像平面坐标系(x，y)之间的关系：根据相机成像原理，可以得到基于相似三角形的边长关系式：
[0080][0081]
最终可以得到如下公式：
[0082][0083]
而后输出高压阀和低压阀的二维平面数据，这里的二维平面数据主要包括二维中心坐标数据和二维轮廓数据。
[0084]
由于相机透镜本身的加工误差以及镜头组装过程的偏差，导致机器视觉系统采集的图像产生畸变，使得采集的图像与实际图像之间存在差别。在实际运用中，工业相机通常采用小孔成像模型完成畸变校正。
[0085]
进一步的，镜头的畸变可分为径向畸变、切向畸变和薄棱镜畸变。其中径向畸变和切向畸变两种畸变对投影图像影响较大，因此本技术中，主要考虑径向畸变和切向畸变。
[0086]
径向畸变主要出现在相机视野的边缘部分，而图像中心部位产生径向畸变程度较弱，所以相机采集的图像在边缘部分的直线可能会畸变成为曲线。径向畸变数学模型为：
[0087][0088]
式中，k1、k2、k3表示各阶次径向畸变系数；(x，y)是理想的无畸变的坐标(图像坐标系)；(x
dr
，y
dr
)是畸变后图像像素点的坐标；r表示目标坐标与原点之间的距离，即r2＝x2+y2。
[0089]
切向畸变主要是由生产过程中的加工与安装误差所产生，安装过程中的安装误差
[0109]bh
＝ph(2σ(th))2[0110]
其中，t
x
、ty、tw、th均为反向传播过程中需要迭代的参数，为sigmoid激活函数，b
x
、by分别为预测框的中心x、y坐标，c
x
和cy分别为单个网格的长度和宽度。bw、bh为预测框的宽度和长度，bw、ph分别为聚类得到的anchor框的宽度和长度。
[0111]
yolov5的损失函数(l)是置信度损失(l
conf
)、分类损失(l
cla
)、边界框损失(l
loc
)三部分的加权和：
[0112]
l(o，c，o，c，l，g)＝λ1l
conf
(o，c)+λ2l
cla
(o，c)+λ3l
loc
(l，g)
[0113]
置信度损失和分类损失通过二元交叉熵定义，公式如下：
[0114][0115][0116]
边界框损失通过ciou计算，公式如下：
[0117][0118]
其中，iou为预测框与真值(ground truth)的交并比，b和b
gt
分别为预测框的中心点坐标和ground truth边界框的中心点坐标。w
gt
和h
gt
是ground truth边界框的宽度和高度，w和h代表预测得到的边界框的宽度和高度，v是纵横比一致性参数(consistency of aspect ratio)，α是平衡参数，表达式分别如下：
[0119][0120][0121]
引入通道注意力机制的改进yolov5参见图2，通道注意力机制对每个通道增加权重，并在反向传播过程中更新权重，这样使得各通道的差异性可以被注意到，通道注意力机制模块简写为se模块。在该模型中，se模块被安插到两处。在已有的测试中显示，加上通道注意力机制的模型，其预测鲁棒性得到明显提升。训练过程中，图像被送入改进的yolov5网络模型之后，先进行 knn聚类预处理，随后在主干网络进行特征提取，最后在头部分三个尺度进行预测，预测结果经损失函数计算，返回梯度，更新网络权重。预测过程中，图象先进行knn聚类预处理，在头部分为三个尺度，最后送入主干网络进行多尺度的坐标与种类的预测。
[0122]
将近红外传感器采集到的光谱信息传输进主成分分析(pca)和支持向量机(svm)模型，其中pca负责数据降维，而svm负责预测目标类别。
[0123]
前处理：本实验采用s-g滤波进行平滑(窗口数为7，多项式阶数为2)，线性去趋势进行基线校正，标准正态变换(standard normal transformation,snv)进行标准化。
[0124]
pca数据降维：通过python函数sklearn.decomposition.pca实现，主成分数量设置为6-8为优，具体选择依场景而定。
[0125]
svm类别预测：通过python函数sklearn.svm.svc实现。
[0126]
将改进的yolov5识别的目标类别与步骤1中通过光谱法得到的物体类别进行耦合，具体实现如下：
[0127]
将yolov5网络模型预测得到的类别与光谱法预测得到的类别进行联合判断，具体为谨慎的并联模式，举例如下：
[0128]
例1：yolov5预测结果为塑料瓶，光谱预测结果为pp，则将目标判定为 pp材质塑料瓶。
[0129]
例2：yolov5预测结果为易拉罐，光谱预测结果为pp，显然易拉罐应该为金属材质，因此判断为无效，该目标不进行归类，流向传送带后端经人工分拣或循环至起点重新判断。
[0130]
将改进的yolov5获得的物体二维坐标与步骤1中激光传感器获得的三维坐标进行耦合。该步骤以激光传感器获得的三维坐标为基准，目标识别算法获得的二维坐标主要用于验证对象的一致性。即：如果通过激光得到的三维坐标的x、y坐标与yolov5给出的坐标差别较大，则跳过或报错；差别不大则传输三维坐标给机械臂抓手。
[0131]
将耦合得到的目标类别传输给并联机器臂。将耦合得到的坐标传输给 plc，通过plc的伺服控制模块进行定位。通过udp的以太网通信方式实现工控机与plc的通信。通过cc-link连接方式进行plc与变频器之间的传输。并联机器臂通过控制器指导机械臂进行抓取，根据目标类别选择放置位置。
[0132]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。