技术特征：
1.一种基于传感器耦合的机器视觉垃圾识别定位技术，其特征在于：包括，通过传感器采集物体图像信息、红外光谱信息和3d轮廓信息；将图像信息传入yolov5目标识别网络，建立数据集类型；将红外光谱信息传输至主成分分析(pca)和支持向量机(svm)模型，建立数据集类型；将yolov5识别的目标类别与红外光谱识别的物体类别进行耦合；将yolov5获得的物体二维坐标与传感器获得的三维坐标进行耦合；将耦合得到的目标类别传输给并联机器臂；将耦合得到的坐标传输给plc，通过plc的伺服控制模块进行定位；并联机器臂通过控制器指导机械臂进行抓取，根据目标类别选择放置位置。2.如权利要求1所述的基于传感器耦合的机器视觉垃圾识别定位技术，其特征在于：传感器标定牵涉的坐标系包括四个平面坐标系，分别为：像素平面坐标系(u，v)、图像物理坐标系(像平面坐标系)(x，y)、相机坐标系(x
c
，y
c
，z
c
)和世界坐标系(x
w
，y
w
，z
w
)；像素坐标(u，v)可以通过以下公式从像平面坐标得出：其中，dx、dy、u0、v0均为设定参数，dx、dy表示感光芯片上像素的实际大小，是连接像素坐标系和真实尺寸坐标系；u0、v0是图像平面中心，最终可求得内外参数；建立像素平面坐标系(u，v)时，采用棋盘格作为标定检测物体，标定过程中计算棋盘格边长与相应的边在图像中像素个数的对应值，完成坐标系的建立。3.如权利要求2所述的基于传感器耦合的机器视觉垃圾识别定位技术，其特征在于：上述公式转换为矩阵形式为：相机坐标系是经过旋转平移之后的世界坐标系，可以通过旋转矩阵r和平移矩阵t来得到以下关系：根据相机成像原理，可以得到基于相似三角形的边长关系式：最终可以得到如下公式：
其中，t
x
、t
y
、t
w
、t
h
均为反向传播过程中需要迭代的参数，为sigmoid激活函数，b
x
、b
y
分别为预测框的中心x、y坐标，c
x
和c
y
分别为单个网格的长度和宽度。b
w
、b
h
为预测框的宽度和长度，b
w
、p
h
分别为聚类得到的anchor框的宽度和长度；yolov5的损失函数(l)是置信度损失(l
conf
)、分类损失(l
cla
)、边界框损失(l
loc
)三部分的加权和：l(o，c，o，c，l，g)＝λ1l
conf
(o，c)+λ2l
cla
(o，c)+λ3l
loc
(l，g)置信度损失和分类损失通过二元交叉熵定义，公式如下：公式如下：边界框损失通过ciou计算，公式如下：其中，iou为预测框与真值(ground truth)的交并比，b和b
gt
分别为预测框的中心点坐标和ground truth边界框的中心点坐标。w
gt
和h
gt
是ground truth边界框的宽度和高度，w和h代表预测得到的边界框的宽度和高度，v是纵横比一致性参数(consistency of aspect ratio)，α是平衡参数，表达式分别如下：表达式分别如下：训练过程中，图像被送入改进的yolov5网络模型之后，先进行knn聚类预处理，随后在主干网络进行特征提取，最后在头部分三个尺度进行预测，预测结果经损失函数计算，返回梯度，更新网络权重；预测过程中，图象先进行knn聚类预处理，在头部分为三个尺度，最后送入主干网络进行多尺度的坐标与种类的预测。7.如权利要求6所述的基于传感器耦合的机器视觉垃圾识别定位技术，其特征在于：光谱信息传输至pca与svm模型前进行前处理，采用s-g滤波进行平滑(窗口数为7，多项式阶数为2)，线性去趋势进行基线校正，标准正态变换(standard normal transformation，snv)进行标准化；之后进行pca数据降维，通过python函数sklearn.decomposition.pca实现，主成分数量设置为6-8为优，具体选择依场景而定；再进行svm类别预测，通过python函数sklearn,svm.svc实现。8.如权利要求7所述的基于传感器耦合的机器视觉垃圾识别定位技术，其特征在于：对目标类别与物体类别进行耦合，将yolov5网络模型预测得到的类别与光谱法预测得到的类别进行联合判断，具体为谨慎的并联模式。9.如权利要求8所述的基于传感器耦合的机器视觉垃圾识别定位技术，其特征在于：将二维坐标与三维坐标进行耦合，以激光传感器获得的三维坐标为基准，目标识别算法获得的二维坐标主要用于验证对象的一致性。即：如果通过激光得到的三维坐标的x、y坐标与yolov5给出的坐标差别较大，则跳过或报错；差别不大则传输三维坐标给机械臂抓手。10.如权利要求9所述的基于传感器耦合的机器视觉垃圾识别定位技术，其特征在于：通过udp的以太网通信方式实现工控机与plc的通信；通过cc-link连接方式进行plc与变频
器之间的传输。
技术总结
本发明公开了一种基于传感器耦合的机器视觉垃圾识别定位技术包括通过传感器采集物体图像信息、红外光谱信息和3D轮廓信息；将图像信息传入YOLOv5目标识别网络，建立数据集类型；将红外光谱信息传输至主成分分析(PCA)和支持向量机(SVM)模型，建立数据集类型；将YOLOv5识别的目标类别与红外光谱识别的物体类别进行耦合；将YOLOv5获得的物体二维坐标与传感器获得的三维坐标进行耦合；将耦合得到的目标类别传输给并联机器臂；将耦合得到的坐标传输给PLC，通过PLC的伺服控制模块进行定位；并联机器臂通过控制器指导机械臂进行抓取，根据目标类别选择放置位置；本专利使用多传感器耦合，使得不同传感器之间优势互补，对于仅需要图像即可判别的类别，可保证识别精度。可保证识别精度。可保证识别精度。
技术研发人员：李佳 谈文杰
受保护的技术使用者：上海交通大学
技术研发日：2022.06.24
技术公布日：2022/11/3