一种多模态融合的汽车轮毂型号分类和特征检测方法

本发明涉及多模态融合和深度学习领域，具体地说，是一种基于工业相机和线激光轮廓扫描仪的一种多模态融合的汽车轮毂型号分类和特征检测方法。

背景技术：

1、近年来随着我国汽车行业的飞速发展，汽车产业已成为我国国民经济的重要支柱。轮毂作为汽车不可或缺的一部分，在工业生产过程中，传统生产线主要依赖人工进行型号分类和特征检测，存在成本高、效率低、受到主观因素影响导致误判、漏判情况且长时间重复性工作导致员工疲劳和注意力不集中影响检测准确率。

2、在轮毂型号分类中，通过工业相机拍摄轮毂正面图像，如何选择合适的图像算法实现快速且准确的轮毂型号分类，分类结果同时用于后续特征检测流程。

3、在轮毂特征检测中，检测目标主要包括轮毂中心孔尺寸和气门孔定位。传统利用二维图像进行孔径测量的方法由于光学系统误差、相机光轴和工件轴线不平行等原因干扰致使测量结果存在误差。轮毂中心孔尺寸的大小将直接决定轮毂能否安装上车轴，轮毂气门孔的准确定位能够有效指导钻孔设备加工气门孔。

4、因此，一种自动化智能化轮毂型号分类和特征检测技术方案对于轮毂的加工处理、仓库管理以及降本增效具有十分重要的意义，本方案基于二维图像信息和三维轮廓测量信息的多模态融合巧妙地实现了自动化智能化轮毂型号分类和特征检测。

技术实现思路

1、为解决现有技术方案的不足，本发明的目的在于提供一种多模态融合的汽车轮毂型号分类和特征检测方法，本发明是通过以下技术方案来实现的：

2、本发明公开了一种多模态融合的汽车轮毂型号分类和特征检测方法，包括：

3、搭建轮毂型号分类和特征检测装置，包括一组光电开关、位于轮毂上方对应于待测轮毂中心设置的工业相机、位于轮毂下方对应于待测轮毂中心孔的激光轮廓测量仪、安置激光轮廓测量仪的转台；

4、利用工业相机拍摄获取轮毂正面图像，对图像进行均值滤波和中值滤波获取滤波图像，对滤波图像进行灰度拉伸获取轮毂灰度拉伸图像；

5、利用边缘检测算法对灰度拉伸图像进行边缘检测获取轮毂边缘信息图像；

6、利用归一化互相关算法将轮毂边缘信息图像和轮毂模板数据库匹配计算轮毂型号；

7、根据轮毂型号读取轮毂数据库获取注册的理想孔径大小，计算轮毂特征中心孔尺寸检测装置的工作参数，主要包含由于激光轮廓测量仪测量距离过小需要位移平台补偿的工作距离、转台转速及激光轮廓测量仪采样频率，根据工作参数位移平台移动且转台转动带动激光轮廓测量仪扫描轮毂中心孔获取轮毂中心孔三维扫描数据；

8、利用最小二乘法圆拟合算法处理轮毂中心孔三维扫描数据计算轮毂特征中心孔尺寸；

9、将轮毂正面图像输入到网络模型中，利用网络模型编码器网络提取轮毂特征信息；

10、将轮毂特征信息输入到语义分割子网中，利用网络模型解码器网络计算轮毂特征气门孔分割预测结果。

11、作为进一步地改进，本发明所述的光电开关用于检测轮毂是否进入或离开指定位置实现轮毂定位，工业相机用于拍摄轮毂正面图像，激光轮廓测量仪通过转台旋转位移用于旋转扫描轮毂中心孔获取三维扫描数据。

12、作为进一步地改进，本发明所述的激光轮廓测量仪距待测轮毂中心孔50mm至70mm。

13、作为进一步地改进，本发明所述的轮毂型号分类和特征检测装置还包括设置于工业相机边上，对应于轮毂，位于待测轮毂上方的条形光源，条形光源用于提高成像质量。

14、作为进一步地改进，本发明所述的根据工作参数转台转动激光轮廓测量仪扫描轮毂中心孔获取轮毂中心孔三维扫描数据，具体为：

15、首先利用光电开关检测轮毂进入指定位置控制传送设备停止，利用工业相机拍摄获取轮毂正面图像，利用图像处理算法获取轮毂型号，根据轮毂型号获取工作参数，根据工作参数控制位移平台移动指定工作距离保证激光轮廓测量仪工作范围包含轮毂中心孔，根据工作参数确定转台转速ω及激光轮廓测量仪采样频率f，待转台旋转匀速稳定后开启激光轮廓测量仪进行扫描，获取轮毂中心孔三维扫描数据，将初始位置记为原点，则有

16、li＝δi+a

17、

18、其中δi为扫描的每一条轮廓上中心孔位置到轮廓扫描仪x轴显示边缘的距离，该距离通过激光轮廓测量仪获取，a为轮廓扫描仪x轴显示边缘到旋转中心距离，该距离固定，其中li为每一条轮廓中心孔位置到旋转中心的距离，θi为每条轮廓相对初始位置转过的角度，li和θi即为极坐标下圆方程的两个参数，在直角坐标系下则有

19、

20、根据扫描获取的坐标数据，利用最小二乘法圆拟合处理数据计算轮毂中心孔尺寸大小。

21、作为进一步地改进，本发明所述的最小二乘法圆拟合为通过合理的近似将非线性问题转化为线性，具体为：

22、对于一个标准圆，假设其圆心坐标为(a,b)，半径为r，则有

23、(x-a)2+(y-b)2＝r2

24、展开则有

25、x2+y2+ax+by+c＝0

26、其中a＝-2a,b＝-2b,c＝a2+b2-r2，因此求出a,b,c，即可求出圆心、半径具体的值，若激光轮廓测量仪获取的点集为(xi,yi),i∈1,2,3,…,n，将每个点与圆心之间的距离记为则点(xi,yi)到圆心的距离的平方与拟合圆半径的平方的差为：

27、

28、令因为f(a,b,c)≥0，所以此函数必定有不小于0的极小值，分别对a,b,c求偏导，使方程等于0即可求出极值点，将所得的极值点进行比较选取数值最小点，方程组如下：

29、

30、联立方程求解得到拟合后的圆心坐标为

31、作为进一步地改进，本发明所述的网络模型为全卷积神经网络，采取降采样层和上采样层组合，利用mobilenetv3作为主干网络，搭配金字塔池化模块及分割子网组成整个网络结构。

32、作为进一步地改进，本发明所述的将轮毂正面图像输入到网络模型中，利用网络模型编码器网络提取轮毂特征信息；将轮毂特征信息输入到语义分割子网中，利用网络模型解码器网络计算气门孔分割预测结果，具体为：

33、将工业相机拍摄获取的轮毂正面图像输入网络模型，利用mobilenetv3网络作为特征编码层提取轮毂特征信息，将轮毂特征信息输入金字塔池化模块在不同层级上对轮毂特征信息进行整合和处理获取轮毂多尺度全局信息，分割子网解码器部分利用轮毂多尺度全局信息和跳跃连接恢复并计算轮毂气门孔分割预测结果，再通过损失函数计算指导模型参数的更新，优化轮毂气门孔分割预测结果，最后将分割后的结果显示并保存。

34、与现有技术相比，本发明所达到的有益效果：

35、1.轮毂型号分类兼顾效率和准确性：选择合适的图像算法通过降低噪声、图像增强和模板匹配实现了快速且准确的轮毂型号分类。

36、2.轮毂中心孔尺寸测量精度高：由于轮毂特殊三维形貌和高精度要求，使用传统相机拍摄无法满足要求，在设计上将二维图像信息和三维轮廓测量信息多模态融合，将图像算法计算得到的轮毂型号信息用于后续轮毂特征中心孔的检测，解决了由于轮毂型号多样、激光轮廓测量仪工作距离受限而无法实现高度自动化智能化的问题，选取适当的光源、工业相机、镜头和激光轮廓测量仪，搭建装置扫描获取数据，保证测量精度。

37、3.网络模型检测速度快、结果准确：主干网络采用mobilenetv3，体积小、参数量小，适用于生产线plc系统中进行继承，且方便后续轮毂参数的注册和训练。使用生产线拍摄的轮毂图片进行数据增强作为数据集进行网络模型训练，其数据种类丰富、数据充足，满足训练高精度网络的数据集需求，用该网络模型进行检测结果准确。

38、4.上位机封装完善、人机交互性强：qt是应用程序开发的一站式解决方案，可与python语言进行绑定，实现图形界面应用程序的开发。在vscode中安插qt插件后可实现ui界面的设计，通过编写按钮、标签等事件函数实现轮毂注册、相机管理并输出结果等行为。用户仅需自主点击按钮即可开始检测，算法可自行输出结果并由用户决定是否保存检测结果图像，功能完善且人机交互性强。

39、5.兼顾效率、精度，在工业生产中优势明显：将预先建立好的轮毂数据模板库和训练好的网络模型进行封装，使用交互界面实现用户提供的轮毂检测，在该过程中既可以保证检测的准确率，同时降低了人工成本与时间成本，便于在工业生产中的流水线工作，适配工业生产的需求，在工业生产中优势明显。