用于车辆底盘腐蚀评估的AGV系统

用于车辆底盘腐蚀评估的agv系统
技术领域
1.本发明涉及的是一种车辆维护领域的技术，具体是一种用于车辆底盘腐蚀评估的agv系统。


背景技术：

2.现有的底盘腐蚀评估方案多用举升机、地面固定检测系统、移动检测小车等。其中移动检测小车能够在车底自由运动，并通过摄像头采集底盘图像，便携性较好，检测效率较高。现有移动检测小车方案一般将底盘图像实时传输给检修人员，或将零散的实时图像拼接成完整的底盘图像，无法自主对采集的图像进行腐蚀区域检测和评估，自动化和智能化程度较低。


技术实现要素：

3.本发明针对现有测试装置无法移动，自动化程度较低的不足，提出一种用于车辆底盘腐蚀评估的agv系统，能够自主遍历车底空间、自主检测底盘腐蚀区域、自主评估底盘腐蚀等级，无需提前制作底盘零件数据集，能够根据零件腐蚀面积覆盖率准确评估腐蚀等级，最终生成具有参考价值的底盘腐蚀评估报告，并保存重点区域图像，方便检修人员对车辆底盘进行综合状态评估，通过融合卷积神经网络和图像局部熵值的底盘腐蚀区域复核方法，能够对检测到的腐蚀区域进行复核，筛除例如涂红漆零件等伪腐蚀区域，提高腐蚀等级评估精准度。
4.本发明是通过以下技术方案实现的：
5.本发明涉及一种用于车辆底盘腐蚀评估的agv系统，包括：车底实时定位模块、腐蚀评估模块和腐蚀复核模块，其中：车底实时定位模块根据平面激光扫描仪采集的点云信息和相机采集的图像信息，分别进行粒子滤波和图像匹配处理，并对定位结果进行异常值滤波，得到车底激光和图像融合定位结果；腐蚀评估模块根据车底定位信息和摄像头采集的实时图像信息，进行零件复杂度评估、自适应零件区域分割、腐蚀等级评估处理，得到车底零件腐蚀等级评估结果；腐蚀复核模块根据零件局部腐蚀图像信息，进行强边缘抑制、局部熵计算和神经网络判断腐蚀处理，得到零件腐蚀复核结果。
6.本发明涉及基于上述agv系统的车辆底盘腐蚀评估方法，包括以下步骤：
7.步骤1、根据agv采集的点云和图像信息修正agv在车底的定位；
8.步骤2、对agv搭载相机采集的底盘图像进行图像预处理；
9.步骤3、对底盘图像进行零件复杂度评估；
10.步骤4、根据零件复杂度评估结果，对底盘图像进行自适应零件区域分割；
11.步骤5、基于颜色空间阈值过滤法检测底盘图像腐蚀区域，评估腐蚀等级；
12.步骤6、对底盘图像腐蚀区域进行强边缘抑制，进行局部熵腐蚀复核；
13.步骤7、对底盘图像腐蚀区域进行神经网络腐蚀复核，融合腐蚀复核结果；
14.步骤8、根据agv实时定位信息，为腐蚀评估和复核结果添加定位标签。
技术效果
15.本发明通过基于零件复杂度评估的自适应零件区域分割技术和基于强边缘抑制的局部熵和神经网络融合腐蚀复核技术，能够针对基于零件复杂度评估对不同尺寸、不同类型的零件进行自适应分割，分别计算评估腐蚀等级，无需提前制作零件数据集；对腐蚀区域进行局部熵和神经网络融合复核，筛除颜色空间阈值过滤法存在的无腐蚀零件误检测。
附图说明
16.图1为本发明示意图；
17.图2为gmw-15357文件所定义外观腐蚀评价标准示意图；
18.图3为仿真场景示意图；
19.图4、5为构建的激光地图，红色点为实时点云数据示意图；
20.图6、7为腐蚀评估agv在遍历路径示意图；
21.图8为自适应直方图均衡化处理后的底盘图像示意图；
22.图9为强边缘检测示意图；
23.图10为零件轮廓局部熵示意图；
24.图11为弱边缘检测示意图；
25.图12为强边缘抑制示意图；
26.图13为自适应菲尔森茨瓦布过分割结果示意图；
27.图14为自适应区域邻接图合并结果示意图；
28.图15为形态学闭合区域检测后的零件区域分割结果示意图；
29.图16、17为hsv颜色空间阈值分割出腐蚀区域和非腐蚀区域示意图；
30.图18为不同零件区域的腐蚀评估结果示意图；
31.图19为零件腐蚀子区域分割示意图；
32.图20为零件腐蚀子区域局部熵腐蚀复核示意图；
33.图21为零件腐蚀子区域神经网络腐蚀复核示意图；
34.图22为局部熵和神经网络腐蚀复核结果融合逻辑示意图。
具体实施方式
35.如图1所示，为本实施例涉及一种用于车辆底盘腐蚀评估的agv系统，包括：车底实时定位模块，腐蚀评估模块和腐蚀复核模块，其中：车底实时定位模块根据平面激光扫描仪采集的点云信息和相机采集的图像信息，分别进行粒子滤波和图像匹配处理，并对定位结果进行异常值滤波，得到车底激光和图像融合定位结果，腐蚀评估模块根据摄像头采集的实时图像信息，进行零件复杂度评估、自适应零件区域分割、腐蚀等级评估处理，得到车底零件腐蚀等级评估结果，腐蚀复核模块根据车底定位信息和零件局部腐蚀图像信息，进行强边缘抑制、局部熵计算和神经网络判断腐蚀处理，得到零件腐蚀复核结果，并标记零件腐蚀区域。
36.所述的车底实时定位模块包括：激光地图构建单元、底盘图像拼接单元、地图标定单元和车底定位修正单元，其中：激光地图构建单元根据平面激光扫描仪信息，进行粒子滤波处理，得到车底激光地图结果；图像地图构建单元根据相机采集的图像信息，进行图像特
征匹配和拼接处理，得到底盘图像地图结果；地图标定单元根据车辆轮胎在激光地图和图像地图的相对位置信息，进行坐标系转换处理，得到地图转换矩阵结果；车底定位修正单元根据地图转换矩阵和agv实时定位信息，进行异常值滤波处理，得到修正后的车底定位结果。
37.所述的腐蚀评估模块包括：图像预处理单元、零件复杂度评估单元、零件区域分割单元、腐蚀区域分割单元和腐蚀等级评估单元，其中：图像预处理单元根据相机采集的图像信息，进行自适应直方图均衡化、降采样、高斯模糊处理，得到预处理图像结果；零件复杂度评估单元根据预处理图像信息，进行强边缘检测、局部熵计算、零件复杂度计算处理，得到零件复杂度结果；零件区域分割单元根据预处理图像和零件复杂度信息，进行自适应菲尔森茨瓦布分割、自适应区域邻接图合并、形态学闭合检测处理，得到零件区域分割结果；腐蚀区域分割单元根据预处理图像信息，进行hsv颜色空间滤波处理，得到腐蚀区域分割结果；腐蚀等级评估单元根据零件区域和腐蚀区域分割信息，进行腐蚀覆盖率计算和腐蚀区域局部分割处理，得到腐蚀评估等级和局部腐蚀图像结果。
38.所述的腐蚀复核模块包括：局部熵腐蚀复核单元，神经网络腐蚀复核单元，腐蚀区域标记单元，其中：局部熵腐蚀复核单元根据局部腐蚀图像信息，进行强边缘抑制、腐蚀熵计算处理，得到局部熵腐蚀复核结果；神经网络腐蚀复核单元根据局部腐蚀图像信息，进行神经网络二元分类处理，得到神经网络腐蚀复核结果；腐蚀区域标记单元根据局部熵和神经网络腐蚀复核信息和修正后的车底定位信息，进行复核结果融合和图像标记处理，得到标记后的腐蚀区域结果。
39.如图1所示，本实施例涉及上述agv系统的车辆底盘腐蚀评估方法，包括以下步骤：
40.步骤1、根据agv采集的点云和图像信息修正agv在车底的定位，具体包括：
41.1.1)激光地图构建：将agv放入待检测车辆底部，使agv在车底随机探索并构建激光地图，如图3所示。在该步骤中，由于底盘腐蚀评估agv的平面激光扫描仪安装高度较低，且车辆轮胎间距远小于激光扫描仪半径12米的检测范围，agv可以实时扫描到轮胎轮廓点云。通过在车底空间随机选取目标点位，agv可以在车辆底部自主探索，直到构建完整的车底激光地图，如图4-图7所示。在车底无其他遮挡物的情况下，车底激光地图的表现形式为四个代表轮胎的矩形。
42.本实施例中，以车辆中心为原点，车头朝向为y轴正方向，车身朝右为x轴正方向构建车底激光地图坐标系，则由左前轮胎，右前轮胎，左后轮胎，右后轮胎四个轮胎中心组成的激光坐标系下坐标矩阵的转置矩阵为
43.1.2)图像地图构建：agv同时通过视角垂直朝上的usb相机实时采集底盘图像。在实时图像中检测surf特征点，对相邻帧图像的surf特征点进行flann特征匹配，计算相邻帧图像之间的单应矩阵根据单应矩阵h，将相邻帧图像进行映射变换并拼接重叠部分，最终拼接成完整的底盘图像地图。
44.本实施例中，底盘图像地图为像素坐标系，原点在图像左上角，图像水平向右方向
为u轴正方向，图像垂直向下为v轴正方向，则由左前轮胎，右前轮胎，左后轮胎，右后轮胎四个轮胎中心组成的像素坐标系下坐标矩阵的转置矩阵为个轮胎中心组成的像素坐标系下坐标矩阵的转置矩阵为
45.1.3)地图标定：根据左前轮胎，右前轮胎，左后轮胎，右后轮胎四个轮胎中心在激光和像素坐标系下的坐标矩阵，计算激光地图与图像地图之间的坐标转换矩阵完成地图标定。
46.本实施例中，对于激光地图下的任意坐标可以通过坐标转换求得其在图像地图下的坐标类似地，对于图像地图下的任意坐标可以通过坐标转换矩阵求得其在激光地图下的坐标
47.1.4)车底定位修正：对图像地图和激光地图定位结果进行坐标系转换和异常值滤波，修正车底定位结果。
48.由于激光地图定位容易出现位姿估计翻转问题，本实施例中，对于激光地图定位结果和经坐标系转换获得的图像地图定位结果若连续三帧检测到xs和x
p
的符号相反，则将激光地图沿y轴进行翻转。同理，若连续三帧检测到ys和y
p
的符号相反，则将激光地图沿x轴进行翻转。
49.图像地图定位方法容易出现误匹配问题，本实施例中，对于图像地图定位结果图像地图定位方法容易出现误匹配问题，本实施例中，对于图像地图定位结果和经坐标系转换获得的激光地图定位结果若|u
p-us|＞0.1*u
max
或|v
p-vs|＞0.1*v
max
，即图像地图和激光地图的定位结果之差的绝对值超过图像地图总尺寸的10％，则认为图像地图定位结果为异常值，修正后的定位结果取激光地图p
′s。
50.本实施例中，对于图像地图定位结果和经坐标系转换获得的激光地图定位结果若|u
p-us|≤0.1*u
max
或|v
p-vs|≤0.1*v
max
，即图像地图和激光地图的定位结果之差的绝对值不超过图像地图总尺寸的10％，则认为两者的定位结果均为正常值，修正后的定位结果取两者均值
51.步骤2、对agv搭载相机采集的底盘图像进行图像预处理，具体包括：
52.2.1)自适应直方图均衡化：对相机采集的原始底盘图像进行自适应直方图均衡化操作，如图8所示。该操作能够有效增亮照明不足区域，保留零件细节。
53.本实施例中，选用的均衡化阈值为0.1。
54.2.2)降采样：对底盘图像的rgb三通道分别进行降采样操作。该操作能够模糊化零件高频细节，突出零件轮廓曲线。
55.本实施例中，选用的降采样比例为
56.2.3)高斯模糊：对底盘图像进行高斯模糊操作。该操作能够模糊化零件高频细节，突出零件轮廓曲线。
57.本实施例中，选用5
×
5的卷积核，标准偏差σ＝0.8。
58.步骤3、对所述底盘图像进行零件复杂度评估，具体包括：
59.3.1)强边缘检测：对底盘图像进行canny强边缘检测，如图9所示。通过设置合适的高斯模糊标准偏差和链接阈值，该操作能够检测零件的强边缘，即零件轮廓，并去除低于链接阈值的弱边缘。
60.本实施例中，选用的高斯模糊标准偏差σ＝3，链接阈值最小值min_val＝0.10,链接阈值最大值max_val＝0.20。
61.3.2)零件复杂度评估：根据图像强边缘检测结果，评估零件复杂度。一般而言，图像中强边缘越多，即零件轮廓越多，表明图像中的零件复杂度越高。同时，图像的局部熵值越高，表明零件分布越不均匀，零件复杂度越高。
62.本实施例中，根据强边缘像素点数量ne和图像总像素点数量n
p
，计算图像强边缘比率取值范围为0≤re≤1。
63.本实施例中，在5
×
5的矩形移动窗口中根据局部熵表达式对强边缘检测结果计算局部熵，如图10所示。由于强边缘检测结果为二值图像，局部熵表达式可简化为he＝-(p0log2p0+(1-p0)log2(1-p0))。通过对该表达式求导可得当像素点强度为0的概率p0取时，即移动窗口中强度为1和0的像素点数量相同时，局部熵he能够取最大值1。同时，当p0取0或1时，局部熵he取最小值0。对图像局部熵取平均值取值范围同样为
64.本实施例中，提出零件复杂度评估参数取值范围为0≤ce≤1。ce值越高，代表图像中的零件越复杂。
65.3.3)自适应参数计算：根据计算所得零件复杂度评估参数ce，自适应计算菲尔森茨瓦布分割算法适用尺度参数scale和区域邻接图算法适用合并阈值thresh。
66.本实施例中，对于零件复杂度高的图像，选用低尺度参数，对于宽度为w,高度为h的图像，提出并计算菲尔森茨瓦布分割算法适用尺度参数其中k为放大系数，本实施例中选用5。
67.本实施例中，对于零件复杂度高的图像，选用低合并阈值，提出并计算区域邻接图
算法适用合并阈值
68.步骤4、根据零件复杂度评估结果，对所述底盘图像进行自适应零件区域分割，具体包括：
69.4.1)自适应菲尔森茨瓦布分割：根据自适应计算所得尺度参数对预处理后的底盘图像进行自适应菲尔森茨瓦布分割，获得零件区域过分割结果，如图13所示。
70.本实施例中，选用最小分割区域尺寸min_size＝scale。
71.4.2)自适应区域邻接图合并：根据自适应计算所得合并阈值4.2)自适应区域邻接图合并：根据自适应计算所得合并阈值对零件区域过分割结果进行基于颜色相似度的自适应区域邻接图合并，得到初步的零件区域分割结果，如图14所示。
72.4.3)形态学闭合检测：对于颜色相近但空间不相邻的零件区域进行形态学闭合检测，将零件区域分割为闭合区域实例，得到最终的零件区域分割结果，如图15所示。
73.步骤5、基于颜色空间阈值过滤法检测所述底盘图像腐蚀区域，评估腐蚀等级，具体包括：
74.5.1)hsv颜色空间滤波：将图像从rgb颜色空间转换至hsv颜色空间，基于预设阈值滤波。
75.本实施例中，对于hsv图像，分割出h通道值落在[0,15]区间和[170,180]区间的像素点，即颜色为红色的像素点，作为腐蚀区域掩模，如图16、17所示。
[0076]
5.2)零件腐蚀等级评估：将不同零件区域分别与腐蚀区域掩模进行位与操作，获得非零像素点数量ei，根据零件区域像素点总数ni计算重合率如图18所示。
[0077]
本实施例中，根据通用汽车公司gmw-15357文件中所定义腐蚀区域覆盖率为主的腐蚀评估指标，对不同零件分别评估腐蚀等级。例如，对于腐蚀覆盖率ki＝8％的零件，评估为7级腐蚀，即轻微腐蚀。
[0078]
5.3)零件腐蚀子区域分割：将腐蚀覆盖率超过设定阈值的腐蚀区域进行最小矩形包围框分割，方便腐蚀复核模块进行复核，如图19所示。
[0079]
本实施例中，设定腐蚀覆盖率复核阈值为ki≥5％。图19所示零件腐蚀子区域的腐蚀覆盖率ki为36.85％，评估为6级腐蚀，属于中度腐蚀。
[0080]
步骤6、对所述底盘图像腐蚀区域进行强边缘抑制，进行局部熵腐蚀复核，具体包括：
[0081]
6.1)强边缘抑制：对零件腐蚀子区域进行参数不同的canny边缘检测，并做差得到腐蚀边缘图。高斯模糊标准偏差和链接阈值相对低的情况下，canny边缘检测能够检测包括零件轮廓强边缘和腐蚀细节弱边缘在内的所有边缘，如图11所示。高斯模糊标准偏差和链接阈值相对高的情况下，canny边缘检测只检测零件轮廓强边缘，如图9所示。
[0082]
本实施例中，对零件轮廓强边缘以3
×
3的卷积核进行膨胀操作，并与低链接阈值情况下得到的边缘检测结果做差，保留零件腐蚀细节边缘图，如图12所示。
[0083]
本实施例中，弱边缘检测选用的高斯模糊标准偏差σ＝1，链接阈值最小值min_val
＝0.05,链接阈值最大值max_val＝0.10，强边缘检测选用的高斯模糊标准偏差σ＝3，链接阈值最小值min_val＝0.10,链接阈值最大值max_val＝0.20。
[0084]
6.2)局部熵腐蚀复核：对零件腐蚀细节边缘图进行平均局部熵计算，平均局部熵大于设定阈值的腐蚀子区域复核为发生腐蚀，如图20所示。
[0085]
本实施例中，局部熵表达式he＝-(p0log2p0+(1-p0)log2(1-p0))，选用发生腐蚀阈值为图20所示零件腐蚀子区域的平均局部熵为0.38，局部熵腐蚀复核结果为阳性，判断为发生腐蚀。
[0086]
步骤7、对所述底盘图像腐蚀区域进行神经网络腐蚀复核，融合腐蚀复核结果，具体包括：
[0087]
7.1)神经网络二元分类复核：通过预训练的神经网络二元分类模型，对零件腐蚀子区域进行腐蚀/非腐蚀二元分类复核，如图21所示。
[0088]
本实施例中，根据金属腐蚀数据集训练vgg16卷积神经网络，sigmoid函数为激活函数，二元交叉熵为损失函数，生成预训练二元分类模型。
[0089]
7.2)腐蚀复核结果融合：对局部熵和神经网络腐蚀复核结果进行位或操作，只要有一者判断为存在腐蚀，即最终判断为存在腐蚀。具体的腐蚀判断逻辑如图22所示。
[0090]
步骤8、根据agv实时定位信息，为腐蚀评估和复核结果添加定位标签，具体包括：
[0091]
8.1)腐蚀区域标记：将零件腐蚀子区域、腐蚀评估结果和腐蚀复核结果结合修正后的车底定位坐标，标记在图像地图上，作为最终腐蚀评估报告。
[0092]
8.2)腐蚀区域图像保存：将判断为发生严重腐蚀的零件图像在agv本地保存，供检修人员参考。
[0093]
与现有技术相比，本方法基于零件复杂度评估对不同尺寸、不同类型的零件进行自适应分割，分别计算评估腐蚀等级，无需提前制作零件数据集；对腐蚀区域进行局部熵和神经网络融合复核，筛除颜色空间阈值过滤法存在的无腐蚀零件误检测；基于激光地图和图像地图联合定位，对不同尺寸、不同类型的车辆泛用性较好，不受场地限制。
[0094]
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。