一种汽车车身漆面缺陷智能检测与打磨系统及方法与流程

1.本发明主要涉及到汽车车身生产制造智能技术领域，特指一种汽车车身漆面缺陷智能检测与打磨系统及方法。


背景技术：

2.涂装工艺是汽车车身生产制造中的重要环节，它通过在车体表面喷涂油漆以提高车身的防锈耐腐性以及汽车的观赏性。然而，车身涂装是一项高精度、高难度的工作，涂料、涂装环境、喷涂参数的设定等都会影响工艺质量。
3.在实际的生产制造过程中，车体漆面不可避免的遭受一些污损或破坏，如喷涂中由表面的杂质引起的凹凸点、搬运中因操作不当造成的漆面划痕、污渍等，这些外观缺陷的存在将直接影响生产商的品牌形象及汽车销售。对此，出厂前检测车身漆面缺陷、并进行修复是涂装工艺十分必要的一环。
4.汽车车身的漆面是由特殊的材质构成，本身具有高反光的特性，这使漆面缺陷的检测及修复充满挑战性。
5.目前，汽车车身漆面缺陷检测及修复工作主要由人工完成。借助于特殊光源，工人通过多视角观察和触摸的方式检测缺陷，并对缺陷的种类、尺寸及位置等信息进行记录；然后，手持修复工具，通过打磨、抛光、喷涂等操作修复漆面缺陷。上述传统人工方式虽然能够满足需求，但该方法严重依赖工人的经验及专注度，且存在检测和修复效率低、质量不稳定的问题。此外，在长时间高专注度的工作强度下，检测和修复工作的质量会持续下降。
6.随着视觉成像和机器人技术的不断发展，使得机器视觉引导机器人检测和修复漆面检测的方式成为可能。近几年，出现一些在特殊定制光源下采用2d相机检测漆面缺陷的方法。但是，该类方法由于不能获取缺陷的三维信息而无法实现自动打磨。也有一些采用基于相位偏折原理的3d相机获取类镜面车体漆面的高精度三维点云，进而有效检测缺陷及其三维坐标信息，但它们并未将缺陷的位置信息传送给缺陷修复机器人实现自动修复。
7.例如，有从业者提出中国专利申请车身漆面缺陷检测装置及其检测方法(申请号202110117975.2)，包括伺服控制器、工控机、车身输送机构、若干面阵相机、若干投影仪和若干投影屏幕，上述元器件的坐标系与世界坐标系的姿态关系是通过标定板提前标定的。所述面阵相机、投影仪和投影屏幕共同构成图像采集系统，用于采集、分析待检测车辆的表面数据，所述工控机与所述投影仪联接，所述投影屏幕设置在所述投影仪外围且与所述投影仪对应，所述投影仪可将横竖各4幅正弦相移条纹图像分别投影到对应投影屏幕上，所述面阵相机分布在待检测车辆四周，每个面阵相机通过车身表面反射对所述投影屏幕上的条纹进行拍照，在车身单个视野内可拍摄横竖各4幅，共8幅正弦相移条纹图像。通过设计伺服控制器、工控机和车身输送机构配合图像采集系统使用，可以方便高效地采集车身表面相关的正弦相移条纹图像，从而输出镜面反射图、漫反射图，光泽度图、曲率图等，进而能够通过传统图像处理算法和深度学习算法检测车身漆面的脏污类缺陷、纹理类缺陷、划伤碰伤类缺陷、凹凸类缺陷。
8.但是这类技术方案相当复杂，成本较高，适用范围较窄，检测精度不够高，最为关键的是，上述传统技术只能完成检测，并不能与后续修复等工位进行自动化联动。


技术实现要素：

9.本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种结构简单紧凑、成本低廉、智能化程度高的汽车车身漆面缺陷智能检测与打磨系统及方法。
10.为解决上述技术问题，本发明采用以下技术方案：
11.一种汽车车身漆面缺陷智能检测与打磨系统，其包括：
12.缺陷检测单元，用来定位缺陷并判定其类型，其包括两套以上检测机械臂、两台以上的漆面成像采集组件、坐标引导采集组件及缺陷检测控制组件，所述缺陷检测控制组件包括检测机械臂控制器，采集组件控制器及图像处理单元；所述检测机械臂控制器与检测机械臂相连，所述采集组件控制器及图像处理单元与漆面成像采集组件、坐标引导采集组件相连；
13.当车体被传送到检测工位后，触发坐标引导采集组件采集车身点云并由图像处理单元计算车身位姿，根据车身位姿，固定于检测机械臂末端的漆面成像采集组件在检测机械臂控制器的引导下到达指定位置，按照离线规划的轨迹分步采集指定范围内车体表面的点云及图像，然后通过图像处理单元定位缺陷并判定其类型；
14.缺陷打磨单元，包括车身定位相机、两套以上的打磨机械臂、两套以上的力控打磨头及打磨控制组件，所述打磨控制组件包括采集相机控制及图像处理单元、打磨机械臂控制器及力控打磨头控制器，所述车身定位相机与采集相机控制及图像处理单元相连，所述打磨机械臂与打磨机械臂控制器连接，所述力控打磨头安装在打磨机械臂的末端，并与力控打磨头控制器连接；
15.当车体被传送到打磨工位后，所述车身定位相机被触发采集车体点云，由图像处理单元计算车体位姿偏差并转换缺陷坐标，控制器根据缺陷坐标引导打磨机械臂到达缺陷位置，由力控打磨头修复缺陷。
16.作为本发明系统的进一步改进：所述缺陷检测单元中，当车体被传送到检测工位后，相机被触发，采集车身点云，计算车身位姿。
17.作为本发明系统的进一步改进：根据车身位姿，固定检测机械臂末端的漆面成像采集组件在检测机械臂控制器的引导下到达指定位置，在采集组件控制器及图像处理单元的作用下按照离线规划的轨迹分步采集指定范围内车体表面的点云及图像，然后通过图像处理单元定位缺陷并判定其类型。
18.本发明进一步提供一种基于上述汽车车身漆面缺陷智能检测与打磨系统的方法，其步骤包括：
19.步骤s1：当待检车身被传送到检测工位时，车身定位及缺陷坐标引导采集车身点云，以此作为输入，通过与参考车位点云或与cad模型配准，估算车身位姿，实现车位定位；
20.步骤s2：基于车身位姿，调整离线规划的采集轨迹，在检测机械臂的引导下漆面成像采集组件以多节拍的方式采集漆面数据，包括3d点云及基于反射生成的2d图像；
21.步骤s3：通过深度学习与特征匹配结合的方式检测缺陷类型和定位，并计算缺陷
的外轮廓坐标；
22.步骤s4：缺陷检测完成后，待检车身运送到打磨工位；打磨工位的车身定位相机采集车身点云，通过与检测工位采集的车身点云配准，估算在两个车身定位坐标系下的车身位姿偏；
23.步骤s5：基于离线标定变换矩阵以及车身位姿偏差，将缺陷坐标从采集相机的坐标系转换到打磨机器人基坐标系；
24.步骤s6：根据缺陷坐标，打磨机器人控制器引导打磨机械臂到达缺陷所在位置，在力控打磨控制器的作用下，通过力控打磨头打磨和修复缺陷。
25.作为本发明方法的进一步改进：所述步骤s2中，不同检测机械臂分管不同的区域，每块区域采用多拍采集方式完成整车车身的漆面数据获取。
26.作为本发明方法的进一步改进：所述步骤s2中，在各自检测机械臂辖管区域，漆面被分割成多块区域，采集时，检测机械臂移动到参考区域上方，然后在机械臂控制器的作用下，按照离线规划的路径移动到其他区域，完成相机的多拍采集。
27.作为本发明方法的进一步改进：所述步骤s5中，缺陷坐标转换是将成像相机坐标系下的缺陷转换到打磨机器人基坐标系，流程包括：
28.步骤s501：将成像相机坐标系下的缺陷转换到参考坐标系，即将ai区域相机坐标系下的缺陷转换到ar参考区域的相机坐标系，其中转换矩阵为该矩阵是通过离线标定的方式获取；
29.步骤s502：将参考坐标系下的缺陷转换到a相机坐标系；该过程的变换矩阵为它是通过离线标定具有公共视场的不同视角的相机位姿获取；
30.步骤s503：将检测工位a相机坐标系下缺陷转换到打磨工位a`相机坐标系下，其中转换矩阵为该矩阵通过a相机坐标系下采集的车身点云与a`相机坐标系下采集的车身点云配准而得；
31.步骤s504：将a`相机坐标系的缺陷位置转换到打磨机器人基坐标系下，其中转换矩阵为该矩阵通过手眼标定获得。
32.作为本发明方法的进一步改进：在上述步骤s501中，离线标定是通过机器人控制器获取机械臂移动时的位姿变化，以此作为初始变换矩阵，然后离线采集2d靶面参考板上的参考点，通过配准的方式精确标定相邻节拍间相机的位姿。
33.与现有技术相比，本发明的优点在于：
34.1、本发明的汽车车身漆面缺陷智能检测与打磨系统及方法，结构简单紧凑、成本低廉、智能化程度高，通过局部定位与全局引导的3d成像方案，能够解决局部缺陷坐标到打磨系统基坐标系转换的问题，同时结合机器人运动控制技术实现缺陷的自动打磨修复。
35.2、本发明的汽车车身漆面缺陷智能检测与打磨系统及方法，通过多相机离线标定与点云配准相结合的方式将局部相机缺陷坐标转换到打磨机器人基坐标系下，实现漆面缺陷自动检测与打磨。
36.3、本发明的汽车车身漆面缺陷智能检测与打磨系统及方法，机械臂先验移动位姿与参考靶面离线标定结合方式，准确计算多拍采集区域相机间的位姿变换关系，以实现不
同节拍采集的漆面坐标点云统一或拼接。
附图说明
37.图1是本发明系统的结构原理示意图。
38.图2是本发明方法的流程示意图。
39.图3是本发明在具体应用实例中进行坐标转换时的流程示意图。
40.图4是本发明在具体应用实例中进行车体漆面区域分配的示意图。
41.图5是本发明在一个具体应用实例中进行坐标转换时的原理示意图。
42.图例说明：
43.1、缺陷检测控制组件；2、检测机械臂；3、漆面成像采集组件；4、坐标引导采集组件；5、待检车身；6、打磨控制组件；7、打磨机械臂；8、力控打磨头；9、车身定位3d相机；10、缺陷检测工位；11、缺陷打磨工位。
具体实施方式
44.以下将结合说明书附图和具体实施例对本发明做进一步详细说明。
45.如图1所示，本发明的汽车车身漆面缺陷智能检测与打磨系统，包括：
46.缺陷检测单元，位于缺陷检测工位10，用来定位缺陷并判定其类型；所述缺陷检测单元包括两套以上检测机械臂2、两台以上的漆面成像采集组件3、坐标引导采集组件4及缺陷检测控制组件1，所述缺陷检测控制组件1包括检测机械臂控制器、采集组件控制器及图像处理单元；所述检测机械臂控制器与检测机械臂2相连，所述采集组件控制器及图像处理单元与漆面成像采集组件3、坐标引导采集组件4相连。
47.缺陷打磨单元，位于缺陷打磨工位11，包括车身定位相机9(3d相机)、两套以上的打磨机械臂7、两套以上的力控打磨头8及打磨控制组件6，所述打磨控制组件6包括采集相机控制及图像处理单元、打磨机械臂控制器及力控打磨头控制器，所述车身定位相机9与采集相机控制及图像处理单元相连，所述打磨机械臂7与打磨机械臂控制器连接，所述力控打磨头8安装在打磨机械臂7的末端，并与力控打磨头控制器连接。
48.当车体被传送到打磨工位后，所述车身定位相机9被触发采集车体点云，由图像处理单元计算车体位姿并转换缺陷坐标，控制器根据缺陷坐标引导打磨机械臂7到达缺陷位置，由力控打磨头8修复缺陷。
49.本实施例中，检测机械臂2为四套；漆面成像采集组件3为四台，采用用于漆面成像的3d相机，坐标引导采集组件4为一台用于车身定位及缺陷坐标引导的3d相机。
50.当车体被传送到检测工位后，相机被触发，采集车身点云，计算车身位姿。根据车身位姿，四台分别固定检测机械臂2末端的漆面成像采集组件3(成像相机)，在检测机械臂控制器的引导下到达指定位置，在采集组件控制器及图像处理单元的作用下按照离线规划的轨迹分步采集指定范围内车体表面的点云及图像，然后通过图像处理单元定位缺陷并判定其类型。
51.本实施例中，车身定位相机9为一台3d相机，可以理解，在其他实施例中根据车身的长度、宽度大小以及实际定位的需求，也可以为多台。打磨机械臂7为四套，相应的，力控打磨头8也为四套。
52.参见图3，基于本发明的上述系统，本发明进一步提供一种汽车车身漆面缺陷智能检测与打磨系统的方法，其步骤包括：
53.步骤s1：当待检车身5被传送到检测工位时，车身定位及缺陷坐标引导采集车身点云，以此作为输入，通过与参考车位点云或与cad模型配准，估算车身位姿，实现车位定位。
54.步骤s2：基于车身位姿，调整离线规划的采集轨迹，在检测机械臂2的引导下漆面成像采集组件3以多节拍的方式采集漆面数据，包括3d点云及基于反射生成的2d图像。
55.步骤s3：通过深度学习与特征匹配结合的方式检测缺陷类型和定位，并计算缺陷的外轮廓坐标。
56.步骤s4：缺陷检测完成后，待检车身5运送到打磨工位。此时，打磨工位的车身定位相机采集车身点云，通过与检测工位采集的车身点云配准，估算在两个车身定位坐标系下的车身位姿偏。
57.步骤s5：基于离线标定变换矩阵以及车身位姿偏差等，将缺陷坐标从采集相机的坐标系转换到打磨机器人基坐标系。
58.步骤s6：根据缺陷坐标，打磨机器人控制器引导打磨机械臂7到达缺陷所在位置，在力控打磨控制器的作用下，通过力控打磨头8打磨和修复缺陷。
59.在具体应用实例中，所述步骤s2中，有多台检测机械臂2分管(如4台)不同的区域，由于相机视场有限，每块区域需要多拍采集完成整车车身的漆面数据获取。如图4所示，在各自检测机械臂2辖管区域，漆面被分割成多块区域(具体情况根据指定区域面积及相机视场而定)。采集时，检测机械臂2移动到参考区域ar上方，然后在机械臂控制器的作用下，按照离线规划的路径移动到ai(i＝1，2，
…
，8)区域，完成相机的多拍采集。
60.在具体应用实例中，所述步骤s5中，缺陷坐标转换是将成像相机坐标系下的缺陷转换到打磨机器人基坐标系。该过程的实现如图3和如图5所示，其详细流程包括：
61.步骤s501：将成像相机坐标系下的缺陷转换到参考坐标系，即将ai区域相机坐标系下的缺陷转换到ar参考区域的相机坐标系，其中转换矩阵为该矩阵是通过离线标定的方式获取。
62.步骤s502：将参考坐标系下的缺陷转换到a相机坐标系。该过程的变换矩阵为它是通过离线标定具有公共视场的不同视角的相机位姿获取。
63.步骤s503：将检测工位a相机坐标系下缺陷转换到打磨工位a`相机坐标系下，其中转换矩阵为该矩阵通过a相机坐标系下采集的车身点云与a`相机坐标系下采集的车身点云配准而得。
64.步骤s504：将a`相机坐标系的缺陷位置转换到打磨机器人基坐标系下，其中转换矩阵为该矩阵通过手眼标定获得。
65.进一步，在上述步骤s501中，离线标定是通过机器人控制器获取机械臂移动时的位姿变化，以此作为初始变换矩阵，然后离线采集2d靶面参考板上的参考点，通过配准的方式精确标定相邻节拍间相机的位姿。
66.以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的
普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。