一种钣金颜色特征智能识别框选方法与流程

1.本发明涉及智能喷涂技术领域，具体为一种钣金颜色特征智能识别框选方法。


背景技术：

2.汽车钣金就是汽车维修的一种加工方法，又叫冷做，说直接点，如果车身外观损坏变形，就需要钣金这个工序，汽车碰撞修复已经由原始的“砸拉焊补”发展成为车身二次制造装配，碰撞事故车辆的修复不再是简单的汽车钣金的敲敲打打，修复的质量也不能单靠肉眼去观察车辆的外观、缝隙，维修人员不但要了解车身的技术参数和外型尺寸，更要掌握车身材料特性，受力的特性的传递车身变形趋势和受力点以及车身的生产工艺如焊接工艺等。
3.当前汽车行业中，汽车生产商、汽车4s店在汽车喷漆方面为了避免对喷漆人员身体造成一定的伤害基本使用喷涂机器人自动喷漆，汽车生产商一条汽车喷涂生产线只喷涂固定型号产品的汽车，对于机器人的喷涂轨迹，一般通过人工示教完成，而汽车维修店或者4s店的汽车喷涂，车型种类多、钣金种类不同，每次喷涂钣金型号不同，钣金的形状大小不同，尤其对于前后杠这种钣金面较复杂的钣金件，需要分成多个区域来完成喷漆工作，采用人工框选的方式较繁琐，操作时间久，无法满足生产需求。


技术实现要素：

4.本发明的目的在于提供一种钣金颜色特征智能识别框选方法，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种钣金颜色特征智能识别框选方法，该方法包括以下步骤：
6.s1，系统组件搭建；
7.a、准备系统组件搭建所需要的装置设备；设备包括但不限于工控机、显示器、控制电柜、3d相机标定板、xy轴桁架、机器人和3d视觉相机；
8.b、将步骤s1，a中准备的3d视觉相机安装在机器人的六轴夹具，从而完成3d视觉相机的固定安装工作；
9.c、将步骤s1，b中得到的安装有3d视觉相机的机器人吊装在xy轴桁架上；
10.d、在汽车钣金喷漆房内设置好汽车钣金件的放置范围，方便后续的钣金喷漆的加工工作；
11.e、示教步骤s1，c中机器人的工具坐标；
12.s2，3d视觉相机的手眼标定；
13.a、3d视觉相机安装完成后，将标定板放置在机器人的视野范围内，保证3d视觉相机的正常标定调试工作；
14.b、使机器人移动至标定板特征点位置，并且记录机器人的当前位置数据信息；
15.c、数据记录完成后3d视觉相机拍照识别特征点，并且记录特征点的具体位置数据
信息；
16.d、上述步骤完成后人工计算机器人与3d视觉相机之间的旋转矩阵；
17.e、当步骤s2，d计算完成后，进行数据参数保存，标定结束；
18.s3、3d视觉相机拍照；
19.a、当步骤s2整体子步骤全部完成后，将需要进行喷漆的钣金件放入3d视觉相机的拍照视野范围内，此时桁架停止运动；
20.b、3d视觉相机进行拍照获取点云数据信息，并且进行滤波处理；
21.c、设定喷漆范围内3d视觉相机视野一次性覆盖特征；
22.d、若3d视觉相机的视觉软件无法完成一次性覆盖效果，则需要重复步骤s3，a-c，直到3d视觉相机覆盖整个区域；
23.e、将3d视觉相机多次拍照获取的的点云数据利用3d视觉软件拼接在一起；
24.s4，点云数据显示；
25.a、将步骤s3,e中得到的拼接后的点云数据信息传输至3d视觉软件上；
26.b、使用3d视觉软件进行显示查看，检查点云数据拼接是否完整，若出现拼接遗漏则重复步骤s3，e；
27.s5，提取点云数据的rgb信息或者hsv信息；
28.s6，根据颜色特征智能识别和框选喷漆区域；
29.s7，钣金颜色特征智能识别识别框选结束。
30.优选的，所述步骤s1，a中机器人为六轴夹具机器人。
31.优选的，所述步骤s2，b中，机器人在进行移动时，需在标定板内移动不同位置，并且进行数据记录工作。
32.优选的，所述步骤s2，b中，机器人在移动时的位置特征点为9组，同时利用最小二乘法进行数据计算，并且得到机器人坐标系和3d视觉坐标系的转换关系。
33.优选的，所述步骤s3，b中，点云数据信息包括x、y、z轴的坐标信息、rgb信息和hsv信息。
34.优选的，所述点云数据处理包括对点云数据进行的滤波处理，既过滤掉干扰点云和无效点云数据信息、保存有效的点云信息数据。
35.优选的，所述步骤s6中，自动识别颜色特征并且框选区域的方式为两种，其中一种方式为：在拼接的钣金模型上随便选取一个点云数据点，在该点的周围设置半径，搜索半径内的点云数据并提取rgb信息或者hsv信息，算出平均值；
36.再设置颜色特征的误差范围与所有点云进行比较，从而自动识别框选出喷漆的钣金件。
37.优选的，所述自动识别颜色特征并且框选区域的另一种方式为：取钣金件周围美纹纸或其他辅助条件的rgb信息或者hsv信息，随机选取钣金件周围美纹纸的一个点，在该点的周围设置半径，搜索半径内的点云数据并提取rgb信息或者hsv信息，算出平均值；
38.再设置颜色特征的误差范围与所有点云数据进行比较，求出美纹纸的点云数据，再利用美纹纸点云数据自动识别框选出美纹纸范围内的喷漆区域。
39.与现有技术相比，本发明的有益效果是：
40.该种钣金颜色特征智能识别框选方法，通过过单个3d视觉相机颜色特征功能对钣
金件拍照拼接，快速完成钣金件外形重建，对喷涂区域快速识别，能适应更多不同型号和不同形状的钣金件，减少了操作步骤，降低喷漆的繁琐性，实现全自动化喷漆效果，适用于汽车维修店日常维修喷漆使用，大大提高了工作效率；
41.且本方法设置有两种颜色识别框选方式，一种是自动识别钣金本身的颜色特征框选喷漆区域；另一种是自动识别周围的美纹纸或其他辅助条件的颜色特征框选美纹纸内部的喷漆区域，通过两种颜色智能识别框选的工作方式，有效增加工作效果的多样性和选择性，使用更加方便和便捷，有效汽车4s点或者汽车维修点的日常工作质量，且本方法可自动识别喷涂区域，不需要人工框选，降低操作步骤，保证工作效率，增加经济收入。
附图说明
42.图1为本发明实施例的主方法流程示意图；
43.图2为本发明实施例的3d相机标定流程结构示意图。
具体实施方式
44.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.请参阅图1-2，本发明提供一种技术方案：一种钣金颜色特征智能识别框选方法，该方法包括以下步骤：
46.s1，系统组件搭建；
47.a、准备系统组件搭建所需要的装置设备；设备包括但不限于工控机、显示器、控制电柜、3d相机标定板、xy轴桁架、机器人和3d视觉相机；
48.b、将步骤s1，a中准备的3d视觉相机安装在机器人的六轴夹具，从而完成3d视觉相机的固定安装工作；
49.c、将步骤s1，b中得到的安装有3d视觉相机的机器人吊装在xy轴桁架上；
50.d、在汽车钣金喷漆房内设置好汽车钣金件的放置范围，方便后续的钣金喷漆的加工工作；
51.e、示教步骤s1，c中机器人的工具坐标；
52.s2，3d视觉相机的手眼标定；
53.a、3d视觉相机安装完成后，将标定板放置在机器人的视野范围内，保证3d视觉相机的正常标定调试工作；
54.b、使机器人移动至标定板特征点位置，并且记录机器人的当前位置数据信息；
55.c、数据记录完成后3d视觉相机拍照识别特征点，并且记录特征点的具体位置数据信息；
56.d、上述步骤完成后人工计算机器人与3d视觉相机之间的旋转矩阵；
57.e、当步骤s2，d计算完成后，进行数据参数保存，标定结束；
58.s3、3d视觉相机拍照；
59.a、当步骤s2整体子步骤全部完成后，将需要进行喷漆的钣金件放入3d视觉相机的
拍照视野范围内，此时桁架停止运动；
60.b、3d视觉相机进行拍照获取点云数据信息，并且进行滤波处理；
61.c、设定喷漆范围内3d视觉相机视野一次性覆盖特征；
62.d、若3d视觉相机的视觉软件无法完成一次性覆盖效果，则需要重复步骤s3，a-c，直到3d视觉相机覆盖整个区域；
63.e、将3d视觉相机多次拍照获取的的点云数据利用3d视觉软件拼接在一起；
64.s4，点云数据显示；
65.a、将步骤s3,e中得到的拼接后的点云数据信息传输至3d视觉软件上；
66.b、使用3d视觉软件进行显示查看，检查点云数据拼接是否完整，若出现拼接遗漏则重复步骤s3，e；
67.s5，提取点云数据的rgb信息或者hsv信息；
68.s6，根据颜色特征智能识别和框选喷漆区域；
69.s7，钣金颜色特征智能识别识别框选结束。
70.优选的，所述步骤s1，a中机器人为六轴夹具机器人。
71.优选的，所述步骤s2，b中，机器人在进行移动时，需在标定板内移动不同位置，并且进行数据记录工作。
72.优选的，所述步骤s2，b中，机器人在移动时的位置特征点为9组，同时利用最小二乘法进行数据计算，并且得到机器人坐标系和3d视觉坐标系的转换关系。
73.优选的，所述步骤s3，b中，点云数据信息包括x、y、z轴的坐标信息、rgb信息和hsv信息。
74.优选的，所述点云数据处理包括对点云数据进行的滤波处理，既过滤掉干扰点云和无效点云数据信息、保存有效的点云信息数据。
75.优选的，所述步骤s6中，自动识别颜色特征并且框选区域的方式为两种，其中一种方式为：在拼接的钣金模型上随便选取一个点云数据点，在该点的周围设置半径，搜索半径内的点云数据并提取rgb信息或者hsv信息，算出平均值；
76.再设置颜色特征的误差范围与所有点云进行比较，从而自动识别框选出喷漆的钣金件。
77.优选的，所述自动识别颜色特征并且框选区域的另一种方式为：取钣金件周围美纹纸或其他辅助条件的rgb信息或者hsv信息，随机选取钣金件周围美纹纸的一个点，在该点的周围设置半径，搜索半径内的点云数据并提取rgb信息或者hsv信息，算出平均值；
78.再设置颜色特征的误差范围与所有点云数据进行比较，求出美纹纸的点云数据，再利用美纹纸点云数据自动识别框选出美纹纸范围内的喷漆区域。
79.实施例一：
80.一种钣金颜色特征智能识别框选方法，该方法包括以下步骤：
81.s1，系统组件搭建；
82.a、准备系统组件搭建所需要的装置设备；设备包括但不限于工控机、显示器、控制电柜、3d相机标定板、xy轴桁架、机器人和3d视觉相机；
83.b、将步骤s1，a中准备的3d视觉相机安装在机器人的六轴夹具，从而完成3d视觉相机的固定安装工作；
84.c、将步骤s1，b中得到的安装有3d视觉相机的机器人吊装在xy轴桁架上；
85.d、在汽车钣金喷漆房内设置好汽车钣金件的放置范围，方便后续的钣金喷漆的加工工作；
86.e、示教步骤s1，c中机器人的工具坐标；
87.s2，3d视觉相机的手眼标定；
88.a、3d视觉相机安装完成后，将标定板放置在机器人的视野范围内，保证3d视觉相机的正常标定调试工作；
89.b、使机器人移动至标定板特征点位置，并且记录机器人的当前位置数据信息；
90.c、数据记录完成后3d视觉相机拍照识别特征点，并且记录特征点的具体位置数据信息；
91.d、上述步骤完成后人工计算机器人与3d视觉相机之间的旋转矩阵；
92.e、当步骤s2，d计算完成后，进行数据参数保存，标定结束；
93.其中，机器人位置为p1，3d视觉特征点位置为p2：
94.机器人与3d视觉相机之间的位置关系可以表示为：
95.p1＝x*p2
[0096][0097]
其中，各符号表示含义为：
[0098]
p1：机器人位置坐标；
[0099]
p2：3d视觉相机视觉位置坐标；
[0100]
r：机器人和相机位置关系的旋转矩阵；
[0101]
t：机器人和相机位置关系的偏移矩阵。
[0102]
s3、3d视觉相机拍照；
[0103]
a、当步骤s2整体子步骤全部完成后，需要进行喷漆的钣金件进入3d视觉相机的拍照视野范围内，此时桁架停止运动；
[0104]
b、3d视觉相机进行拍照获取点云数据信息，并且进行滤波处理；
[0105]
c、设定喷漆范围内3d视觉相机视野一次性覆盖特征；
[0106]
d、若3d视觉相机的视觉软件无法完成一次性覆盖效果，则需要重复步骤s3，a-c，直到3d视觉相机覆盖整个区域；
[0107]
a、将3d视觉相机多次拍照获取的的点云数据利用3d视觉软件拼接在一起；
[0108]
其中，拼接点云关系可表示为：
[0109]
pc2＝pc1+p
[0110]
其中，各符号表示含义为：
[0111]
pc1：3d视觉相机第一次拍照坐标值；
[0112]
pc2：3d视觉相机拼接数据的坐标值；
[0113]
p：桁架的偏移量。
[0114]
s4，点云数据显示；
[0115]
a、将步骤s3,e中得到的拼接后的点云数据信息传输至3d视觉软件上；
[0116]
b、使用3d视觉软件进行显示查看，检查点云数据拼接是否完整，若出现拼接遗漏
则重复步骤s3，e；
[0117]
s5，提取点云数据的rgb信息或者hsv信息；
[0118]
s6，根据颜色特征智能识别和框选喷漆区域；
[0119]
s7，钣金颜色特征智能识别识别框选结束。
[0120]
在本实施例中，所述步骤s1，a中机器人为六轴夹具机器人。
[0121]
在本实施例中，所述步骤s2，b中，机器人在进行移动时，需在标定板内移动不同位置，并且进行数据记录工作。
[0122]
在本实施例中，所述步骤s2，b中，机器人在移动时的位置特征点为9组；
[0123]
其中，在实际实施时，分别记录9组机器人位置和9组3d视觉相机标定点位置，然后利用最小二乘法，计算出r和t，得到机器人坐标系和3d视觉坐标系的转换关系x。
[0124]
在本实施例中，所述步骤s3，b中，点云数据信息包括x、y、z轴的坐标信息、rgb信息和hsv信息。
[0125]
在本实施例中，所述点云数据处理包括对点云数据进行的滤波处理，既过滤掉干扰点云和无效点云数据信息、保存有效的点云信息数据。
[0126]
其中，作为本发明的一种优化方案，本发明提供两种颜色识别智能框选方式：
[0127]
其中一种方式为：在拼接的钣金模型上随便选取一个点云数据点，在该点的周围设置半径，搜索半径内的点云数据并提取rgb信息或者hsv信息，算出平均值；
[0128]
再设置颜色特征的误差范围与所有点云进行比较，从而自动识别框选出喷漆的钣金件。
[0129]
另一种颜色识别智能框选方式为：所述自动识别颜色特征并且框选区域的另一种方式为：取钣金件周围美纹纸或其他辅助条件的rgb信息或者hsv信息，随机选取钣金件周围美纹纸的一个点，在该点的周围设置半径，搜索半径内的点云数据并提取rgb信息或者hsv信息，算出平均值；
[0130]
再设置颜色特征的误差范围与所有点云数据进行比较，求出美纹纸的点云数据，再利用美纹纸点云数据自动识别框选出美纹纸范围内的喷漆区域。
[0131]
该两种方式，一种是自动识别钣金本身的颜色特征框选喷漆区域；另一种是自动识别周围的美纹纸或其他辅助条件的颜色特征框选美纹纸内部的喷漆区域，通过两种颜色智能识别框选的工作方式，有效增加工作效果的多样性和选择性，使用更加方便和便捷，有效汽车4s点或者汽车维修点的日常工作质量。
[0132]
实施例二：
[0133]
一种钣金颜色特征智能识别框选方法，该方法包括以下步骤：
[0134]
s1，系统组件搭建；
[0135]
a、准备系统组件搭建所需要的装置设备；设备包括但不限于工控机、显示器、控制电柜、3d相机标定板、xy轴桁架、机器人和3d视觉相机；
[0136]
b、将步骤s1，a中准备的3d视觉相机安装在机器人的六轴夹具，从而完成3d视觉相机的固定安装工作；
[0137]
c、将步骤s1，b中得到的安装有3d视觉相机的机器人吊装在xy轴桁架上；
[0138]
d、在汽车钣金喷漆房内设置好汽车钣金件的放置范围，方便后续的钣金喷漆的加工工作；
[0139]
e、示教步骤s1，c中机器人的工具坐标；
[0140]
s2，3d视觉相机的手眼标定；
[0141]
a、3d视觉相机安装完成后，将标定板放置在机器人的视野范围内，保证3d视觉相机的正常标定调试工作；
[0142]
b、使机器人移动至标定板特征点位置，并且记录机器人的当前位置数据信息；
[0143]
c、数据记录完成后3d视觉相机拍照识别特征点，并且记录特征点的具体位置数据信息；
[0144]
d、上述步骤完成后人工计算机器人与3d视觉相机之间的旋转矩阵；
[0145]
e、当步骤s2，d计算完成后，进行数据参数保存，标定结束；
[0146]
其中，机器人位置为p1，3d视觉特征点位置为p2：
[0147]
机器人与3d视觉相机之间的位置关系可以表示为：
[0148]
p1＝x*p2
[0149][0150]
其中，各符号表示含义为：
[0151]
p1：机器人位置坐标；
[0152]
p2：3d视觉相机视觉位置坐标；
[0153]
r：机器人和相机位置关系的旋转矩阵；
[0154]
t：机器人和相机位置关系的偏移矩阵。
[0155]
s3、3d视觉相机拍照；
[0156]
a、当步骤s2整体子步骤全部完成后，需要进行喷漆的钣金件进入3d视觉相机的拍照视野范围内，此时桁架停止运动；
[0157]
b、3d视觉相机进行拍照获取点云数据信息，并且进行滤波处理；
[0158]
c、设定喷漆范围内3d视觉相机视野一次性覆盖特征；
[0159]
d、若3d视觉相机的视觉软件无法完成一次性覆盖效果，则需要重复步骤s3，a-c，直到3d视觉相机覆盖整个区域；
[0160]
b、将3d视觉相机多次拍照获取的的点云数据利用3d视觉软件拼接在一起；
[0161]
其中，拼接点云关系可表示为：
[0162]
pc2＝pc1+p
[0163]
其中，各符号表示含义为：
[0164]
pc1：3d视觉相机第一次拍照坐标值；
[0165]
pc2：3d视觉相机拼接数据的坐标值；
[0166]
p：桁架的偏移量。
[0167]
s4，点云数据显示；
[0168]
a、将步骤s3,e中得到的拼接后的点云数据信息传输至3d视觉软件上；
[0169]
b、使用3d视觉软件进行显示查看，检查点云数据拼接是否完整，若出现拼接遗漏则重复步骤s3，e；
[0170]
s5，提取点云数据的rgb信息或者hsv信息；
[0171]
s6，根据颜色特征智能识别和框选喷漆区域；
[0172]
s7，钣金颜色特征智能识别识别框选结束。
[0173]
在本实施例中，所述步骤s1，a中机器人为六轴夹具机器人。
[0174]
在本实施例中，所述步骤s2，b中，机器人在进行移动时，需在标定板内移动不同位置，并且进行数据记录工作。
[0175]
在本实施例中，所述步骤s2，b中，机器人在移动时的位置特征点为9组；
[0176]
其中，在实际实施时，分别记录9组机器人位置和9组3d视觉相机标定点位置，然后利用最小二乘法，计算出r和t，得到机器人坐标系和3d视觉坐标系的转换关系x。
[0177]
在本实施例中，所述步骤s3，b中，点云数据信息包括x、y、z轴的坐标信息、rgb信息和hsv信息。
[0178]
在本实施例中，所述点云数据处理包括对点云数据进行的滤波处理，既过滤掉干扰点云和无效点云数据信息、保存有效的点云信息数据。
[0179]
其中，作为本发明的一种优化方案，本发明提供两种颜色识别智能框选方式：
[0180]
其中一种方式为：在拼接的钣金模型上随便选取一个点云数据点，在该点的周围设置半径，搜索半径内的点云数据并提取rgb信息或者hsv信息，算出平均值；
[0181]
再设置颜色特征的误差范围与所有点云进行比较，从而自动识别框选出喷漆的钣金件。
[0182]
另一种颜色识别智能框选方式为：所述自动识别颜色特征并且框选区域的另一种方式为：取钣金件周围美纹纸或其他辅助条件的rgb信息或者hsv信息，随机选取钣金件周围美纹纸的一个点，在该点的周围设置半径，搜索半径内的点云数据并提取rgb信息或者hsv信息，算出平均值；
[0183]
再设置颜色特征的误差范围与所有点云数据进行比较，求出美纹纸的点云数据，再利用美纹纸点云数据自动识别框选出美纹纸范围内的喷漆区域。
[0184]
该两种方式，一种是自动识别钣金本身的颜色特征框选喷漆区域；另一种是自动识别周围的美纹纸或其他辅助条件的颜色特征框选美纹纸内部的喷漆区域，通过两种颜色智能识别框选的工作方式，有效增加工作效果的多样性和选择性，使用更加方便和便捷，有效汽车4s点或者汽车维修点的日常工作质量。
[0185]
综上所述，该种钣金颜色特征智能识别框选方法，通过单个3d视觉相机颜色特征功能对钣金件拍照拼接，快速完成钣金件外形重建，对喷涂区域快速识别，能适应更多不同型号和不同形状的钣金件，减少了操作步骤，降低喷漆的繁琐性，实现全自动化喷漆效果，适用于汽车维修店日常维修喷漆使用，大大提高了工作效率；
[0186]
且具有多种颜色智能识别框选的工作方式，有效增加工作效果的多样性和选择性，使用更加方便和便捷，且本方法可自动识别喷涂区域，不需要人工框选，降低操作步骤，保证工作效率，增加经济收入。
[0187]
在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0188]
此外，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或
暗示相对重要性或者隐含指明所指示的技术特征的数量，由此，限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括至少一个该特征。
[0189]
在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0190]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。