具有异常点去除功能的视觉采集方法及装置与流程

[0001]
本发明涉及自动焊接工艺与智能化控制技术领域，特别涉及一种具有异常点去除功能的视觉采集方法及装置。


背景技术：

[0002]
视觉传感监测系统在工业领域中已经得到较为广泛的应用，其中在焊接工艺中，稳定性监测和跟踪传感方法一般有接触式、电弧式、电磁式、光电式、视觉式等多种。其中，视觉传感器因其具有与工件不接触、信息量大(可兼作监控)、抗电磁干扰能力强、灵敏度高、适用坡口形式多等优点，被认为是一种最有发展前景的传感方法。
[0003]
目前，常用的视觉传感器分为电荷耦合器件(ccd)式和互补金属氧化物半导体(cmos)式两种，可将不同强度的光线信号转换为不同幅度的图像信息。与ccd式相比，cmos传感器具有芯片集成度高、功耗低、响应速度快、动态范围广等优点，可采用“线性+对数”的图像信号放大模式，能对低亮度信号线性放大而对高亮度信号则进行对数放大，在保证低亮度区域图像对比度的同时尽可能地扩展动态范围，因此特别适合在像焊接这种明暗对比程度高的环境中工作。linlog技术是一种特殊的感光技术，常用于拍摄高对比度的图像，该技术的基本原理就是利用对数压缩技术压缩图像中的超高亮区域，减小图像对比度。linlog技术使传感器仅在接近饱和及饱和区域为对数压缩响应，而保留其在低照度区域的线性响应和灵敏度，所以既扩展了整个传感器的动态范围，又保证了低照度区域成像的质量。因而，利用机器视觉直接观察焊接工件，通过图像处理获取熔池和小孔的特征信息，进行焊接监测，实现焊接质量的闭环控制，已成为重要的研究方向。
[0004]
专利申请号为201210325926.9(发明名称为“基于红外视觉传感的窄间隙焊接监控及焊缝偏差检测方法”)的专利文献，公开了一种基于红外视觉传感的窄间隙焊接监控及焊缝偏差检测方法，该方法使用的红外视觉传感系统包括红外cmos摄像机、滤光系统、图像采集卡、计算机和显示器等，该方法以窄间隙焊接电弧光和熔池自身辐射光作为光源，利用红外窄带滤光系统滤除干扰信号并调节光强，计算机实时采集并显示红外cmos摄像机获取的焊接图像。通过图像截取窗口截取远离电弧侧的图像进行处理，并通过提取坡口单侧边缘来获取焊缝偏差信息，可在有效避免运动电弧干扰的同时，提高焊缝偏差检测的实时性。但是，该方法没有考虑红外cmos摄像机拍摄的产品焊接图像可能具有异常点，会对焊接检视效果产生不良影响，从而影响对焊接质量的判定。


技术实现要素：

[0005]
为了解决上述技术问题，本发明提供了一种具有异常点去除功能的视觉采集方法，包括以下步骤：
[0006]
s100在光照配合下，采用摄像头连续拍摄焊接产品得到多帧图像；
[0007]
s200采用网格分割技术，以标准网格模型对每帧图像进行分割，形成各帧的图像碎片；
[0008]
s300提取图像碎片的碎片属性，进行分组，将对应产品同一位置的各帧图像碎片的碎片属性作为训练组，对每个训练组的碎片属性进行数据训练，得到各训练组的优化属性，
[0009]
s400选出同一训练组的图像碎片的碎片属性与优化属性相似度最高的图像碎片，根据优化属性进行调整，拼接各训练组调整后的图像碎片进行图像还原，将拼接得到的图像作为视觉采集的有效图像，用于进行焊接情况判定。
[0010]
可选的，所述标准网格模型采用以下方式进行优化：
[0011]
获取产品的样本图像，对样本图像进行区域标注；对样本图像进行像素划分，得到多个像素区域；
[0012]
由样本图像中的像素所属的被标注区域作为像素的硬标签；
[0013]
结合像素对应的像素区域和像素的硬标签，形成像素的软标签，软标签用于表征像素属于标注区域的伪概率；根据像素的硬标签和像素的软标签，训练标准网格模型。
[0014]
可选的，所述分组方法如下：
[0015]
对产品的每帧图像进行特征识别与定位，得到特征信息和对应的定位信息，将特征信息和定位信息与图像碎片进行关联；
[0016]
以特征信息和定位信息相同作为分组条件，将对应的图像碎片的碎片属性归入同一训练组。
[0017]
可选的，所述特征识别采用以下方式：
[0018]
建立图像识别的辅助图像库，所述辅助图像库存有多个带有特定标识的图像数据；
[0019]
提取每帧图像中的图像数据，通过比对从辅助图像库内找到相同图像数据，将辅助图像库内相同图像数据带有的特定标识赋予相应的每帧图像中的图像数据。
[0020]
可选的，所述图像碎片的碎片属性包括像素、分辨率、大小、颜色、位深、色调、饱和度、亮度和色彩通道，所述数据训练方式如下：
[0021]
将同一图像碎片的碎片属性作为一个数据集，基于多个图像碎片的碎片属性组成的多个数据集对深度学习模型进行多次迭代训练，得到训练后的深度学习模型；其中，
[0022]
每次迭代训练的过程包括：基于第一个数据集对所述深度学习模型进行训练，直至深度学习模型的损失函数达到第一预设值停止训练；基于第二个及其之后的数据集对深度学习模型进行训练；
[0023]
固定深度学习模型中除最后一层参数外的其他参数；根据用以训练的数据集中的类别数量，确定深度学习模型中最后一层参数的超参，并训练最后一层参数；当深度学习模型的损失函数达到与当前数据集对应的第三预设值时，暂停训练深度学习模型；
[0024]
取消固定深度学习模型中的参数，并利用当前数据集对深度学习模型的所有参数进行训练调整，直至深度学习模型的损失函数达到预设状态，停止本次训练，预设状态包括所述损失函数小大于第二预设值，且所述损失函数的变化范围在预设阈值范围内；
[0025]
将下一数据集设为当前数据集，然后进入固定深度学习模型中除最后一层参数外的其他参数的步骤，如此循环完成全部数据集。
[0026]
可选的，在s400步骤中，选出相似度最高的图像碎片的过程如下：
[0027]
采用以下公式计算同一训练组中图像碎片的碎片属性与优化属性差异性的加权
和值：
[0028][0029]
上式中，m
i
表示第i个图像碎片的碎片属性与优化属性差异性的加权和值；表示；n表示考察的图像碎片的碎片属性数量；k
j
表示第j项碎片属性的权值； s
ij
表示第i个图像碎片的第j项碎片属性值；s
oj
表示第j项优化属性值；
[0030]
选择计算得到的加权和值最小的图像碎片作为相似度最高的图像碎片。
[0031]
可选的，在s400步骤中，进行图像还原时，根据图像碎片关联的定位信息进行拼接，对图像碎片拼接的相邻边缘进行平滑处理，平滑处理的方式为：
[0032]
将距离图像碎片边缘设定步距范围根据步距值划分为多个阶梯段，采用以下公式对图像碎片各阶梯段的图像点进行属性调整：
[0033][0034]
上式中，s
′
akj
表示调整后图像碎片a的第k个阶梯段的图像点第j项属性值； s
akj
表示调整前图像碎片a的第k个阶梯段的图像点第j项属性值；s
aj
表示图像碎片a的第j项优化属性值；s
bj
表示与图像碎片a相邻的图像碎片b的第j项优化属性值；m表示设定步距范围内划分的阶梯段数量。
[0035]
可选的，在s400步骤中，对拼接得到的图像进行腐蚀与膨胀处理。
[0036]
可选的，所述焊接情况判定采用预先对焊接合格产品进行图像拍摄，并以s100-s400步骤进行去除异常点处理，提取焊接合格产品图像的熔池和小孔的定位信息和特征信息进行保存；
[0037]
后续待测的焊接产品图像，在经s100-s400步骤去除异常点后，提取待测焊接产品图像的熔池和小孔的定位信息和特征信息，将待测焊接产品的特征信息与合格产品具有相同定位信息的熔池和小孔和特征信息进行比对，通过打分评估待测焊接产品的焊接质量是否合格。
[0038]
本发明还提供了一种具有异常点去除功能的视觉采集装置，包括光源和摄像组件，所述摄像组件包括摄像头和图像处理模块，图像处理模块内置包含上述方法的图像处理模型。
[0039]
本发明的具有异常点去除功能的视觉采集方法及装置，采用在光照配合下连续成像的方式得到多帧需要进行焊接质量检视的产品图像，经过对图像进行分割、属性训练和优化处理后，可以实现对采集的图像中可能存在的异常点进行去除，给重新拼接还原得到没有异常点干扰的产品图像，以保障后续进行焊接情况判定的有效性和可靠性。
[0040]
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
[0041]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0042]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0043]
图1为本发明实施例中一种具有异常点去除功能的视觉采集方法流程图。
具体实施方式
[0044]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0045]
如图1所示，本发明实施例提供了一种具有异常点去除功能的视觉采集方法，包括以下步骤：
[0046]
s100在光照配合下，采用摄像头连续拍摄焊接产品得到多帧图像；
[0047]
s200采用网格分割技术，以标准网格模型对每帧图像进行分割，形成各帧的图像碎片；
[0048]
s300提取图像碎片的碎片属性，进行分组，将对应产品同一位置的各帧图像碎片的碎片属性作为训练组，对每个训练组的碎片属性进行数据训练，得到各训练组的优化属性，
[0049]
s400选出同一训练组的图像碎片的碎片属性与优化属性相似度最高的图像碎片，根据优化属性进行调整，拼接各训练组调整后的图像碎片进行图像还原，将拼接得到的图像作为视觉采集的有效图像，用于进行焊接情况判定。
[0050]
上述技术方案的工作原理和有益效果为：本发明采用在光照配合下连续成像的方式得到多帧需要进行焊接质量检视的产品图像，经过对图像进行分割、属性训练和优化处理后，可以实现对采集的图像中可能存在的异常点进行去除，给重新拼接还原得到没有异常点干扰的产品图像，以保障后续进行焊接情况判定的有效性和可靠性。
[0051]
在一个实施例中，所述标准网格模型采用以下方式进行优化：
[0052]
获取产品的样本图像，对样本图像进行区域标注；对样本图像进行像素划分，得到多个像素区域；
[0053]
由样本图像中的像素所属的被标注区域作为像素的硬标签；
[0054]
结合像素对应的像素区域和像素的硬标签，形成像素的软标签，软标签用于表征像素属于标注区域的伪概率；根据像素的硬标签和像素的软标签，训练标准网格模型。
[0055]
上述技术方案的工作原理和有益效果为：本方案通过对标准网格模型进行优化，使得标准网格模型与产品图像更契合，更适用；同时可以提高标准网格模型对每帧图像进行分割的效率，分割速度快；还能降低分割中发生错误的几率，提高被分割成的图像碎片的质量，为后续处理提供良好基础。
[0056]
在一个实施例中，所述分组方法如下：
[0057]
对产品的每帧图像进行特征识别与定位，得到特征信息和对应的定位信息，将特征信息和定位信息与图像碎片进行关联；
[0058]
以特征信息和定位信息相同作为分组条件，将对应的图像碎片的碎片属性归入同一训练组。
[0059]
上述技术方案的工作原理和有益效果为：本方案通过对图像进行特征识别与定位
得到特征信息和对应的定位信息，并将这些信息通过关联方式带入图像碎片，以根据特征信息和定位信息对图像碎片进行分组，又将同组的图像碎片的碎片属性归入同一训练组，从而有序地分批次进行训练和优化；可以防止图像碎片的相互混淆，避免对图像产生混乱导致影响训练和优化的效果。
[0060]
在一个实施例中，所述特征识别采用以下方式：
[0061]
建立图像识别的辅助图像库，所述辅助图像库存有多个带有特定标识的图像数据；
[0062]
提取每帧图像中的图像数据，通过比对从辅助图像库内找到相同图像数据，将辅助图像库内相同图像数据带有的特定标识赋予相应的每帧图像中的图像数据。
[0063]
上述技术方案的工作原理和有益效果为：本方案通过设置辅助图像库用于图像识别，辅助图像库内的图像数据都预先设有特定标识，以辅助图像库中的图像数据作为参照对象，将从每帧图像中提取图像数据通过比对进行筛选和标识，达到识别每帧图像的目的，让每帧图像都带上标识的特征信息。
[0064]
在一个实施例中，所述图像碎片的碎片属性包括像素、分辨率、大小、颜色、位深、色调、饱和度、亮度和色彩通道，所述数据训练方式如下：
[0065]
将同一图像碎片的碎片属性作为一个数据集，基于多个图像碎片的碎片属性组成的多个数据集对深度学习模型进行多次迭代训练，得到训练后的深度学习模型；其中，
[0066]
每次迭代训练的过程包括：基于第一个数据集对所述深度学习模型进行训练，直至深度学习模型的损失函数达到第一预设值停止训练；基于第二个及其之后的数据集对深度学习模型进行训练；
[0067]
固定深度学习模型中除最后一层参数外的其他参数；根据用以训练的数据集中的类别数量，确定深度学习模型中最后一层参数的超参，并训练最后一层参数；当深度学习模型的损失函数达到与当前数据集对应的第三预设值时，暂停训练深度学习模型；
[0068]
取消固定深度学习模型中的参数，并利用当前数据集对深度学习模型的所有参数进行训练调整，直至深度学习模型的损失函数达到预设状态，停止本次训练，预设状态包括所述损失函数小大于第二预设值，且所述损失函数的变化范围在预设阈值范围内；
[0069]
将下一数据集设为当前数据集，然后进入固定深度学习模型中除最后一层参数外的其他参数的步骤，如此循环完成全部数据集。
[0070]
上述技术方案的工作原理和有益效果为：本方案通过将同一图像碎片的碎片属性作为一个数据集，采用多个数据集对深度学习模型进行多次迭代训练，得到训练后的深度学习模型，再以该深度学习模型对各训练组对象进行训练，输出优化属性，基于优化属性对与其最相似者进行优化调整，达到去除所采集的图像中的异常点的目的，提高用于焊接情况判断的图像质量。
[0071]
在一个实施例中，在s400步骤中，选出相似度最高的图像碎片的过程如下：
[0072]
采用以下公式计算同一训练组中图像碎片的碎片属性与优化属性差异性的加权和值：
[0073]
[0074]
上式中，m
i
表示第i个图像碎片的碎片属性与优化属性差异性的加权和值；表示；n表示考察的图像碎片的碎片属性数量；k
j
表示第j项碎片属性的权值； s
ij
表示第i个图像碎片的第j项碎片属性值；s
oj
表示第j项优化属性值；
[0075]
选择计算得到的加权和值最小的图像碎片作为相似度最高的图像碎片。
[0076]
上述技术方案的工作原理和有益效果为：本方案通过对同一训练组中图像碎片的碎片属性与优化属性差异性进行量化计算，对相似度进行评估，计算采用属性差异的加权和值，避免单一属性评判可能产生的误判；计算得到的加权和值越大，说明两者越不相似，因此选择加权和值最小的图像碎片即为相似度最高的图像，采用上述算法量化计算，可以避免定性评估的不准确，减少主观性评价，使得过程更简单且容易实现。
[0077]
在一个实施例中，在s400步骤中，进行图像还原时，根据图像碎片关联的定位信息进行拼接，对图像碎片拼接的相邻边缘进行平滑处理，平滑处理的方式为：
[0078]
将距离图像碎片边缘设定步距范围根据步距值划分为多个阶梯段，采用以下公式对图像碎片各阶梯段的图像点进行属性调整：
[0079][0080]
上式中，s
′
akj
表示调整后图像碎片a的第k个阶梯段的图像点第j项属性值； s
akj
表示调整前图像碎片a的第k个阶梯段的图像点第j项属性值；s
aj
表示图像碎片a的第j项优化属性值；s
bj
表示与图像碎片a相邻的图像碎片b的第j项优化属性值；m表示设定步距范围内划分的阶梯段数量。
[0081]
上述技术方案的工作原理和有益效果为：本方案对图像进行拼接还原的边界进行平滑处理，消除拼接处可能存在的激烈变化，使得拼接后的图像更具有整体性。平滑处理采用划定范围内的渐变方式进行，通过上述算法量化控制渐变范围和渐变数值，以参数修正的方式让平滑处理更为精确，避免渐变范围和渐变数值无序影响图像效果。
[0082]
在一个实施例中，在s400步骤中，对拼接得到的图像进行腐蚀与膨胀处理。
[0083]
上述技术方案的工作原理和有益效果为：本方案通过对拼接得到的图像进行腐蚀与膨胀处理，消除前面处理步骤可能在图像上产生的噪音，也能够进一步去除通过前述处理过程仍然没有完全去除的异常点，改善图像质量，为后续的焊接质量判断提供良好的基础。
[0084]
在一个实施例中，所述焊接情况判定采用预先对焊接合格产品进行图像拍摄，并以前述步骤进行去除异常点处理，提取焊接合格产品图像的熔池和小孔的定位信息和特征信息进行保存；
[0085]
后续待测的焊接产品图像，在经前述步骤去除异常点后，提取待测焊接产品图像的熔池和小孔的定位信息和特征信息，将待测焊接产品的特征信息与合格产品具有相同定位信息的熔池和小孔和特征信息进行比对，通过打分评估待测焊接产品的焊接质量是否合格。
[0086]
上述技术方案的工作原理和有益效果为：本方案通过将合格产品与待测产品都进行成像且图像经去除异常点处理，排除异常点干扰后，才分别进行熔池和小孔的定位信息和特征信息提取，然后以合格产品所提取的特征信息作为标准，对待测产品焊接的特征信息进行打分评估，以达到设定分值作为评判合格的标准；通过先期的去除异常点排除干扰，
可以提高评判的准确性，提高产品的最终合格率。
[0087]
本发明实施例提供了一种具有异常点去除功能的视觉采集装置，包括光源和摄像组件，所述摄像组件包括摄像头和图像处理模块，图像处理模块内置包含上述方法的图像处理模型。
[0088]
上述技术方案的工作原理和有益效果为：本发明提供了一种具有异常点去除功能的视觉采集装置，包括进行摄像与图像处理的摄像组件和辅助图像拍摄的光源；摄像组件中的图像处理模块内置包含上述具有异常点去除功能的视觉采集方法的图像处理模型，用于实现上述图像处理过程，实现去除图像中异常点的功能。
[0089]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。