在表面改性方法中确定缺陷的方法和装置与流程

1.本发明涉及一种在表面改性方法中确定缺陷的方法和装置。


背景技术：

2.激光束硬钎焊是已知的连接方法。在汽车行业，激光束硬钎焊在汽车车身的批量生产中用于连接镀锌钢板，例如以便将车顶连接到侧面部件或将两件式尾门外金属板连接在一起。在这种情况下，激光束沿接头引导，同时熔化填充材料(例如铜硅线)，冷却后将待连接的部件连接在一起。
3.与其他连接方法相比，激光束硬钎焊的优点是可以以高强度和同时具有高美学表面质量的方式制造接头连接。
4.另一已知的连接方法例如是用于在填充焊丝的帮助下连接由铝制成的轻质部件的激光束焊接。
5.考虑到客户满意度，表面质量方面在这些连接方法中尤为重要。因此，必须对所有钎焊或焊接位置进行质量控制。标准做法是通过手动目视检查来执行此操作。然而，这种检查是非常劳动密集的。因此，正在努力使质量保证方法自动化。
6.这种自动质量保证方法例如在激光束焊接领域中是已知的。例如，de 11 2010 003 406t5公开了一种用于确定焊接质量的方法，其中利用高速摄像机获取焊接部分的图像。在获取的图像中检查存在的参数，例如每单位长度的焊接飞溅物的数量。通过将分析的参数与先前编制的比较表进行比较来评估焊接质量。这种方法的前提是可以找到合适的有意义的质量参数。此外，足够准确的比较表的编制非常复杂，并且需要大量先前确定的数据集，这些数据集反映了质量参数与实际质量之间的关系。
7.从us 2016/0 203 596 a1已知另一种用于管道激光束焊接的质量保证方法。在这种情况下，摄像机定位在背离激光器的一侧(也就是说例如在管子内部)，借助摄像机获取接头的图像。借助图像评估确定缺陷的数量，该图像评估包括将亮度值分配给图像像素。然而，该方法仅适用于允许对背离激光器的一侧进行图像记录的接合方法，并且其中可以通过所描述的亮度评估来推断缺陷的存在。这种方法不适合质量极高的表面，因为它不准确。
8.使用us 2015/0 001 196 a1中描述的方法可以获得更高的准确度，该方法使用神经网络进行图像分析。记录已形成的焊缝的图像。可以通过神经网络进行图像的分类以及因此焊缝的正常或有缺陷的分类，在这种情况下，分类的准确性可以通过神经网络的特性而变化。


技术实现要素：

9.本发明的发明人同样尝试通过神经网络对图像进行分类，以确定汽车车身钎焊缝的表面质量。为此，最初以半自动方法生成将钎焊缝的图像表征为有缺陷的或无缺陷的训练数据集。然而，发现质量保证方法所需的准确度所需的训练数据集的数量如此之多以至于鉴于每天生产的车身的数量和具有钎焊缝缺陷的车身比例较低，生成合适的训练数据集
需要很长时间或相当大的费用。
10.然后，本发明的发明人使用了一个已经存在的神经网络，即神经网络resnet50，它是一个有50层的残差卷积神经网络，经过超过一百万张图像的训练，可以将图像分配到1000多个类别。然后通过特定于待评估的钎焊方法的训练数据集对resnet50网络进行进一步训练。此外，还使用了其它机器学习技术以进一步提高准确性。
11.发现单个的图像中的缺陷检测可以达到高达99.6％的准确率。然而，考虑到在将汽车车顶连接到侧面部件的单个钎焊过程中记录了大约2500个单独的图像的事实，该准确度仍然太低。在对整个钎焊过程视频的研究中，确定了65％的假阴性率，也就是65％的钎焊位置被表征为有缺陷的但实际上并不是有缺陷的。因此，如果确实可能的话，将需要大范围的训练数据集，以便能够以获得可接受的分类准确度的方式训练神经网络。此外，过度拟合的风险限制了准确度的进一步提高。
12.在此背景下，本发明的目的是提供一种方法和装置，利用该方法和装置可以以尽可能少的费用快速且高精度地确定在表面改性方法期间出现的缺陷。
13.通过独立权利要求的主题实现该目的。从属权利要求包含根据本发明的这些解决方案的替代实施例。
14.本发明的第一方面涉及一种用于确定在对部件的表面区域执行表面改性方法时出现的缺陷的计算机实施的方法。该方法包括以下步骤：提供待评估的表面区域的包括多个单独的图像的图像序列，每个单独的图像显示表面区域的图像细节并且单独的图像的图像细节至少部分重叠，将单独的图像分配给至少两个图像类别，其中至少一个图像类别具有有缺陷的属性，以下称为有缺陷的图像类别，检查图像序列中可预定数量的直接连续的单独的图像中的多个单独的图像是否已经被分配到有缺陷的图像类别，并且如果可预定数量的直接连续的单独的图像中的多个单独的图像已经被分配到有缺陷的图像类别，则输出缺陷信号。
15.计算机实施意味着通过使用计算机程序来执行至少一个方法步骤，优选几个或所有方法步骤。
16.通过该方法，可以确定在部件的表面区域中执行表面改性方法时出现的表面缺陷，例如飞溅物、孔洞、裂纹等。甚至在表面改性方法期间(也就是实时地，即现场)，也可以有利地确定这种表面缺陷，从而可以将相应的部件快速识别为有缺陷的，并且例如重新加工或剔除。
17.除了这些实际上与部件表面区域相关的表面缺陷外，还可以确定用于执行表面改性方法的表面改性装置的缺陷，以下称为装置缺陷。此类装置缺陷可能会对表面改性方法产生不利影响并且导致表面缺陷。因此，借助于确定装置缺陷，因此可以避免表面缺陷，从而可以降低废品率。可以及时计划和执行维修和维护措施。
18.因此，本发明的发明人已经确定，也可以通过所提出的方法来确定激光束表面改性装置的光学元件(例如覆盖物或保护玻璃)的缺陷。这种装置缺陷影响记录的图像或待记录的图像的质量，通常甚至在表面改性方法的质量受到不利影响和表面缺陷发生之前。例如，有缺陷的保护玻璃可能会导致模糊图像。如果随后在可预定数量的直接连续的单独的图像中的多个单独的图像中确定模糊图像，则可以由此推断保护玻璃缺陷的存在。
19.取决于表面改性装置的类型，通过所提出的方法确定的其他装置缺陷是例如钎焊
丝或焊接丝的定位缺陷。相同的图像可以有利地用于确定表面缺陷和装置缺陷，从而可以以很少的费用快速确定两种缺陷类型的缺陷。
20.由于该方法的计算机实施的实施例，需要更少的人员来对部件进行目视检查，从而可以节省成本并且可以可靠地达到质量标准的符合性，因为可以排除主观成分。此外，质量保证的自动化成为可能。该方法的另一优点是，甚至可以确定在人工目视检查期间可能无法识别的非常小的表面缺陷，例如尺寸仅为0.2毫米的飞溅物或孔。
21.该方法适用于所有可能经过表面改性方法的部件(例如金属、玻璃、陶瓷或塑料部件)。这也包括通过将单个零件连接在一起而获得的组件。
22.在这种情况下，表面改性方法旨在表示至少也对部件的表面进行临时或永久改性的方法，从而可以借助于处理过的表面区域的图像记录来评估表面改性方法的效果。示例性的表面改性方法可以是：诸如以下的连接方法，例如钎焊方法(特别是激光束钎焊方法)，焊接方法(特别是激光束焊接方法)，粘合剂粘合方法或表面处理方法(例如涂层方法)，3d打印方法，等离子处理方法，清洗方法等。
23.在第一方法步骤中，提供部件的待评估的表面区域的图像序列。例如，图像序列可以从存储介质中检索或直接由获取图像序列的摄像机转存。直接转存有利地允许实时评估缺陷的发生并且因此在检测到有缺陷的部件或有缺陷的表面改性装置的情况下迅速干预，从而可以避免高废品率。
24.图像序列包括多个单独的图像。在这种情况下，每个单独的图像都显示了表面区域的图像细节。在这种情况下，单独的图像的图像细节至少部分重叠。这意味着选择单独的图像的图像细节使得表面区域的表面点在至少两个、优选多于两个、例如四个直接连续的单独的图像中成像。在这种情况下，图像细节可能已经通过组件和/或记录图像序列的摄像机的移动而被修改。
25.在进一步的方法步骤中，单独的图像被分配给至少两个图像类别。至少一个图像类别具有“有缺陷”的属性。该图像类别也称为“有缺陷的图像类别”。换句话说，将多个、优选所有的单独的图像分类并且分配给图像类别，也就是分配给有缺陷的图像类别或无缺陷的图像类别。例如根据缺陷的类型或大小，可以可选地形成其它图像类别，以允许更准确地表征表面缺陷。例如，可以根据缺陷的类型(例如孔隙、飞溅物等)进行区分。
26.例如可以借助分类模型或回归模型来进行图像到图像类别的分配。根据信息系统百科全书-在线词典[商业信息学百科全书-在线词典]；编辑norbert gronau、becker、natalia kliewer、jan marco leimeister、sven overhage http://www.enzyklopaedie-der-wirtschaftsinformatik.de，版本：08.07.2020，分类模型是描述数据对象的分配的映射，在当前情况下，单独的图像到预定类别，在当前情况下是图像类别。在这种情况下，离散分类变量的类别表现是由数据对象的属性表现给出的。分类模型的基础由数据库构成，其数据对象分别被分配到一个预定的类别。编译的分类模型然后可以用于预测其类别成员资格尚不知道的数据对象的类别成员资格。
[0027]
在回归模型中，连续因变量由多个自变量解释。因此，它同样可以用于通过相关的自变量的表现来预测因变量的未知值。与分类模型的区别在于因变量的基数。分类模型涉及离散变量，回归模型涉及连续变量。
[0028]
在将单独的图像已分配给图像类别之后，在进一步的方法步骤中检查多个可预定
数量的直接连续的单独的图像是否已经分配给有缺陷的图像类别。在这种情况下，所使用的直接连续的单独的图像的数量和至少分配给有缺陷的图像类别的单独的图像的数量都可以根据具体的应用情况来确定，也就是说，例如根据表面改性的函数使用的方法、使用的测量技术、所需的表面质量等来确定。
[0029]
例如可以规定，检查可预定数量的直接连续的单独的图像中的所有单独的图像(也就是例如两个直接连续的单独的图像中的两个单独的图像)是否已经分配给有缺陷的类别。作为替代，例如可以规定检查是否已经将四个直接连续的单独的图像中的两个、三个或四个单独的图像分配给有缺陷的类别等。换言之，待检查的单独的图像的数量小于或等于直接连续的单独的图像的可预定的或预定的数量。
[0030]
在另一方法步骤中，如果图像序列中可预定数量的直接连续的单独的图像中的多个单独的图像已被分配给有缺陷的图像类别，则输出缺陷信号。缺陷信号然后例如可以用于使表面改性方法中断或向执行表面改性方法的表面改性装置的操作者输出建议。
[0031]
通过不仅借助于分类为有缺陷的单独的图像而且基于可预定数量的直接连续的单独的图像中的多个单独的图像的分类来确定表面缺陷的出现，缺陷预测的准确性可以得到显著改善。特别地，可以减少或者甚至完全避免假阳性和假阴性结果也就是表面区域被错误评估为有缺陷的或被错误评估为无缺陷的，因为借助于紧随其后的单个图像，基于被分类为有缺陷的单个图像对表面区域的评估进行验证。
[0032]
根据各种替代实施例，该方法可以包括提供经过训练的神经网络，通过经过训练的神经网络来执行将单独的图像分配给图像类别。
[0033]
例如，可以以神经网络的形式实施上述分类模型或上述回归模型。
[0034]
神经网络为机器学习、协作和处理复杂数据输入的各种算法提供了框架。这种神经网络在示例的帮助下学习执行任务，通常无需使用特定于任务的规则进行编程。
[0035]
神经网络基于一组连接的单元或节点，称为人工神经元。每个连接都可以将信号从一个人工神经元传输到另一个人工神经元。接收信号的人工神经元可以对其进行处理，然后激活与其连接的其它人工神经元。
[0036]
在神经网络的常规实施中，人工神经元连接上的信号是实数，人工神经元的输出是通过其输入之和的非线性函数计算的。人工神经元的连接通常具有适应渐进式学习的权重。权重增加或减少连接上的信号强度。人工神经元可以有阈值，以便只有在总信号超过该阈值时才会输出信号。
[0037]
通常，多个人工神经元被分层组合。不同的层可能对其输入执行不同类型的转换。信号从第一层(输入层)传播到最后一层(输出层)，可能在多次通过这些层之后。
[0038]
人工神经网络的架构可以对应于多层感知器网络。多层感知器网络属于人工前馈神经网络家族。基本上，多层感知器网络由至少三层神经元组成：输入层、中间层(也称为隐藏层)和输出层。这意味着网络的所有神经元都被划分为层，一层的神经元总是连接到下一层的所有神经元。没有与前一层的连接，也没有跳过一层的连接。除输入层外，各层由受非线性激活函数影响并且连接到下一层神经元的神经元组成。一个深度神经网络可以有许多这样的中间层。
[0039]
训练人工神经网络意味着适当地调整神经元的权重和可选的阈值。基本上，要区分三种不同的学习形式：监督学习、无监督学习和强化学习。
[0040]
在监督学习中，神经网络会收到非常多的通过神经网络的训练数据集。在这种情况下，每个训练数据集的期望结果是已知的，从而可以确定实际结果和期望结果之间的差异。这种差异可以表示为误差函数，其最小化是训练的目标。训练结束后，经过训练的网络甚至对未知数据集也能表现出所需的反应。因此，经过训练的神经网络能够执行或概括传输操作。
[0041]
另一方面，在无监督学习中，不知道具体的期望结果。相反，神经网络独立地寻求识别数据集中的相似性，并且在此基础上编译类别并且相应地分配其他数据集。
[0042]
与无监督学习的情况一样，同样在强化学习中，没有特定的预期结果是已知的。然而，存在至少一个评估函数，用于评估所获得的结果是好还是坏，以及可选的程度如何。然后神经网络尝试最大化这个函数。
[0043]
用于将单独的图像分配给图像类别的经过训练的神经网络可能已经通过上述方法之一训练过。例如，部件的表面区域的图像可能已经被用作训练数据集，已知它们是否表现出缺陷并且已经相应地被分配到有缺陷的图像类别或无缺陷的图像类别。如果使用其它图像类别，根据这些其它图像类别分类的图像可能已被用作训练数据集。
[0044]
借助于经过训练的神经网络将单独的图像分配给图像类别的优点是，可以将单独的图像以高准确度分配给相应的图像类别，并且因此获得较少的假阳性或假阴性分配。总的来说，因此可以进一步提高表面缺陷预测的准确性。
[0045]
优选地，经过训练的神经网络已经通过迁移学习进行了训练。迁移学习使用已经预训练的神经网络，并且针对特殊应用目的进行教学。换句话说，预训练的神经网络已经通过训练数据集进行了训练，因此包含代表这些训练数据集特征的权重和阈值。
[0046]
预训练神经网络的优点是可以将学习到的特征迁移到其他分类问题中。例如，已经通过非常多容易获得的鸟类图像训练数据集训练的神经网络可以包含学习到的特征(例如边缘或水平线)，这些特征可以迁移到另一分类问题，尽管它与鸟类无关，但其与具有边缘和水平线的图像相关。为了获得针对实际分类问题适当训练的神经网络，随后需要相对较少的与实际分类问题相关的其它训练数据集(也就是说例如这里描述的缺陷识别)。
[0047]
有利地，因此仅需要少量特定于分类问题的训练数据集以获得适合的经过训练的神经网络。因此可以更快地获得所需的特定训练数据集，从而在短时间后就可以进行分类。此外，还可以解决没有足够的特定训练数据集可用的分类问题，以便能够用专门的特定训练数据集训练神经网络。使用预训练的神经网络作为使用特定训练数据集进行进一步训练的起点还具有需要较少计算能力的优点。
[0048]
经过训练的神经网络可以与预训练的神经网络不同，例如已经添加了其他层，例如分类层。
[0049]
例如，介绍中提到的名称为resnet50的神经网络可用作预训练的神经网络。除了resnet50之外，例如也可以使用resnet18。
[0050]
为了进一步提高预测精度，可以使用诸如数据增强、模糊(高斯模糊)和其他机器学习技术之类的方法。除此之外，还可以使用已在所提出的方法的范围内记录的单独的图像进一步训练经过训练的神经网络。
[0051]
根据其它替代实施例，可以通过迭代学习来训练经过训练的神经网络。
[0052]
这意味着最初用小的训练数据集(第一次迭代循环)对神经网络进行训练。使用这
个尚未完全训练好的神经网络，可能已经将第一个单独的图像分配给了有缺陷的图像类别。这些可以添加到训练数据集中，以便在第二次迭代循环中提高准确性。可以相应地跟随进一步的迭代循环。
[0053]
有利地，可以通过迭代学习来增加准确度。在第一次迭代循环的基础上，可以进一步显著加速其它训练周期的数据生成。
[0054]
根据其它替代实施例，该方法可以包括在提供图像序列、记录图像序列之前执行的进一步的方法步骤，图像序列包括待评估的表面区域的多个单独的图像，每个单独的图像显示表面区域的图像细节以及单独的图像的图像细节至少部分重叠。
[0055]
换言之，图像细节被选择为使得表面区域的表面点在多个直接连续的单独的图像中成像。然后可以在下一个方法步骤中为随后的方法步骤提供所记录的图像，从而参考上面关于所提供的图像序列的评论。
[0056]
优选地，可以以每秒至少100帧的帧速率获取图像序列。发现这样的帧速频对于许多表面改性方法(特别是钎焊和焊接方法)是有利的，因为在将用于记录图像序列的摄像机固定到表面改性装置上时，一方面可以实现足够大的重叠区域，使得可以在可预定数量的直接连续的单独的图像中的多个单独的图像上(例如在两个或优选地多于两个直接连续的单独的图像上)识别潜在的缺陷。另一方面，帧速率不需要显著超过每秒100帧，从而可以用常规的计算机技术并因此经济地进行图像的记录和实时评估。如果处理过程的向前移动较慢并且缺陷也可以以较低的帧速率在图像序列中成像，则小于每秒100帧的帧速率也是足够的。
[0057]
除了帧速率，其他参数也影响所需的计算能力，尤其是图像分辨率(x,y)、颜色信息(例如rgb或bw)、颜色深度(例如每通道8、10或12位)、通过单精度或双精度等方式将单独的图像分配给图像类别。此外，所使用模型的大小(例如经过训练的神经网络的大小)对于所使用硬件所需的资源至关重要。
[0058]
根据其它替代实施例，图像细节可以与用于执行表面改性方法的表面改性装置一起移动。
[0059]
例如，表面改性方法可以是连续的方法，其中通过渐进的表面修改来置换图像细节。因此可以达到摄像机始终记录当前正在处理的表面区域的效果，从而可以快速确定新出现的表面缺陷。
[0060]
在激光束方法中，例如在激光束钎焊方法或激光束焊接方法中，例如可以使用与加工激光器同轴对准并且因此通过加工激光器观察的摄像机。因此，摄像机与加工激光器一起移动。在激光钎焊方法中，例如区域：钎焊线的一部分-加工区域-与加工激光器一起在部件的表面上行进的固化的钎焊料连接，可以被选择为图像细节。
[0061]
摄像机与表面改性装置的这种连接具有以下优点：摄像机自动移动并且因此图像细节同样自动改变，而不需要单独的摄像机控制。
[0062]
根据另一替代实施例，可以在执行表面改性方法的同时实时执行该方法。
[0063]
这有利地允许快速确定出现的表面缺陷。因此，在确定表面缺陷的情况下，可以迅速进行干预，从而可以移除有缺陷的部件并且可以避免进一步的缺陷。
[0064]
本发明的另一方面涉及一种用于确定在执行部件的表面区域的表面改性方法时出现的缺陷的装置，包括数据处理单元，数据处理单元被配置并且适于将待评估的表面区
域的包括多个单独的图像的图像序列的单独的图像分配给至少两个图像类别，检查图像序列中可预定数量的直接连续的单独的图像中的多个单独的图像是否已分配给有缺陷的图像类别，并且如果图像序列中可预定数量的直接连续的单独的图像的多个单独的图像已经被分配到有缺陷的图像类别，则输出缺陷信号，每个单独的图像显示表面区域的图像细节，并且单独的图像的图像细节至少部分重叠并且至少一个具有缺陷属性的图像类(以下称为缺陷图像类)。
[0065]
数据处理单元可以与存储单元、摄像机单元和/或输出单元处于信号技术主动连接中，并且因此可以接收这些单元的信号和/或向这些单元传输信号。
[0066]
例如，该装置可以用于执行上述方法之一，也就是用于确定表面缺陷和/或装置缺陷。根据本发明的方法的优点因此也可以通过根据本发明的装置来实现。与根据本发明的方法有关的所有评论都可以类似地应用于根据本发明的装置。
[0067]
根据各种替代实施例，数据处理单元可以包括用于将单独的图像分配给至少两个图像类别的经过训练的神经网络。关于这一点，还可以参考上面关于经过训练的神经网络及其优点的描述的评论。
[0068]
根据了另一替代实施例，该装置可以包括摄像机单元，该摄像机单元被适配和配置为记录待评估的表面区域的包括多个单独的图像的图像序列，每个单独的图像示出了表面区域的图像细节，并且单独的图像的图像细节至少部分重叠。
[0069]
换言之，可以选择单独的图像的图像细节使得表面区域的表面点可以在多个直接连续的单独的图像中成像。
[0070]
优选地，摄像机可以是具有至少每秒100帧的帧速率的高速摄像机。
[0071]
根据另一替代实施例，该装置可以包括被配置为用于部件的表面区域的表面改性的表面改性装置。表面改性装置例如可以是激光钎焊装置、激光焊接装置、粘合剂粘合装置、涂层装置或3d打印装置。
[0072]
优选地，摄像机可以直接安装在表面改性装置上，使得摄像机在表面改性装置或表面改性装置的一部分的移动期间自动地一起移动。
[0073]
本发明的另一方面涉及一种用于确定在对部件的表面区域执行表面改性方法时出现的缺陷的计算机程序，其包括指令，当该程序由计算机执行时，指令使得计算机将待评估的表面区域的包括多个单独的图像的图像序列的单独的图像分配给至少两个图像类别，检查图像序列中可预定数量的直接连续的单独的图像中的多个单独的图像是否已分配给有缺陷的图像类别，并且，如果图像序列中可预定数量的直接连续的单独的图像中的多个单独的图像已被分配到有缺陷的图像类别，则输出缺陷信号，每个单独的图像显示表面区域的图像细节并且单独的图像的图像细节至少部分地重叠，以及至少一个图像类别具有缺陷的属性(以下称为有缺陷的图像类别)。
[0074]
因此，根据本发明的计算机程序可以用于执行根据本发明的上述方法之一，也就是说，例如，当计算机程序在计算机、数据处理单元或指定的装置之一上运行时确定表面缺陷和/或装置缺陷。因此，通过根据本发明的计算机程序也实现了根据本发明的方法的优点。与根据本发明的方法有关的所有评论都可以类似地应用于根据本发明的计算机程序。
[0075]
计算机程序可以理解为可以存储在合适的介质上和/或通过合适的介质检索的程序代码。任何适合于存储软件的介质(例如安装在控制单元中的非易失性存储器、dvd
(digital versatile disc，数字化视频光盘)、usb(universal serial bus，通用串行总线)记忆棒、闪存卡等)都可以用于存储程序代码。例如可以通过因特网或内联网或通过其他合适的无线或有线网络来执行程序代码的检索。
[0076]
本发明还提供了一种其上存储有计算机程序的计算机可读数据载体，以及传输该计算机程序的数据载体信号。
附图说明
[0077]
可在附图和相关描述中找到本发明的进一步优点。
[0078]
图1示出了示例性方法的流程图；
[0079]
图2示出了示例性装置的示意图；
[0080]
图3示出了示例性图像序列；
[0081]
图4示出了另一示例性图像序列；
[0082]
图5示出了另一示例性图像序列；
[0083]
图6示出了另一示例性图像序列；以及
[0084]
图7示出了预测精度的表示。
具体实施方式
[0085]
下面将参考图1和图2借助于激光钎焊方法和相关装置100更详细地解释本发明。因此描述了一种用于确定在对部件的表面区域8执行激光钎焊方法时出现的缺陷7的方法和装置100。具体来说，它是用于连接金属板的激光硬钎焊，也就是将汽车车顶与相关侧壁连接。然而，本发明不限于该方法，并且可以类似地用于其他表面改性方法。
[0086]
通过图2中示意性表示的装置100来执行该方法。装置100包括表面改性装置4，其在示例性实施例中是激光钎焊装置。激光钎焊装置配置为产生激光束并且在待处理的表面区域8的方向上发射该激光束。此外，表面区域8配备有例如呈钎焊丝形式的钎焊料，该钎焊料由激光束熔化并且用于将车顶连接到侧部部件。
[0087]
装置100还包括摄像机单元3。在示例性实施例中，来自制造商scansonic的过程观察系统用作摄像机单元3。摄像机单元3配置为同轴摄像机并且具有激光照明装置，激光照明装置的激光的波长与激光钎焊装置的加工激光的波长不同。对于示例性实施例，为激光照明装置选择约850nm的波长。摄像机单元3相应地对该波长敏感。通过大约850nm的波长，基本上避免了由于环境光和其他光源引起的干扰影响。
[0088]
摄像机单元3相对于激光钎焊装置布置为使得可以通过加工激光束记录视频形式的图像序列5。换言之，获取包括待评估的表面区域8的多个单独的图像6的图像序列5。在这种情况下，图像细节9被选择为使得它在加工区上从钎焊丝的端部区域延伸到刚刚固化的钎焊料连接处。摄像机单元3与加工激光束同时移动，从而图像细节9相应地在表面区域8上移动并且单独的图像6的图像细节9至少部分重叠。为此，摄像机单元3的帧速率与加工激光和摄像机单元3的移动速度彼此对应匹配。例如，典型的加工速度的帧速率可以是每秒100帧。
[0089]
如已经提到的，摄像机单元3被适配和配置为记录图像序列5，图像序列5包括待评估的表面区域8的多个连续的单独的图像6。图像序列5被传送到装置100的数据处理单元1。
因此摄像机单元3和数据处理单元1处于信号技术主动连接中。
[0090]
数据处理单元1用于处理图像序列5的单独的图像6。为此，数据处理单元1包括经过训练的神经网络2，借助于神经网络2将单独的图像6分配给两个图像类别10a、10b。在这种情况下，被识别为“ok”的单独的图像6被分配给第一图像类别10a，以及被识别为“有缺陷的”的单独的图像6被分配给有缺陷的图像类别10b。
[0091]
在示例性实施例中，经过训练的神经网络2是已经通过迁移学习进行训练的神经网络。经过训练的神经网络2基于名称为“resnet50”的预训练的神经网络，这已在介绍中进行了描述。用在激光束钎焊期间记录的40个图像序列5进一步训练该预训练的神经网络，图像序列5总共包含400个单独的图像6，为此建立了对图像类别10a、10b的分配。通过该进一步的训练过程，提供了经过训练的神经网络2，其能够识别单独的图像6上的表面缺陷，例如孔、洞、飞溅物，还可以识别装置缺陷，例如钎焊光学器件的有缺陷的保护玻璃。
[0092]
此外，数据处理单元1被配置和适配成检查图像序列5中可预定数量的直接连续的单独的图像6中的多个单独的图像6是否已经被分配给有缺陷的图像类别10b。在示例性实施例中，检查在图像序列5中的四个直接连续的单独的图像6中是否所有四个单独的图像6都已被分配给有缺陷的图像类别10b。根据所需的精度，该规定可能会有所不同。如果四个直接连续的单独的图像6中的四个已被分配给有缺陷的图像类别10b，则输出缺陷信号11。例如，利用上述装置100，可以执行下面参照图1说明的方法。
[0093]
使用该方法，以计算机实施的方式确定在执行激光钎焊方法时出现的缺陷，在这种情况下，可以识别表面缺陷和装置缺陷。在方法开始之后，在方法步骤s1中记录具有待评估的表面区域8的多个单独的图像6的图像序列7。在这种情况下，以每秒100帧的帧速率进行记录。不同的帧速率是可行的。每个单独的图像6的图像细节9被选择为使得单独的图像6的图像细节9部分重叠。例如，可以提供80％的重叠，也就是图像细节9在两个直接连续的单独的图像6中80％相同。在图像序列5的记录期间，图像细节9或者对图像细节9成像的摄像机单元3与表面改性装置4一起移动。
[0094]
在方法步骤s2中，图像序列5被提供用于进一步处理，例如从摄像机单元3传输到数据处理单元1。与之并行地，在方法步骤s3中，提供经过训练的神经网络2。
[0095]
在方法步骤s4中，图像序列5的单独的图像6通过经过训练的神经网络2被分配给两个图像类别10a、10b，也就是决定被分配的单独的图像6是否表现出缺陷。在前一种情况下，对有缺陷的图像类别10b进行分配，否则对另一图像类别10a进行分配。
[0096]
在随后的方法步骤s5中，检查图像序列5中可预定数量的直接连续的单独的图像6中的多个单独的图像6是否已经被分配给有缺陷的图像类别10b。如已经提到的，在示例性实施例中，检查在图像序列5中的四个直接连续的单独的图像6中是否所有四个单独的图像6都已被分配到有缺陷的图像类别10b。
[0097]
如果是这种情况，则该方法继续到方法步骤s6，其中输出缺陷信号11。因此该方法结束。如果没有四个直接连续的单独的图像6被分配给有缺陷的图像类别10b，则该方法返回到方法步骤s1。
[0098]
当然，与该示例性方法的不同是可行的。例如可以提供，该方法不以在方法步骤s6中输出缺陷信号而结束，而是该方法返回到方法步骤s1。此外，在激光钎焊方法期间实时执行该方法的替代实施例是优选的，各个方法步骤相应地在时间上重叠。也就是说，在将刚刚
记录的单独的图像5分配给图像类别10a、10b等的同时，记录另外的单独的图像5。
[0099]
通过不仅借助于单独的图像6而是借助于连续的单独的图像6作为时间数据进行表面区域8的评估，可以观察假设的或实际的缺陷7是否“通过摄像机图像”。只有在这种情况下，也就是说可以在多个单独的图像6上检测到缺陷7时，才假定实际的缺陷7。以这种方式，与常规的自动化质量保证相比，可以显著提高缺陷预测的可靠性，因为确定了更少的假阳性和假阴性缺陷7。与目视检查相比，除了在这方面减少人员支出和节省成本之外，所提出的方法具有的优点是可以确定即使肉眼无法识别的小缺陷7。表面处理过的部件的质量因此可以总体上得到改善，因为可以拒绝低质量的部件或者可以以这样的方式修改方法参数和/或装置部件，使得确定的缺陷7不再出现。
[0100]
图3示出了其表面通过激光钎焊方法处理的部件的待评估的表面区域8的示例性图像序列5。图像序列5包括25个单独的图像6，其图像细节9部分重叠。单独的图像6由摄像机单元3按照从左上到右下的顺序记录并且被传送到装置100的数据处理单元1用于评估。
[0101]
借助于数据处理单元1的经过训练的神经网络2，如图3所示，借助于分类为“无缺陷的(ok)”或“有缺陷的”，各个图像6已经分别被分配到图像类别10a、10b。在这种情况下，前八个单独的图像6被分类为“ok”并且因此被分配到第一图像类别10a。随后是十二个单独的图像6，它们被分类为“有缺陷的”并且因此被分配到有缺陷的图像类别10b。随后，有七个单独的图像6再次被分类为“ok”并且被分配到图像类别10a。
[0102]
在分配给有缺陷的图像类别10b的单独的图像6中，孔可以被视为缺陷7。该缺陷7通过摄像机单元3连同表面处理装置4在图像细节6中从左到右的移动传播。
[0103]
为了能够以高概率可靠地检测缺陷7，例如检查四个直接连续的单独的图像6是否已经分配给有缺陷的图像类别10b。这是图3所示的图像序列的情况，因为总共有12个直接连续的单独的图像6已被分配给有缺陷的图像类别10b。因此可以非常高的概率假设实际存在缺陷7，并且输出缺陷信号11。缺陷信号11例如可以导致表面改性方法的中断，以便能够从生产过程中去除有缺陷的部件。作为替代方案，生产过程也可以继续运行，并且在完成其表面改性后，相关部件被移除或目视检查以进行进一步检查。
[0104]
图4示出了其表面通过激光钎焊方法处理的部件的待评估的表面区域8的另一示例性图像序列5。图像序列5再次包括25个单独的图像6，其图像细节9部分重叠。如图3中那样，单独的图像6由摄像机单元3按照从左上到右下的顺序记录并且被传送到装置100的数据处理单元1用于评估。
[0105]
借助于数据处理单元1的经过训练的神经网络2，如图4中借助于分类为“ok”或“有缺陷的”，单独的图像6已经分别被分配到图像类别10a、10b。在这种情况下，前六个单独的图像6被分类为“ok”并且因此被分配到第一图像类别10a，两个单独的图像6被分类为“有缺陷”，一个单独的图像6被分类为“ok”，九个单独的图像6被分类为“有缺陷”的以及另外七个单独的图像6被分类为“ok”的。换句话说，除了一个单一的单独的图像6之外，十二个直接连续的单独的图像6被分配给有缺陷的图像类别10b。
[0106]
在分配给有缺陷图像类别10b的单独的图像6中，孔可以被视为缺陷7。该缺陷7通过摄像机单元3连同表面处理装置4在图像细节6中从左到右的移动传播。
[0107]
为了能够以高概率可靠地检测缺陷7，例如检查四个直接连续的单独的图像6是否已经被分配给有缺陷的图像类别10b。这是图4所示的图像序列的情况，因为总共9个直接连
续的单独的图像6(也就是第10到第18个单独的图像6)被分配给有缺陷的图像类别10b。因此可以非常高的概率假设实际存在缺陷7，并且输出缺陷信号11。
[0108]
图5示出了其表面通过激光钎焊方法处理的部件的待评估的表面区域8的另一示例性图像序列5。图像序列5包括20个单独的图像6，其图像细节9部分重叠。如图3中那样，单独的图像6由摄像机单元3按照从左上到右下的顺序记录并且被传送到装置100的数据处理单元1用于评估。
[0109]
借助于数据处理单元1的经过训练的神经网络2，如图5所示，借助于分类为“ok”或“有缺陷的”，单独的图像6已经分别被分配到图像类别10a、10b。在这种情况下，前八个单独的图像6被分类为“ok”并且因此被分配到第一图像类别10a。第九个单独的图像6被分类为“有缺陷”。另一单独的图像再次被分类为“ok”。
[0110]
然而，被分类为“有缺陷”的单独的图像6是错误分类，因为该单独的图像6实际上并未表现出缺陷7。如果每个单独的图像6然后仅独立于其他单独的图像6用于缺陷预测，该错误分类的单独的图像6将已经触发缺陷信号11的输出并且可以停止部件生产。
[0111]
然而，由于根据所提出的方法提供检查图像序列5中可预定数量的直接连续的单独的图像6中的多个单独的图像6是否已经被分配给有缺陷的图像类别10b，因此，当应用所提出的方法时没有输出缺陷信号11，因为只有一个单独的图像6已分配给有缺陷的图像类别10b。因此可以避免检测到假阳性缺陷7。
[0112]
图6示出了其表面通过激光钎焊方法处理的部件的待评估的表面区域8的另一示例性图像序列5。图像序列5再次包括20个单独的图像6，其图像细节9部分重叠。如图3中那样，单独的图像6由摄像机单元3按照从左上到右下的顺序记录并且被传送到装置100的数据处理单元1用于评估。
[0113]
借助于数据处理单元1的经过训练的神经网络2，如图6所示，借助于分类为“ok”或“有缺陷的”，单独的图像6已经分别被分配到图像类别10a、10b。在这种情况下，第一个单独的图像6被分类为“ok”并且因此被分配到第一图像类别10a。所有随后的单独的图像6都被分类为“有缺陷的”并且被分配到有缺陷的图像类别10b。
[0114]
在分配给有缺陷的图像类别10b的单独的图像6中，保护玻璃的损坏可被视为缺陷7。该缺陷7通过摄像机单元3连同表面处理装置4在图像细节9中从左到右移动传播。
[0115]
为了能够以高概率可靠地检测缺陷7，例如检查四个直接连续的单独的图像6是否已经被分配给有缺陷的图像类别10b。这是图6所示的图像序列的情况，因为总共有19个直接连续的单独的图像6已被分配给有缺陷的图像类别10b。因此可以非常高的概率假设实际存在缺陷7，并且输出缺陷信号11。所提出的方法因此也适用于检测表面改性装置4的缺陷7。
[0116]
由于图6的图像序列5中的缺陷7(玻璃缺陷)的外观与图3和4中所示的缺陷7(孔)显著不同，因此也可以进行缺陷类型的区分。
[0117]
图7示出了通过与迄今为止惯用的目视检查相比较的上述方法的缺陷7的预测准确度的表示。对201个部件的表面区域8进行了分析，也就是通过激光钎焊方法对201个部件进行了表面处理。
[0118]
从表示中可以看出，100％的通过目视检查识别为“有缺陷”的部件也通过所提出的方法(“真阳性”类别)被识别为“有缺陷的”。通过目视检查识别为“ok”的部件中没有一个
被所提出的方法识别为“有缺陷的”(“假阳性”类别)。同样，通过目视检查识别为“有缺陷的”的部件中没有一个通过所提出的方法被识别为“ok”(“假阴性”类别)。此外，100％的通过目视检查识别为“ok”的部件件的也通过所提出的方法(“真阴性”类别)被识别为“ok”，图5中的星号“*”表示实际缺陷7通过所提出的方法被正确识别，但不在常规手动视觉检查的范围内。缺陷7非常小，以至于在表面的下游研磨过程之后不再可见。随后对加工视频的人工分析表明，缺陷7实际上是非常小的孔。
[0119]
只有通过进一步的研究才有可能确认缺陷7的存在。因此可以得出结论，通过所提出的方法，不仅可以达到甚至超过先前常规目视检查的表面质量的评估的准确性，也就是甚至通过常规目视检查无法识别的缺陷7也被识别。
[0120]
综上所述，本发明具有以下主要优点：
[0121]-甚至可以识别非常小的缺陷7，以便在执行表面改性方法后对部件的表面区域8进行目视检查是多余的。
[0122]-除了这些表面缺陷外，还可以识别装置缺陷。维修和维护措施可能会适时启动。
[0123]-可以实时进行缺陷识别，也就是下游质量控制是多余的。
[0124]-与先前的方法相比，预测精度显著更好，也就是假阳性或假阴性结果更少。
[0125]
附图标记列表
[0126]
1数据处理单元
[0127]
2经过训练的神经网络
[0128]
3摄像机单元
[0129]
4表面改性装置
[0130]
5图像序列
[0131]
6单独的图像
[0132]
7缺陷
[0133]
8表面区域
[0134]
9图像细节
[0135]
10a、10b图像类别
[0136]
11缺陷信号
[0137]
100装置
[0138]
s1记录待评估的表面区域的包括多个单独的图像的图像序列，每个单独的图像显示了表面区域的图像细节并且单独的图像的图像细节至少部分重叠
[0139]
s2提供图像序列
[0140]
s3提供经过训练的神经网络
[0141]
s4通过经过训练的神经网络将单独的图像分配给至少两个图像类别，其中至少一个图像类别具有缺陷属性
[0142]
s5检查图像序列中可预定数量的直接连续的单独的图像中的多个单独的图像是否已分配给有缺陷的图像类别
[0143]
s6输出缺陷信号