一种基于机器视觉的铸造件外观缺陷检测方法及系统与流程

本发明涉及一种图像识别技术领域，具体涉及一种基于机器视觉的铸造件外观缺陷检测方法及系统。

背景技术：

汽车制动盘作为汽车零部件中的核心安全件，对车辆的安全使用有着至关重要的影响。汽车制动盘主要有实心盘和空心盘两大类，当前汽车制动盘主要是通过铸造的方式生产制造。由于铸造行业自身的工艺特点，铸造产品的外观通常会存在粘砂、气疤、夹砂、冷隔、孔眼、裂纹等缺陷。因此铸造出来的制动盘毛坯件后续在进行精加工以及装配之前，必须对所有制动盘进行产品质量检测。

当前多数制动盘生产企业对制动盘外观质量的检测主要是依靠人工肉眼观测的方式来进行判别，受限于人工检测方式：客观性不足、对检察员经验和责任心依赖较大以及工作量大等特点的影响，导致产品检测效率低，不良产品流出的现象时有发生，产品质量难以保证。尽管有少数企业采用一定的自动化手段对制动盘外观进行质量检测，但都是通过扫描制动盘后与标准样进行比对的方式进行判定，检测方式主要存在耗时长、效率低以及评价标准过于单一等问题，缺陷样式稍有变化就可能检测不出或者发生误判，这种传统图像比对的方式不适合用于铸造毛坯产品的外观质量检测。

同时制动盘铸造件的尺寸数据也是制动盘质量控制和后续加工等重点关注的指标之一，尤其是制动盘的直径（半径）、高度和各板面厚度等数据指标，要想得到较为精确的测量数据，只能采用离线的方式，通过三坐标测量的方式得到，此方式尽管测量精度满足要求，但是速度与实效性无法满足现场生产要求，同时对工作人员的操作要求很高。因此实际生产现场只能采用随机抽检的方式进行测量，导致存在尺寸不合格的产品的流出现象无法避免。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种基于机器视觉的铸造件外观缺陷检测方法及系统，通过高精度激光相机、线阵相机、高精度工业相机搭配一定的机械机构对铸造件的各个面进行扫描取相，再将外观图像传送至训练好的对应的图像识别算法模型，以此来判断铸造件外观是否存在缺陷以及缺陷类型，并定位出缺陷的尺寸和位置，对检测件是否存在缺陷、缺陷是否可修复进行自动判断，检测过程稳定可靠，不受人为主观因素和环境因素的影响，且效率高，能够充分满足实际生产的需要。

本发明的目的是通过以下技术方案来实现的：

一种基于机器视觉的铸造件外观缺陷检测方法，包括以下步骤：

s1：选取若干数量的铸造件作为外观缺陷检测系统的数据样本，包含无缺陷的铸造件和有缺陷的铸造件，分别作为正负样本，且要求有缺陷的铸造件中缺陷类型涵盖全部需要检测的缺陷类型，且数据样本满足数据均衡的原则；

s2：将所选的铸造件分别置于视觉系统下进行取相，每一个铸造件在视觉系统下采集得到一组包含多条相机数据信息的铸造件样本数据，样本数据中包含有三维信息、轮廓尺寸信息、颜色信息；

s3：对采集到的铸造件样本数据信息进行标记，对无缺陷的铸造件进行标记，同时对于有缺陷的铸造件，按照不同的缺陷类型分类进行标记；

s4：将标记好的铸造件样本数据进行统计学习分析，得到关于各类型缺陷的统计学习分析结果；其中，部分缺陷类型的表征形式为形态偏差，其余缺陷类型的表征形式为形态与颜色偏差；

s5：结合前述对样本数据的统计学习分析结果，将存在缺陷的样本数据根据缺陷表征为形态偏差或形态与颜色偏差分成两部分，分别作为第一缺陷样本数据和第二缺陷样本数据；将第一缺陷样本数据和正常样本数据输入第一算法模型，将第二缺陷样本数据和正常样本数据输入第二算法模型，不同算法模型承担不同类型的缺陷检测任务；

s6：根据模型训练的结果，再次补充训练样本，对模型进行优化训练，直到性能指标满足需求为止；

s7：将待测铸造件置于所述的视觉系统下进行取相，得到结构化的数据信息，并将得到的结构化的数据信息并行地输入优化训练后的第一算法模型和第二算法模型，用于进行不同类型的缺陷检测；算法模型设计采用半监督的学习方式，具有自主学习能力，随着系统的持续使用，系统检出精度会进一步提高；

s8：外观缺陷检测系统根据缺陷的不同类型、缺陷的尺寸以及缺陷的分布位置，通过预设条件判定出存在缺陷的铸造件属于可修复件或是报废件，并将分析结果发送至执行机构执行相应的分选动作。

所述的方法，还包括一个计算铸造件尺寸的步骤，根据待测铸造件的轮廓尺寸信息计算铸造件的实际产品尺寸。使得系统能输出待测铸造件的尺寸数据信息。

所述的缺陷类型包括砂眼、气孔、缺肉、多肉、表面粘砂、裂纹、标识不清、错箱、涨箱、大气疤、小气疤、浅层气疤、冷隔、微小孔眼；其中，砂眼、气孔、缺肉、多肉、表面粘砂、裂纹、标识不清、错箱、涨箱、大气疤的缺陷表征形式为形态偏差；小气疤、浅层气疤、冷隔、微小孔眼的缺陷表征形式为形态与颜色偏差；

形态偏差：轮廓、尺寸和高低出现偏差；

形态与颜色偏差：除了形态偏差外，在颜色信息上表现出与正常区域存在差异。

步骤s5中，抽取出各个缺陷类型的特征尺度信息，用于设定模型中的阈值参数，然后将数据输入算法模型进行训练；所述的特征尺度信息包括高低尺度、纹理特征、边缘特征、灰度尺度、rgb尺度。

一种基于机器视觉的铸造件外观缺陷检测系统，包括检测主机、视觉系统、执行机构、返修品料斗和废品料斗；

所述的检测主机包括处理器和存储器，存储器用于存储可在处理器上运行的计算机程序，并存储前述的优化训练后的第一算法模型和第二算法模型；所述的处理器执行所述计算机程序实现前述的方法；

所述的视觉系统前期用于对数据样本进行取相，用于算法模型的训练及优化；后期用于对待测铸造件进行全面取相，并将得到结构化的数据信息发送至所述的检测主机；

所述的检测主机根据缺陷的不同类型、缺陷的尺寸以及缺陷的分布位置，判断存在缺陷的铸造件属于可修复件或是报废件，并将分析结果发送至所述的执行机构执行分选动作，将可修复件放入返修品料斗，将报废件放入废品料斗。

所述的铸造件为铸造制动盘。

所述的视觉系统包括第一视觉系统和第二视觉系统，所述的第一视觉系统包括用于放置待测制动盘并可旋转的检测台，用于在待测制动盘旋转过程中完成制动盘w面、x面和侧面取相的第一相机组件；

所述的第二视觉系统包括用于将待测制动盘从检测台上取下并完成旋转的多轴机械手，用于在待测制动盘旋转过程中完成制动盘u面、v面和y面取相的第二相机组件。

所述的第一相机组件和第二相机组件均由激光相机和线阵相机呈l形阵列分布构成；或，所述的第一相机组件和第二相机组件均由激光相机和工业相机呈l形阵列分布构成。

所述的第一相机组件和第二相机组件均为双目结构光相机。

所述的系统，还包括进料辊道、检测通道、直通通道和龙门机械手，所述的检测通道与直通通道并排设置于进料辊道和原辊道之间，所述的第一视觉系统和第二视觉系统依次设置于所述的检测通道内，所述的直通通道内设有直通辊道；所述的龙门机械手设置于所述检测台的上方，用于将进料辊道上的待测制动盘转移至所述的检测台上。

本发明的有益效果是：

1、本发明提出了一种全新的制动盘铸造件外观检测与尺寸测量方法，将检测与测量融合，提高了产品质量保证的维度。采用线性相机（线阵相机）或高精度工业相机和激光相机的组合对制动盘进行扫描取相，激光相机对三维空间信息及高低尺度信息很敏感，线性相机对色差信息很敏感，组合使用可以较低成本地实现对铸造件各种常见外观缺陷的高精度检测。

2、检测软件算法基于数据处理与统计分析技术、神经网络技术、机器学习与深度学习技术、人工智能技术等，并将其应用于制动盘的外观检测与尺寸测量，且对于铸造类产品有一定的通用性。

3、对制动盘外观缺陷进行检测的同时，还能对缺陷类型进行区分，便于后续工艺流程处理。还可检测出缺陷的尺寸和缺陷位置，对有缺陷的检测件的缺陷是否可修复进行自动判断，实现了自动化在线检测，检测过程稳定可靠，不受人为主观因素和环境因素的影响，效率高、检测精度高且品控标准统一，能够充分满足实际生产的需要。

4、系统对缺陷类型进行分类和定位，并直观可视化呈现，方便工厂后续对不良件进行针对性修补，进一步提高了生产效率。

附图说明

图1为本发明方法流程图；

图2为本发明制动盘检测系统结构框图；

图3为本发明制动盘检测系统结构示意图；

图4为三种常见的制动盘结构示意图；

图5为本发明第一相机组件结构示意图；

图6为本发明第二相机组件结构示意图；

图中，1-检测台，2-第一相机组件，3-多轴机械手，4-第二相机组件，5-激光相机，6-线阵相机，7-返修品料斗，8-废品料斗，9-进料辊道，10-直通辊道，11-龙门机械手，12-原辊道。

具体实施方式

下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明检测软件算法基于数据处理与统计分析技术、神经网络技术、机器学习与深度学习技术、人工智能技术等，并将其应用于制动盘的外观检测与尺寸测量，且对于铸造类产品有一定的通用性。

如图1所示，一种基于机器视觉的铸造件外观缺陷检测方法，包括以下步骤：

s1：选取一定数量（≥20000）的铸造件作为外观缺陷检测系统的数据样本，包含无缺陷的铸造件和有缺陷的铸造件，分别作为正负样本，且要求有缺陷的铸造件中缺陷类型涵盖全部需要检测的缺陷类型（具体涵盖砂眼、气孔、缺肉、多肉、表面粘砂、裂纹、标识不清、错箱、涨箱、大气疤、小气疤、浅层气疤、冷隔、微小孔眼等缺陷），且数据样本满足数据均衡的原则；其中，一个铸造件可能包含有多种缺陷；

s2：将所选的铸造件分别置于第一视觉系统和第二视觉系统下进行各个面的取相（本申请所指“取相”的含义为：提取图像信息），每一个铸造件在视觉系统下采集得到一组包含多条相机数据信息的铸造件样本数据，样本数据中包含有三维信息、轮廓尺寸信息、颜色信息；

由于第一视觉系统和第二视觉系统均是由多种相机（线激光扫描相机、线阵相机、高精度工业相机）按照一定的角度和排列方式组成的相机阵列，因此对于每一个铸造件在第一视觉系统和第二视觉系统的分别作用下可以得到一组包含了多条相机数据信息的铸造件样本数据，并进行结构化的关联；

s3：对采集到的铸造件样本数据信息进行标记，对无缺陷的铸造件进行标记为ok，同时对于有缺陷的铸造件，按照不同的缺陷类型分类进行标记；

s4：将标记好的铸造件样本数据进行统计学习分析，得到关于各类型缺陷的统计学习分析结果；其中，部分缺陷类型的表征形式为形态偏差（主要以轮廓、尺寸和高低等出现偏差，例如：砂眼、气孔、缺肉、多肉、表面粘砂、裂纹、标识不清、错箱、涨箱、大气疤等），其余缺陷类型的表征形式为形态与颜色偏差（除了形态表征上有偏差外，在颜色信息上表现出与正常区域存在差异，例如：小气疤、浅层气疤、冷隔、微小孔眼等）。正常区域指的是颜色正常的区域，即标记为ok的无缺陷的铸造件对应区域。

浅层气疤指的是表面平整、处于表层内部的气疤，单纯靠激光相机是无法识别浅层气疤的，但是浅层气疤会使表面产生微弱明暗色差，可通过线性相机实现识别。

对于r角处的多肉和毛刺，通过激光相机无法有效识别，因为r角处影响激光反射方向，无法有效接收激光信号；线性相机虽然对3d高度差信息不敏感，但是可采集制动盘整体光强度，可以识别局部色泽的细微变化，因此和实现r角处多肉和毛刺等缺陷的检测。

对于细小气疤而言，可能超出激光相机的检测精度，导致激光相机无法有效识别，但小气疤也会产生小的色泽差，可通过线性相机实现识别。

对于多数缺陷而言，激光相机与线性相机的结合可实现更准确的缺陷检测。

关于统计学习分析的说明：统计学习分析是指利用统计学与机器学习的方法（例如：线性回归、svm、聚类分析等方法）对样本数据进行分析，得到关于数据的统计学习分析结果。本专利中统计学习分析的对象是：样本数据中关于各类缺陷的特征指标，例如尺寸、纹理、轮廓、边缘、颜色等。

s5：结合前述对样本数据的统计学习分析结果，将存在缺陷的样本数据根据缺陷表征为形态偏差或形态与颜色偏差分成两部分，分别作为第一缺陷样本数据和第二缺陷样本数据；将第一缺陷样本数据和正常样本数据输入第一算法模型，将第二缺陷样本数据和正常样本数据输入第二算法模型，不同算法模型承担不同类型的缺陷检测任务，第一算法模型主要负责：砂眼/气孔、缺肉/多肉、表面粘砂、标识不清、错箱/涨箱等缺陷的检出和定位，第二算法模型主要负责：冷隔、小气疤、微小孔眼等缺陷的检出和定位。

步骤s5中，抽取出各个缺陷类型的特征尺度信息，用于设定模型中的阈值参数，然后将数据输入算法模型进行训练；所述的特征尺度信息包括高低尺度、纹理特征、边缘特征、灰度尺度、rgb尺度。

“设定模型中的阈值参数”是指设定深度神经网络模型中网络层的初始权重值，根据前述统计学习分析得到的关于样本数据的特征指标来指导阈值参数的设定，可以使算法模型更快速收敛、性能更优。

阈值参数还指模型训练的目标参数设定，例如，给算法模型的训练过程中的精确率、召回率等设定目标阈值，直到算法模型训练满足上述指标设定的阈值，才结束模型训练，否则就通过补充样本数据、调整深度神经网络层的权值等方式继续模型训练。

s6：根据模型训练的结果，再次补充训练样本，对模型进行优化训练，直到各方面性能指标满足需求为止，具体是指算法模型的精确率（精度）、召回率、漏检率、运行速率等性能指标满足需求；

对于所有的数据样本而言，一部分作为训练集，输入给外观缺陷检测算法模型用于模型训练，另一部分数据用于测试训练后的模型的性能指标，用于模型优化，通过反复几次对数据和模型的调整，直到性能指标满足应用要求，即满足系统投入使用的设计要求。

本发明算法模型是一个多层的神经网络结构，在模型训练过程中，我们主要是进行数据的分类标注以及将标注后的数据进行统计学习分析，抽取出各个缺陷类型的尺度信息，用于设定模型中的阈值参数，然后将数据输入模型进行训练。本申请使用的是网络模型，是基于vgg19网络和resnet网络结构修改后的模型，与所有的深度学习模型类似，其中都包含有池化层、卷积层、全连接层。

s7：将待测铸造件置于所述的视觉系统下进行取相，得到结构化的数据信息，并将得到的结构化的数据信息并行地输入优化训练后的第一算法模型和第二算法模型，用于进行不同类型的缺陷检测；算法模型设计采用半监督的学习方式，具有自主学习能力，优化训练后的算法模型在后续使用中无需重复训练，随着系统的持续使用，系统检出精度会进一步提高；

s8：将训练好的外观缺陷检测算法模型移植到检测主机中，检测主机根据缺陷的不同类型、缺陷的尺寸以及缺陷的分布位置，并定位出缺陷的位置可视化显示，通过预设条件判定出存在缺陷的铸造件属于可修复件或是报废件，并将分析结果发送至执行机构执行相应的分选动作。

系统同时可根据待测铸造件的轮廓尺寸信息计算铸造件的实际产品尺寸，并可视化显示。系统能够精确地输出产品的尺寸测量信息，作为质量保证指标之一，也为工厂后续对铸造件进行加工提供了数据指标。

系统通过配合其他外围软件（执行机构控制软件）与硬件（检测台、机械手等），使得系统能够有条不紊的运行于生产现场，对生产过程中铸造毛坯件进行实时的在线检测。

系统检测与测量的全过程数据都有精细的分类存储，且有统计分析报表输出功能，同时系统还提供各类接口与工厂的各类管理系统兼容。

如图2和图3所示，一种基于机器视觉的铸造件外观缺陷检测系统，包括检测主机、视觉系统、执行机构、返修品料斗7和废品料斗8；

所述的检测主机包括处理器和存储器，存储器用于存储可在处理器上运行的计算机程序，并存储前述的优化训练后的第一算法模型和第二算法模型；所述的处理器执行所述计算机程序实现如前述步骤s7和步骤s8的方法；

所述的视觉系统前期用于对数据样本进行取相，用于算法模型的训练及优化；后期用于对待测铸造件进行全面取相，并将得到结构化的数据信息发送至所述的检测主机；

所述的检测主机根据缺陷的不同类型、缺陷的尺寸以及缺陷的分布位置，判断存在缺陷的铸造件属于可修复件或是报废件，并将分析结果发送至所述的执行机构执行分选动作，将可修复件放入返修品料斗7，将报废件放入废品料斗8。

判断存在缺陷的制动盘是否属于可修复件或是报废件的预设条件为：

一是缺陷类型会影响产品是否报废，比如出现裂纹和气疤，产品就会报废。二是根据缺陷的分布位置和尺度，比如砂眼，如果大于2mm或者其出现在冒顶以及冒顶与板面连接处，也必须报废；还有粘砂和多肉也是，如果是尺寸大于2*2mm或是分布在冒顶与板面连接处，也须报废。所以本发明用到了激光相机，可以通过扫描计算出制动盘的尺寸外，还能计算出缺陷的尺寸，以及通过算法定位出缺陷在制动盘上分布的位置，最后系统再对制动盘是否报废作出综合的评估。

以下具体实施例结合制动盘的外观检测和尺寸测量阐述本申请技术方案：

常见的制动盘结构如图4所示，本实施例中，视觉系统包括第一视觉系统和第二视觉系统，所述的第一视觉系统包括用于放置待测制动盘并可旋转的检测台1，用于在待测制动盘旋转过程中完成制动盘w面、x面和侧面取相的第一相机组件2；

所述的第二视觉系统包括用于将待测制动盘从检测台1上取下并完成旋转的多轴机械手3，用于在待测制动盘旋转过程中完成制动盘u面、v面和y面取相的第二相机组件4。

检测系统还包括进料辊道9、检测通道、直通通道和龙门机械手11，所述的检测通道与直通通道并排设置于进料辊道9和原辊道12之间，所述的第一视觉系统（设于检测工位1）和第二视觉系统（设于检测工位2）依次设置于所述的检测通道内，所述的直通通道内设有直通辊道10；所述的龙门机械手11设置于所述检测台1的上方，用于将进料辊道9上的待测制动盘转移至所述的检测台1上。

检测通道与直通通道之间可切换，当检测系统需要检修、维护时，可切换至直通通道输运工件，不影响正常生产。

制动盘的外观检测和尺寸测量过程：通过龙门机械手11将待测制动盘置于第一视觉系统下，通过检测台1带动制动盘旋转的同时，第一相机组件2对制动盘进行取相，第一相机组件2将采集到的数据传送至检测主机，此时系统完成对制动盘w面、x面和制动盘侧面的检测与分类，同时计算测量得到制动盘的直径（半径）、各板面厚度等外观尺寸信息。

然后，利用多轴机械手3将制动盘提起（或翻转）并旋转制动盘，在第二相机组件4的作用下进行旋转取相，并将采集到的数据传送至检测主机，此时系统完成对制动盘的u面、v面和y面等的检测与分类，同时计算测量得到制动盘内径等尺寸信息。

最后，将得到的检测信息和测量信息进行综合分析，并将分析结果传送至相应的运动控制单元，运动控制单元通过多轴机械手3的运动完成对制动盘的分选，若制动盘无缺陷，则置于原辊道12上传送至下一工序，若制动盘存在缺陷且缺陷类型属于无法修补的类型，则多轴机械手3将制动盘置于废品料斗8，若制动盘缺陷类型属于可修补的类型，则多轴机械手3将其置于返修品料斗7。

如图5和图6所示，所述的第一相机组件2和第二相机组件4均由激光相机5和线阵相机6呈l形阵列分布构成，l形分布是为了能够清晰完整地拍摄到制动盘各个面及各面连接处。线阵相机6也可由高精度工业相机代替实现。

如有必要，第一相机组件2和第二相机组件4可配套光源系统使用，目的在于提升取相清晰度。

另外，所述的第一相机组件2和第二相机组件4也可采用高精度双目结构光相机，但是相对成本较高，且扫描成像速率无法满足现场生产需要，因为双目结构光是利用结构光（比如条纹状光）排列变换打光，再拼接成像，所以扫描拍照成像的过程比较耗时。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。