一种装配式预制构件的工装缺陷检测系统

1.本发明涉及建筑工业领域，特别是涉及一种装配式预制构件的工装缺陷检测系统。


背景技术：

2.装配式建筑是建筑业发展的一个重要方向，装配式建筑是在工厂内预先对各类型的建筑构件进行加工，然后运输到建设工地现场通过可靠的连接装配而成的建筑。相对现有的现浇结构建筑而言，具有可规模化生产，建设速度快、建造成本低的优点。
3.其中，建筑预制构件的质量控制是保障装配式建筑质量的核心。任何一块预制构件中的瑕疵都可能对最终的建筑质量产生不可避免的影响，进而为整个建筑工程带来难以估量的损失。预制构件中通常会预留大量用于装配安装的各类工装，对这些工装的参数检测是预制构件质量检测的重要内容，如果预制构件上的工装的数量或位置与设计不符，可能会产生高昂的维修成本，甚至会直接导致预制构件报废，给企业造成较大的损失。
4.在一个工业化的建筑用预制构件生产车间中，往往会生产根据订单需要生成多个不同类型的预制构件。为了降低成本，现有的生产企业一般采取多种构配件在同一生产线上转换生产的模式进行生产。在生产中，不同产品的技术类别繁多，操作工艺差别大，指标体系复杂。且现有的预制构件的体积大、类型多，且结构复杂；这给预制构件质量检测自动化、智能化技术方案的设计带来了极大困难。现有的自动化检测方法在处理建筑预制构件中工装检测的问题时大都举步维艰，检测结果的准确度往往难以达到要求，甚至需要人工进行复核。
5.基于上述原因，大量企业任然在采用人工检测的方式完成预制构件中工装质量的检查；人工检测的效率低，而且还会影响生产工序的进度。同时，对于事后检查出的质量问题，如果无法及时和前端的生产工序形成快速反馈，还可能会导致大批量报废产品的生成，这些都会给企业了带来较大的损失。只有设计一套实现在线检测方法并与生产工序形成反馈，才能提升企业进行规模化生产的能力，但是现有的各类型检测方法均达不到相关技术指标要求。
6.此外，一些普通的纯机器视觉的缺陷检测方法也逐渐在线上工装缺陷实时检测的场景下进行试验和应用。但是这类方法仍然存在识别效果的准确度不足，实时性差；处理的数据量极大，对硬件要求较高的问题。


技术实现要素：

7.基于此，有必要针对现有技术中预制构件人工质量检测效率低，自动化检测方法的检测效果不足，检测精度和实时性较差，难以满足在线检测要求的问题；提供一种装配式预制构件的工装缺陷检测系统。
8.本发明的一种装配式预制构件的工装缺陷检测系统，主要用于检测经过一个缺陷检测区的模台上的各个模具中的预制构件的工装是否存在缺陷。模具安装在模台上表面，
且模台中的相邻模具之间存在间隙。工装缺陷检测系统包括：视频获取组件，光电感应器，类型信息识别组件，以及处理模块。
9.视频获取组件用于获取缺陷检测区内经过的对象的实时视频流数据。视频获取组件获取的视频流数据的视角为倾斜向下；视频获取组件的取景区域内包含一个目标感应区，目标感应区对应进行特征提取时各帧图像的感兴趣区。
10.光电感应器安装在缺陷检测区内，光电感应器用于获取模台运动过程中各个模具的位置。
11.类型信息识别组件安装在缺陷检测区内，类型信息识别组件用于获取到达目标检测区内的各个模具中生产的预制构件的类型信息。
12.处理模块包括位置获取单元、标准参数获取单元、视频处理单元，特征提取单元，以及特征对比单元。位置获取单元用于获取光电感应器的状态信号，进而判断出任意一个模具进/出目标感应区的时刻。标准参数获取单元用于在任意一个模具到达目标感应区时，获取类型信息识别组件识别到的该模具的类型信息，然后根据类型信息向一个服务器查询当前预制构件对应的标准参数。视频处理单元用于根据每个模具进入和离开目标感应区的时刻，提取出与各个模具关联的实时视频流数据中的相应帧；并提取出逐帧图像中对应目标感应区的部分图像作为工装检测的源图像。最后将各个模具关联的所有源图像依次输入到特征提取单元中。特征提取单元包括目标检测子单元和目标跟踪子单元；目标检测子单元用于对各个模具关联的源图像进行目标检测，提取出每张源图像中预制构件内的所有工装；目标跟踪子单元用于对所有源图像中出现的工装进行目标跟踪，并为每帧中新出现的工装依次配置一个具有全局唯一性的身份标志码，目标跟踪子单元还统计出各个模具中的工装数量和各个工装对应的位置信息。特征对比单元用于将特征提取单元提取到的工装的数量信息和位置信息与标准参数进行对比，判断二者是否完全相符，是则判断预制构件的工装无缺陷，否则判断预制构件的工装存在缺陷。
13.作为本发明进一步地改进，视频获取组件包括安装架、摄像头和补光灯；安装架位于缺陷检测区前侧；摄像头和补光灯固定在安装架上，并位于缺陷检测区的上方；摄像头取景方向的俯角小于90
°
。
14.作为本发明进一步地改进，目标感应区的长度与视频流中视频帧的长度相等，目标感应区的宽度的像素值w
a
采用如下公式计算：
[0015][0016]
上式中，w
v
为视频帧的宽度像素值，t
max
为工装停留在视频内的最大时间，f
max
为视频实时处理时候的平均帧率，f
min
为工装中心点停留在感应区的最少帧数。
[0017]
作为本发明进一步地改进，光电感应器包括激光发射器和激光接收器，激光发射器和激光接收器分别安装在模台的运动路径的两侧，二者的连线方向垂直于模台的运动方向，并与目标感应区的前沿重合；光电感应器的安装位置还满足：当模台中的各个模具与光电感应器的位置重合，光电感应器被遮挡；当模台上未安装模具的位置与光电感应器的位置重合时，光电感应器未被遮挡。定义光电感应器被遮挡时的状态信号为“0”，未遮挡时的状态信号为“1”。
[0018]
作为本发明进一步地改进，考虑到目标感应区的前沿与缺陷检测区内安装的光电
感应器的连线方向重合；则判断模具进/出目标感应区的时刻的方法如下：(1)光电感应器的状态信号从1变为0时判断某个当前模具正进入目标感应区；(2)光电感应器的状态信号从0变为1时判断当前模具正离开目标感应区。处理模块根据模具进出目标感应区的时刻，确定输入到特征提取单元中进行特征提取的各帧图像的开始帧和结束帧。
[0019]
作为本发明进一步地改进，类型信息识别组件包括rfid芯片和rfid读卡器；rfid芯片安装在各个模具中对应模台运动路径一侧的外表面。rfid芯片中存储有对应的模具中生产的预制构件的类型信息。rfid读卡器安装在缺陷检测区内，并满足模台经过缺陷检测区时，至少有一个时刻rfid芯片和rfid读卡器位置接近，使得二者之间可实现数据读取。
[0020]
作为本发明进一步地改进，模具的侧面设置用于安装rfid芯片的卡槽，卡槽处设置可开合的盖板，盖板采用树脂材料制备而成。
[0021]
作为本发明进一步地改进，目标检测子单元中采用经过训练的基于yolo v5的网络模型对预制构件中的工装进行检测。目标跟踪子单元采用基于sort算法的网络模型对目标检测子单元中提取出的各个工装进行跟踪，确定每帧图像中提取出的工装与前帧图像中的工装之间的关联性，进而统计出预制构件中工装的数量信息和位置信息。
[0022]
作为本发明进一步地改进，目标检测子单元中网络模型的训练、验证和测试过程具体如下：
[0023]
(1)获取符合拍摄角度要求的各类不同类型的预制工装的原始图像，并对原始图像进行预处理；得到保留预制构件完整结构的所有清晰图像，各个所述清晰图像构成原始数据集。
[0024]
(2)对原始数据集中的图像进行人工标注，标注的对象为预制构件及其表面的工装，标注的标记信息包括：预制构件的类型信息、预制构件中工装的数量信息和位置信息。同时保存图像及其对应的标记信息得到新的数据集，并按照8:1:1的数据比例将新的数据集随机分为训练集、验证集和测试集。
[0025]
(3)利用训练集对网络模型进行多轮次训练，并在每一轮次训练结束后，通过验证集对网络模型进行验证，分别得到网络模型在训练阶段和验证阶段的损失值。当各轮次中训练集得出的损失值降低，且验证集得出的损失值升高后，停止训练过程；并保存训练阶段得出损失值排名前五的网络模型。
[0026]
(4)利用测试集对保存的五个所述网络模型进行测试，然后将测试结果中map值最高的网络模型作为最终执行工装信息提取任务的网络模型。
[0027]
作为本发明进一步地改进，工装缺陷检测系统还包括一个报警器，报警器与处理模块电连接；处理模块还用于在检测出某个预制构件存在工装缺陷时，向模台的运动控制器发出一个停止运行的控制指令，并控制报警器发出一个表征工装缺陷的警报信号。
[0028]
本发明提供的一种装配式预制构件的工装缺陷检测系统，具有如下有益效果：
[0029]
1、本发明中的工装缺陷检测系统对图像处理的硬件的性能要求较低，系统的实时性好，能够实现在线上对预制构件的工装质量进行检测，进而与现有的生产线相适应，实现不停机生产和不停机检测。
[0030]
2、本发明提供的工装缺陷检测系统中分别采用基于yolo v5的网络模型作为目标检测网络，并采用sort网络模型作为目标跟踪网络，可以实现逐帧图像的特征提取和目标跟踪效果；从而更加精准的获取各个预制构件中工装的数量信息和位置信息。此外，本发明
还通过合理安装补光灯，并调整摄像头的安装位置；使得获取的图像中工装能够从背景中突出出来，进一步提高工装的识别准确率。
[0031]
3、本发明在图像处理过程中设置了一个目标感应区，并以此作为各帧图像中的图像处理区域，从而提升了了本发明的系统在处理工装提取问题中的准确度；克服了该系统在高分辨图像中泛化性能不足的缺陷。同时降低了处理单元的计算压力，保障了的系统的实时性。
[0032]
4、本发明中结合视频中目标感应区的位置，对光电感应器、rfid芯片和rfid读卡器的安装位置进行优化。进而使得系统可以不依赖图像处理就可以及时获取各个预制构件的准确位置，并能有针对性地获取各个预制构件的类型信息。这进一步降低了系统的数据处理压力，保障了系统的实时性。
[0033]
5、本发明还可以在检测到生产线上的预制构件产品存在工装缺陷时，及时发出警报，并停止产线的运行，从而降低产品的缺陷率和企业的生产损失。
附图说明
[0034]
图1为本发明实施例1中一种装配式预制构件的工装缺陷检测系统的结构示意图；
[0035]
图2为本发明实施例1中一种装配式预制构件的工装缺陷检测系统的系统拓扑图；
[0036]
图3为本发明实施例1的处理模块的模块示意图；
[0037]
图4为本发明实施例1的特征提取单元的模块示意图；
[0038]
图5为本发明实施例1的对数据集中图像进行工装人工标注的图片示例；
[0039]
图6为本发明实施例1的yolo v5网络模型的基础架构图；
[0040]
图7为本发明实施例1中测试样本1中工装目标检测结果；
[0041]
图8为本发明实施例1中测试样本2中工装目标检测结果；
[0042]
图9为本发明实施例1中测试样本3中工装目标检测结果；
[0043]
图10为本发明实施例1中测试样本4中工装目标检测结果；
[0044]
图11为本发明实施例1中测试样本5中工装目标检测结果；
[0045]
图12为本发明实施例1中测试样本6中工装目标检测结果；
[0046]
图13为本发明实施例2中提供的一种装配式预制构件中工装缺失的在线检测方法的步骤流程图；
[0047]
图14为本发明实施例2中目标检测网络完成训练、验证和测试过程的流程图；
[0048]
图15为本发明实施例2中目标检测网络进行工装提取的处理过程的流程图。
[0049]
图中标记为：1、视频获取组件；2、光电感应器；3、类型信息识别组件；4、处理模块；5、模台；6、预制构件；7、报警器；11、安装架；12、摄像头；13、补光灯；21、激光发射器；22、激光接收器；31、rfid芯片；32、rfid读卡器；41、位置获取单元；42、标准参数获取单元；43、视频处理单元；44、特征提取单元；45、特征对比单元；51、模具；61、工装；441目标检测子单元；442、目标跟踪子单元。
具体实施方式
[0050]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0051]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“或/及”包括一个或多个相关的所列项目的任意的和所有的组合。
[0052]
实施例1
[0053]
本实施例提供一种装配式预制构件6的工装61缺陷检测系统，该系统主要用于检测经过一个缺陷检测区的模台5上的各个模具51中的预制构件6的工装61是否存在缺陷。
[0054]
如图1和2所示，本实施例中的模台5是一个底部设有运动组件的平台，模具51安装在模台5的上表面，且模台5中的相邻模具51之间存在间隙，各个模具51的尺寸规格不一，模具51的高度也具有差异。运动组件会驱动模台5及其上的模具51随着生产线运动，模台5运动过程，模具51中完成生产的预制构件6会经过缺陷检测区，并在该区域内完成工装61缺陷检测过程。
[0055]
工装61缺陷检测系统包括：视频获取组件1，光电感应器2，类型信息识别组件3，以及处理模块4。
[0056]
在本实施例中，视频获取组件1包括安装架11、摄像头12和补光灯13。安装架11位于缺陷检测区前侧；摄像头12和补光灯13固定在安装架11上，并位于缺陷检测区的上方；摄像头12取景方向的俯角小于90
°
。本实施例中的安装架11采用龙门架式的结构，并间摄像头12和补光灯13固定在安装架11顶部的横杆上；摄像头12采用倾斜向下的俯拍方式完成取景。模台5在运动过程中穿过安装架11，并从安装摄像头12和补光灯13的区域离开，摄像头12完成对模台5整体的取像过程。摄像头12拍摄经过安装架11的模台5时，既可以从模台5的正前方完成拍摄，也可以从模台5的两侧完成拍摄；或者在模台5的其它角度完成拍摄。只需要满足两个条件即可：(1)采用倾斜而非垂直向下的角度进行取景，这可以保证获取的图像中工装61的结构和预制构件6表面能够被清除地区分出来。(2)调整摄像头12取景时相对模台5的沿水平方向的环绕角度，找到能够使得各个预制构件6中工装61之间能够达到最小重叠度的最佳取景角度。
[0057]
本实施例中的补光灯13主要是为了克服缺陷检测区内的光线不足影响到取像的质量，进而降低工装61检测精度的问题。本实施例中的补光灯13安装的安装架11的横杆下方，在其它实施例中为了进一步提升照明效果，还可以在其它区域内部署更多数量的补光灯13，使得在取像过程中模台5上各个区域的亮度保持一致，且不会出现局部反光的问题。
[0058]
视频获取组件1用于获取缺陷检测区内经过的对象(即模台5)的实时视频流数据。视频获取组件1获取的视频流数据的视角为倾斜向下；视频获取组件1的取景区域内包含一个目标感应区，目标感应区对应进行特征提取时各帧图像的感兴趣区。目标感应区的长度与视频流中视频帧的长度相等，目标感应区的宽度的像素值w
a
采用如下公式计算：
[0059][0060]
上式中，w
v
为视频帧的宽度像素值，t
max
为工装61停留在视频内的最大时间，f
max
为视频实时处理时候的平均帧率，f
min
为工装61中心点停留在感应区的最少帧数。
[0061]
需要说明的是：目标感应区并非是实体的区域，而是指视频流中对应的一个虚拟的区域，在该区域内，可以通过网络模型完成对视频流的各帧图像内某个特定对象(即工装61)的特征信息进行提取，对应图像处理中的感兴趣区。虽然目标感应区并非一个实体区域，但是该区域通常在视频流数据中又是相对固定的，它对应着缺陷检测区内的一个真实的位置。即：当某些对象移动到缺陷检测区的特定位置时，在实时视频流数据中，该对象也进入到目标感应区。
[0062]
光电感应器2安装在缺陷检测区内，光电感应器2用于获取模台5运动过程中各个模具51的位置。本实施例中，光电感应器2包括激光发射器21和激光接收器22，激光发射器21和激光接收器22分别安装在模台5的运动路径的两侧，二者的连线方向垂直于模台5的运动方向，并与目标感应区的前沿重合。光电感应器2的安装位置还满足：当模台5中的各个模具51与光电感应器2的位置重合，光电感应器2被遮挡；当模台5上未安装模具51的位置与光电感应器2的位置重合时，光电感应器2未被遮挡。定义光电感应器2被遮挡时的状态信号为“0”，未遮挡时的状态信号为“1”。
[0063]
本实施例中的光电感应器2为一组激光发射器21和接收器，二者在常规状态下是相互感应的，即此时的状态信号为1。其中光电感应器2的安装高度设置为高于模台5上表面，且低于高度最低的模具51的上表面的位置。在这种情况下，模台5本身并不会对光电感应器2造成遮挡，而所有不同高度的模具51均会对光电传感器造成遮挡。
[0064]
在上述情况下，当模台5移动到缺陷检测区后，模台5上的第一个模具51的前侧会首先对光电感应器2产生遮挡，这时确定该模具51已达到。当第一个模具51经过缺陷感应区时这种遮挡状态会持续，直到第一模具51的后侧与光电感应器2的位置重合，接下来光电感应器2的遮挡状态结束，此时判定第一个模具51已完全离开缺陷检测区。模台5上的第二个以及任意后续的模具51在运动过程中均会经过与前述相同的过程，采用相同的方法可以判断各个模具51的实际位置。
[0065]
为了适应在后续过程对获取的视频流数据中的各帧图像进行处理，本实施例将光电感应器2安装在对应目标感应区前沿的位置上。考虑到目标感应区的前沿与缺陷检测区内安装的光电感应器2的连线方向重合；则本实施例中判断模具51进/出目标感应区的时刻的方法如下：(1)光电感应器2的状态信号从1变为0时判断某个当前模具51正进入目标感应区；(2)光电感应器2的状态信号从0变为1时判断当前模具51正离开目标感应区。因此，根据模具51进出目标感应区的时刻，可以确定输入到网络模型中进行特征提取的各帧图像的开始帧和结束帧。
[0066]
本实施例中，在判定预制构件6中的工装61是否存在缺陷时，还需要获取各个预制构件6的类型信息及其标准参数。这部分工作内容通过类型信息识别组件3完成。在本实施例中，类型信息识别组件3安装在缺陷检测区内，类型信息识别组件3用于获取到达目标检测区内的各个模具51中生产的预制构件6的类型信息。类型信息识别组件3包括rfid芯片31和rfid读卡器32；rfid芯片31安装在各个模具51中对应模台5运动路径一侧的外表面。rfid芯片31中存储有对应的模具51中生产的预制构件6的类型信息。rfid读卡器32安装在缺陷检测区内，并满足模台5经过缺陷检测区时，至少有一个时刻rfid芯片31和rfid读卡器32位置接近，使得二者之间可实现数据读取。
[0067]
为了使得本实施中的rfid读卡器32可以在模具51进入到目标感应器的第一时间
获取到rfid芯片31中的数据，本实施例对rfid芯片31和rfid读卡器32的位置进行调整。使得当某个模具51的前侧与目标感应器的前沿重合(即被光电感应器2探测到)时，rfid芯片31和rfid读卡器32也恰好处于可实现数据传输的感应状态。这样可以保证用于判断预制构件6是否合格的参考数据能够在第一时间被获取，进而为后期的数据比对奠定基础，提升该系统在处理工装61缺陷检测问题时的实时性。
[0068]
本实施例中，模具51的侧面设置用于安装rfid芯片31的卡槽，卡槽处设置可开合的盖板，盖板采用树脂材料制备而成。卡槽和盖板可以对rfid芯片31起到防护效果，避免芯片在使用过程中与外界物体产生物理接触而失效。同时可开合的设计便于对芯片进行更换，同时采用树脂材料作为盖板能够避免rfid通信过程被干扰。
[0069]
如图3所示，处理模块4包括位置获取单元41、标准参数获取单元42、视频处理单元43，特征提取单元44，以及特征对比单元45。
[0070]
其中，位置获取单元41用于获取光电感应器2的状态信号，进而判断出任意一个模具51进/出目标感应区的时刻。
[0071]
标准参数获取单元42用于在任意一个模具51到达目标感应区时，获取类型信息识别组件3识别到的该模具51的类型信息，然后根据类型信息向一个服务器查询当前预制构件6对应的标准参数。在本实施例中，云服务器预先存储有生产线上待生产的所有型号的预制构件6的bim模型。当生产线开始试生产并执行质量检测时，云服务器会判断接收到的每个类型的预制构件6是否为首件，如果是首件，除了返回该类型预制构件6的标准参数之外，还会请求获取该类型的预制构件6在满足误差要求状态下的各项参数的实测值。并在保存合格产品的各项参数的实测值之后，以该值替代bim模型中的数据作为后续的标准参数。
[0072]
本实施例中的视频处理单元43用于根据每个模具51进入和离开目标感应区的时刻，提取出与各个模具51关联的实时视频流数据中的相应帧；并提取出逐帧图像中对应目标感应区的部分图像作为工装61检测的源图像。最后将各个模具51关联的所有源图像依次输入到特征提取单元44中。
[0073]
本实施例中的视频处理单元43支持在线检测和离线检测两种模式。对于在线检测模式，视频处理单元43先确定某个模具51进入目标感应区的时刻，然后获取视频中该帧图像用于进行工装61检测，并持续获取后续帧，直到检测到模具51离开目标感应区。而在离线检测模式下，视频处理单元43会记录下某个模具51进/出目标感应区的时刻。然后从实时视频中剪切出相应的视频片段，并根据剪切出的视频片段的逐帧图像进行工装61检测。
[0074]
如图4所示，特征提取单元44包括目标检测子单元441和目标跟踪子单元442；目标检测子单元441用于对各个模具51关联的源图像进行目标检测，提取出每张源图像中预制构件6内的所有工装61；目标跟踪子单元442用于对所有源图像中出现的工装61进行目标跟踪，并为每帧中新出现的工装61依次配置一个具有全局唯一性的身份标志码，目标跟踪子单元442还统计出各个模具51中的工装61数量和各个工装61对应的位置信息。特征对比单元45用于将特征提取单元44提取到的工装61的数量信息和位置信息与标准参数进行对比，判断二者是否完全相符，是则判断预制构件6的工装61无缺陷，否则判断预制构件6的工装61存在缺陷。
[0075]
需要特别说明的是，本实施例中并非采用实时视频中完整的逐帧图像作为特征提取单元44的输入的，而是采用逐帧图像中对应的目标感应区中的部分图像作为特征提取单
元44的输入。采用这种方式的原因在于：工装61缺陷检测系统中的摄像头12主要是工业相机，工业相机的分辨率通常较高，取景范围也相对较大。在这种情况下，视频的各帧图像的数据量往往较大，这会给特征提取单元44的处理过程带来压力，影响到系统处理过程中的实时性。同时，本实施例中的特征提取单元44对高分辨率图像的泛化能力不足，在对较大范围内的高分辨图像进行处理时，会首先对图像进行resize处理，这会导致图像失真，影响到目标提取的精度。
[0076]
本实施例通过目标感应区的设置解决了这一问题，本实施例中的目标感应区是特征提取单元44中输入的最佳的感兴趣区，保持该图像尺寸，能够获得最佳的识别效果和速率。同时考虑到工业相机具有较高的帧率，本实施例中设置的目标感应区也不会导致在逐帧图像中出现目标丢失的情况。因为帧率足够高，在某帧图像中位于目标感应区之外的部分，一定会在其余帧中出现在目标感应区内，因此不会对后续的目标检测和目标跟踪过程造成干扰。
[0077]
具体的，本实施例中的目标检测子单元441中采用经过训练的基于yolo v5的网络模型对预制构件6中的工装61进行检测。目标跟踪子单元442采用基于sort算法的网络模型对目标检测子单元441中提取出的各个工装61进行跟踪，确定每帧图像中提取出的工装61与前帧图像中的工装61之间的关联性，进而统计出预制构件6中工装61的数量信息和位置信息。其中，工装61的数量信息可以通过统计方法得到，而工装61位置信息可以根据各个工装61在图像中的对应的像素位置计算得到。同时考虑到光电感应器2的位置和目标感应区的前沿重合，工装61的位置信息还可以结合模台5的运动速度和光电感应器2(目标感应区前沿)压到相应工装61的时刻进行计算，从而对基于像素位置得出的计算结果进行修正。
[0078]
其中，目标检测子单元441中网络模型的训练、验证和测试过程具体如下：
[0079]
(1)获取符合拍摄角度要求的各类不同类型的预制工装61的原始图像，并对原始图像进行预处理；得到保留预制构件6完整结构的所有清晰图像，各个所述清晰图像构成原始数据集。训练阶段使用的数据集中的图像应当和实际检测过程中系统获取的视频/图像的拍摄角度一致，这样才可以保持最好的训练效果。
[0080]
(2)对原始数据集中的图像进行人工标注，标注的对象为预制构件6及其表面的工装61，标注的标记信息包括：预制构件6的类型信息、预制构件6中工装61的数量信息和位置信息。同时保存图像及其对应的标记信息得到新的数据集，并按照8:1:1的数据比例将新的数据集随机分为训练集、验证集和测试集。
[0081]
(3)利用训练集对网络模型进行多轮次训练，并在每一轮次训练结束后，通过验证集对网络模型进行验证，分别得到网络模型在训练阶段和验证阶段的损失值。当各轮次中训练集得出的损失值降低，且验证集得出的损失值升高后，停止训练过程；并保存训练阶段得出损失值排名前五的网络模型。
[0082]
(4)利用测试集对保存的五个所述网络模型进行测试，然后将测试结果中map值最高的网络模型作为最终执行工装61信息提取任务的网络模型。
[0083]
在本实施例中，工装61缺陷检测系统还包括一个报警器7，报警器7与处理模块4电连接；处理模块4还用于在检测出某个预制构件6存在工装61缺陷时，向模台5的运动控制器发出一个停止运行的控制指令，并控制报警器7发出一个表征工装61缺陷的警报信号。
[0084]
为了验证本实施例提供的工装61缺陷检测系统的有效性，本实施例采用试验方法
对目标检测子单元441中网络模型的性能进行验证，具体的试验过程包括：数据采集、数据预处理、目标检测模型搭建、模型训练和模型测试与分析五个步骤。
[0085]
1、数据采集
[0086]
本实验所需数据采用人工拍摄的方式完成采集，共包括800张原始图像，图像的分辨率为3024*4032，以上数据构成本实施例中的原始数据集。
[0087]
2、数据预处理
[0088]
(1)数据清洗
[0089]
将原始数据集中的模糊、重影、图像质量较差的图像清除，清除后剩余736张图像。
[0090]
(2)数据集划分
[0091]
将原始数据集划分为训练集、验证集和测试集。训练集包含590张图像，验证集包含73张图像，测试集包含73张图像。
[0092]
(3)图像压缩
[0093]
原始图像的分辨率超高，其所占数据空间过大，且包含的噪音过多，不利于模型的训练，因此对原始图像进行压缩，压缩后的图像分辨率为416*416。
[0094]
(4)人工标注数据集
[0095]
如图5所示，对上步骤处理好的数据集中的图像进行人工标注，标注对象为图像中出现的所示工装61，工装61分为两类，分别为pillar和fixedpillar，前者指预制构件的图像中出现的各个柱状的连接工装61，后者指预制构件中的两个结构较大的把手状的固定工装61，在本实施例的数据集中，这两种目标的个数共有5183个，其中pillar有4630个，fixedpillar有553个。
[0096]
3、目标检测模型搭建
[0097]
本实施例中搭建了yolo v5目标检测模型，其网络架构图如图6所示。
[0098]
4、模型训练
[0099]
使用基于coco数据集的预训练模型，加速训练过程，同时载入事先准备好的训练集进行训练，训练过程中的期数epoch设置为50。
[0100]
5、模型测试与分析
[0101]
本实施例中设置了六个测试样本进行测试，其中，测试样本1的图像分辨率为776*734，该图像中的预制构件6中含有14个工装61。测试样本2的图像分辨率为855*844，该图像中的预制构件6中含有16个工装61。测试样本3的图像分辨率为1743*363，该图像中的预制构件6中含有17个工装61。测试样本4的图像分辨率为990*550，该图像中的预制构件6中含有13个工装61。测试样本5的图像分辨率为1033*349，该图像中的预制构件6中含有17个工装61。测试样本6的图像分辨率为1647*460。其中，测试样本4为测试样本3的局部图像。
[0102]
各个测试样本经本实施例中的网络模型识别后的结果如图7
‑
12所示。分析上述试验结果发现：
[0103]
(1)测试样本1和2的检测效果较好，其中包含的所有工装61均被完整识别出来。可见本实施例中的目标检测模型的性能较好。
[0104]
(2)测试样本3中存在漏检，而将其中的部分区域(即测试样本4)截取出来，却有着较好的检测效果。出现这一现象的原因在于：图像的分辨率过大时，模型会对测试图像进行resize预处理，将图像分辨率调整为416*416，进而导致图像失真。即本实施例提供的目标
检测模型对高分辨率的图像的泛化效果较差。同时，这也说明本实施例提供的方法中设置“目标感应区”来作为实际的目标检测模型的处理区域；是一个非常正确的选择，该方法无需对图像进行裁剪，(图像裁剪和处理会进一步提高网络模型处理的数据量，降低网络模型的实时性)，而且通过这种处理方法除了能够提高检测方法的处理速率和实时性之外，还可以在一定程度提高该方法的检测精度。
[0105]
(3)测试样本5存在误检现象。其中，误将预制构件6表面的反光部分识别为目标工装61。这说明在本实施例提供的方法对图像的质量仍具有一定的依赖，因此应当尽量提高获取的预制构件6的视频或图像的质量。具体包括使用更高性能的工业相机，以及为工业相机的取景区域提供更高的光线效果。例如在缺陷检测区的多个角度使用补光灯13，以减少局部反光现象或阴影的产生。
[0106]
(4)测试样本6存在漏检现象。其中，两个重叠度很高的目标工装61只检测出一个。该结果反映本实施例中提供的网络模型对于重叠度较高的目标的检测效果仍有待提升。在本实施例中或其它实施例中，可以通过改变相机的安装位置，使得获取的图像中各个工装61之间尽量不发生较为严重的重叠现象。
[0107]
对本验证试验中基于yolo v5网络的目标检测模型对pillar和fixedpillar目标的检测准确率进行统计，并计算出平均准确度map的数据如下：
[0108]
表1：本实施例中目标检测模型的检测精度
[0109]
类型ap(pillar)ap(fixedpillar)map结果99.3％98.3％98.8％
[0110]
由上标可见，本实施例提供的方法中的网络模型对不同类型的目标的检测精度均超过98％，因此具有很高的实用价值，可以进行推广应用。
[0111]
此外，在硬件设备性能允许的前提下，本实施例或其它实施例中还可以设置多组相机进行取景，然后针对不同角度的图像进行识别，将不同视角下的识别结果进行加权融合处理，以获取更准确的工装61数量信息。消除工装61重叠问题对检测精度的影响。
[0112]
实施例2
[0113]
本实施例提供一种装配式预制构件6中工装61缺失的在线检测方法，该方法应用于实施例1中的一种装配式预制构件6的工装61缺陷检测系统中；用于在生产线的模台5上，实时检测模具51内加工的预制构件6中的工装61是否符合要求。
[0114]
如图13所示，本实施例中提供的实时在线检测方法包括如下步骤：
[0115]
s1：构建一个基于实时视频的工装61检测网络；工装61检测网络包括目标检测网络和目标跟踪网络，二者分别用于对拍摄的预制构件6的实时视频进行目标检测和目标跟踪处理，得到预制构件6中的工装61的数量信息和位置信息。
[0116]
本实施例要解决的是在运行的流水线上对运动的模台5上的预制构件6的进行性能检测的问。因此需要构件建一个能够基于视频流数据对模台5上经过的预制构件6中的工装61进行特征提取的网络模型。本实施例将提取预制构件6中工装61的问题分为两个部分的内容，第一部分为提取各视频帧出现的所有工装61；第二个部分是对不同帧中出现的工装61进行目标跟踪，从而区分当前帧中的工装61与上一帧中的工装61是否为同一个，否则为新增的工装61分配一个具有全局唯一性的身份标志码；进而统计出一个预制构件6中所有工装61的准确数量和位置。以上两部分工作内容则需要分别通过目标检测网络和目标跟
踪网络来实现。
[0117]
具体地，在本实施例中，目标检测网络选择基于yolo v5的网络模型。目标跟踪网络选择基于sort算法的网络模型；sort算法是一个多目标跟踪算法，本实施例使用其作为跟踪预制构件6中各个工装61的网络模型。考虑到目标感应区域的大小和模台5的运动速度之间的匹配关系，本实施例中调整目标跟踪网络的目标跟踪生命周期参数值为1
‑
5。
[0118]
本实施例中采用的yolo v5的网络模型是一种基于计算机视觉的经典的目标检测网络，本实施例中基于该网络来构建识别预制构件6中各个工装61的目标检测网络的基础模型架构。并通过与实际视频流数据中相同拍摄角度和质量的真实图像来完成网络模型的训练、测试和验证过程。
[0119]
在本实施例中，如图14所示，目标检测网络的训练、验证和测试过程具体如下：
[0120]
(1)获取符合拍摄角度要求的各类不同类型的预制工装61的原始图像，并对原始图像进行预处理；得到保留预制构件6完整结构的所有清晰图像，各个清晰图像构成原始数据集。
[0121]
对原始数据集中的图像的要求如下：
[0122]
a.采集到的图像应当和后期获取的流水线的视频流数据中的拍摄角度相同。这样可以保证训练阶段的训练集合实际处理过程的数据中的对象一致，进而保证网络模型的训练效果。
[0123]
b.获取的实时视频或原始数据集中的图像的拍摄视角满足俯角小于90
°
，且拍摄设备的安装位置包含沿模台5运动方向的正前方或两侧。本实施例中，需要提取出预制构件6中的各个工装61，而工装61在突出于预制构件6上表面的各个金属构件，主要金属螺栓类构件，这些构件在倾斜向下的角度上可以清晰分辨，而在竖直向下的角度将变得难以辨认，本实施例中拍摄的俯角优选为30
‑
60
°
。同时采集图像的设备的安装位置最好应能使得预制件中的各个工装61在该角度下尽量无重叠。
[0124]
c.图像应保持清晰和完整。可以将采集到的图像中出现模糊、噪点严重、重影、光线条件差和过曝的图像去除。同时对图像进行裁剪，以尽可能保留预制构件6的完整结构，且去除预制构件6之外的背景。从而降低无关对象对网络模型训练造成的干扰。
[0125]
d.作为样本的图像中反映各个预制构件6的图像，应与该预制构件6在实际产线上出现的频率相适应。即某个型号的预制构件6的生产越频繁，则应该加大该预制构件6在原始数据集中的样本数量。
[0126]
(2)对原始数据集中的图像进行人工标注，标注的对象为预制构件6及其表面的工装61，标注的标记信息包括：预制构件6的类型信息、预制构件6中工装61的数量信息和位置信息。同时保存图像及其对应的标记信息得到新的数据集，并按照8:1:1的数据比例将新的数据集随机分为训练集、验证集和测试集。
[0127]
(3)利用训练集对构建的目标检测网络进行多轮次训练，并在每一轮次训练结束后，通过验证集对目标检测网络进行验证，分别得到目标检测网络在训练阶段和验证阶段的损失值；当各轮次中训练集得出的损失值降低且验证集得出的损失值升高后，停止训练过程；并保存训练阶段得出的损失值排名前五的五个网络模型。
[0128]
(4)利用测试集对保存的五个网络模型进行测试，然后将测试结果中map值最高的网络模型作为最终的目标检测网络。
[0129]
s2：获取沿倾斜向下的固定视角拍摄的载有预制构件6的模台5运动状态的实时视频；定义各个预制构件6中对应运动去向的一侧为前侧，对应运动来向的一侧为后侧。获取的实时视频的拍摄角度与前述训练集中样本图像的拍摄角度一致，二者可以是在试验生产阶段和实际生产阶段获取的各个不同的真实的预制构件6图像。这一类图像和视频通常是通过高分辨率、高帧率的工业相机获取到的。
[0130]
s3：设置一个执行在线检测的矩形的目标感应区；定义目标感应区中对应模台5运动去向的一侧为目标感应区的前沿；对应模台5运动方向来向的一侧为目标感应区的后沿。
[0131]
通常来说，获取的用于进行目标检测和目标跟踪的样本数据是通过工业相机拍摄的，该相机的拍摄范围较大，可能会同时包含模台5上多个不同预制构件6的模具51。而这会给网络检测模型和网络跟踪模型的处理过程带来难度，网络模型可能会无法准确区分出不同的预制构件6，或者是因为处理数据的规模较大影响特征提取结果的准确性和实时性。为了解决这样的问题，本实施例在获取实时视频中引入了一个目标感应区的概念。
[0132]
目标感应区为虚拟区域，目标感应区对应实际检测场地中模台5经过的一个真实的缺陷检测区，实时视频中的固定视角拍摄的部分区域即为缺陷检测区的区域；缺陷检测区的范围至少包括目标感应区的全部区域。在模台5搭载各个预制构件6向前移动的过程中，这些预制构件6会依次经过目标感应区，同时目标检测网络和目标跟踪网络中的样本也仅仅是各个视频帧中对应的目标感应区的部分图像。
[0133]
通过上述陈述可以发现，目标感应区的设置与该在线检测方法的性能有着很大的相关性。目标感应区过小可能导致预制构件6中的工装61由于移动过快而无法被捕捉，发生漏检现象。而目标感应区过大又会因为目标过多导致发生相互干扰，难以有效分辨各个对象。同时需要考虑到目标感应区越大，在处理过程中的数据量也越大；这还会给硬件的数据处理过程带来压力，影响到预制构件6中工装61检测的实时性。
[0134]
综合上述因素，本实施例中将目标感应区的尺寸设置如下：目标感应区的长度与拍摄的实时视频的视频帧的长度相等，目标感应区的宽度的像素值w
a
采用如下公式计算：
[0135][0136]
上式中，w
v
为视频帧的宽度像素值，t
max
为工装61停留在视频内的最大时间，f
max
为视频实时处理时候的平均帧率，f
min
为工装61中心点停留在感应区的最少帧数。
[0137]
在实际应用中，目标感应区的长度通常会大于预制构件6的或模台5的宽度。即视频中不仅包括模台5或预制构件6，还应该进一步包括其两侧的区域，以保证预制构件6的所有区域均被包含且完成检测。同时目标感应区的宽度通常会小于单个预制构件6的长度；这样可以保障单个预制构件6需要足够长的时间才能从目标感应区经过，可以有效降低各帧中的图像尺寸，进而降低数据处理的压力，保障网络模型处理问题的实时性。
[0138]
s4：采用工装61检测网络对拍摄的实时视频进行目标检测和目标跟踪，依次获取实时视频中出现的各个预制构件6的类型信息，以及预制构件6中的工装61的数量信号和位置信息；如图15所示，工装61检测网络的工作方法具体包括：
[0139]
s41：判断实时视频中即将到达的预制构件6的前侧是否与目标感应区的前沿重合，是则获取当前进入目标感应区的预制构件6的类型信息，并进入下一步骤；否则继续等待。
[0140]
s42：通过目标检测网络依次对当前实时视频各帧中对应的目标感应区的部分进行目标检测，提取出目标感应区中出现的所有工装61，并记录各个工装61的位置信息。
[0141]
s43：通过目标跟踪网络对目标检测网络在各帧提取出的各个工装61进行目标跟踪，从而为各个新增的工装61分配一个具有全局唯一性的身份标志码；并将带有身份标识码的目标信息返回给目标检测网络。
[0142]
s44：判断当前执行目标检测和目标跟踪的预制构件6的后侧是否与目标感应区的前沿重合；是则统计出当前的预制构件6中所有工装61的数量信息和位置信息，并返回步骤s41等待执行下一预制构件6的的目标检测和目标跟踪过程；否则返回步骤s42继续执行当前预制构件6的目标检测和目标跟踪过程。
[0143]
其中，判断预制构件6的前侧或后侧是否与目标感应区的前沿重合的方法如下：
[0144]
(1)在缺陷检验区内安装一组光电感应器2，光电感应器2的检测方向与对应的目标感应区的前沿所在直线重合；且光电感应区的安装位置满足：当模台5上的任意一个预制构件6经过光电感应器2时，光电感应器2均会受到遮挡，其状态信号进而发生变化；定义光电感应器2未被遮挡时的状态信号为“1”，被遮挡时的状态信号为“0”。
[0145]
(2)任意一个预制构件6到达缺陷检测区之前，光电感应器2的状态信号均为1。当其中一个预制构件6进入到缺陷检测区时，预制构件6的前侧会首先与目标感应区的前沿重合；此时光电感应器2恰好受到预制构件6遮挡，光电感应器2的状态信号从1切换为0。判定此时预制构件6的前侧与目标感应区的前沿重合。
[0146]
(3)预制构件6离开缺陷检测区之前，光电感应器2的状态信号均为0。当该预制构件6完全离开缺陷检测区时，预制构件6的后侧会首先与目标感应区的前沿重合；此时光电感应器2恰好重新恢复为未遮挡状态，光电感应器2的状态信号从0切换为1。判定此时预制构件6的后侧与目标感应区的前沿重合。
[0147]
本实施例中的光电感应器2为区分视频中的各个预制构件6的提供了便利。在本实施例中，通过工装61检测网络来完成工装61提取和工装61跟踪两个内容。而在实际处理问题时，单个模台5上会同时包括多个不同类型的预制构件6的模具51，其中生产的预制构件6类型不同。本实施例在进行特征识别和提取的过程中还需要有效区分各个不同预制构件6，避免将两个预制构件6中的工装61统计到同一个中。要解决这一问题，通常还需要增加一个新的网络模型。但是考虑到使用机器视觉技术存在检测精度不足，对图像质量高度依赖的问题。本实施例中巧妙地采用光电传感器解决了预制构件6的区分问题。
[0148]
本实施例中考虑到，模台5上的预制构件6的高度通常高于模台5表面，而且相邻预制构件6之间通常存在间隙。因此在某个高度设置一组光电传感器。当模台5运动时，如果预制构件6经过则使光电传感器被遮挡，产生一种状态信号。如果预制构件6间的间隙通过，则光电传感器未被遮挡，产生另一种状态信号。通过对不同状态信号的识别，可以判断是否有预制构件6经过。为了与本实施例中工装61检测网络的工作模式相适应，本实施例对光电传感器的安装位置做了限制；将光电传感器的检测方向与对应的目标感应区的前沿所在直线重合。即：预制构件6刚经过光电传感器时，则立刻判断预制构件6到达目标感应区，提取监控视频中的该帧图像进行工装61的检测和跟踪，当预制构件6完全离开光电传感器时，则立刻判断预制构件6离开目标感应器，结束该预制构件6中的工作检测和跟踪过程中，输出工作的检测结果。
[0149]
除了提取预制构件6中的工装61信息之外，本实施例还需要获取各个预制构件6的类型。预制构件6的不同类型中工装61的数量和位置各不相同，本实施例需要获取各个预制构件6的类型来确定该预制构件6理论上的工作的数量和位置信息。进而与实际检测结果进行对比。
[0150]
具体地，在本实施例中，获取当前进入目标感应区的预制构件6的类型信息的方法如下：
[0151]
(1)在模台5中的每个模具51侧面设置一个预存有该模具51中的预制构件6的类型信息的射频识别芯片。
[0152]
(2)在缺陷检测区设置一个用于读取射频识别芯片中的存储数据的射频识别读卡器；射频识别读卡器的安装位置满足：当预制构件6的前侧与目标感应区的前沿重合时，预制构件6侧面的射频识别芯片与视频识别读卡器的位置靠近，且达到读取射频识别芯片内部信息的条件。
[0153]
s5：根据获取的当前预制构件6的类型信息查询一个云端数据库，获取云端数据库中预先存储的该型预制构件6中的工装61的数量信息和位置信息的参考值；并将参考值与上步骤获取的当前预制构件6中工装61的数量信息和位置信息的实测值进行对比，判断二者是否完全相符，是则判定当前预制构件6的工装61完整；否则判定当前预制构件6的工装61缺失。在检测过程中，位置信息允许的水平偏差和垂直偏差均为size，size与工装61感应区的宽度像素值w
a
相等。
[0154]
本实施例中，云服务器中存储有生产线上待生产的所有型号的预制构件6的bim模型；当生产线开始生产并检测时，将获取的各个类型的预制构件6的首件中工装61的数量信息和位置信息与相应的bim模型中的理想参数对比，在首件满足各项参数的误差要求时，将首件中检测获取的工装61的数量信息和位置信息作为后续执行工装61缺失检测的参考值；当生产的首件不满足误差要求时，报废当前预制构件6，重新生产并确定首件。
[0155]
在本实施例中，云服务器中虽然存储了bim模型，但是本实施例的工装61缺失检测方法中并不是直接使用bim模型的参数与各个预制构件6的工装61检测结果进行对比的，而是以一个被判定为合格产品的首件来作为后续进行工装61生产性能检测的标准。即后续产品并非均与bim模型进行对比，而是和并被判定合格的首件进行对比。这样可以获得更加符合生产线实际情况的数据，避免标准bim模型在检测过程中不适应具体生产状态，甚至导致产品生产和检测过程出现频繁报错的状况。
[0156]
此外，本实施例对各个预制构件6的相关视频帧执行目标检测和目标跟踪过程中，按照各个预制构件6的流水线编号，分类存储对应的视频帧中的图像作为数据存档；存档的数据为视频流的逐帧图像或按照特定采样频率获取的抽样图像。
[0157]
同时，当检测到当前预制构件6的工装61缺失时，停止载台的运动过程，并向生产线的前端发出一个警报信号；然后由技术人员根据获取的当前预制构件6照片中工装61的数量信息、位置信息和数据存档，作出相应的问题复盘分析和问题产品报废处理的决策。
[0158]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0159]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并
不能因此而理解为对发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。