基于深度学习算法的螺丝胶漏涂胶行为的检测方法与流程

本发明涉及人工智能，具体涉及人工智能技术深度学习领域，尤其是例如在智慧工厂中可应用的、利用算力设备并辅以摄像头对工厂内(例如在工位、操作台等等位置)的螺丝胶漏涂胶行为进行检测的技术。

背景技术：

1、深度学习技术作为人工智能技术领域的一个重要分支，近年来取得了显著的进展，并在多个领域实现了广泛应用，深度学习已经渗透到语音处理、计算机视觉、自然语言处理等多个领域。例如，在语音、图像和视频识别某些方面，基于深度学习的系统已经达到或超越了人类水平，深度学习框架流行与普及，使得大规模数据处理和模型训练变得更加高效，作为深度学习方法基础之一的新型神经网络结构如transformer、gpt等在语言建模和生成任务中取得了显著成功，显示了模型结构优化的重要性，随着标注数据成本的增加，利用未标注数据进行半监督学习和无监督学习成为研究热点，有效降低了标注成本并提高了模型泛化能力。通过基于含多个隐藏层的多层感知器的多层处理，逐渐将初始的“低层”特征表示转化为“高层”特征表示，用“简单模型”即可完成复杂的分类等学习任务。深度学习作为机器学习的一种，是实现人工智能的必经路径。

2、螺丝胶，一种将金属完美粘合的胶水，以其出色的强度、韧性和耐久性，广泛应用于各种行业和领域。在过去，金属粘合是一个令人头疼的问题。传统的粘合剂往往无法承受金属的硬度，耐久性差，甚至可能对金属造成损害。而螺丝胶的出现，解决了这一问题。它不仅对金属无害，而且其强大的粘合力和耐久性可以确保金属制品长期稳定，螺丝胶的特点主要有三点。首先，它的强度极高，可以在短时间内达到峰值，使金属件牢固粘合。其次，它具有出色的韧性，即使在极寒极热的环境下也不会脆化或失去弹性。最后，它的耐久性极好，长期使用不会出现老化、脱落等现象。但是，目前螺丝涂胶基本还是人工操作，这种人工操作或多或少会出现螺丝漏涂螺丝胶的情况发生，会造成很大的设备故障和损失，甚至在某些应用场合会导致潜在的安全风险。因此，避免漏涂螺丝胶是业内一直存在且必须解决的迫切技术问题。

3、业内始终需要改进的、特别是基于人工智能深度学习算法识别的螺丝胶漏涂监测技术，以克服上述和其它技术问题。

4、本发明说明书的此背景技术部分中所包括的信息，包括本文中所引用的任何参考文献及其任何描述或讨论，仅出于技术参考的目的而被包括在内，并且不被认为是将限制本发明范围的主题。

技术实现思路

1、鉴于以上所述以及其它更多的构思而提出了本发明。

2、本发明的主要目标之一，是为了解决在工厂实际场景中、操作工进行螺丝涂胶作业时可能发生的螺丝漏涂情况，而提出的工厂内螺丝胶漏涂胶行为的检测技术。

3、鉴于以上所述，本发明旨在提供一种利用摄像头配合深度学习算法进行螺丝涂胶过程中异常行为的监测的技术，当出现螺丝漏涂胶的情况，能够及时判断、及时警示纠正，以防止出现螺丝漏涂的情况发生，从而克服了业内一直存在的技术难题和缺陷。

4、根据本发明的一方面的构思，提供了一种基于深度学习算法的螺丝胶漏涂胶行为的检测方法，包括以下步骤：步骤1、对螺丝胶涂胶工位的实时视频进行预处理；步骤2、对经过所述预处理的实时视频，单帧单帧地进行基于深度学习算法的算法识别，以识别所述螺丝胶涂胶工位中的螺丝胶盒、手、螺丝胶棒三种物体的类别及其位置；步骤3、对所述实时视频的所述算法识别的多帧识别结果进行联合判断，以便对所述螺丝胶涂胶工位处于不涂胶状态、待涂胶状态和正在涂胶状态的各自情形做出判断和处理，包括在所述螺丝胶涂胶工位的不涂胶状态、待涂胶状态和正在涂胶状态之间切换，其中，将所述螺丝胶涂胶工位的初始状态设为不涂胶状态；步骤4、根据所述步骤3输出的所述螺丝胶涂胶工位是否存在螺丝胶漏涂行为，进行相应的处理，包括：如果所述螺丝胶涂胶工位存在螺丝胶漏涂行为，则指示所述螺丝胶涂胶工位的报警装置报警，并记录下所述实时视频的当前帧的时间。

5、根据一实施例，所述步骤1包括以下子步骤：步骤1-1：在实时视频帧中手动标记出螺丝胶盒区域和螺丝区域；步骤1-2：利用摄像头采集所述螺丝胶涂胶工位区域的所述实时视频的数据；步骤1-3：对采集的所述实时视频的数据进行截帧；步骤1-4：利用帧差法对所述实时视频的当前帧和上帧进行帧差计算，如果所述帧差的阈值低于设定值，对所述当前帧不进行预处理；和步骤1-5：如果所述帧差的阈值高于设定值，对所述当前帧进行预处理操作。

6、根据一实施例，所述步骤2包括以下子步骤：

7、步骤2-1：利用深度学习神经网络模型，对所述步骤1中的经过所述预处理的所述当前帧的图像/视频数据进行特征的提取；

8、步骤2-2：将所述步骤2-1中提取的特征，放入到深度学习神经网络模型的改进的注意力机制和增强卷积注意力模块相结合的方式特征增强模块，进行特征增强；和

9、步骤2-3：将所述步骤2-2中经过所述特征增强的特征数据送入到多层感知机，进行目标位置和目标类别的预测，以识别所述螺丝胶涂胶工位中的螺丝胶盒、手、螺丝胶棒三种物体的类别及其位置。

10、根据一实施例，所述改进的注意力机制用以下公式1表达：

11、

12、其中，h是所述深度学习神经网络模型的输入张量的高，z是改进的注意力值，w是所述深度学习神经网络模型的输入张量的宽，x是自注意力函数，i是所述深度学习神经网络模型的输入张量宽的索引，c是通道索引；

13、并且，所述增强卷积注意力模块用以下公式2表达：

14、

15、其中，m是增强卷积注意力值，f是所述深度学习神经网络模型的输入张量，σ是sigmoid激活函数，w1是所述深度学习神经网络模型的输入张量第二维度的值，w0是所述深度学习神经网络模型的输入张量第一维度的值，maxpool是最大池化函数，avgpool是平均池化函数，mlp是多层感知机函数，max是取最大值函数，avg是取平均值函数，c是通道索引。

16、根据一实施例，所述步骤3包括以下子步骤：

17、步骤3-1：当所述螺丝胶涂胶工位处于不涂胶状态时，通过所述步骤2中的所述当前帧的检测结果判断螺丝胶盒是否在螺丝胶盒区域内，当判断所述螺丝胶盒在螺丝胶盒区域内，则记录所述螺丝胶盒在所述螺丝胶盒区域内的时长、并将所述螺丝胶盒不在所述螺丝胶盒区域内的时长设置为0；当判断所述螺丝胶盒不在所述螺丝胶盒区域内，则记录所述螺丝胶盒不在所述螺丝胶盒区域内的时长、并将所述螺丝胶盒在所述螺丝胶盒区域内的时长设置为0；如果判断所述螺丝胶盒在所述螺丝胶盒区域内的时长超过阈值，则将所述螺丝胶涂胶工位的状态设置为待涂胶状态；

18、步骤3-2：当所述螺丝胶涂胶工位处于待涂胶状态时，首先，判断所述螺丝胶盒是否在所述螺丝胶盒区域内，当判断所述螺丝胶盒不在所述螺丝胶盒区域内，则记录所述螺丝胶盒不在所述螺丝胶盒区域内的时长；当判断所述螺丝胶盒在所述螺丝胶盒区域内，则将所述螺丝胶盒不在所述螺丝胶盒区域内的时长设置为0；然后，根据所述步骤2的检测结果判断手是否触所述碰螺丝盒区域，如果判断手触碰了所述螺丝盒区域，则将所述螺丝胶涂胶工位的状态设置为正在涂胶状态，并记录正在涂胶状态的开始时间，将手是否处于拿螺丝状态设置为是；之后，判断所述螺丝胶盒不在所述螺丝胶盒区域内的时长，如果该时长超过阈值、并且所述螺丝胶涂胶工位不处于正在涂胶状态，则将所述螺丝胶涂胶工位的状态设置为不涂胶状态；和

19、步骤3-3：当所述螺丝胶涂胶工位处于正在涂胶状态时，则进行基于下列判断模块项中的至少一者的判断和处理：触碰螺丝胶水区域逻辑判断模块、触碰螺丝区域逻辑判断模块、螺丝胶漏涂时长判断模块和正在涂胶状态结束判断模块。

20、根据一实施例，所述步骤3-3包括以下细分步骤：

21、步骤3-3-1：当所述螺丝胶涂胶工位处于正在涂胶状态时，首先根据所述步骤2的检测结果判断手是否触碰所述螺丝胶盒区域，当判断手触碰了所述螺丝胶盒区域，则继续下一步判断是否处于手触碰螺丝胶盒区域拿胶棒状态或者手触碰螺丝胶盒区域放回胶棒状态；当判断为既非所述手触碰螺丝胶盒区域拿胶棒状态也非所述手触碰螺丝胶盒区域放回胶棒状态时，再判断所述手触碰螺丝胶盒区域拿胶棒状态结束的时间是否为空，如果是空，则认为目前处于所述手触碰螺丝胶盒拿胶棒状态、并记录所述手触碰螺丝胶盒拿胶棒状态开始的时间，如果不为空，则认为目前处于所述手触碰螺丝胶盒区域放回胶棒状态、并记录所述手触碰螺丝胶盒区域放回胶棒状态开始的时间；

22、当判断手没触碰螺丝胶盒区域，再判断是否处于所述手触碰螺丝胶盒区域拿胶棒状态，如果处于所述手触碰螺丝胶盒区域拿胶棒状态，则记录所述手触碰螺丝胶盒区域拿胶棒状态在结束前的累计时长，当该累计时长超过阈值，根据所述步骤2的检测结果判断胶棒是否处于螺丝胶盒区域内，如果判断所述胶棒处于螺丝胶盒区域内，则认为所述手触碰螺丝胶盒区域拿胶棒状态无效；如果判断所述胶棒处于螺丝胶盒区域内，则认为所述手触碰螺丝胶盒区域拿胶棒状态有效、并记录所述手触碰螺丝胶盒区域拿胶棒状态结束的时间，否则，则判断所述手触碰螺丝胶盒区域拿胶棒状态无效，并将所述手触碰螺丝胶盒区域拿胶棒状态的开始时间设置为空；和

23、再判断是否处于手触碰螺丝胶盒区域放回胶棒状态，如果是处于所述手触碰螺丝胶盒区域放回胶棒状态，则记录所述手触碰螺丝胶盒区域放回胶棒状态在结束前的累计时长，当该累计时长超过阈值，则根据所述步骤2的检测结果判断所述胶棒是否处于螺丝胶盒区域内；如果判断所述胶棒不处于螺丝胶盒区域内，则认为所述手触碰螺丝胶盒区域放回胶棒状态无效、并将所述手触碰螺丝胶盒区域放回胶棒状态的开始时间设置为空；如果判断所述胶棒处于螺丝胶盒区域内，则认为所述手触碰螺丝胶盒区域放回胶棒状态有效、并记录所述手触碰螺丝胶盒区域放回胶棒状态结束的时间；

24、步骤3-3-2：根据所述步骤2的检测结果判断手是否触碰螺丝区域，当判断手触碰了螺丝区域，再判断是否处于手拿螺丝状态，如果不是，则将手拿螺丝状态设置为是、并将所述手拿螺丝状态的结束时间设置为空；

25、当判断手没有触碰螺丝区域，再判断是否处于所述手拿螺丝状态，如果是，则记录所述手拿螺丝状态在结束前的累计时长，如果该累计时长超过阈值，则判断所述手拿螺丝状态结束，并记录手触碰螺丝区域拿取螺丝状态的结束时间，并将所述手拿螺丝状态在结束前的累计时长设置为0；

26、步骤3-3-3：首先判断所述手拿螺丝状态的结束时间是否为空，如果所述手拿螺丝状态的结束时间不为空，再判断所述手触碰螺丝胶盒区域拿胶棒状态的开始时间是否为空，如果所述手触碰螺丝胶盒区域拿胶棒状态的开始时间不为空，则计算所述手触碰螺丝胶盒拿胶棒状态的开始时间与所述手拿螺丝状态的结束时间之间的差值；如果所述差值超过阈值，则判断当前存在螺丝漏涂胶行为、并触发告警；如果所述手触碰螺丝胶盒区域拿胶棒状态的开始时间为空，则计算所述实时视频的当前帧的时间与所述手触碰螺丝区域拿取螺丝状态的结束时间之间的时间差，如果所述时间差超过阈值，则判断当前存在螺丝漏涂胶行为；和

27、步骤3-3-4：首先，判断所述实时视频的当前帧的时间与所述正在涂胶状态的开始时间之间的差是否超过阈值，如果超过该阈值，则将所述螺丝胶涂胶工位的当前状态设置为待涂胶状态、并将相关流程变量初始化；之后，再判断所述手触碰螺丝胶盒区域放回胶棒状态的结束时间是否为空，如果为空，则认为一次螺丝涂胶流程结束，同时将所述螺丝胶涂胶工位的当前状态设置为待涂胶状态、并将相关流程变量初始化。

28、根据一实施例，在所述步骤4结束后，重新进入所述方法的下一个步骤循环，包括：重新执行所述步骤1、所述步骤2、所述步骤3和所述步骤4。

29、根据一实施例，所述方法中的深度学习算法依赖于高性能计算服务器来执行。

30、根据一实施例，所述高性能计算服务器包括边缘算力服务器，其配置成能够同时地对多个螺丝胶涂胶工位的螺丝胶漏涂胶行为进行检测。

31、根据一实施例，所述实时视频的数据通过配置在各个螺丝胶涂胶工位的摄像头的rtsp视频流协议来获取。

32、通过本发明的方法结合人工智能算法判断识别技术，可以精确地、实时地判断某工位是否出现螺丝胶漏涂行为并发出警示，从而可以及时、有效地避免螺丝胶漏涂胶情况的发生，大大降低了螺丝胶漏涂带来的故障、损失和安全隐患。

33、本发明的更多实施例还能够实现其它未一一列出的有利技术效果，这些其它的技术效果在下文中可能有部分描述，并且对于本领域的技术人员而言在阅读了本发明后是可以预期和理解的。