一种基于监控视频的器件紧固操作的检测方法与流程

本发明涉及工业制造质量控制的技术领域，特别涉及一种基于监控视频的器件紧固操作的检测方法。

背景技术：

在生产洗衣机等产品的流水线中，通常需要采用螺丝等紧固件对工件进行紧固操作，为了保证在打螺丝时受力均匀，以防止紧固时出现缝隙，这就要求在流水线左右两侧布置两个操作人员针对同一个工件同时进行气枪打螺丝操作，若出现单人对同一个工件操作或者三人同时对同一个工件操作时均可能会造成工件紧固处因受力不均匀而产生缝隙，但是在流水线上的操作人员会出现不同的违规操作，从而导致该缝隙的产生。为了防止不同违规操作的出现，目前的解决办法就是通过日常人工巡检方式或者视频监控结合人工查看的方式，但是这两种方式不仅耗费大量的人力物力，并且还不能够实时地和准确地检测到每一个违规操作及其对应的操作区域。可见，现有的基于人工肉眼查看的流水线监督方式并不能及时地和全面地识别出所有违规操作，这种方式效率低下并且效果不明显，从而严重地影响流水线的生产质量。

技术实现要素：

针对现有技术存在的缺陷，本发明提供一种基于监控视频的器件紧固操作的检测方法，该基于监控视频的器件紧固操作的检测方法包括如下步骤：步骤s1，获取关于操作区域的若干垂直监控视频，并根据该若干垂直监控视频对预设器件紧固操作识别算法进行训练处理；步骤s2，根据经过该训练处理的该预设器件紧固操作识别算法，对实时获得的垂直监控视频进行不同操作元素的识别处理；步骤s3，根据该识别处理的结果，对相应的操作元素进行关于违规与否的判断处理；步骤s4，根据该判断处理的结果，对当前器件紧固操作的整体工序执行情况进行分析处理；可见，该基于监控视频的器件紧固操作的检测方法利用视频监控智能分析技术对器件紧固操作过程中的违规操作进行自动识别以确定相应的违规操作细节，该检测方法不仅能够实现对异常工序的24h无间断精准识别，并且还能够识别出不同类型的违规操作以进行实时告警并对告警信息进行存档，方便管理人员对流水线进行实时监管和质量追溯，从而极大提高工厂流水线的生产质量及生产效率。

本发明提供一种基于监控视频的器件紧固操作的检测方法，其特征在于，所述基于监控视频的器件紧固操作的检测方法包括如下步骤：

步骤s1，获取关于操作区域的若干垂直监控视频，并根据所述若干垂直监控视频对预设器件紧固操作识别算法进行训练处理；

步骤s2，根据经过所述训练处理的所述预设器件紧固操作识别算法，对实时获得的垂直监控视频进行不同操作元素的识别处理；

步骤s3，根据所述识别处理的结果，对相应的操作元素进行关于违规与否的判断处理；

步骤s4，根据所述判断处理的结果，对当前器件紧固操作的整体工序执行情况进行分析处理；

进一步，在所述步骤s1中，获取关于操作区域的若干垂直监控视频，并根据所述若干垂直监控视频对预设器件紧固操作识别算法进行训练处理具体包括，

步骤s101，对所述器件紧固操作对应的流水生产线进行工序分解处理，以确定所述流水生产线对应每一个紧固操作点的操作区域属性；

步骤s102，根据每一个紧固操作点的操作区域属性，确定每一个紧固操作点对应的摄像头布置方式和/或摄像头拍摄模式；

步骤s103，根据每一个紧固操作点对应的摄像头布置方式和/或摄像头拍摄模式，获取每一个紧固操作点对应的垂直监控视频；

步骤s104，根据每一个紧固操作点对应的垂直监控视频，对所述预设器件紧固操作识别算法进行训练处理；

进一步，在所述步骤s101中，对所述器件紧固操作对应的流水生产线进行工序分解处理，以确定所述流水生产线对应每一个紧固操作点的操作区域属性具体包括，

获取所述流水生产线中对于加工对象不同待紧固部件对应的紧固操作工序，以确定所述不同待紧固部件对应的紧固操作点关于内部环境和/或外部环境的所述操作区域属性；

或者，

在所述步骤s102中，根据每一个紧固操作点的操作区域属性，确定每一个紧固操作点对应的摄像头布置方式和/或摄像头拍摄模式具体包括，

步骤s1021，根据每一个紧固操作点的操作区域属性，确定所述每一个紧固操作点在所述生产流水线中的紧固操作空间信息、紧固操作障碍信息和紧固操作允许时间信息中的至少一者；

步骤s1022，根据所述紧固操作空间信息、所述紧固操作障碍信息和所述紧固操作允许时间信息中的至少一者，确定摄像头相对于所述紧固操作点的垂直布置方式和/或所述摄像头的拍摄焦距和/或所述摄像头的抓拍频率；

或者，

在所述步骤s103中，根据每一个紧固操作点对应的摄像头布置方式和/或摄像头拍摄模式，获取每一个紧固操作点对应的垂直监控视频具体包括

在确定每一个紧固操作点对应的摄像头布置方式和/或摄像头拍摄模式后，向所有紧固操作点对应的摄像头发送拍摄触发控制时序信号，以使每一个紧固操作点对应的摄像头按照特定的时序获取关于其对应紧固操作点的垂直监控视频；

或者，

在所述步骤s104中，根据每一个紧固操作点对应的垂直监控视频，对所述预设器件紧固操作识别算法进行训练处理具体包括，

对每一个紧固操作点对应的垂直监控视频进行训练图像帧的解码摘选处理，并将摘选得到的若干帧垂直监控图像输入至所述预设器件紧固操作识别算法中，以实现所述训练处理；

进一步，在所述步骤s2中，根据经过所述训练处理的所述预设器件紧固操作识别算法，对实时获得的垂直监控视频进行不同操作元素的识别处理具体包括，

步骤s201，获取经过所述训练处理的所述预设器件紧固操作识别算法的容差度，并根据所述容差度确定对所述实时获得的垂直监控视频的解码模式；

步骤s202，根据所述解码模式，对所述实时获得的垂直监控视频进行解码处理，以获得在时间上连续的若干帧解码图像；

步骤s203，对所述若干帧解码图像进行静态操作元素识别处理和/或动态操作元素识别处理，以获得关于当前垂直监控视频的静态操作元素和/或动态操作元素；

进一步，在所述步骤s201中，获取经过所述训练处理的所述预设器件紧固操作识别算法的容差度，并根据所述容差度确定对所述实时获得的垂直监控视频的解码模式具体包括，

获取所述预设器件紧固操作识别算法对不同分辨率视频的识别容差度，并根据所述实时获得的垂直监控视频的实际分辨率，来获得具有相应解码精确度的不同解码模式；

或者，

在所述步骤s202中，根据所述解码模式，对所述实时获得的垂直监控视频进行解码处理，以获得在时间上连续的若干帧解码图像具体包括，

根据所述解码模式，对所述实时获得的垂直监控视频进行关于时序连续性的解码处理，以获得在时间上连续的所述若干帧解码图像；

或者，

在所述步骤s203中，对所述若干帧解码图像进行静态操作元素识别处理和/或动态操作元素识别处理，以获得关于当前垂直监控视频的静态操作元素和/或动态操作元素具体包括，

对所述若干帧解码图像中的每一帧进行关于加工对象整体或者部分或者操作人员数量的静态操作元素识别处理，和/或进行关于操作人员对所述加工对象动作的动态操作元素识别处理，以获得关于当前垂直监控视频的静态操作元素和/或动态操作元素；

进一步，在所述步骤s3中，根据所述识别处理的结果，对相应的操作元素进行关于违规与否的判断处理具体包括，

步骤s301a，从所述识别处理的结果中，提取关于当前垂直监控视频的静态操作元素和/或动态操作元素；

步骤s302a，将所述静态操作元素和/或所述动态操作元素与预设标准操作元素进行对比处理，以获得相应的差异化对照结果；

步骤s303a，根据所述差异化对照结果，确定相应的操作元素中是否存在违规操作；

或者，

在所述步骤s3中，根据所述识别处理的结果，对相应的操作元素进行关于违规与否的判断处理具体包括，

步骤s301b，从所述识别处理的结果对应的结果数据信息中提取与当前垂直监控视频相关的操作元素数据信息，并将所述操作元素数据信息分别记为a1、a2、…、an，ai表示第i个操作元素数据信息，i＝1、2、…、n，且将所述当前垂直监控视频相关的操作元素数据矩阵a记为a＝[a1a2…an]；

步骤s302b，计算所述当前垂直监控视频相关的操作元素对应的差异矩阵d，其中，d＝a-b＝[e1e2…en]，a为所述当前垂直监控视频相关的操作元素数据矩阵，b为预设标准数据矩阵，e1、e2、…、en为所述差异矩阵d的元素值；

步骤s303b，根据下面公式(1)，计算差异对照结果mi

在上述公式(1)中，mi为第i个操作元素对应的差异对照结果；

步骤s304b，将所述差异对照结果mi与预设差异阈值进行大小比较处理，以此实现对相应的操作元素进行关于违规与否的判断处理；

进一步，在所述步骤s302a中，将所述静态操作元素和/或所述动态操作元素与预设标准操作元素进行对比处理，以获得相应的差异化对照结果具体包括，

将所述静态操作元素和/或所述动态操作元素与预设标准操作元素进行对比处理，以获得关于加工对应放置朝向、操作人员数量和操作人员加工操作中至少一者的差异化对照结果；

或者，

在所述步骤s303a中，根据所述差异化对照结果，确定相应的操作元素中是否存在违规操作具体包括，

将所述差异化对照结果进行数值化转换处理，并判断所述数值化转换处理的结果是否超出预设差异阈值，若是，则确定相应的操作元素中存在违规操作，若否，则确定相应的操作元素中不存在违规操作；

进一步，在所述步骤s4中，根据所述判断处理的结果，对当前器件紧固操作的整体工序执行情况进行分析处理具体包括，

步骤s401，从所述判断处理的结果中提取关于违规行为存在的时间信息和/或位置信息；

步骤s402，根据所述时间信息和/或所述位置信息，对流水生产线中对应的违规工序进行时间定位处理和/或位置定位处理；

步骤s403，根据所述时间定位处理和/或所述位置定位处理的结果，对当前器件紧固操作的整体工序执行情况进行所述分析处理；

进一步，在所述步骤s403中，根据所述时间定位处理和/或所述位置定位处理的结果，对当前器件紧固操作的整体工序执行情况进行所述分析处理具体包括，

根据所述时间定位处理和/或所述位置定位处理的结果，对当前器件紧固操作的每一个工序进行关于操作人员分配和/或操作人员动作的分析处理；

进一步，在该步骤s4之后，还包括步骤s5，其具体为，

若确定存在违法操作，则截取该违法操作对应的视频数据和/或图片数据，或者根据该违法操作执行适应性的警报操作。

相比于现有技术，该基于监控视频的器件紧固操作的检测方法利用视频监控智能分析技术对器件紧固操作过程中的违规操作进行自动识别以确定相应的违规操作细节，该检测方法不仅能够实现对异常工序的24h无间断精准识别，并且还能够识别出不同类型的违规操作以进行实时告警并对告警信息进行存档，方便管理人员对流水线进行实时监管和质量追溯，从而极大提高工厂流水线的生产质量及生产效率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于监控视频的器件紧固操作的检测方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1，为本发明实施例提供的一种基于监控视频的器件紧固操作的检测方法的流程示意图。该基于监控视频的器件紧固操作的检测方法包括如下步骤：

步骤s1，获取关于操作区域的若干垂直监控视频，并根据该若干垂直监控视频对预设器件紧固操作识别算法进行训练处理；

步骤s2，根据经过该训练处理的该预设器件紧固操作识别算法，对实时获得的垂直监控视频进行不同操作元素的识别处理；

步骤s3，根据该识别处理的结果，对相应的操作元素进行关于违规与否的判断处理；

步骤s4，根据该判断处理的结果，对当前器件紧固操作的整体工序执行情况进行分析处理。

优选地，在该步骤s1中，获取关于操作区域的若干垂直监控视频，并根据该若干垂直监控视频对预设器件紧固操作识别算法进行训练处理具体包括，

步骤s101，对该器件紧固操作对应的流水生产线进行工序分解处理，以确定该流水生产线对应每一个紧固操作点的操作区域属性；

步骤s102，根据每一个紧固操作点的操作区域属性，确定每一个紧固操作点对应的摄像头布置方式和/或摄像头拍摄模式；

步骤s103，根据每一个紧固操作点对应的摄像头布置方式和/或摄像头拍摄模式，获取每一个紧固操作点对应的垂直监控视频；

步骤s104，根据每一个紧固操作点对应的垂直监控视频，对该预设器件紧固操作识别算法进行训练处理。

优选地，在该步骤s101中，对该器件紧固操作对应的流水生产线进行工序分解处理，以确定该流水生产线对应每一个紧固操作点的操作区域属性具体包括，

获取该流水生产线中对于加工对象不同待紧固部件对应的紧固操作工序，以确定该不同待紧固部件对应的紧固操作点关于内部环境和/或外部环境的该操作区域属性。

优选地，在该步骤s102中，根据每一个紧固操作点的操作区域属性，确定每一个紧固操作点对应的摄像头布置方式和/或摄像头拍摄模式具体包括，

步骤s1021，根据每一个紧固操作点的操作区域属性，确定该每一个紧固操作点在该生产流水线中的紧固操作空间信息、紧固操作障碍信息和紧固操作允许时间信息中的至少一者；

步骤s1022，根据该紧固操作空间信息、该紧固操作障碍信息和该紧固操作允许时间信息中的至少一者，确定摄像头相对于该紧固操作点的垂直布置方式和/或该摄像头的拍摄焦距和/或该摄像头的抓拍频率。

优选地，在该步骤s103中，根据每一个紧固操作点对应的摄像头布置方式和/或摄像头拍摄模式，获取每一个紧固操作点对应的垂直监控视频具体包括

在确定每一个紧固操作点对应的摄像头布置方式和/或摄像头拍摄模式后，向所有紧固操作点对应的摄像头发送拍摄触发控制时序信号，以使每一个紧固操作点对应的摄像头按照特定的时序获取关于其对应紧固操作点的垂直监控视频。

优选地，在该步骤s104中，根据每一个紧固操作点对应的垂直监控视频，对该预设器件紧固操作识别算法进行训练处理具体包括，

对每一个紧固操作点对应的垂直监控视频进行训练图像帧的解码摘选处理，并将摘选得到的若干帧垂直监控图像输入至该预设器件紧固操作识别算法中，以实现该训练处理。

优选地，在该步骤s2中，根据经过该训练处理的该预设器件紧固操作识别算法，对实时获得的垂直监控视频进行不同操作元素的识别处理具体包括，

步骤s201，获取经过该训练处理的该预设器件紧固操作识别算法的容差度，并根据该容差度确定对该实时获得的垂直监控视频的解码模式；

步骤s202，根据该解码模式，对该实时获得的垂直监控视频进行解码处理，以获得在时间上连续的若干帧解码图像；

步骤s203，对该若干帧解码图像进行静态操作元素识别处理和/或动态操作元素识别处理，以获得关于当前垂直监控视频的静态操作元素和/或动态操作元素。

优选地，在该步骤s201中，获取经过该训练处理的该预设器件紧固操作识别算法的容差度，并根据该容差度确定对该实时获得的垂直监控视频的解码模式具体包括，

获取该预设器件紧固操作识别算法对不同分辨率视频的识别容差度，并根据该实时获得的垂直监控视频的实际分辨率，来获得具有相应解码精确度的不同解码模式。

优选地，在该步骤s202中，根据该解码模式，对该实时获得的垂直监控视频进行解码处理，以获得在时间上连续的若干帧解码图像具体包括，

根据该解码模式，对该实时获得的垂直监控视频进行关于时序连续性的解码处理，以获得在时间上连续的该若干帧解码图像。

优选地，在该步骤s203中，对该若干帧解码图像进行静态操作元素识别处理和/或动态操作元素识别处理，以获得关于当前垂直监控视频的静态操作元素和/或动态操作元素具体包括，

对该若干帧解码图像中的每一帧进行关于加工对象整体或者部分或者操作人员数量的静态操作元素识别处理，和/或进行关于操作人员对该加工对象动作的动态操作元素识别处理，以获得关于当前垂直监控视频的静态操作元素和/或动态操作元素。

优选地，在该步骤s3中，根据该识别处理的结果，对相应的操作元素进行关于违规与否的判断处理具体包括，

步骤s301a，从该识别处理的结果中，提取关于当前垂直监控视频的静态操作元素和/或动态操作元素；

步骤s302a，将该静态操作元素和/或该动态操作元素与预设标准操作元素进行对比处理，以获得相应的差异化对照结果；

步骤s303a，根据该差异化对照结果，确定相应的操作元素中是否存在违规操作。

优选地，在该步骤s3中，根据该识别处理的结果，对相应的操作元素进行关于违规与否的判断处理具体包括，

步骤s301b，从该识别处理的结果对应的结果数据信息中提取与当前垂直监控视频相关的操作元素数据信息，并将该操作元素数据信息分别记为a1、a2、…、an，ai表示第i个操作元素数据信息，i＝1、2、…、n，且将该当前垂直监控视频相关的操作元素数据矩阵a记为a＝[a1a2…an]；

步骤s302b，计算该当前垂直监控视频相关的操作元素对应的差异矩阵d，其中，d＝a-b＝[e1e2…en]，a为该当前垂直监控视频相关的操作元素数据矩阵，b为预设标准数据矩阵，e1、e2、…、en为该差异矩阵d的元素值；

步骤s303b，根据下面公式(1)，计算差异对照结果mi

在上述公式(1)中，mi为第i个操作元素对应的差异对照结果；

步骤s304b，将该差异对照结果mi与预设差异阈值进行大小比较处理，以此实现对相应的操作元素进行关于违规与否的判断处理。

优选地，在该步骤s302a中，将该静态操作元素和/或该动态操作元素与预设标准操作元素进行对比处理，以获得相应的差异化对照结果具体包括，

将该静态操作元素和/或该动态操作元素与预设标准操作元素进行对比处理，以获得关于加工对应放置朝向、操作人员数量和操作人员加工操作中至少一者的差异化对照结果；

或者，

在该步骤s303a中，根据该差异化对照结果，确定相应的操作元素中是否存在违规操作具体包括，

将该差异化对照结果进行数值化转换处理，并判断该数值化转换处理的结果是否超出预设差异阈值，若是，则确定相应的操作元素中存在违规操作，若否，则确定相应的操作元素中不存在违规操作。

优选地，在该步骤s4中，根据该判断处理的结果，对当前器件紧固操作的整体工序执行情况进行分析处理具体包括，

步骤s401，从该判断处理的结果中提取关于违规行为存在的时间信息和/或位置信息；

步骤s402，根据该时间信息和/或该位置信息，对流水生产线中对应的违规工序进行时间定位处理和/或位置定位处理；

步骤s403，根据该时间定位处理和/或该位置定位处理的结果，对当前器件紧固操作的整体工序执行情况进行该分析处理。

优选地，在该步骤s403中，根据该时间定位处理和/或该位置定位处理的结果，对当前器件紧固操作的整体工序执行情况进行该分析处理具体包括，

根据该时间定位处理和/或该位置定位处理的结果，对当前器件紧固操作的每一个工序进行关于操作人员分配和/或操作人员动作的分析处理。

优选地，在该步骤s4之后，还包括步骤s5，其具体为，

若确定存在违法操作，则截取该违法操作对应的视频数据和/或图片数据，或者根据该违法操作执行适应性的警报操作。

从上述实施例的内容可知，该基于监控视频的器件紧固操作的检测方法利用视频监控智能分析技术对器件紧固操作过程中的违规操作进行自动识别以确定相应的违规操作细节，该检测方法不仅能够实现对异常工序的24h无间断精准识别，并且还能够识别出不同类型的违规操作以进行实时告警并对告警信息进行存档，方便管理人员对流水线进行实时监管和质量追溯，从而极大提高工厂流水线的生产质量及生产效率。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。