一种基于姿态的重复异常行为检测方法与流程

本发明涉及计算机视觉及视频理解技术领域，具体为一种基于姿态的重复异常行为检测方法。

背景技术：

目前，在高考，研究生考试、自考和学业水平测试等各类考试后，需要进行考试回放，需要大量的人力观看考试视频，以分析考试中的考风问题，如，考生作弊行为等。因此需要一个考试视频大数据分析系统或方法，能自动分析考生的行为，进而分析考试中存在的问题，而考生频繁的进行重复动作就极有可能进行作弊行为。

考生作弊行为检测系统或方法已成为数字图像处理、模式识别、计算机视觉分析领域的新兴应用方向，对考生作弊行为检测的研究，是未来智能信息化普及，各类教育文化考试场地建设的一项关键技术。具有一定的前沿性和导向作用，有着巨大的市场应用价值和社会意义。

现阶段国内外使用姿态分析视频中人的行为的研究比较少，而将考生姿态应用到考生作弊行为检测领域的案例几乎没有。专利“一种基于大数据分析在线考试监考系统”(cn201711022450.0，2017年)，以客户端、web服务器、云储存等网络资源作为载体，通过对ip地址、网关信息、摄像头是否开启等做检测，判断考生是否存在在线作弊行为。专利“一种考场防作弊管理系统”(cn201810152948.7，2018年)，基于物联网技术实现硬件条件的升级，通过在教室内安装的多个影像录入模块，实现对考生行为的实时提醒。专利“对考试作弊事件进行智能视频识别的方法”(cn201010226332.3，2010年)，采用高斯混合模型对视频中的前景图像和背景图像进行分离，将运动像素特征值作为输入数据对决策树进行训练，该方法以单一的颜色信息作为分类特征，属于浅层特征信息表达，没有充分考虑到纹理、边缘、空间等深度特征信息，且该方法以考生的整体状态作为分类信息，损失掉了考生局部部位的特征，不能够对作弊考生与非作弊考生的特征差异给与充分的表达。而深度特征包含有大量的特征信息，可有效用于考生关节细小动作的分析与识别。此外，还有一些针对不同对象作弊的检测方法研究，如专利“一种作弊站点的检测方法和装置”(cn201711310287.8，2017年)，通过采集站点的振动占比信息对网站是否存在作弊操作进行检测，专利“游艺场的作弊检测系统”(cn201680045982.3，2016年)，对按照输赢结果进行筹码的回收及偿还的游戏中的作弊行为进行检测的作弊检测系统等，然而诸如此类的作弊检测系统及方法无法准确分析考生的运动规律。

技术实现要素：

本发明的技术任务是针对以上现有技术的不足，而提供一种基于姿态的重复异常行为检测方法。本发明利用人体姿态分析考生的运动规律，通过分析考生头部包含的关节的运动情况进行头部运动编码，采用模糊匹配的方法检测编码中的重复子串来完成重复动作的检测。

本发明解决其技术问题所采用的技术方案是：一种基于姿态的重复异常行为检测方法，包括如下步骤：

第一阶段：考生姿态估计

检测考场监控视频中的考生关节以及肢体的位置，获取考生关节点信息；

第二阶段：考生运动估计

筛选考生头部有效关节点，并计算考生头部运动速度大小及运动方向；

第三阶段：考生运动编码

划分考生头部运动方向，并根据每个运动方向以及连续的次数用字母编码；

第四阶段：重复子串检测

采用滑动窗口方式检测考生运动编码中的重复性子串。

具体地，所述第二阶段具体包括如下步骤：

(1)头部关节点筛选：筛选头部所有置信度大于一个阈值的关节点；

(2)头部运动速度大小计算：计算头部筛选后的关节点与前m帧对应关节点的位移乘以对应的置信度，并求出均值作为头部运动速度的大小；

(3)头部运动方向计算：计算头部置信度最大关节点的运动方向作为头部的最终运动方向。

具体地，所述第三阶段具体包括如下步骤：

(1)运动与静止区分：如果头部运动速度大小大于一个阈值，则认为存在运动，否则认为是静止的；

(2)头运动方向划分：如果头是运动的，根据头运动方向，将头运动划分为向右、右上、向上、左上、向左、左下、向下、右下八个方向；

(3)编码：根据每个运动方向以及连续的次数用字母编码。

具体地，所述第四阶段具体包括如下步骤：

(1)统计：采用一个长度为l的滑动窗口，在整个编码中进行滑动，统计不同编码子串的数量；

(2)筛选：选出编码统计中大于一个阈值的字符串作为重复动作的字符编码。

本发明的有益效果为：

本发明通过考生姿态估计、运动估计方法来检测考生关节以及肢体的位置，以及分析考生的运动情况；通过运动编码的方式将考生的运动方式编码成字符串的形式，然后对考生运动编码中的重复性子串进行检测，可以准确快速的捕获考场中考生存在的重复动作。

附图说明

图1为发明中检测考场中考生进行重复动作的方法的总体流程图；

图2为发明中检测考场中考生进行重复动作的方法的详细流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明所述方法的总体流程如图1所示，考生姿态估计，检测图像序列中考生关节以及肢体的位置；考生运动估计，分析考生的运动情况；运动编码，将考生的运动方式编码成字符串的形式；重复子串检测，检测考生运动编码中的重复性子串，确认重复动作类别。

下面结合附图2对本发明的流程作进一步的详细说明：

步骤1.输入数据，输入数据为单独考生一段时间的关节点坐标数据；

步骤2.判断头部关节点是否有效，首先判断头部所有关节点置信度是否大于一个阈值；

步骤3.无效关节点：如果头部某个关节点置信度小于阈值，则对应的关节点为无效关节点，继续下一段视频的重复动作检测；

步骤4.有效关节点：如果头部某个关节点置信度大于阈值，则对应的关节点为有效关节点；

步骤5.头部运动速度大小计算：使用头部所有有效关节点与前3帧对应关节点的位移乘以对应的置信度，并求出这些关节点的均值作为头部运动的速度大小；

步骤6.头部运动方向计算：取头部置信度最大的关节点的运动方向作为头部最终的运动方向；

步骤7.判断头部是否存在运动，判断头部的运动速度是否大于一个阈值；

步骤8.头部静止：如果头部运动速度小于一个阈值，则头部当前帧为静止的；

步骤9.头部存在运动：如果头部运动速度大于一个阈值，则头部当前帧存在运动；

步骤10.头部运动方向划分：根据头部的运动方向，将头部运动方向划分为向右、右上、向上、左上、向左、左下、向下、右下八个方向；

步骤11.编码：根据头部划分好的方向和相同方向持续的帧数使用对应的字符串代替头部的运动，例如连续两帧向右可以用字符串r2表示；

步骤12.重复子串统计：采用滑动窗口的方式统计编码中不同子串出现的数量，在本实施例中具体为采用一个长度为20的滑动窗口，在整个编码中进行滑动，统计不同编码子串的数量；

步骤13.判断是否有一种子串的数量大于一个阈值；

步骤14.重复动作：如果一种子串的数量大于一个阈值，则存在重复动作；

步骤15.不存在重复动作：如果没有一种子串的数量满足阈值条件，则不存在重复动作，继续下一段视频的重复动作检测；

步骤16.记录：记录重复动作的发生时间以及重复动作的类型、重复次数，继续下一段视频的重复动作检测。

本发明中的置信度的一个阈值，头部运动速度的一个阈值，及字符串数量的一个阈值，可根据实际需求人为设定。

以上技术方案阐述了本发明的技术思路，不能以此限定本发明的保护范围，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上技术方案所作的任何改动及修饰，均属于本发明技术方案的保护范围。