一种基于深度学习双流网络的攀爬行为检测方法及系统与流程

1.本发明涉及机器视觉对行为识别技术领域，具体涉及一种基于深度学习双流网络的攀爬行为检测方法及系统。


背景技术：

2.攀爬行为检测是智能视频监控领域中的一个重要模块，广泛应用于公共场所的视频监控系统中。攀爬行为检测及时发现人员攀爬围栏围墙行为，自动的发出对应的警告或通知，减少安防人力资源的投入。攀爬行为识别主要解决两个问题，一是检测问题，使用检测器检图像中是否有人；二是识别问题，对人的运动特征进行提取，通过分类器识别出人的行为。
3.目前人员攀爬行为检测利用行为识别的方法，根据人体轮廓剪影计算出人体星形骨架特征，然后将骨架特征分类成为行走、攀爬、跨越、下降4种状态，当攀爬、跨越、下降3种状态连续出现的时候，则认为发生了人员翻越围墙的行为。这种方法比较理想，也只能用在仅有一个人的理想环境，在实际应用环境中效果很差。有的利用传统视觉方法提取人的行为特征，用hmm或贝叶斯网络对特征进行建模分类，但是这种方式同样会面临目标遮挡严重、手工设计的行为特征难以提取的问题。也有对运动物体计算光流，然后用hmm或贝叶斯网络对光流进行建模并用分类器进行分析，进而检测一些异常行为，这种全局性的特征适合分析遮挡严重的情况，可以进行借鉴，但是使用光流计算复杂度高，难以做到实时处理。因此，提出一种基于深度学习双流网络的攀爬行为检测方法。


技术实现要素：

4.本发明所要解决的技术问题在于：如何解决人员攀爬行为检测利用行为识别方法存在的应用效果差、计算复杂度高等问题，提供了一种基于深度学习双流网络的攀爬行为检测方法。
5.本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：
6.s1：目标检测、跟踪并编号
7.使用目标检测网络对原始视频进行行人检测，得到行人的检测框；利用检测框和视频的时序信息进行跟踪，得到目标编号；
8.s2：裁剪目标视频片段
9.根据检测框和目标编号，对原始视频进行裁剪，去除检测框外区域，把每个编号的行人重新保存成一个视频片段；
10.s3：随机采样
11.针对步骤s2中的每个视频片段，每设定帧数随机采样设定采样帧数，使用稠密光流法计算得到采样帧每个像素的光流信息；
12.s4：动作分类
13.将各采样帧的彩色图像和光流信息送入攀爬二分类双流网络，对设定帧数进行分
类，确定是否存在攀爬行为。
14.更进一步地，在所述步骤s1中，所采用的目标检测网络为yolo网络，通过yolo网络同时对视频中多个行人目标进行，用矩形包围框的形式框选出每个行人目标的轮廓区域，作为后续处理候选区域。
15.更进一步地，所述步骤s2的具体过程为：
16.s21：对步骤s1所得候选区域进行裁剪，以每个区域矩形包围框长或宽的最大值为边长，矩形框的中心点为裁剪中心，裁剪出一个正方形区域，然后调整图像尺寸到设定尺寸；
17.s22：根据步骤s1所得行人编号，为每个人建立大小为30的图像缓冲池，将调整尺寸后的图像放入缓冲池中，当图像缓冲达到30张时，进行步骤s3。
18.更进一步地，所述缓冲池用于为每个行人目标建立的临时视频存储，与每个行人编号对应，当存储量到达30时，缓冲池内容清空，重新开始新图片的存储，对应行人编号不变。当缓冲池内容长时间得不到更新，说明此缓冲池对应编号的行人已经离开视频监控范围，在超出预设更新时间后，将此缓冲池销毁。
19.更进一步地，在所述步骤s3中，稠密光流计算采用farneback算法，取相邻两帧的图像，将图像视为二维信号的函数，对每个像素点周围设定一个邻域(一般为2n+1的正方形区域)，采用最小二乘法构建灰度值与位置的函数关系式，进而将原有笛卡尔坐标系图像的二维信号空间，转换到其他向量空间，求得两帧之间的像素位移差，得到光流。
20.更进一步地，在所述步骤s4中，双流网络的训练过程如下：
21.s41：制作用于训练的二分类数据集，提取采集到的视频片段每一帧，按照之前的方法进行行人检测，行人跟踪，裁剪，计算每一帧的光流，按照人工标注的类别保存裁剪后的原始图像和对应位置的光流图像，其中攀爬作为正样本，非攀爬作为负样本；
22.s42：随机从正样本库中挑选3张裁剪后的原始帧和对应区域的光流作为正样本，并用相同的方法挑选负样本，送入双流网络进行分类训练，训练完后得到双流网络并保存。
23.更进一步地，在所述步骤s4中，所述双流网络的结构如下：
24.本发明还提供了一种基于深度学习双流网络的攀爬行为检测系统，采用上述的检测方法对攀爬行为进行检测，包括：
25.目标检测模块，用于使用目标检测网络对原始视频进行行人检测，得到行人的检测框；利用检测框和视频的时序信息进行跟踪，得到目标编号；
26.片段裁剪模块，用于根据检测框和目标编号，对原始视频进行裁剪，去除检测框外区域，把每个编号的行人重新保存成一个视频片段；
27.随机采样模块，用于针对每个视频片段，每设定帧数随机采样设定采样帧数，使用稠密光流法计算得到采样帧每个像素的光流信息；
28.动作分类模块，用于将各采样帧的彩色图像和光流信息送入攀爬二分类双流网络，对设定帧数进行分类，确定是否存在攀爬行为；
29.中央处理模块，用于向其他模块发出指令，完成相关动作；
30.所述目标检测模块、片段裁剪模块、随机采样模块、动作分类模块均与中央处理模块电连接。
31.本发明相比现有技术具有以下优点：该基于深度学习双流网络的攀爬行为检测方
法，通过学习得到的分类网络具有很好的鲁棒性，在不同光照、不同天气下也能精准分类，实现复杂条件下的多人行为检测；并对视频进行裁剪，去掉多余的背景信息大幅提高了算法执行效率，利用行人跟踪随机采样的方法使检测效率得到有效提升，值得被推广使用。
附图说明
32.图1是本发明实施例二中整体流程示意图；
33.图2是本发明实施例二中攀爬二分类双流网络对图像缓冲池的分类示意图；
34.图3是本发明实施例二中tsn双流网络结构图；
35.图4a是本发明实施例二中空间卷积网络结构图；
36.图4b是本发明实施例二中时间卷积网络结构图。
具体实施方式
37.下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
38.本实施例提供一种技术方案：一种基于深度学习双流网络的攀爬行为检测方法，包括以下步骤：
39.s1：目标检测、跟踪并编号
40.使用目标检测网络对原始视频进行行人检测，得到行人的检测框；利用检测框和视频的时序信息进行跟踪，得到目标编号；
41.s2：裁剪目标视频片段
42.根据检测框和目标编号，对原始视频进行裁剪，去除检测框外区域，把每个编号的行人重新保存成一个视频片段；
43.s3：随机采样
44.针对步骤s2中的每个视频片段，每设定帧数随机采样设定采样帧数，使用稠密光流法计算得到采样帧每个像素的光流信息；
45.s4：动作分类
46.将各采样帧的彩色图像和光流信息送入攀爬二分类双流网络，对设定帧数进行分类，确定是否存在攀爬行为。
47.在本实施例中，在所述步骤s1中，所采用的目标检测网络为yolo网络，通过yolo网络同时对视频中多个行人目标进行，用矩形包围框的形式框选出每个行人目标的轮廓区域，作为后续处理候选区域。
48.在本实施例中，所述步骤s2的具体过程为：
49.s21：对步骤s1所得候选区域进行裁剪，以每个区域矩形包围框长或宽的最大值为边长，矩形框的中心点为裁剪中心，裁剪出一个正方形区域，然后调整图像尺寸到设定尺寸；
50.s22：根据步骤s1所得行人编号，为每个人建立大小为30的图像缓冲池，将调整尺寸后的图像放入缓冲池中，当图像缓冲达到30张时，进行步骤s3。
51.在本实施例中，所述缓冲池用于为每个行人目标建立的临时视频存储，与每个行
人编号对应，当存储量到达30时，缓冲池内容清空，重新开始新图片的存储，对应行人编号不变。当缓冲池内容长时间得不到更新，说明此缓冲池对应编号的行人已经离开视频监控范围，在超出预设更新时间后，将此缓冲池销毁。
52.在本实施例中，在所述步骤s3中，稠密光流计算采用farneback算法，取相邻两帧的图像，将图像视为二维信号的函数，对每个像素点周围设定一个邻域(一般为2n+1的正方形区域)，采用最小二乘法构建灰度值与位置的函数关系式，进而将原有笛卡尔坐标系图像的二维信号空间，转换到其他向量空间，求得两帧之间的像素位移差，得到光流。
53.在本实施例中，在所述步骤s4中，双流网络的训练过程如下：
54.s41：制作用于训练的二分类数据集，提取采集到的视频片段每一帧，按照之前的方法进行行人检测，行人跟踪，裁剪，计算每一帧的光流，按照人工标注的类别保存裁剪后的原始图像和对应位置的光流图像，其中攀爬作为正样本，非攀爬作为负样本；
55.s42：随机从正样本库中挑选3张裁剪后的原始帧和对应区域的光流作为正样本，并用相同的方法挑选负样本，送入双流网络进行分类训练，训练完后得到双流网络并保存。
56.本实施例还提供了一种基于深度学习双流网络的攀爬行为检测系统，采用上述的检测方法对攀爬行为进行检测，包括：
57.目标检测模块，用于使用目标检测网络对原始视频进行行人检测，得到行人的检测框；利用检测框和视频的时序信息进行跟踪，得到目标编号；
58.片段裁剪模块，用于根据检测框和目标编号，对原始视频进行裁剪，去除检测框外区域，把每个编号的行人重新保存成一个视频片段；
59.随机采样模块，用于针对每个视频片段，每设定帧数随机采样设定采样帧数，使用稠密光流法计算得到采样帧每个像素的光流信息；
60.动作分类模块，用于将各采样帧的彩色图像和光流信息送入攀爬二分类双流网络，对设定帧数进行分类，确定是否存在攀爬行为；
61.中央处理模块，用于向其他模块发出指令，完成相关动作；
62.所述目标检测模块、片段裁剪模块、随机采样模块、动作分类模块均与中央处理模块电连接。
63.实施例二
64.如图1所示，本实施例提供了一种基于深度学习双流网络的攀爬行为检测方法，其具体流程如下：
65.步骤1：首先使用目标检测网络对原始视频进行行人检测，得到人的检测框；利用检测框和视频的时序信息进行跟踪，得到目标编号；
66.本实施例中所采用的目标检测网络为yolo网络，yolo网络利用yolo目标检测算法能够同时检测出多个行人目标，且用矩形包围框的形式框选出每个行人目标的轮廓区域，作为后续处理候选区域。
67.步骤2，根据检测框和目标编号，对原始视频进行裁剪，去除检测框外区域，把每个编号的行人重新保存成一个视频片段；
68.本步骤具体操作如下：
69.对步骤1所得候选区域进行裁剪，以每个区域矩形框长或宽的最大值为边长，矩形框的中心点为裁剪中心，裁剪出一个正方形区域，然后调整图像尺寸到224*224；
70.根据步骤1所得行人编号，根据双流网络训练时设定的采样频率，为每个人建立图像缓冲池，将调整尺寸后的图像放入缓冲池中。当图像缓冲达到设定数量时，进行步骤3。缓冲池大小的设定根据训练tsn双流网络时数据采样频率相关，如果训练tsn时对每30帧进行分片，则推理时缓冲池大小也是30。
71.缓冲池是为每个行人目标建立的临时视频存储，与每个行人编号对应，当存储量到达30时，缓冲池内容清空，重新开始新图片的存储，对应行人编号不变。当缓冲池内容长时间得不到更新，说明此缓冲池对应编号的行人已经离开视频监控范围，在超出预设更新时间后，将此缓冲池销毁。
72.现有算法一般只能应用于视频中仅有一人的理想环境，在实际环境中效果很差。本发明方法可以在原始视频中存在多人的情况下，进行攀爬行为的检测，具有更好的实际应用效果。如图2所示，原始视频中存在行人n个，通过目标检测网络将这n个人检测出，并标出检测框，利用检测框和视频的时序信息进行跟踪，对每一个行人进行编号。然后根据检测框和编号，重新编辑视频，把每个编号的行人重新保存成一个视频片段，每个视频片段只保留对应编号行人检测框内的区域，如视频
①
，是在原始视频中裁剪出人
①
检测框内的区域，视频是在原始视频中裁剪出人检测框内的区域。
73.步骤3，针对每个视频片段，每30帧随机采样3帧，使用稠密光流法计算得到这3帧每个像素的光流信息。
74.稠密光流计算采用farneback算法，取相邻两帧的图像，将图像视为二维信号的函数，对每个像素点周围设定一个邻域(一般为2n+1的正方形区域，架设n＝2，则邻域为5*5的正方形区域)，采用最小二乘法构建灰度值与位置的函数关系式。进而将原有笛卡尔坐标系图像的二维信号空间，转换到其他向量空间，求得两帧之间的像素位移差，得到光流。
75.稠密光流法相比于稀疏光流法具有更好的配准效果，能够更加准确的比对图像中行人的动作变化，为下一步的攀爬识别提供更为准确的时序信息。准确的时序信息，降低了样本数量的要求，采用随机采样的方法，可以有效地提高检测效率。
76.步骤4，将这3帧的彩色图像和光流信息送入攀爬二分类双流网络，对这30帧进行分类，确定是否存在攀爬。
77.攀爬识别属于二分类任务，把图像缓冲池分成攀爬状态或者未攀爬状态。
78.双流网络训练过程首先需要制作用于训练的二分类数据集，提取采集到的视频片段每一帧，按照之前的方法进行行人检测，行人跟踪，裁剪，计算每一帧的光流，按照人工标注的类别保存裁剪后的原始图像和对应位置的光流图像，其中攀爬作为正样本，非攀爬作为负样本。之后训练时候，随机从正样本库中挑选3张裁剪后的原始帧和对应区域的光流作为正样本，并用相同的方法挑选负样本，送入双流网络进行分类训练。
79.如图3所示，本实施例采用的双流网络为tsn双流网络，tsn网络是孪生网络的一种变形，分为时间卷积网络和空间卷积网络，两个卷积网络之间参数不共享。三张彩色图片分别通过空间卷积网络，然后将三个输出结果通过段共识函数进行融合来产生空间段共识，三张彩图的光流信息分别通过时间卷积网络，然后三个输出结果通过段共识函数进行融合来产生时间段共识。然后对所有模式的预测融合产生最终的预测结果。
80.如图4a、4b所示，为tsn双流网络中空间卷积网络和时间卷积网络结构图，两卷积网络仅在输入层稍有差异，空间卷积网络输入数据为224*224*3，为rgb三通道，时间卷积网
络输入数据为224*224*2，为光流垂直和水平两通道。
81.训练完毕后，该双流网络可以对3帧大小为224*224的rgb图像和光流图像进行二分类，达到对缓冲池分类的目的。
82.通过学习得到的分类网络具有很好的鲁棒性，在不同光照、不同天气下也能精准分类。
83.综上所述，上述实施例的基于深度学习双流网络的攀爬行为检测方法，通过学习得到的分类网络具有很好的鲁棒性，在不同光照、不同天气下也能精准分类，实现复杂条件下的多人行为检测；并对视频进行裁剪，去掉多余的背景信息大幅提高了算法执行效率，利用行人跟踪随机采样的方法使检测效率得到有效提升，值得被推广使用。
84.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。