三维卷积神经网络训练方法、视频异常事件检测方法及装置制造方法
【专利摘要】本发明实施例涉及视频图像【技术领域】，尤其涉及一种三维卷积神经网络训练方法、一种基于三维卷积神经网络的视频异常事件检测方法及装置，用以对拥挤人群场景下发生的异常事件进行检测。本发明实施例的方法中三维卷积神经网络正向传递过程中第N组卷积-采样层中的卷积层上的每个卷积核对第N-1组卷积-采样层中的采样层的所有通道的所有特征图的数据进行卷积，由于最后一层卷积层对所有通道的所有特征图的数据进行卷积，从而可提取更具有表达能力的特征，从而可通过这些特征更好地描述拥挤人群场景下发生的异常事件，进而提高异常事件的检测的准确率。
【专利说明】三维卷积神经网络训练方法、视频异常事件检测方法及装
【技术领域】
[0001] 本发明涉及视频图像【技术领域】，尤其涉及一种三维卷积神经网络训练方法、一种 基于三维卷积神经网络的视频异常事件检测方法及装置。
【背景技术】
[0002] 随着经济的快速发展，在商场、体育场等公共场所中常常存在着人流高峰，而这些 拥挤的人群对公共安全带来了极大的隐患。如果能够及时检测到监控视频中的异常行为， 便可及时采取相应的解决方案，避免重大意外事件发生。
[0003] 现有技术中用于对监控视频中的异常事件进行自动检测的方法需基于运动对象 的跟踪，即通过不断检测运动对象运动轨迹，进行异常行为检测。该类方法异常行为检测效 果在很大程度上依赖于运动对象跟踪的结果，因此该类方法仅适用于非拥挤场景中，但对 于如商场、体育场等公共场所的拥挤场景，由于目标的互遮挡与自遮挡相当严重，导致有效 的运动对象跟踪困难，因此在人群拥挤的场景下，基于运动对象跟踪的方法并不适用。
[0004] 综上，亟需一种视频异常事件检测方法，用以对拥挤人群场景下发生的异常事件 进行检测。
【发明内容】
[0005] 本发明实施例提供一种三维卷积神经网络的训练方法、一种基于三维卷积神经网 络的视频异常事件检测方法及装置，用以对拥挤人群场景下发生的异常事件进行检测。
[0006] 本发明实施例提供一种三维卷积神经网络的训练方法，包括：
[0007] 三维卷积神经网络中按照正向传递过程依次包含第一组至第N组卷积-采样层， 每组卷积-采样层中按照正向传递过程包含一个卷积层和一个采样层，第N-1组卷积-采 样层中的采样层与第N组卷积-采样层中的卷积层全连接，N>1 ;
[0008] 三维卷积神经网络的训练方法包括：
[0009] 执行正向传递过程，根据正向传递过程的输出结果，在三维卷积神经网络中执行 反向传递过程，以修正三维卷积神经网络的模型参数；
[0010] 正向传递过程包括：三维卷积神经网络接收待检测视频序列的特征块，针对特征 块执行异常检测过程，根据待检测视频序列的每个特征块的异常事件检测结果确定待检测 视频序列是否发生异常事件；
[0011] 其中，第N组卷积-采样层中的卷积层上的每个卷积核对第N-1组卷积-采样层 中的采样层的所有通道的所有特征图的数据进行卷积，并将通过卷积所得到的特征图信息 输出给第N组卷积-采样层中的采样层进行采样处理。
[0012] 三维卷积神经网络正向传递过程中第N组卷积-采样层中的卷积层上的每个卷积 核对第N-1组卷积-采样层中的采样层的所有通道的所有特征图的数据进行卷积，由于最 后一层卷积层对所有通道的所有特征图的数据进行卷积，从而可提取更具有表达能力的特 征，从而可通过这些特征更好地描述拥挤人群场景下发生的异常事件，进而提高异常事件 的检测的准确率。
[0013] 较佳的，三维卷积神经网络接收待检测视频序列的特征块之前，还应做一些前期 处理，如：对待检测的第i帧至第i+Ι帧的视频帧序列进行特征提取，并将第i帧至第i+1 帧的视频帧序列切割为RXCX1的多个特征块；其中，i、1、R、C均为大于1的整数，R和C 分别表示特征块的长度和宽度。
[0014] 较佳的，三维卷积神经网络接收待检测视频序列的特征块，对特征块进行检测，输 出的异常事件检测结果中包括异常值概率和正常值概率；由于前期可能对视频帧序列进行 切割，因此同一个帧序列可能具有多个特征块，三维卷积神经网络会对每个特征块输出一 个异常事件检测结果。根据多个待检测视频序列的每个特征块的异常事件检测结果确定待 检测视频序列是否发生异常事件时，若待检测视频序列的特征块中至少有一个特征块满足 以下条件，则确定待检测视频序列发生异常事件：异常值概率减去正常值概率得到的差值 大于设定阈值。
[0015] 如前，三维卷积神经网络输出的异常事件检测结果中包括异常值概率和正常值概 率。当想要确定具体哪一帧发生了异常事件时，则需结果多个特征块进行计算。例如，需要 确定第k帧是否发生了异常事件，则需将所有包含第k帧的视频帧序列中的所有特征块的 异常检测结果中的异常值概率进行加权相加，将包含第k帧的所有视频帧序列中的所有特 征块的异常检测结果中的正常值概率进行加权相加；其中，所有包含第k帧的视频帧序列 是通过具有1帧时间长度的滑动窗口每次移动单帧得到的；针对所有包含第k帧的视频帧 序列中的所有特征块，若加权相加之后的异常值概率减去加权相加之后的正常值概率得到 的差值大于设定阈值，则确定第k帧发生异常事件；其中，k为正整数。
[0016] 较佳的，由于第k帧具有多个异常检查结果，因此对第k帧的异常检测结果进行加 权相加之前必须设定权值。针对所有包含第k帧的视频帧序列中的所有特征块，将第一特 征块的的异常检测结果中的异常值概率和正常值概率的权值设置为最大值；其中，第一特 征块满足以下条件：
【权利要求】
1. 一种三维卷积神经网络的训练方法，其特征在于，包括： 三维卷积神经网络中按照正向传递过程依次包含第一组至第N组卷积-采样层，每组 卷积-采样层中按照正向传递过程包含一个卷积层和一个采样层，第N-1组卷积-采样层 中的采样层与第N组卷积-采样层中的卷积层全连接，N>1 ; 所述三维卷积神经网络的训练方法包括： 执行正向传递过程，根据所述正向传递过程的输出结果，在所述三维卷积神经网络中 执行反向传递过程，以修正所述三维卷积神经网络的模型参数； 所述正向传递过程包括：三维卷积神经网络接收待检测视频序列的特征块，针对所述 特征块执行异常检测过程，根据待检测视频序列的每个特征块的异常事件检测结果确定所 述待检测视频序列是否发生异常事件； 其中，第N组卷积-采样层中的卷积层上的每个卷积核对第N-1组卷积-采样层中的 采样层的所有通道的所有特征图的数据进行卷积，并将通过卷积所得到的特征图信息输出 给第N组卷积-采样层中的采样层进行采样处理。
2. 如权利要求1所述的三维卷积神经网络的训练方法，其特征在于，所述三维卷积神 经网络接收待检测视频序列的特征块之前，还包括： 对待检测的第i帧至第i+1帧的视频帧序列进行特征提取，并将所述第i帧至第i+1 帧的视频帧序列切割为RXCX1的多个特征块；其中，i、1、R、C均为大于1的整数，R和C 分别表示特征块的长度和宽度。
3. 如权利要求1所述的三维卷积神经网络的训练方法，其特征在于，所述异常事件检 测结果中包括异常值概率和正常值概率； 所述根据待检测视频序列的每个特征块的异常事件检测结果确定所述待检测视频序 列是否发生异常事件，包括： 若所述待检测视频序列的特征块中至少有一个特征块满足以下条件，则确定所述待检 测视频序列发生异常事件：异常值概率减去正常值概率得到的差值大于设定阈值。
4. 如权利要求2所述的三维卷积神经网络的训练方法，其特征在于，所述异常事件检 测结果中包括异常值概率和正常值概率； 所述根据待检测视频序列的每个特征块的异常事件检测结果确定所述待检测视频序 列是否发生异常事件，包括： 将所有包含第k帧的视频帧序列中的所有特征块的异常检测结果中的异常值概率进 行加权相加，将包含第k帧的所有视频帧序列中的所有特征块的异常检测结果中的正常值 概率进行加权相加； 其中，所述所有包含第k帧的视频帧序列是通过具有1帧时间长度的滑动窗口每次移 动单帧得到的； 针对所有包含第k帧的视频帧序列中的所有特征块，若加权相加之后的异常值概率减 去加权相加之后的正常值概率得到的差值大于设定阈值，则确定第k帧发生异常事件； 其中，k为正整数。
5. 如权利要求4所述的三维卷积神经网络的训练方法，其特征在于，所述将所有包含 第k帧的视频帧序列中的所有特征块的异常检测结果中的异常值概率进行加权相加，将包 含第k帧的所有视频帧序列中的所有特征块的异常检测结果中的正常值概率进行加权相 加之前，还包括： 针对所有包含第k帧的视频帧序列中的所有特征块，将第一特征块的的异常检测结 果中的异常值概率和正常值概率的权值设置为最大值；其中，所述第一特征块满足以下条 件：
其中， L-J 表示向下取整，表示向上取整。
6. -种基于三维卷积神经网络的视频异常事件检测方法，其特征在于，所述三维卷积 神经网络中按照正向传递过程依次包含第一组至第N组卷积-采样层，每组卷积-采样层 中按照正向传递过程包含一个卷积层和一个采样层，第N-1组卷积-采样层中的采样层与 第N组卷积-采样层中的卷积层全连接，N>1 ; 所述基于三维卷积神经网络的视频异常事件检测方法包括： 三维卷积神经网络接收待检测视频序列的特征块，针对所述特征块执行异常检测过 程，根据待检测视频序列的每个特征块的异常事件检测结果确定所述待检测视频序列是否 发生异常事件； 其中，第N组卷积-采样层中的卷积层上的每个卷积核对第N-1组卷积-采样层中的 采样层的所有通道的所有特征图的数据进行卷积，并将通过卷积所得到的特征图信息输出 给第N组卷积-采样层中的采样层进行采样处理。
7. 如权利要求6所述的基于三维卷积神经网络的视频异常事件检测方法，其特征在 于，所述三维卷积神经网络接收待检测视频序列的特征块之前，还包括： 对待检测的第i帧至第i+1帧的视频帧序列进行特征提取，并将所述第i帧至第i+1 帧的视频帧序列切割为RXCX 1的多个特征块；其中，i、1、R、C均为大于1的整数，R和C 分别表示特征块的长度和宽度。
8. 如权利要求6所述的基于三维卷积神经网络的视频异常事件检测方法，其特征在 于，所述异常事件检测结果中包括异常值概率和正常值概率； 所述根据待检测视频序列的每个特征块的异常事件检测结果确定所述待检测视频序 列是否发生异常事件，包括： 若所述待检测视频序列的特征块中至少有一个特征块满足以下条件，则确定所述待检 测视频序列发生异常事件：异常值概率减去正常值概率得到的差值大于设定阈值。
9. 如权利要求7所述的基于三维卷积神经网络的视频异常事件检测方法，其特征在 于，所述异常事件检测结果中包括异常值概率和正常值概率； 所述根据待检测视频序列的每个特征块的异常事件检测结果确定所述待检测视频序 列是否发生异常事件，包括： 将所有包含第k帧的视频帧序列中的所有特征块的异常检测结果中的异常值概率进 行加权相加，将包含第k帧的所有视频帧序列中的所有特征块的异常检测结果中的正常值 概率进行加权相加； 其中，所述所有包含第k帧的视频帧序列是通过具有1帧时间长度的滑动窗口每次移 动单帧得到的； 针对所有包含第k帧的视频帧序列中的所有特征块，若加权相加之后的异常值概率减 去加权相加之后的正常值概率得到的差值大于设定阈值，则确定第k帧发生异常事件； 其中，k为正整数。
10. 如权利要求9所述的基于三维卷积神经网络的视频异常事件检测方法，其特征在 于，所述将所有包含第k帧的视频帧序列中的所有特征块的异常检测结果中的异常值概率 进行加权相加，将包含第k帧的所有视频帧序列中的所有特征块的异常检测结果中的正常 值概率进行加权相加之前，还包括： 针对所有包含第k帧的视频帧序列中的所有特征块，将第一特征块的的异常检测结 果中的异常值概率和正常值概率的权值设置为最大值；其中，所述第一特征块满足以下条 件：
11. 一种基于三维卷积神经网络的视频异常事件检测装置，其特征在于，包括： 存储单元，用于被配置以存储三维卷积神经网络的模型的描述信息，所述三维卷积神 经网络中按照正向传递过程依次包含第一组至第N组卷积-采样层，每组卷积-采样层中 按照正向传递过程包含一个卷积层和一个采样层，第N-1组卷积-采样层中的采样层与第 N组卷积-采样层中的卷积层全连接，N>1 ; 接收单元，用于在正向传递过程中和视频异常事件检测过程中接收待检测视频序列的 特征块； 检测单元，用于在正向传递过程中和视频异常事件检测过程中针对所述特征块执行异 常检测过程， 异常事件确定单元，用于在正向传递过程中和视频异常事件检测过程中根据待检测视 频序列的每个特征块的异常事件检测结果确定所述待检测视频序列是否发生异常事件； 其中，第N组卷积-采样层中的卷积层上的每个卷积核对第N-1组卷积-采样层中的 采样层的所有通道的所有特征图的数据进行卷积，并将通过卷积所得到的特征图信息输出 给第N组卷积-采样层中的采样层进行采样处理； 输出处理单元：在所述反向传递过程中：根据所述正向传递过程的输出结果，在所述 三维卷积神经网络中执行反向传递过程，以修正所述三维卷积神经网络的模型参数。
12. 如权利要求11所述的装置，其特征在于，还包括特征块生成单元， 用于对待检测的第i帧至第i+1帧的视频帧序列进行特征提取，并将所述第i帧至第 i+1帧的视频帧序列切割为RXCX1的多个特征块；其中，i、1、R、C均为大于1的整数，R 和C分别表示特征块的长度和宽度。
13. 如权利要求11所述的装置，其特征在于，所述异常事件检测结果中包括异常值概 率和正常值概率； 所述异常事件确定单元，具体用于： 若所述待检测视频序列的特征块中至少有一个特征块满足以下条件，则确定所述待检 测视频序列发生异常事件：异常值概率减去正常值概率得到的差值大于设定阈值。
14. 如权利要求12所述的装置，其特征在于，所述异常事件检测结果中包括异常值概 率和正常值概率； 所述异常事件确定单元，具体用于： 将所有包含第k帧的视频帧序列中的所有特征块的异常检测结果中的异常值概率进 行加权相加，将包含第k帧的所有视频帧序列中的所有特征块的异常检测结果中的正常值 概率进行加权相加； 其中，所述所有包含第k帧的视频帧序列是通过具有1帧时间长度的滑动窗口每次移 动单帧得到的； 针对所有包含第k帧的视频帧序列中的所有特征块，若加权相加之后的异常值概率减 去加权相加之后的正常值概率得到的差值大于设定阈值，则确定第k帧发生异常事件； 其中，k为正整数。
15.如权利要求14所述的装置，其特征在于，所述异常事件确定单元，还用于： 针对所有包含第k帧的视频帧序列中的所有特征块，将第一特征块的的异常检测结 果中的异常值概率和正常值概率的权值设置为最大值；其中，所述第一特征块满足以下条 件：
【文档编号】G06K9/46GK104281858SQ201410469780
【公开日】2015年1月14日 申请日期:2014年9月15日 优先权日:2014年9月15日
【发明者】田永鸿, 史业民, 王耀威, 黄铁军 申请人:中安消技术有限公司, 北京大学