异常行为检测方法、装置、计算机设备和存储介质与流程

1.本技术涉及电力作业现场控制技术领域，特别是涉及一种异常行为检测方法、装置、计算机设备和存储介质。


背景技术：

2.电力生产是世界上公认的高危生产作业领域。据统计，大多数的电力安全生产事故都来自于现场作业人员的习惯性违规。为了保障电力现场作业的安全性，需要对现场作业人员的行为进行检测。
3.目前，为了实现对现场作业人员的行为进行检测，电力作业现场，尤其是带电作业现场一般都要设置安全员来监督在施工过程中工人的行为是否规范，并对异常行为警告和记录。
4.然而这种方法不仅需要培训和配备专业的安全员，耗时耗力，而且人的精力有限，在监督过程中难免会有疏忽遗漏，对异常行为检测效果较差，从而导致安全事故。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够提高对异常行为检测效果的异常行为检测方法、装置、计算机设备和存储介质。
6.一种异常行为检测方法，所述方法包括：获取目标视频流数据；将所述目标视频流数据输入至预先训练的多任务检测模型，得到所述目标视频流数据包含的目标对象的检测结果；所述检测结果包含对象识别结果和各安全着装类型对应的安全着装检测结果；根据所述目标对象的检测结果，确定第一异常行为检测结果。
7.在其中一个实施例中，所述多任务检测模型包括特征提取模块、对象识别模块、以及各安全着装类型对应的检测模块；所述将所述目标视频流数据输入至预先训练的多任务检测模型，得到所述目标视频流数据包含的目标对象的检测结果，包括：将所述目标视频流数据输入至所述特征提取模块，得到所述目标视频流数据的卷积特征；将所述卷积特征输入至所述对象识别模块，得到对象识别结果；将所述卷积特征输入至所述各安全着装类型对应的检测模块，得到各安全着装类型对应的安全着装检测结果。
8.在其中一个实施例中，所述多任务检测模型的训练过程包括：获取训练数据集；所述训练数据集包括第一样本图像、所述第一样本图像包含的对象的样本识别结果，以及第二样本图像、所述第二样本图像包含的对象的各安全着装类型对应的样本检测结果；
将所述训练数据集输入至目标神经网络，得到对象识别预测结果和各安全着装类型对应的预测结果；根据所述对象识别预测结果、所述对象的样本识别结果、所述各安全着装类型对应的预测结果、以及所述各安全着装类型对应的样本检测结果，确定目标损失函数，并根据所述目标损失函数迭代更新所述目标神经网络的参数；当所述目标损失函数满足预设条件时，停止对所述目标神经网络的参数迭代更新，得到所述多任务检测模型。
9.在其中一个实施例中，所述根据所述对象识别预测结果、所述对象的样本识别结果、所述各安全着装类型对应的预测结果、以及所述各安全着装类型对应的样本检测结果，确定目标损失函数，包括：根据所述对象识别预测结果、以及所述对象的样本识别结果，确定目标位置框标注损失函数和目标类别预测损失函数；根据所述各安全着装类型对应的预测结果、以及所述各安全着装类型对应的样本检测结果，确定各安全着装类型对应的损失函数；将所述目标位置框标注损失函数、所述目标类别预测损失函数和所述各安全着装类型对应的损失函数相加，得到目标损失函数。
10.在其中一个实施例中，所述方法还包括：将所述目标视频流数据输入至预先训练的行为预测模型，得到所述目标对象的行为预测结果；根据所述目标对象的行为预测结果，确定第二异常行为检测结果。
11.在其中一个实施例中，所述将所述目标视频流数据输入至预先训练的行为预测模型，得到目标行为预测信息，包括：在所述目标视频流数据中，获取包含目标对象的预设数目个图像帧；将所述预设数目个图像帧输入至预先训练的行为预测模型中，得到目标对象的行为预测结果。
12.在其中一个实施例中，所述方法还包括：根据所述目标视频流数据，进行标识牌识别，得到标识牌识别结果；所述标识牌识别结果包括：禁止行为和所述禁止行为对应的区域；所述根据所述目标对象的行为预测结果，确定第二异常行为检测结果，包括：根据所述目标对象的行为预测结果，确定所述目标对象的预测行为；若所述预测行为为所述禁止行为，并且所述目标对象处于所述禁止行为对应的区域，则确定第二异常行为检测结果为异常行为；若所述预测行为非所述禁止行为，或者所述目标对象未处于所述禁止行为对应的区域，则确定第二异常行为检测结果为非异常行为。
13.一种异常行为检测装置，所述装置包括：第一获取模块，用于获取目标视频流数据；多任务检测模块，用于将所述目标视频流数据输入至预先训练的多任务检测模型，得到所述目标视频流数据包含的目标对象的检测结果；所述检测结果包含对象识别结果和各安全着装类型对应的安全着装检测结果；
第一确定模块，用于根据所述目标对象的检测结果，确定第一异常行为检测结果。
14.在其中一个实施例中，所述多任务检测模型包括特征提取模块、对象识别模块、以及各安全着装类型对应的检测模块；所述多任务检测模块，具体用于：将所述目标视频流数据输入至所述特征提取模块，得到所述目标视频流数据的卷积特征；将所述卷积特征输入至所述对象识别模块，得到对象识别结果；将所述卷积特征输入至所述各安全着装类型对应的检测模块，得到各安全着装类型对应的安全着装检测结果。
15.在其中一个实施例中，所述装置还包括：第二获取模块，用于获取训练数据集；所述训练数据集包括第一样本图像、所述第一样本图像包含的对象的样本识别结果，以及第二样本图像、所述第二样本图像包含的对象的各安全着装类型对应的样本检测结果；预测模块，用于将所述训练数据集输入至目标神经网络，得到对象识别预测结果和各安全着装类型对应的预测结果；更新模块，用于根据所述对象识别预测结果、所述对象的样本识别结果、所述各安全着装类型对应的预测结果、以及所述各安全着装类型对应的样本检测结果，确定目标损失函数，并根据所述目标损失函数迭代更新所述目标神经网络的参数；当所述目标损失函数满足预设条件时，停止对所述目标神经网络的参数迭代更新，得到所述多任务检测模型。
16.在其中一个实施例中，所述更新模块，具体用于：根据所述对象识别预测结果、以及所述对象的样本识别结果，确定目标位置框标注损失函数和目标类别预测损失函数；根据所述各安全着装类型对应的预测结果、以及所述各安全着装类型对应的样本检测结果，确定各安全着装类型对应的损失函数；将所述目标位置框标注损失函数、所述目标类别预测损失函数和所述各安全着装类型对应的损失函数相加，得到目标损失函数。
17.在其中一个实施例中，所述装置还包括：行为预测模块，用于将所述目标视频流数据输入至预先训练的行为预测模型，得到所述目标对象的行为预测结果；第二确定模块，用于根据所述目标对象的行为预测结果，确定第二异常行为检测结果。
18.在其中一个实施例中，所述行为预测模块，具体用于：在所述目标视频流数据中，获取包含目标对象的预设数目个图像帧；将所述预设数目个图像帧输入至预先训练的行为预测模型中，得到目标对象的行为预测结果。
19.在其中一个实施例中，所述装置还包括：标识牌识别模块，用于根据所述目标视频流数据，进行标识牌识别，得到标识牌识别结果；所述标识牌识别结果包括：禁止行为和所述禁止行为对应的区域；所述第二确定模块，具体用于：
根据所述目标对象的行为预测结果，确定所述目标对象的预测行为；若所述预测行为为所述禁止行为，并且所述目标对象处于所述禁止行为对应的区域，则确定第二异常行为检测结果为异常行为；若所述预测行为非所述禁止行为，或者所述目标对象未处于所述禁止行为对应的区域，则确定第二异常行为检测结果为非异常行为。
20.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的步骤。
21.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的步骤。
22.上述异常行为检测方法、装置、计算机设备和存储介质，获取目标视频流数据；将所述目标视频流数据输入至预先训练的多任务检测模型，得到所述目标视频流数据包含的目标对象的检测结果；所述检测结果包含对象识别结果和各安全着装类型对应的安全着装检测结果；根据所述目标对象的检测结果，确定第一异常行为检测结果，不再采用人工检测，提高了对异常行为检测的效果。并且，上述异常行为检测方法、装置、计算机设备和存储介质，采用多任务检测模型，在检测行人的同时检测该行人是否穿着各类型安全着装，进一步提高了对异常行为检测的效果，有效预防安全事故。
附图说明
23.图1为一个实施例中异常行为检测方法的流程示意图；图2为一个示例中目标对象的检测结果示意图；图3为一个实施例中得到目标对象的检测结果步骤的流程示意图；图4为一个示例中多任务检测模型的结构示意图；图5为一个实施例中多任务检测模型的训练过程的流程示意图；图6为一个实施例中确定目标损失函数步骤的流程示意图；图7为另一个实施例中异常行为检测方法的流程示意图；图8为另一个实施例中得到目标对象的行为预测信息步骤的流程示意图；图9为一个示例中得到某个目标对象的行为预测信息过程示意图；图10为另一个实施例中异常行为检测方法的流程示意图；图11为标识牌与对应的禁止行为区域示意图；图12为施工现场的标识牌示意图；图13为一个实施例中异常行为检测装置的结构框图；图14为一个实施例中计算机设备的内部结构图。
具体实施方式
24.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
25.在一个实施例中，如图1所示，提供了一种异常行为检测方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括
终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中，该方法包括以下步骤：步骤101，获取目标视频流数据。
26.在本技术实施例中，终端可以通过摄像设备在作业现场拍摄目标视频流数据。其中，作业现场可以为任意施工现场，例如，电力作业现场、石油勘探现场、建筑施工作业现场。
27.步骤102，将目标视频流数据输入至预先训练的多任务检测模型，得到目标视频流数据包含的目标对象的检测结果。
28.其中，检测结果包含对象识别结果和各安全着装类型对应的安全着装检测结果。
29.在本技术实施例中，终端中可以存储有预先训练多任务检测模型。训练完成的多任务检测模型具有同时识别多任务的功能，即训练完成的多任务检测模型具有同时从视频流数据中识别出目标对象以及目标对象是否穿着各类型安全着装的功能。终端将目标视频流数据输入至训练完成的多任务检测模型，得到目标视频流数据包含的目标对象的对象识别结果和各安全着装类型对应的安全着装检测结果，即得到目标视频流数据包含的目标对象的检测结果。其中，目标对象为进入作业现场的所有人员。各安全着装类型为作业现场所需的各种安全着装的类型，例如，安全帽、工作服、绝缘鞋、绝缘手套、防护眼镜、安全绳等，本技术实施例不做限定。
30.步骤103，根据目标对象的检测结果，确定第一异常行为检测结果。
31.在本技术实施例中，终端可以根据目标对象的检测结果，判断目标视频流数据包含的目标对象是否穿着各类型的安全着装。然后，终端可以根据目标视频流数据包含的目标对象是否穿着各类型的安全着装，确定第一异常行为检测结果。其中，第一异常行为检测结果可以表示目标对象针对各安全着装类型是否存在异常行为。
32.在一个示例中，对象识别结果可以包括目标类别的概率，各安全着装类型对应的安全着装检测结果可以包括各安全着装类型对应的概率。针对每一种安全着装类型的安全着装检测结果，若该安全着装类型对应的概率大于预设的第一概率阈值，则确定目标对象穿着该类型安全着装；若该安全着装类型对应的概率小于或等于预设的第一概率阈值，则确定目标对象未穿着这种类型的安全着装。
33.可选的，各安全着装类型可以包括：工作服和安全帽；各安全着装类型对应的安全着装检测结果可以包括：穿工作服的概率和戴安全帽的概率。对象识别结果可以包括：目标位置框标注结果和目标类别预测的概率。例如，目标视频流数据包含的目标对象的检测结果如图2所示，目标位置框标注框出目标对象，在目标对象的上方显示该目标对象的目标类别预测的概率、穿工作服的概率和戴安全帽的概率。若穿工作服的概率大于预设的第二概率阈值，则确定目标对象穿工作服；若穿工作服的概率小于或等于预设的第二概率阈值，则确定目标对象未穿工作服。若戴安全帽的概率大于预设的第三概率阈值，则确定目标对象戴安全帽；若戴安全帽的概率小于或等于预设的第三概率阈值，则确定目标对象未戴安全帽。其中，第二概率阈值和第三概率阈值可以相等，例如，均等于0.5，也可以不相等，例如，第二概率阈值等于0.4，第三概率阈值等于0.3。
34.上述异常行为检测方法、装置、计算机设备和存储介质，终端获取目标视频流数
据，并将目标视频流数据输入至预先训练的多任务检测模型，得到目标视频流数据包含的目标对象的检测结果；检测结果包含对象识别结果和各安全着装类型对应的安全着装检测结果；终端根据目标对象的检测结果，确定第一异常行为检测结果。上述异常行为检测方法、装置、计算机设备和存储介质，不再采用人工检测，提高了对异常行为检测的效果。并且，上述异常行为检测方法、装置、计算机设备和存储介质，采用多任务检测模型，在检测行人的同时检测该行人是否穿着各类型安全着装，进一步提高了对异常行为检测的效果，有效预防安全事故。
35.在一个实施例中，如图3所示，多任务检测模型包括特征提取模块、对象识别模块、以及各安全着装类型对应的检测模块。
36.在本技术实施例中，特征提取模块（即神经网络中的主干网络）可以作为对象识别模块和各安全着装类型对应的检测模块的共享网络部分，用于提取输入图像的特征以及对提取的特征进行卷积计算。对象识别模块和各安全着装类型对应的检测模块为神经网络中的预测分支。具体地，特征提取模块提取的特征经过卷积计算后，再经对象识别模块和各安全着装类型对应的检测模块进行预测，对象识别模块和各安全着装类型对应的检测模块分别输出各自的预测结果。
37.将目标视频流数据输入至预先训练的多任务检测模型，得到目标视频流数据包含的目标对象的检测结果的具体过程包括以下步骤：步骤301，将目标视频流数据输入至特征提取模块，得到目标视频流数据的卷积特征。
38.在本技术实施例中，终端可以将目标视频流数据输入至特征提取模块，得到目标视频流数据的卷积特征。其中，特征提取模块提取目标视频流数据的特征，并对提取的目标视频流数据的特征进行卷积计算，得到目标视频流数据的卷积特征。
39.步骤302，将卷积特征输入至对象识别模块，得到对象识别结果。
40.在本技术实施例中，终端可以将卷积特征输入至对象识别模块，得到对象识别结果。其中，对象识别模块根据输入的卷积特征，对对象识别进行预测，输出对象识别结果。
41.步骤303，将卷积特征输入至各安全着装类型对应的检测模块，得到各安全着装类型对应的安全着装检测结果。
42.在本技术实施例中，终端可以将卷积特征分别输入至各安全着装类型对应的检测模块，得到各安全着装类型对应的安全着装检测结果。其中，各安全着装类型对应的检测模块可以根据输入的卷积特征，对各安全着装类型进行预测，输出各安全着装类型对应的安全着装检测结果。
43.在一个示例中，如图4所示，对象识别模块可以包括：目标位置框标注模块和目标类别预测模块；各安全着装类型对应的检测模块可以包括：穿工作服检测模块和戴安全帽检测模块。终端将目标视频流数据输入至特征提取模块，得到目标视频流数据的卷积特征。终端将卷积特征分别输入至目标位置框标注模块、目标类别预测模块、穿工作服检测模块和戴安全帽检测模块，分别得到目标位置框标注结果、目标类别预测结果、穿工作服检测结果和戴安全帽检测结果。
44.上述异常行为检测方法、装置、计算机设备和存储介质，终端获取目标视频流数据，并将目标视频流数据输入至预先训练的多任务检测模型的特征提取模块，得到目标视
频流数据的卷积特征；终端将卷积特征输入至对象识别模块，得到对象识别结果；终端将卷积特征输入至各安全着装类型对应的检测模块，得到各安全着装类型对应的安全着装检测结果；终端根据目标对象的对象识别结果和各安全着装类型对应的安全着装检测结果，确定第一异常行为检测结果。上述异常行为检测方法、装置、计算机设备和存储介质，共用特征提取模块，不需要针对对象识别模块和各安全着装类型对应的检测模块的每个预测任务单独训练用于特征提取的网络结构，从而可以节省模型的计算量，提高多任务检测的识别效率，进一步提高了对异常行为检测的效果，有效预防安全事故。
45.在一个实施例中，如图5所示，多任务检测模型的训练过程的具体过程包括以下步骤：步骤501，获取训练数据集。
46.其中，训练数据集包括第一样本图像、以及第一样本图像包含的对象的样本识别结果和第二样本图像、以及第二样本图像包含的对象的各安全着装类型对应的样本检测结果。
47.在本技术实施例中，终端可以获取多任务检测模型的训练数据集。训练数据集包括第一样本图像、以及第一样本图像包含的对象（可称为第一样本对象）的样本识别结果和第二样本图像、以及第二样本图像包含的对象（可称为第二样本对象）的各安全着装类型对应的样本检测结果。其中，第一样本图像与第二样本图像可以为相同的样本图像，也可以为不同的样本图像。
48.在一个示例中，第一样本对象的样本识别结果可以包括：第一样本对象的目标位置框标注和第一样本对象的目标类别。第二样本对象的各安全着装类型对应的样本检测结果可以包括：第二样本对象是否穿着各类型安全着装，例如，第二样本对象是否穿着工作服、是否佩戴安全帽。
49.步骤502，将训练数据集输入至目标神经网络，得到对象识别预测结果和各安全着装类型对应的预测结果。
50.在本技术实施例中，终端可以将训练数据集输入至目标神经网络（为了便于区分，可称为第一目标神经网络），得到对象识别预测结果和各安全着装类型对应的预测结果。其中，第一目标神经网络对训练数据集的第一样本图像进行对象识别，输出第一样本图像的对象识别预测结果；第一目标神经网络对训练数据集的第二样本图像进行各安全着装类型检测，输出第二样本图像的各安全着装类型对应的预测结果。
51.在一个示例中，第一目标神经网络可以为yolo（you only look once）算法。
52.步骤503，根据对象识别预测结果、对象的样本识别结果、各安全着装类型对应的预测结果、以及各安全着装类型对应的样本检测结果，确定目标损失函数，并根据目标损失函数迭代更新目标神经络的参数。
53.在本技术实施例中，终端可以将对象识别预测结果、对象的样本识别结果、各安全着装类型对应的预测结果、以及各安全着装类型对应的样本检测结果作为目标损失函数（为了便于区分，可称为第一目标损失函数）的参数，确定第一目标损失函数。然后，终端根据第一目标损失函数，迭代更新第一目标神经网络的参数。
54.其中，对象识别预测结果可以包括：目标位置框标注预测值和目标类别预测值。在一个示例中，目标位置框标注预测值可以包括：目标对象的位置坐标预测值和目标位置框
标注尺寸预测值。
55.步骤504，当目标损失函数满足预设条件时，停止对目标神经网络的参数迭代更新，得到多任务检测模型。
56.在本技术实施例中，在对第一目标神经网络的参数迭代更新的过程中，每迭代更新一次，终端可以判断第一目标损失函数是否满足预设条件。当第一目标损失函数满足预设条件时，终端停止对第一目标神经网络的参数迭代更新。终端将停止对第一目标神经网络的参数迭代更新时的第一目标神经网络作为多任务检测模型。其中，预设条件可以为使得对象识别和各着装类型检测对应的各个预测任务的预测结果与样本结果之间的差异均小于预设差异阈值的条件。对象识别和各着装类型检测对应的各个预测任务的预测结果与样本结果之间的差异通过损失函数值进行表示。
57.上述异常行为检测方法、装置、计算机设备和存储介质，终端获取训练数据集；将训练数据集输入至目标神经网络，得到对象识别预测结果和各安全着装类型对应的预测结果；根据对象识别预测结果、对象的样本识别结果、各安全着装类型对应的预测结果、以及各安全着装类型对应的样本检测结果，确定目标损失函数，并根据目标损失函数迭代更新目标神经网络的参数；当目标损失函数满足预设条件时，停止对目标神经网络的参数迭代更新，得到多任务检测模型。上述异常行为检测方法、装置、计算机设备和存储介质采用的多任务检测模型的训练过程，使得多任务检测模型能够在识别出目标对象的同时，完成目标对象各着装类型对应的检测，从而在降低模型运算量的同时，还可以提高对目标对象各着装类型对应的检测的检测效率，进一步提高了对异常行为检测的效果，有效预防安全事故。
58.在一个实施例中，如图6所示，根据对象识别预测结果、对象的样本识别结果、各安全着装类型对应的预测结果、以及各安全着装类型对应的样本检测结果，确定目标损失函数的具体过程包括以下步骤：步骤601，根据对象识别预测结果、以及对象的样本识别结果，确定目标位置框标注损失函数和目标类别预测损失函数。
59.在本技术实施例中，对象识别预测结果可以包括：目标位置框标注预测值和目标类别预测值；对象的样本识别结果可以包括：目标位置框标注真实值和目标类别真实值。终端可以将目标位置框标注预测值、以及目标位置框标注真实值作为目标位置框标注损失函数的参数，根据预设的目标位置框标注损失函数的计算规则，确定目标位置框标注损失函数。终端将目标类别预测值、以及目标类别真实值作为目标类别预测损失函数的参数，根据预设的目标类别预测损失函数的计算规则，确定目标类别预测损失函数。
60.在一个示例中，目标位置框标注预测值可以包括：目标对象的位置坐标的预测值和目标位置框标注尺寸的预测值；目标位置框标注真实值可以包括：目标对象的位置坐标的真实值和目标位置框标注尺寸的真实值。在一个示例中，目标位置框标注尺寸的预测值可以包括：目标位置框标注的宽的预测值和目标位置框标注的高的预测值；目标位置框标注尺寸的真实值可以包括：目标位置框标注的宽的真实值和目标位置框标注的高的真实值。
61.步骤602，根据各安全着装类型对应的预测结果、以及各安全着装类型对应的样本检测结果，确定各安全着装类型对应的损失函数。
62.在本技术实施例中，终端可以将各安全着装类型对应的预测结果、以及各安全着装类型对应的样本检测结果作为各安全着装类型对应的损失函数的参数，根据预设的各安全着装类型对应的损失函数的计算规则，确定各安全着装类型对应的损失函数。
63.步骤603，将目标位置框标注损失函数、目标类别预测损失函数和各安全着装类型对应的损失函数相加，得到目标损失函数。
64.在本技术实施例中，终端可以将目标位置框标注损失函数、目标类别预测损失函数和各安全着装类型对应的损失函数相加，将得到的和作为第一目标损失函数。
65.在一个示例中，多任务检测模型可以包括：目标位置框标注检测模块、目标类别检测模块、是否穿工作服检测模块和是否戴安全帽检测模块。其中，是否穿工作服检测模块和是否戴安全帽检测模块类似于目标位置框标注检测模块和目标类别检测模块。这两个检测模块对于每一个包括目标对象的检测框分别进行预测，得到二维数组，再将二维数组进行softmax映射，分别得到穿工作服的概率和戴安全帽的概率。即各安全着装类型对应的安全着装检测结果包括：穿工作服的概率和戴安全帽的概率。该多任务检测模型的第一目标损失函数为目标位置框标注损失函数、目标类别预测损失函数、穿工作服检测损失函数与戴安全帽检测损失函数之和。例如，多任务检测模型的第一目标损失函数可以表示为：l
total
=l
box
+l
cls
+l
safehat
+l
uniform
其中，l
total
为多任务检测模型的第一目标损失函数，l
box
为目标位置框标注损失函数，l
cls
为目标类别预测损失函数，l
safehat
为戴安全帽检测损失函数，l
uniform
为穿工作服检测损失函数。
66.其中，l
box
、l
cls
、l
safehat
以及l
uniform
可分别表示如下：可分别表示如下：可分别表示如下：可分别表示如下：其中，l
total
为第一目标损失函数，l
box
为目标位置框标注损失函数，l
cls
目标类别预测损失函数，l
safehat
为戴安全帽检测损失函数，l
uniform
为穿工作服检测损失函数；、、和分别为各个损失函数的权重；代表位置i处有目标j；x、y为标注的目标对象的位置坐标，w为标注的目标对象所在位置框的宽，h为标注的目标对象所在位置框的高，p为真实值；、为预测的目标对象的位置坐标，为预测的目标对象所在位置框的宽，为预测的目标对象所在位置框的高，为预测概率值。
67.上述异常行为检测方法、装置、计算机设备和存储介质，终端根据对象识别预测结果、以及对象的样本识别结果，确定目标位置框标注损失函数和目标类别预测损失函数；根据各安全着装类型对应的预测结果、以及各安全着装类型对应的样本检测结果，确定各安全着装类型对应的损失函数；将目标位置框标注损失函数、目标类别预测损失函数和各安全着装类型对应的损失函数相加，得到第一目标损失函数；根据第一目标损失函数训练第一目标神经网络，得到多任务检测模型。上述异常行为检测方法、装置、计算机设备和存储介质采用的多任务检测模型的训练过程，使得多任务检测模型能够在识别出目标对象的同时，完成目标对象各着装类型对应的检测，从而在降低模型运算量的同时，还可以提高对目标对象各着装类型对应的检测的检测效率，进一步提高了对异常行为检测的效果，有效预防安全事故。
68.在一个实施例中，如图7所示，该方法还包括以下步骤：步骤701，将目标视频流数据输入至预先训练的行为预测模型，得到目标对象的行为预测结果。
69.在本技术实施例中，终端中可以存储有预先训练行为预测模型。终端可以将目标视频流数据输入至该预先训练行为预测模型，得到目标对象的行为预测结果。
70.其中，行为预测模型能够预测目标对象接下来的行为。行为预测模型包括：行为特征提取模块和行为预测模块。行为预测模型可以通过行为特征提取模块提取目标视频流数据中目标对象的连续行为特征，再通过行为预测模块对提取的目标对象的连续行为特征进行行为预测，从而输出行为预测结果。
71.在一个示例中，行为特征提取模块的输出为异常行为数量b+1维向量（b是需要预测的动作数量）。行为预测模块将b+1维向量通过softmax函数，得到各类型异常行为的概率。即行为预测结果可以包括各类型异常行为的概率。
72.步骤702，根据目标对象的行为预测结果，确定第二异常行为检测结果。
73.在本技术实施例中，终端可以根据目标对象的行为预测结果，判断目标对象在下一时刻是否可能存在预设的异常行为。若目标对象在下一时刻可能存在预设的异常行为，则终端可以确定第二异常行为检测结果为异常行为；若目标对象在下一时刻可能未存在预设的异常行为，则终端可以确定第二异常行为检测结果为非异常行为。
74.其中，预设的异常行为可以包括：跨越、攀爬、进入禁止区域、发出异常动作（如原地转圈、奔跑等）等，本技术实施例不做限定。
75.上述异常行为检测方法、装置、计算机设备和存储介质，终端将目标视频流数据输入至预先训练的行为预测模型，得到目标对象的行为预测结果，再根据目标对象的行为预测结果，确定第二异常行为检测结果。上述异常行为检测方法、装置、计算机设备和存储介质，能够预测目标对象下一时刻是否可能存在异常行为，从而起到提前警告的作用，进一步提高了对异常行为检测的效果，有效预防安全事故。
76.在一个实施例中，如图8所示，将目标视频流数据输入至预先训练的行为预测模型，得到目标对象的行为预测信息的具体过程包括以下步骤：步骤801，在目标视频流数据中，获取包含目标对象的预设数目个图像帧。
77.在本技术实施例中，终端可以在作业现场获取目标视频流数据中，获取包含目标对象的预设数目个图像帧。其中，包含目标对象的预设数目个图像帧为连续图像帧。
78.步骤802，将预设数目个图像帧输入至预先训练的行为预测模型中，得到目标对象的行为预测结果。
79.在本技术实施例中，终端可以将预设数目个图像帧输入至预先训练的行为预测模型中，以预测目标对象下一时刻的行为，得到目标对象的行为预测结果。
80.在一个示例中，如图9所示，终端可以获取目标视频流数据中包括目标对象的连续4帧图像，分别对应为t
‑
3时刻、t
‑
2时刻、t
‑
1时刻和t时刻的图像，其中t为当前时刻。终端将获取的连续4帧图像输入预先训练的行为预测模型中，可以预测到目标对象在t+1时刻的行为。
81.在一个实施例中，行为预测模型为基于预设数量的行为预测训练样本，对第二目标神经网络进行训练得到。其中，第二目标神经网络可以为经过imagenet数据集预训练终端友好的基础网络，例如，mobilenet网络，squeezenet网络。行为预测训练样本可以包括：包含目标对象的连续图像帧、以及连续图像帧中的目标对象的样本预测行为。
82.行为预测模型的训练过程可以包括：将行为预测训练样本分别输入至第二目标神经网络，基于梯度下降法对第二目标神经网络进行训练，得到训练完成的行为预测模型。
83.在一个示例中，行为预测模型的训练过程可以包括：终端将行为预测训练样本分别输入第二目标神经网络，得到连续图像帧中的目标对象下一时刻的行为预测结果。然后，终端根据连续图像帧中的目标对象下一时刻的行为预测结果、以及连续图像帧中的目标对象的样本预测结果，确定第二目标损失函数。接着，终端根据第二目标损失函数，基于梯度下降法，迭代更新第二目标神经网络的参数。当第二目标损失函数满足第二预设条件时，停止对第二目标神经网络的参数迭代更新，得到行为预测模型。
84.在一个示例中，第二目标损失函数为交叉熵(cross
‑
entropy)损失函数，可以表示为：其中，b为预测行为的数量，p为行为发生的真实值，为对应第i个行为的预测概率，n为图像帧的数量，c为预测行为。
85.上述异常行为检测方法、装置、计算机设备和存储介质，终端在目标视频流数据中，获取包含目标对象的预设数目个图像帧，再将预设数目个图像帧输入至预先训练的行为预测模型中，得到目标对象的行为预测结果。上述异常行为检测方法、装置、计算机设备和存储介质，能够预测目标对象接下来是否存在异常行为，从而起到提前警告的作用，进一步提高了对异常行为检测的效果，有效预防安全事故。
86.在一个实施例中，如图10所示，该方法还包括以下步骤：步骤1001，根据目标视频流数据，进行标识牌识别，得到标识牌识别结果。
87.其中，标识牌识别结果包括：禁止行为和禁止行为对应的区域。
88.在本技术实施例中，终端中可以存储有预先训练标识牌识别模型。终端可以将目标视频流数据输入至预先训练的标识牌识别模型，进行标识牌识别，确定标识牌的文字信息和图示信息。然后，终端可以根据标识牌的文字信息和图示信息确定标识牌的类型。最
后，终端可以根据标识牌的类型和预设的禁止行为划分规则，确定禁止行为和禁止行为对应的区域。其中，禁止行为可以包括：跨越、和攀爬、进入禁止区域、发出异常动作（如原地转圈、奔跑等）等，本技术实施例不做限定。
89.其中，预设的禁止行为划分规则包括：各标识牌的类型与各类型禁止行为及各类型禁止行为对应的区域的对应关系。例如，标识牌与对应的禁止行为区域如图11所示，在“禁止攀爬高压危险”标识牌周围的区域内禁止攀行为，在“止步高压危险”标识牌周围的区域内禁止跨越行为。
90.在一个示例中，终端将训练完成的光学字符识别算法作为标识牌识别模型。例如，光学字符识别算法可以为轻量化的中文光学字符识别chineseocr
‑
lite算法。轻量化的中文光学字符识别算法可以检查标识牌上的字符，通过检测暗、亮的模式确定标识牌上图像信息，然后将字符和图像信息翻译成计算机文字；即采用光学的方式将纸质文档中的文字或者图片转换成为黑白点阵的图像文件，进而将图像文件中的文字或图片转换成文本输出。如图12所示，本实施例提供的施工现场的标识牌分别包括在此工作、止步高压危险、禁止合闸有人工作以及禁止攀爬高压危险等文字信息，和各个文字信息对应的图示信息的标识牌。
91.步骤1002，根据目标对象的行为预测结果，确定目标对象的预测行为。
92.在本技术实施例中，终端可以根据目标对象的行为预测结果，确定目标对象的预测行为。
93.在一个示例中，行为预测结果可以包括各预设行为类型的概率。针对一种预设行为类型，若该预设行为类型的概率大于预设行为阈值，则终端可以确定目标对象的预测行为为该预设行为类型。
94.步骤1003，若预测行为为禁止行为，并且目标对象处于禁止行为对应的区域，则确定第二异常行为检测结果为异常行为。
95.在本技术实施例中，终端可以根据目标对象的预测行为和标识牌的禁止行为，判断目标对象的预测行为是否为禁止行为。并且，终端可以根据目标视频流数据和标识牌的禁止行为对应的区域，判断目标对象是否处于禁止行为对应的区域。若预测行为为禁止行为，并且目标对象处于禁止行为对应的区域，终端则确定第二异常行为检测结果为异常行为。
96.步骤1004，若预测行为非禁止行为，或者目标对象未处于禁止行为对应的区域，则确定第二异常行为检测结果为非异常行为。
97.在本技术实施例中，若预测行为非禁止行为，或者目标对象未处于禁止行为对应的区域，终端则确定第二异常行为检测结果为非异常行为。
98.上述异常行为检测方法、装置、计算机设备和存储介质，终端根据目标对象的行为预测结果，确定目标对象的预测行为，根据目标对象的预测行为、标识牌的禁止行为和标识牌的禁止行为对应的区域，对第二异常行为检测结果是否为异常行为进行判断。上述异常行为检测方法、装置、计算机设备和存储介质，将目标对象当前所处区域的标识牌信息与预测目标对象将要发生的行为相结合，判断目标对象在下一时刻是否会发生当前所处区域的预设禁止行为，进而实现对目标对象是否在当前区域存在潜在风险的预测，能够及时有效地解除安全隐患，更进一步提高了对异常行为检测的效果，有效预防安全事故。
99.应该理解的是，虽然图1
‑
10中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1
‑
10中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
100.在一个实施例中，如图13所示，提供了一种异常行为检测装置1300，包括：第一获取模块1310、多任务检测模块1320和第一确定模块1330，其中：第一获取模块1310，用于获取目标视频流数据；多任务检测模块1320，用于将所述目标视频流数据输入至预先训练的多任务检测模型，得到所述目标视频流数据包含的目标对象的检测结果；所述检测结果包含对象识别结果和各安全着装类型对应的安全着装检测结果；第一确定模块1330，用于根据所述目标对象的检测结果，确定第一异常行为检测结果。
101.可选的，所述多任务检测模型包括特征提取模块、对象识别模块、以及各安全着装类型对应的检测模块；所述多任务检测模块1320，具体用于：将所述目标视频流数据输入至所述特征提取模块，得到所述目标视频流数据的卷积特征；将所述卷积特征输入至所述对象识别模块，得到对象识别结果；将所述卷积特征输入至所述各安全着装类型对应的检测模块，得到各安全着装类型对应的安全着装检测结果。
102.可选的，所述装置1300还包括：第二获取模块，用于获取训练数据集；所述训练数据集包括第一样本图像、所述第一样本图像包含的对象的样本识别结果，以及第二样本图像、所述第二样本图像包含的对象的各安全着装类型对应的样本检测结果；预测模块，用于将所述训练数据集输入至目标神经网络，得到对象识别预测结果和各安全着装类型对应的预测结果；更新模块，用于根据所述对象识别预测结果、所述对象的样本识别结果、所述各安全着装类型对应的预测结果、以及所述各安全着装类型对应的样本检测结果，确定目标损失函数，并根据所述目标损失函数迭代更新所述目标神经网络的参数；当所述目标损失函数满足预设条件时，停止对所述目标神经网络的参数迭代更新，得到所述多任务检测模型。
103.可选的，所述更新模块，具体用于：根据所述对象识别预测结果、以及所述对象的样本识别结果，确定目标位置框标注损失函数和目标类别预测损失函数；根据所述各安全着装类型对应的预测结果、以及所述各安全着装类型对应的样本检测结果，确定各安全着装类型对应的损失函数；将所述目标位置框标注损失函数、所述目标类别预测损失函数和所述各安全着装
类型对应的损失函数相加，得到目标损失函数。
104.可选的，所述装置1300还包括：行为预测模块，用于将所述目标视频流数据输入至预先训练的行为预测模型，得到所述目标对象的行为预测结果；第二确定模块，用于根据所述目标对象的行为预测结果，确定第二异常行为检测结果。
105.可选的，所述行为预测模块，具体用于：在所述目标视频流数据中，获取包含目标对象的预设数目个图像帧；将所述预设数目个图像帧输入至预先训练的行为预测模型中，得到目标对象的行为预测结果。
106.可选的，所述装置1300还包括：标识牌识别模块，用于根据所述目标视频流数据，进行标识牌识别，得到标识牌识别结果；所述标识牌识别结果包括：禁止行为和所述禁止行为对应的区域；所述第二确定模块，具体用于：根据所述目标对象的行为预测结果，确定所述目标对象的预测行为；若所述预测行为为所述禁止行为，并且所述目标对象处于所述禁止行为对应的区域，则确定第二异常行为检测结果为异常行为；若所述预测行为非所述禁止行为，或者所述目标对象未处于所述禁止行为对应的区域，则确定第二异常行为检测结果为非异常行为。
107.关于异常行为检测装置的具体限定可以参见上文中对于异常行为检测方法的限定，在此不再赘述。上述异常行为检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
108.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种异常行为检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
109.本领域技术人员可以理解，图14中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
110.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述异常行为检测方法的步骤。
111.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述异常行为检测方法的步骤。
112.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（read
‑
only memory，rom）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（random access memory，ram）或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器（static random access memory，sram）或动态随机存取存储器（dynamic random access memory，dram）等。
113.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
114.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。