基于视频帧的行为检测方法、装置、电子设备及存储介质与流程

1.本技术涉及行为检测技术领域，尤其涉及一种基于视频帧的行为检测方法、装置、电子设备及存储介质。


背景技术：

2.当前例如在对视频帧中的行为进行检测时，通常需要针对每个业务场景定制化地训练一个专用的模型，例如，以农业领域为例，在识别玉米叶部是否有病虫害时，需要专门训练一个模型来识别玉米叶部是否有病虫害。其中，在训练模型时，通常需要先针对多种情况构建一个训练集，基于该训练集来训练模型，训练集中不仅需要包括有玉米叶部和病虫且病虫位于玉米叶部上时的正样本，还需要包括只有玉米叶部、只有病虫、有玉米叶部和病虫但病虫并不在玉米叶部上等负样本，训练集构建比较复杂，耗时较长，且由于情况复杂，还可能出现正负样本分类不平衡等问题，影响行为检测结果。
3.因此，如何快捷准确灵活的对视频帧中的行为进行检测是目前亟需解决的一个技术问题。


技术实现要素：

4.本发明提供了一种基于视频帧的行为检测方法、装置、电子设备及存储介质，用以快捷准确灵活的对视频帧中的行为进行检测。
5.第一方面，本技术提供了一种基于视频帧的行为检测方法，所述方法包括：
6.获取待分析的视频帧集合，所述视频帧集合携带其对应的目标业务场景；
7.根据保存的样本业务场景与样本判断规则的对应关系，确定所述目标业务场景对应的目标判断规则；并针对所述视频帧集合中的任一视频帧，基于预先训练完成的对象识别模型，识别所述视频帧中包含的各目标对象及各目标对象的位置信息；
8.通过判断每个所述视频帧中包含的各目标对象及各目标对象的位置信息是否符合所述目标判断规则，对所述视频帧集合中的行为是否合规进行检测。
9.在一种可能的实施方式中，所述通过判断每个所述视频帧中包含的各目标对象及各目标对象的位置信息是否符合所述目标判断规则，对所述视频帧集合中的行为是否合规进行检测，包括：
10.针对任一视频帧，根据预先保存的样本对象与样本判断子规则的对应关系，确定该视频帧中包含的目标对象对应的目标判断规则中的目标判断子规则；基于该视频帧包含的目标对象、目标对象的位置信息以及所述目标判断子规则，确定该视频帧是否存在相应的目标子操作；其中，所述样本判断子规则中包含样本对象的位置信息；
11.基于各视频帧是否存在相应的目标子操作，对所述视频帧集合中的行为是否合规进行检测。
12.在一种可能的实施方式中，所述基于各视频帧是否存在相应的目标子操作，对所述视频帧集合中的行为是否合规进行检测，包括：
13.若所述目标判断规则中包含对各子操作的操作流程规则，确定存在目标子操作的目标视频帧；
14.基于各目标视频帧的先后顺序，通过判断各目标视频帧存在的目标子操作是否符合所述操作流程规则，对所述视频帧集合中的行为是否合规进行检测。
15.在一种可能的实施方式中，所述样本业务场景与样本判断规则的对应关系是采用以下步骤确定的：
16.获取第一样本视频帧集合，所述第一样本视频集合携带其对应的样本业务场景；
17.针对所述第一样本视频帧集合中的任一第一样本视频帧，基于所述对象识别模型，识别所述第一样本视频帧中包含的各样本目标对象及各样本目标对象的样本位置信息；
18.针对每个样本目标对象，根据预先保存的样本对象与样本判断子规则的对应关系，确定该样本目标对象对应的样本目标判断子规则并展示；
19.若接收到输入的样本判断规则，保存所述样本业务场景与所述样本判断规则的对应关系。
20.在一种可能的实施方式中，所述样本对象与样本判断子规则的对应关系是采用以下步骤确定的：
21.获取第二样本视频帧；基于所述对象识别模型，识别所述第二样本视频帧中包含的各样本对象及各样本对象的样本位置信息；
22.针对每个样本对象，若接收到输入的样本判断子规则，则保存该样本对象与该样本判断子规则的对应关系。
23.在一种可能的实施方式中，训练所述对象识别模型的过程包括：
24.获取样本集中任一包含有对象的样本图像，所述样本图像对应有样本类别标签、以及对象在所述样本图像中的样本位置信息；其中所述样本类别标签用于标识所述样本图像中包含的对象的类别；
25.通过原始对象识别模型，确定所述样本图像中包含的对象的识别类别标签以及对应的识别位置信息；
26.根据所述样本类别标签和所述识别类别标签，以及所述样本位置信息和所述识别位置信息，对原始对象识别模型进行训练。
27.在一种可能的实施方式中，所述方法还包括：
28.若所述视频帧集合中的行为不合规，则输出设定的提示信息。
29.第二方面，本技术提供了一种基于视频帧的行为检测装置，所述装置包括：
30.获取模块，用于获取待分析的视频帧集合，所述视频帧集合携带其对应的目标业务场景；
31.确定模块，用于根据保存的样本业务场景与样本判断规则的对应关系，确定所述目标业务场景对应的目标判断规则；并针对所述视频帧集合中的任一视频帧，基于预先训练完成的对象识别模型，识别所述视频帧中包含的各目标对象及各目标对象的位置信息；
32.检测模块，用于通过判断每个所述视频帧中包含的各目标对象及各目标对象的位置信息是否符合所述目标判断规则，对所述视频帧集合中的行为是否合规进行检测。
33.在一种可能的实施方式中，所述检测模块，具体用于针对任一视频帧，根据预先保
存的样本对象与样本判断子规则的对应关系，确定该视频帧中包含的目标对象对应的目标判断规则中的目标判断子规则；基于该视频帧包含的目标对象、目标对象的位置信息以及所述目标判断子规则，确定该视频帧是否存在相应的目标子操作；其中，所述样本判断子规则中包含样本对象的位置信息；
34.基于各视频帧是否存在相应的目标子操作，对所述视频帧集合中的行为是否合规进行检测。
35.在一种可能的实施方式中，所述检测模块，具体用于若所述目标判断规则中包含对各子操作的操作流程规则，确定存在目标子操作的目标视频帧；
36.基于各目标视频帧的先后顺序，通过判断各目标视频帧存在的目标子操作是否符合所述操作流程规则，对所述视频帧集合中的行为是否合规进行检测。
37.在一种可能的实施方式中，所述确定模块，具体用于获取第一样本视频帧集合，所述第一样本视频集合携带其对应的样本业务场景；
38.针对所述第一样本视频帧集合中的任一第一样本视频帧，基于所述对象识别模型，识别所述第一样本视频帧中包含的各样本目标对象及各样本目标对象的样本位置信息；
39.针对每个样本目标对象，根据预先保存的样本对象与样本判断子规则的对应关系，确定该样本目标对象对应的样本目标判断子规则并展示；
40.若接收到输入的样本判断规则，保存所述样本业务场景与所述样本判断规则的对应关系。
41.在一种可能的实施方式中，所述确定模块，具体用于获取第二样本视频帧；基于所述对象识别模型，识别所述第二样本视频帧中包含的各样本对象及各样本对象的样本位置信息；
42.针对每个样本对象，若接收到输入的样本判断子规则，则保存该样本对象与该样本判断子规则的对应关系。
43.在一种可能的实施方式中，所述检测模块，还用于若所述视频帧集合中的行为不合规，则输出设定的提示信息。
44.第三方面，本技术提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现上述任一所述基于视频帧的行为检测方法的步骤。
45.第四方面，本技术提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述基于视频帧的行为检测方法的步骤。
46.由于本技术可以获取待分析的视频帧集合，该视频帧集合可以携带其对应的目标业务场景；根据保存的样本业务场景与样本判断规则的对应关系，确定目标业务场景对应的目标判断规则；并针对视频帧集合中的任一视频帧，基于预先训练完成的对象识别模型，识别视频帧中包含的各目标对象及各目标对象的位置信息；通过判断每个视频帧中包含的各目标对象及各目标对象的位置信息是否符合目标判断规则，对视频帧集合中的行为是否合规进行检测，从而可以快捷准确灵活的对视频帧中的行为进行检测。
附图说明
47.为了更清楚地说明本技术实施例或相关技术中的实施方式，下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
48.图1示出了一些实施例提供的一种基于视频帧的行为检测过程示意图；
49.图2示出了一些实施例提供的一种目标判断规则构建示意图；
50.图3示出了一些实施例提供的一种基于视频帧的行为检测装置示意图；
51.图4示出了一些实施例提供的一种电子设备结构示意图。
具体实施方式
52.为了快捷准确灵活的对视频帧中的行为进行检测，本技术实施例提供了一种基于视频帧的行为检测方法、装置、设备和介质。
53.为使本技术的目的和实施方式更加清楚，下面将结合本技术示例性实施例中的附图，对本技术示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本技术一部分实施例，而不是全部的实施例。
54.需要说明的是，本技术中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本技术的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
55.本技术中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
56.术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
57.术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
58.最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。
59.为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。
60.实施例1：
61.图1示出了一些实施例提供的一种基于视频帧的行为检测过程示意图，该过程包括以下步骤：
62.s101：获取待分析的视频帧集合，所述视频帧集合携带其对应的目标业务场景。
63.本技术实施例提供的基于视频帧的行为检测方法应用于电子设备，该电子设备例如可以是服务器，也可以是pc、移动终端等设备。可选的，电子设备中可以配置有对视频帧(视频帧集合)中的行为进行检测的业务平台，可以基于该业务平台进行本技术实施例提供的基于视频帧的行为检测方法的步骤。
64.在一种可能的实施方式中，电子设备可以基于业务平台获取待分析的视频帧集合，其中，本技术对视频帧集合中包含的视频帧的数量不作具体限定，可以根据需求灵活设置，示例性的，视频帧集合中可以包含至少一个视频帧(图像)。可选的，可以基于预先设置在目标场所的摄像头等图像采集设备，按照设定的时间周期等采集待分析的视频，电子设备可以基于业务平台等获取到该视频，获取到该视频后，电子设备可以将该视频进行解析(分帧)，拆分成视频帧集合。示例性的，可以针对该视频，按照设定的时间间隔，每隔设定的时间间隔，从视频中提取一个视频帧，将视频进行分帧处理，从而得到各视频帧，由各视频帧组成的集合即为视频帧集合。其中，时间间隔可以根据需求灵活设置，本技术对此不做具体限定。
65.在一种可能的实施方式中，视频帧集合可以携带该视频帧集合对应的目标业务场景，示例性的，目标业务场景可以为玉米生长场景、工人爬扶梯场景、加油站场景等。
66.s102：根据保存的样本业务场景与样本判断规则的对应关系，确定所述目标业务场景对应的目标判断规则；并针对所述视频帧集合中的任一视频帧，基于预先训练完成的对象识别模型，识别所述视频帧中包含的各目标对象及各目标对象的位置信息。
67.在一种可能的实施方式中，为了对目标业务场景的视频帧中的行为进行检测，可以预先保存样本业务场景与样本判断规则的对应关系，其中，为方便描述，将对应关系中的业务场景称为样本业务场景，将对应关系中的判断规则称为样本判断规则。其中针对样本业务场景与样本判断规则的对应关系的确定过程，在后续实施例中进行详细介绍，在此先不赘述。可选的，可以根据保存的样本业务场景与样本判断规则的对应关系，确定目标业务场景对应的(适用的)目标判断规则(为方便描述，将目标业务场景对应的样本判断规则称为目标判断规则)。
68.在一种可能的实施方式中，为了对视频帧中的行为进行检测，针对视频帧集合中的任一视频帧，可以基于预先训练完成的对象识别模型，识别该视频帧中包含的各目标对象及各目标对象的位置信息。其中，目标对象可以根据需求灵活设置，本技术对此不作具体限定，示例性的，目标对象可以包括安全帽、扶梯、工作人员、玉米叶部、小麦叶部等任意类别的对象。针对对象识别模型的训练过程也在后续实施例中进行详细介绍，在此先不赘述。
69.s103：通过判断每个所述视频帧中包含的各目标对象及各目标对象的位置信息是否符合所述目标判断规则，对所述视频帧集合中的行为是否合规进行检测。
70.在一种可能的实施方式中，可以通过判断每个视频帧中包含的各目标对象以及各目标对象的位置信息是否符合目标判断规则，来对视频帧集合中的行为是否合规进行检测。示例性的，以目标判断规则为病虫所在的位置与玉米叶部所在的位置重合为例，针对任一视频帧，可以基于预先训练完成的对象识别模型，识别该视频帧中包含的目标对象中是否存在玉米叶部和病虫，如果玉米叶部和病虫都存在，可以继而根据对象识别模型输出的玉米叶部和病虫的位置信息，确定病虫所在的位置与玉米叶部所在的位置是否重合，如果
病虫所在的位置与玉米叶部所在的位置重合，例如病虫所在的位置位于玉米叶部的上表面等，可以认为该视频帧中包含的各目标对象及各目标对象的位置信息符合该目标判断规则，可以认为检测到玉米叶部有病虫这个行为，可以认为视频帧集合中的该行为不合规。可选的，当识别到视频帧集合中的行为不合规时，可以输出设定的提示信息。本技术对提示信息的具体内容不作具体限定，可以根据需求灵活设置。
71.可以理解的，如果基于预先训练完成的对象识别模型，识别该视频帧中包含的目标对象中只存在玉米叶部不存在病虫、或者只存在病虫不存在玉米叶部、或者存在玉米叶部和病虫，但是病虫不在玉米叶部表面，即病虫的位置与玉米叶部所在的位置不重合等时，可以均认为该视频帧中包含的各目标对象及各目标对象的位置信息不符合目标判断规则，可以认为没有检测到玉米叶部有病虫这个行为，即视频帧集合中的行为合规。
72.由于本技术可以获取待分析的视频帧集合，该视频帧集合可以携带其对应的目标业务场景；根据保存的样本业务场景与样本判断规则的对应关系，确定目标业务场景对应的目标判断规则；并针对视频帧集合中的任一视频帧，基于预先训练完成的对象识别模型，识别视频帧中包含的各目标对象及各目标对象的位置信息；通过判断每个视频帧中包含的各目标对象及各目标对象的位置信息是否符合目标判断规则，对视频帧集合中的行为是否合规进行检测，从而可以快捷准确灵活的对视频帧中的行为进行检测。
73.另外，相较于相关技术中，在识别玉米叶部是否有病虫害时，需要专门训练一个模型来识别玉米叶部是否有病虫害，在训练模型时，通常需要先针对多种情况构建一个训练集，该训练集中不仅需要包括有玉米叶部和病虫且病虫位于玉米叶部上时的正样本，还需要包括只有玉米叶部、只有病虫、有玉米叶部和病虫但病虫并不在玉米叶部上等负样本，训练集构建比较复杂，耗时较长，且由于情况复杂，还可能出现正负样本分类不平衡等问题，影响行为检测结果而言，本技术无需构建复杂的训练集，对象识别模型只需要能识别出玉米叶部和病虫，以及玉米叶部和病虫的位置信息即可，本技术可以基于简便灵活的判断规则，来实现快捷准确灵活的对视频帧中的行为进行检测的目的。
74.另外，本技术中的判断规则可以只是简单的文字形式的判断规则，不需要复杂的代码来实现，因此，本技术中的判断规则可以由不懂代码的普通业务人员(业务专家)即可配置完成，而相关技术对行为进行检测时即使是基于相关技术中的低代码平台来完成，也通常需要懂代码的程序员来完成，本技术的业务平台可以是ai零代码业务平台，可以由不懂代码的普通业务人员来操作，基于此，可以实现快捷准确灵活的对视频帧中的行为进行检测的目的。
75.实施例2：
76.为了快捷准确灵活的对视频帧中的行为进行检测，在上述实施例的基础上，在本技术实施例中，所述通过判断每个所述视频帧中包含的各目标对象及各目标对象的位置信息是否符合所述目标判断规则，对所述视频帧集合中的行为是否合规进行检测，包括：
77.针对任一视频帧，根据预先保存的样本对象与样本判断子规则的对应关系，确定该视频帧中包含的目标对象对应的目标判断规则中的目标判断子规则；基于该视频帧包含的目标对象、目标对象的位置信息以及所述目标判断子规则，确定该视频帧是否存在相应的目标子操作；其中，所述样本判断子规则中包含样本对象的位置信息；
78.基于各视频帧是否存在相应的目标子操作，对所述视频帧集合中的行为是否合规
进行检测。
79.在一种可能的实施方式中，在对视频帧中的行为进行检测时，可以是针对任一视频帧，根据预先保存的样本对象与样本判断子规则的对应关系，确定该视频帧中包含的目标对象对应的目标判断子规则。其中，确定样本对象和样本判断子规则的对应关系的过程在后续实施例中进行详细介绍，在此先不赘述。
80.其中，本技术对样本对象对应的样本判断子规则不作具体限定，可以根据需求灵活设置，可选的，样本判断子规则中可以包含样本对象的位置信息。示例性的，当视频帧中包含静电释放装置这个目标对象时，可以根据预先保存的样本对象与样本判断子规则的对应关系，确定静电释放装置这个目标对象对应的目标判断子规则。例如针对静电释放这个目标子操作，其对应的目标判断子规则可以为工作人员的手的位置与静电释放装置的位置重合。当视频帧中包含的目标对象中包含工作人员以及静电释放装置，且工作人员的手的位置与静电释放装置的位置重合时，可以认为该视频帧中存在静电释放这个目标子操作，否则，可以认为视频帧中不存在静电释放这个目标子操作。
81.可选的，可以基于各视频帧是否存在相应的目标子操作，来对视频帧集合中的行为是否合规进行检测。示例性的，目标判断规则可以为全程性规则，以佩戴安全帽为例，可以是视频帧集合中的各视频帧对应的目标判断子规则均包括佩戴安全帽(或者安全帽的位置与工作人员头部位置重合)，可以基于该目标判断子规则，针对任一视频帧，判断该视频帧中是否存在相应的佩戴安全帽的目标子操作，如果每个视频帧中都存在佩戴安全帽的目标子操作，则可以认为操作(子操作)是规范的，视频帧集合中的行为是合规的，检测结果可以为合规。而如果任一视频帧中没有存在佩戴安全帽的目标子操作，则可以认为操作(子操作)是不规范的，视频帧集合中的行为是不合规的，检测结果可以为不合规，可选的，当检测到视频帧集合中的行为不合规时，可以输出设定的提示信息，提示工作人员等规范佩戴安全帽。本技术对提示信息的具体内容和形式不作具体限定，可以根据需求灵活设置。
82.在一种可能的实施方式中，目标判断规则还可以为对子操作之间存在一定先后顺序要求的流程性规则，为方便描述，称为操作流程规则。可选的，若目标判断规则中包含对各子操作的操作流程规则，在基于各视频帧是否存在相应的目标子操作，对视频帧集合中的行为是否合规进行检测时，可以是先确定存在目标子操作的目标视频帧；根据各视频帧的时间戳信息等，确定各视频帧的先后顺序，然后基于各目标视频帧的先后顺序，确定各目标视频帧存在的各目标子操作是否符合该操作流程规则，如果符合，可以认为视频帧集合的行为是合规、规范的，而如果各目标视频帧存在的各目标子操作不符合该操作流程规则，则可以认为视频帧集合的行为不合规、不规范。
83.为方便理解，下面通过一个具体实施例对本技术提供的基于视频帧的行为检测方法进行解释说明。示例性的，假设目标判断规则中包含的对各子操作的操作流程规则为：先进行静电释放这个子操作，后进行卸油管连接这个子操作。假设操作人员没有进行静电释放，直接进行卸油管连接这个子操作，则可能只获取到视频帧集合中只包含卸油管连接这个目标子操作的目标视频帧，没有获取到包含静电释放这个目标子操作的目标视频帧，可以认为视频帧集合中各目标视频帧存在的目标子操作不符合操作流程规则，可以认为该视频帧集合中的行为不合规，可以生成设定的提示信息，提示操作人员等需要先进行静电释放这个子操作，再进行卸油管连接这个子操作，提高操作安全性。
84.由上述实施例也可以看出，本技术实施例中基于简便的文字形式的操作流程规则，就可以实现快捷准确灵活的对视频帧中的行为进行检测的目的。相较于现有技术中需要基于复杂的代码来进行行为检测而言，可以大大节约开发成本，缩短开发时间。
85.实施例3：
86.如果将上述基于目标判断规则，对视频帧集合中的行为是否合规的总流程称为一种能力，参阅图2，图2示出了一些实施例提供的一种目标判断规则构建示意图，如图2所示，前期搭建该能力时大致包括三个部分：对象识别、智能能力建设以及作业场景编排。下面分别对这三个部分进行介绍。
87.第一部分：对象识别。
88.可选的，可以基于训练完成的对象识别模型来进行对象识别的步骤。示例性的，训练所述对象识别模型的过程包括：
89.获取样本集中任一包含有对象的样本图像，所述样本图像对应有样本类别标签、以及对象在所述样本图像中的样本位置信息；其中所述样本类别标签用于标识所述样本图像中包含的对象的类别；
90.通过原始对象识别模型，确定所述样本图像中包含的对象的识别类别标签以及对应的识别位置信息；
91.根据所述样本类别标签和所述识别类别标签，以及所述样本位置信息和所述识别位置信息，对原始对象识别模型进行训练。
92.在一种可能的实施方式中，可以由业务专家先确定需识别的对象(目标物)，为方便描述，图中称为新建对象。然后业务专家可以将由包含对象的样本图像组成的样本集上传到电子设备中。在训练对象识别模型时，样本集中包含多个样本图像，样本图像中包含有对象，每个样本图像都对应有样本类别标签，可选的，可以由业务专家等来为样本图像标注样本类别标签，该样本类别标签用于标识该样本图像中包含的对象的类别等，例如当对象包括安全帽时，该样本图像对应有包括安全帽的样本类别标签，当对象体包含人时，该样本图像对应有包含人的样本类别标签，当对象包括扶梯时，该样本图像对应有包含扶梯的样本类别标签等。
93.为了可以获取对象的位置信息，样本图像还对应有对象在该样本图像中的样本位置信息。样本位置信息可以包括对象的目标框的左上角像素点在样本图像中的坐标位置，还可以包括该目标框的长度、宽度等信息。
94.在对原始对象识别模型进行训练时，可以获取样本集中任一包含有对象的样本图像，该样本图像对应有样本类别标签、以及对象在该样本图像中的样本位置信息。将该获取到的任一样本图像输入原始对象识别模型，通过原始对象识别模型，获取该样本图像对应的对象的识别类别标签，以及对应的识别位置信息。
95.具体实施中，确定了输入的样本图像的识别类别标签和对应的识别位置信息后，因为预先保存了该样本图像的样本类别标签、以及该样本类别标签对应的对象在样本图像中的样本位置信息，因此可以根据样本类别标签与识别类别标签是否一致，以及样本位置信息与识别位置信息是否一致，确定该对象识别模型的识别结果是否准确。具体实施中，若不一致，说明该对象识别模型的识别结果不准确，则需要对该对象识别模型的参数进行调整，从而对对象识别模型进行训练。
96.具体实施中，对待训练的对象识别模型(原始对象识别模型)中的参数进行调整时，可以采用梯度下降算法，对待训练的对象识别模型的参数的梯度进行反向传播，从而对待训练的对象识别模型进行训练。
97.在一种可能的实施方式中，可以对样本集中的每个样本图像都进行上述操作，当满足预设的收敛条件时，确定该对象识别模型训练完成。
98.其中，满足预设的收敛条件可以为样本集中的样本图像通过该原始对象识别模型，被正确识别的样本图像的个数大于设定数量，或对待训练的对象识别模型进行训练的迭代次数达到设置的最大迭代次数等。具体实施中可以灵活进行设置，在此不做具体限定。
99.在一种可能的实施方式中，在对原始对象识别模型进行训练时，可以把样本集中的样本图像分为训练样本图像和测试样本图像，先基于训练样本图像对原始对象识别模型进行训练，再基于测试样本图像对上述已训练的对象识别模型的可靠程度进行验证。可选的，在对该对象识别模型训练完成后，可以将对象识别模型的版本进行更新，保存版本更新后的对象识别模型。
100.第二部分：智能能力建设。
101.在一种可能的实施方式中，可以将针对单个样本视频帧，建立该样本视频帧中包含的样本对象与样本判断子规则的对应关系的过程称为智能能力建设。可选的，智能能力建设过程中，样本对象与样本判断子规则的对应关系是采用以下步骤确定的：
102.获取第二样本视频帧；基于所述对象识别模型，识别所述第二样本视频帧中包含的各样本对象及各样本对象的样本位置信息；
103.针对每个样本对象，若接收到输入的样本判断子规则，则保存该样本对象与该样本判断子规则的对应关系。
104.在一种可能的实施方式中，在进行智能能力建设时，业务专家可以在ai零代码业务平台中上传视频帧(图片)，为方便描述，称为第二样本视频帧。电子设备可以基于该业务平台获取到该第二样本视频帧，并基于第一部分中训练完成的对象识别模块，识别第二样本视频帧中包含的各样本对象及各样本对象的样本位置信息。
105.电子设备基于业务平台获取到第二样本视频帧中包含的各样本对象及各样本对象的样本位置信息之后，在显示屏中展示各样本对象，业务专家可以查看展示的样本对象及样本位置信息，针对对象识别模型未识别出的样本对象及样本位置信息等，业务专家可以另行补充，示例性的，业务专家可以通过点击“补充对象”等按钮，来添加(补充)样本对象及样本位置信息。在一种可能的实施方式中，业务专家可以快捷灵活地为每个样本对象设置其对应的样本判断子规则，即设计能力规则。示例性的，针对扶梯这个样本对象，业务专家为扶梯设置的样本判断子规则可以为当工人1在扶梯上方时，扶梯下方需要有工人2，且工人2的位置与扶梯相交等。电子设备接收到业务专家针对样本对象输入的样本判断子规则时，可以保存该样本对象与该样本判断子规则的对应关系。
106.由该部分内容也可以看出，本技术中业务专家可以不懂代码，基于便捷灵活的文字，即可以快捷准确灵活的生成样本判断子规则。同时，本技术中的判断规则、判断子规则等还可以快捷简便地复用到其他业务场景，示例性的，以佩戴安全帽为例，针对佩戴安全帽的目标判断子规则，不仅可以适用于工人爬扶梯这个业务场景，还适用于加油站业务场景，不同业务场景可以直接复用这个目标判断子规则即可，无需再重新配置，可以提高ai能力
的复用性，有利于对将业务专家的行业认知等进行沉淀。
107.第三部分：作业场景编排。
108.在一种可能的实施方式中，作业场景编排可以将第二部分中针对单个样本视频帧，建立的样本视频帧中包含的样本对象与样本判断子规则的对应关系等进行整合封装，形成一套完整的可以对视频帧集合(视频)中行为进行检测的规则能力。可选的，作业场景编排过程可以包含建立样本业务场景与样本判断规则的对应关系的过程。其中，样本业务场景与样本判断规则的对应关系是采用以下步骤确定的：
109.获取第一样本视频帧集合，所述第一样本视频集合携带其对应的样本业务场景；
110.针对所述第一样本视频帧集合中的任一第一样本视频帧，基于所述对象识别模型，识别所述第一样本视频帧中包含的各样本目标对象及各样本目标对象的样本位置信息；
111.针对每个样本目标对象，根据预先保存的样本对象与样本判断子规则的对应关系，确定该样本目标对象对应的样本目标判断子规则并展示；
112.若接收到输入的样本判断规则，保存所述样本业务场景与所述样本判断规则的对应关系。
113.在一种可能的实施方式中，在进行作业场景编排时，业务专家可以将具体的一段作业场景视频或一组作业场景图片上传到ai零代码业务平台中。可选的，如果上传的是作业场景视频，电子设备可以对该作业场景视频进行分帧处理，获取作业场景视频包含的各视频帧，组成第一样本视频帧集合。如果上传的是一组作业场景图片，电子设备可以将该作业场景图片作为第一样本视频帧集合。可以理解的，第一样本视频集合可以携带其对应的样本业务场景，例如玉米生长场景、工人爬扶梯场景、加油站场景等。
114.电子设备针对第一样本视频帧集合中的任一第一样本视频帧，可以先基于对象识别模型，识别该第一样本视频帧中包含的各样本目标对象及各样本目标对象的样本位置信息。针对该第一样本视频帧中包含的每个样本目标对象，可以根据在第二部分智能能力建设过程中保存的样本对象与样本判断子规则的对应关系，确定该样本目标对象对应的样本目标判断子规则并展示，即对第一样本视频帧(图片)进行场景能力解析，提取能力规则。
115.可选的，业务专家可以对业务平台未识别出的能力规则(样本目标判断子规则)进行补充和添加，即业务专家可以补充场景能力。业务专家可以对能力规则进行编排(设置)，编排时，可以编排(设置)上述实施例中的全程性规则，也可以编排(设置)上述实施例中的流程型规则，可以根据需求灵活设置。
116.在一种可能的实施方式中，业务专家编排完规则能力(样本判断规则)之后，可以点击“确定”或“完成”按钮等，业务平台可以接收样本判断规则，并保存样本业务场景与样本判断规则的对应关系。
117.在一种可能的实施方式中，当完成第三部分，即作业场景编排之后，业务专家可以上传一个模拟作业视频，对编排的样本判断规则等进行验证，即进行场景能力演练。
118.本技术实施例可以在零代码前提上实现可视化编排，可以使不懂代码的业务专家能够参与到能力建设中来，加快了整个能力构建过程。另外，本技术中的能力还可以复用到不同业务场景，有利于沉淀行业认知，加快能力构建过程。
119.实施例4：
120.基于相同的技术构思，本技术提供了一种基于视频帧的行为检测装置，图3示出了一些实施例提供的一种基于视频帧的行为检测装置示意图，如图3所示，该装置包括：
121.获取模块31，用于获取待分析的视频帧集合，所述视频帧集合携带其对应的目标业务场景；
122.确定模块32，用于根据保存的样本业务场景与样本判断规则的对应关系，确定所述目标业务场景对应的目标判断规则；并针对所述视频帧集合中的任一视频帧，基于预先训练完成的对象识别模型，识别所述视频帧中包含的各目标对象及各目标对象的位置信息；
123.检测模块33，用于通过判断每个所述视频帧中包含的各目标对象及各目标对象的位置信息是否符合所述目标判断规则，对所述视频帧集合中的行为是否合规进行检测。
124.在一种可能的实施方式中，所述检测模块33，具体用于针对任一视频帧，根据预先保存的样本对象与样本判断子规则的对应关系，确定该视频帧中包含的目标对象对应的目标判断规则中的目标判断子规则；基于该视频帧包含的目标对象、目标对象的位置信息以及所述目标判断子规则，确定该视频帧是否存在相应的目标子操作；其中，所述样本判断子规则中包含样本对象的位置信息；
125.基于各视频帧是否存在相应的目标子操作，对所述视频帧集合中的行为是否合规进行检测。
126.在一种可能的实施方式中，所述检测模块33，具体用于若所述目标判断规则中包含对各子操作的操作流程规则，确定存在目标子操作的目标视频帧；
127.基于各目标视频帧的先后顺序，通过判断各目标视频帧存在的目标子操作是否符合所述操作流程规则，对所述视频帧集合中的行为是否合规进行检测。
128.在一种可能的实施方式中，所述确定模块32，具体用于获取第一样本视频帧集合，所述第一样本视频集合携带其对应的样本业务场景；
129.针对所述第一样本视频帧集合中的任一第一样本视频帧，基于所述对象识别模型，识别所述第一样本视频帧中包含的各样本目标对象及各样本目标对象的样本位置信息；
130.针对每个样本目标对象，根据预先保存的样本对象与样本判断子规则的对应关系，确定该样本目标对象对应的样本目标判断子规则并展示；
131.若接收到输入的样本判断规则，保存所述样本业务场景与所述样本判断规则的对应关系。
132.在一种可能的实施方式中，所述确定模块32，具体用于获取第二样本视频帧；基于所述对象识别模型，识别所述第二样本视频帧中包含的各样本对象及各样本对象的样本位置信息；
133.针对每个样本对象，若接收到输入的样本判断子规则，则保存该样本对象与该样本判断子规则的对应关系。
134.在一种可能的实施方式中，所述检测模块33，还用于若所述视频帧集合中的行为不合规，则输出设定的提示信息。
135.实施例5：
136.基于相同的技术构思，本技术提供了一种电子设备，图4为本技术实施例提供的一
种电子设备结构示意图，如图4所示，包括：处理器41、通信接口42、存储器43和通信总线44，其中，处理器41，通信接口42，存储器43通过通信总线44完成相互间的通信；
137.所述存储器43中存储有计算机程序，当所述程序被所述处理器41执行时，使得所述处理器41执行如下步骤：
138.获取待分析的视频帧集合，所述视频帧集合携带其对应的目标业务场景；
139.根据保存的样本业务场景与样本判断规则的对应关系，确定所述目标业务场景对应的目标判断规则；并针对所述视频帧集合中的任一视频帧，基于预先训练完成的对象识别模型，识别所述视频帧中包含的各目标对象及各目标对象的位置信息；
140.通过判断每个所述视频帧中包含的各目标对象及各目标对象的位置信息是否符合所述目标判断规则，对所述视频帧集合中的行为是否合规进行检测。
141.在一种可能的实施方式中，处理器41，具体用于针对任一视频帧，根据预先保存的样本对象与样本判断子规则的对应关系，确定该视频帧中包含的目标对象对应的目标判断规则中的目标判断子规则；基于该视频帧包含的目标对象、目标对象的位置信息以及所述目标判断子规则，确定该视频帧是否存在相应的目标子操作；其中，所述样本判断子规则中包含样本对象的位置信息；
142.基于各视频帧是否存在相应的目标子操作，对所述视频帧集合中的行为是否合规进行检测。
143.在一种可能的实施方式中，处理器41，具体用于若所述目标判断规则中包含对各子操作的操作流程规则，确定存在目标子操作的目标视频帧；
144.基于各目标视频帧的先后顺序，通过判断各目标视频帧存在的目标子操作是否符合所述操作流程规则，对所述视频帧集合中的行为是否合规进行检测。
145.在一种可能的实施方式中，处理器41，具体用于获取第一样本视频帧集合，所述第一样本视频集合携带其对应的样本业务场景；
146.针对所述第一样本视频帧集合中的任一第一样本视频帧，基于所述对象识别模型，识别所述第一样本视频帧中包含的各样本目标对象及各样本目标对象的样本位置信息；
147.针对每个样本目标对象，根据预先保存的样本对象与样本判断子规则的对应关系，确定该样本目标对象对应的样本目标判断子规则并展示；
148.若接收到输入的样本判断规则，保存所述样本业务场景与所述样本判断规则的对应关系。
149.在一种可能的实施方式中，处理器41，具体用于获取第二样本视频帧；基于所述对象识别模型，识别所述第二样本视频帧中包含的各样本对象及各样本对象的样本位置信息；
150.针对每个样本对象，若接收到输入的样本判断子规则，则保存该样本对象与该样本判断子规则的对应关系。
151.在一种可能的实施方式中，处理器41，具体用于获取样本集中任一包含有对象的样本图像，所述样本图像对应有样本类别标签、以及对象在所述样本图像中的样本位置信息；其中所述样本类别标签用于标识所述样本图像中包含的对象的类别；
152.通过原始对象识别模型，确定所述样本图像中包含的对象的识别类别标签以及对
应的识别位置信息；
153.根据所述样本类别标签和所述识别类别标签，以及所述样本位置信息和所述识别位置信息，对原始对象识别模型进行训练。
154.在一种可能的实施方式中，处理器41，还用于若所述视频帧集合中的行为不合规，则输出设定的提示信息。
155.由于上述电子设备解决问题的原理与基于视频帧的行为检测方法相似，因此上述电子设备的实施可以参见方法的实施，重复之处不再赘述。
156.上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
157.通信接口42用于上述电子设备与其他设备之间的通信。
158.存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
159.上述处理器可以是通用处理器，包括中央处理器、网络处理器(network processor，np)等；还可以是数字指令处理器(digital signal processing，dsp)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
160.实施例6：
161.在上述各实施例的基础上，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：
162.获取待分析的视频帧集合，所述视频帧集合携带其对应的目标业务场景；
163.根据保存的样本业务场景与样本判断规则的对应关系，确定所述目标业务场景对应的目标判断规则；并针对所述视频帧集合中的任一视频帧，基于预先训练完成的对象识别模型，识别所述视频帧中包含的各目标对象及各目标对象的位置信息；
164.通过判断每个所述视频帧中包含的各目标对象及各目标对象的位置信息是否符合所述目标判断规则，对所述视频帧集合中的行为是否合规进行检测。
165.在一种可能的实施方式中，所述通过判断每个所述视频帧中包含的各目标对象及各目标对象的位置信息是否符合所述目标判断规则，对所述视频帧集合中的行为是否合规进行检测，包括：
166.针对任一视频帧，根据预先保存的样本对象与样本判断子规则的对应关系，确定该视频帧中包含的目标对象对应的目标判断规则中的目标判断子规则；基于该视频帧包含的目标对象、目标对象的位置信息以及所述目标判断子规则，确定该视频帧是否存在相应的目标子操作；其中，所述样本判断子规则中包含样本对象的位置信息；
167.基于各视频帧是否存在相应的目标子操作，对所述视频帧集合中的行为是否合规进行检测。
168.在一种可能的实施方式中，所述基于各视频帧是否存在相应的目标子操作，对所
述视频帧集合中的行为是否合规进行检测，包括：
169.若所述目标判断规则中包含对各子操作的操作流程规则，确定存在目标子操作的目标视频帧；
170.基于各目标视频帧的先后顺序，通过判断各目标视频帧存在的目标子操作是否符合所述操作流程规则，对所述视频帧集合中的行为是否合规进行检测。
171.在一种可能的实施方式中，所述样本业务场景与样本判断规则的对应关系是采用以下步骤确定的：
172.获取第一样本视频帧集合，所述第一样本视频集合携带其对应的样本业务场景；
173.针对所述第一样本视频帧集合中的任一第一样本视频帧，基于所述对象识别模型，识别所述第一样本视频帧中包含的各样本目标对象及各样本目标对象的样本位置信息；
174.针对每个样本目标对象，根据预先保存的样本对象与样本判断子规则的对应关系，确定该样本目标对象对应的样本目标判断子规则并展示；
175.若接收到输入的样本判断规则，保存所述样本业务场景与所述样本判断规则的对应关系。
176.在一种可能的实施方式中，所述样本对象与样本判断子规则的对应关系是采用以下步骤确定的：
177.获取第二样本视频帧；基于所述对象识别模型，识别所述第二样本视频帧中包含的各样本对象及各样本对象的样本位置信息；
178.针对每个样本对象，若接收到输入的样本判断子规则，则保存该样本对象与该样本判断子规则的对应关系。
179.在一种可能的实施方式中，训练所述对象识别模型的过程包括：
180.获取样本集中任一包含有对象的样本图像，所述样本图像对应有样本类别标签、以及对象在所述样本图像中的样本位置信息；其中所述样本类别标签用于标识所述样本图像中包含的对象的类别；
181.通过原始对象识别模型，确定所述样本图像中包含的对象的识别类别标签以及对应的识别位置信息；
182.根据所述样本类别标签和所述识别类别标签，以及所述样本位置信息和所述识别位置信息，对原始对象识别模型进行训练。
183.在一种可能的实施方式中，所述方法还包括：
184.若所述视频帧集合中的行为不合规，则输出设定的提示信息。
185.上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(mo)等、光学存储器如cd、dvd、bd、hvd等、以及半导体存储器如rom、eprom、eeprom、非易失性存储器(nand flash)、固态硬盘(ssd)等。
186.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产
品的形式。
187.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
188.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
189.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
190.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。