识别目标对象行为的方法及装置与流程

本发明实施例涉及人工智能领域，具体而言，涉及一种识别目标对象行为的方法及装置。

背景技术：

1、行为分析算法是一种通过识别和分析个体或群体的行为模式和趋势来推断其意图和目标的一种技术。这种算法可以用于分析和统计目标对象的行为，从而帮助用户更好地预测行为并进行对应的管理，例如网络考试行为、消费行为、交通行为等。

2、但在实际应用中，对于范围较大的应用场景，常规的全景摄像机获取到的图像，距离摄像机较远的目标可能会出现清晰度不好、目标过小等问题，从而严重影响算法分析准确率。

3、针对上述问题，目前尚未存在有效的解决方案。

技术实现思路

1、本发明实施例提供了一种识别目标对象行为的方法及装置，以至少解决相关技术中行为识别效果差的问题。

2、根据本发明的一个实施例，提供了一种识别目标对象行为的方法，包括：获取在目标时间范围内由全景相机对目标区域进行拍摄得到的多张视频帧，得到第一视频帧集合，其中，所述全景相机的拍摄视角覆盖所述目标区域；获取在所述目标时间范围内由细节相机在n个预置点上对所述目标区域中包括的n个子区域分别进行拍摄所得到的多张视频帧，得到第二视频帧集合，其中，n是大于1的整数，所述细节相机在一个所述预置点上的拍摄视角覆盖一个所述子区域；通过所述第一视频帧集合、所述第二视频帧集合，以及预设的像素位置映射关系识别所述目标区域内的各个目标对象的行为，其中，所述像素位置映射关系中记录了所述全景相机拍摄的视频帧中的像素位置与所述细节相机在各个所述预置点拍摄的视频帧中的像素位置之间的映射关系，所述目标对象是所述目标区域内出现的除了第一对象之外的对象，所述第一对象满足以下至少之一：所述目标对象的移动距离与所述第一对象的移动距离的差值大于第一预设阈值、所述第一对象的成像区域与所述目标对象的成像区域的差值大于第二预设阈值。

3、在一个示例性实施例中，通过所述第一视频帧集合、所述第二视频帧集合，以及预设的像素位置映射关系识别所述目标区域内的各个目标对象的行为，包括：将所述第一视频帧集合中包括的各个视频帧依次输入第一目标神经网络模型，通过所述第一目标神经网络模型识别所述目标区域内的所述第一对象；将所述第二视频帧集合中包括的各个视频帧依次输入第二目标神经网络模型，通过所述第二目标神经网络模型识别所述目标区域内的对象，以及各个所述对象的行为；通过所述预设的像素位置映射关系在所述第二目标神经网络模型识别出的各个所述对象的行为中去除所述第一对象的行为，得到所述目标对象的行为。

4、在一个示例性实施例中，通过所述预设的像素位置映射关系在所述第二目标神经网络模型识别出的各个所述对象的行为中去除所述第一对象的行为，得到所述目标对象的行为，包括：在所述第二视频帧集合中包括的第i个视频帧是所述细节相机在第j个时间点在第k个预置点上拍摄的视频帧的情况下，将所述第i个视频帧输入所述第二目标神经网络模型，通过所述第二目标神经网络模型对所述第i个视频帧中的各个对象进行识别，得到多个所述对象的检测框，其中，i、j、k是整数；在所述第一视频帧集合中确定所述全景相机在所述第j个时间点拍摄的视频帧，得到第s个视频帧，其中，s是整数；获取所述第一目标神经网络模型对所述第s个视频帧中的所述第一对象识别得到的第一检测框；通过所述第二目标神经网络模型对所述第i个视频帧识别得到的多个所述检测框、所述第一检测框，以及所述像素位置映射关系确定所述目标对象的行为。

5、在一个示例性实施例中，通过所述第二目标神经网络模型对所述第i个视频帧识别得到的多个所述检测框、所述第一检测框，以及所述预设的像素位置映射关系确定所述目标对象的行为，包括：根据所述像素位置映射关系在多个所述检测框中确定与所述第一检测框匹配的第二检测框；将所述第二目标神经网络模型对所述第i个视频帧识别得到的多个所述检测框中除了所述第二检测框之外的检测框内的对象确定为所述目标对象；获取所述第二目标神经网络模型对所述第i个视频帧内所述目标对象的行为识别结果。

6、在一个示例性实施例中，根据所述像素位置映射关系在多个所述检测框中确定与所述第一检测框匹配的第二检测框，包括：根据所述像素位置映射关系，将所述第s个视频帧中的所述第一检测框映射到第i个视频帧，得到第一映射检测框；将所述第i个视频帧的多个所述检测框中与所述第一映射检测框之间的重叠率最大的检测框确定为所述第二检测框。

7、在一个示例性实施例中，将所述第一视频帧集合的各个视频帧依次输入第一目标神经网络模型，通过所述第一目标神经网络模型识别所述目标区域内的第一对象，包括：通过所述第一目标神经网络模型的轨迹分析模块对所述第一视频帧集合中各个对象的移动轨迹进行分析，将所述第一视频帧集合中与其他对象的移动距离的差值大于或等于所述第一预设阈值的对象确定为第一目标对象；通过所述第一目标神经网络模型的身份识别模块对所述第一目标对象的身份进行识别，得到所述第一目标移动对象的身份标签；在所述第一目标移动对象的身份标签是目标身份标签的情况下，将所述第一目标移动对象确定为所述第一对象；或者，通过所述第一目标神经网络模型的成像区域分析模块对所述第一视频帧集合中各个对象的成像区域进行分析，将所述第一视频帧集合中与其他对象的成像区域的差值大于或等于所述第二预设阈值的对象确定为第二目标对象；通过所述第一目标神经网络模型的身份识别模块对所述第二目标移动对象的身份进行识别，得到所述第二目标移动对象的身份标签；在所述第二目标移动对象的身份标签是目标身份标签的情况下，将所述第二目标移动对象确定为所述第一对象；在所述通过所述第一目标神经网络模型识别所述目标区域内的第一对象之后，所述方法还包括：在所述全景相机对目标区域进行拍摄得到的视频帧中实时显示所述第一对象的位置信息。

8、在一个示例性实施例中，在获取所述第二目标神经网络模型对所述第i个视频帧内所述目标对象的行为识别结果之后，所述方法还包括以下至少之一：在目标显示设备上显示所述各个目标对象的所述行为识别结果；在各个所述目标对象的行为识别结果中表示存在异常行为的情况下，根据所述第二目标神经网络模型对所述目标对象识别得到的检测框，确定存在所述异常行为的所述目标对象在所述目标区域的目标位置，向所述目标位置上的终端设备发送提示消息。

9、根据本发明的另一个实施例，提供了一种识别目标对象行为的装置，包括：第一获取模块，用于获取在目标时间范围内由全景相机对目标区域进行拍摄得到的多张视频帧，得到第一视频帧集合，其中，所述全景相机的拍摄视角覆盖所述目标区域；第二获取模块，用于获取在所述目标时间范围内由细节相机在n个预置点上对所述目标区域中包括的n个子区域分别进行拍摄所得到的多张视频帧，得到第二视频帧集合，其中，n是大于1的整数，所述细节相机在一个所述预置点上的拍摄视角覆盖一个所述子区域；识别模块，用于通过所述第一视频帧集合、所述第二视频帧集合，以及预设的像素位置映射关系识别所述目标区域内的各个目标对象的行为，其中，所述像素位置映射关系中记录了所述全景相机拍摄的视频帧中的像素位置与所述细节相机在各个所述预置点拍摄的视频帧中的像素位置之间的映射关系，所述目标对象是所述目标区域内出现的除了第一对象之外的对象，所述第一对象满足以下至少之一：所述目标对象的移动距离与所述第一对象的移动距离的差值大于第一预设阈值、所述第一对象的成像区域与所述目标对象的成像区域的差值大于第二预设阈值。

10、根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。

11、根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

12、根据本发明的又一个实施例，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。

13、通过本发明，由于全景相机和细节相机在同一时间范围内分别采集全景视频帧和子区域的视频帧，并根据两个相机采集到的视频帧之间的映射关系对目标对象的行为进行识别。因此，可以解决相关技术中行为识别效果差的问题，达到提高行为识别准确率的效果。