宠物图像识别方法、装置、电子设备和计算机可读介质与流程

本公开的实施例涉及宠物图像识别术领域，具体涉及宠物图像识别方法、装置、电子设备和计算机可读介质。

背景技术：

1、宠物图像识别方法，是用于从图像中识别宠物的一项技术。目前，在进行宠物图像识别时，通常采用的方式为：依赖于宠物的特定部位（如脸部）进行识别。或通过通用的检测、跟踪和分割等通用神经网络模型算法，可以检测和跟踪宠物的存在以及进行宠物检测和分类。

2、然而，实践中发现，当采用上述方式进行宠物图像识别方法时，经常会存在如下技术问题：

3、拍摄设备（例如网络摄像头）的拍摄角度和环境限制（例如，家庭安防环境、宠物看护环境等），导致难以拍摄到宠物特定视角的图像（例如，正脸图像），由此，导致难以有效地对宠物的脸部特征进行识别和分类，从而，导致宠物图像识别的准确度降低。

4、该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了宠物图像识别方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题。

3、第一方面，本公开的一些实施例提供了一种宠物图像识别方法，应用于拍摄设备，该方法包括：选取拍摄的场景视频中的关键帧，并由上述关键帧生成关键帧图像；将上述关键帧图像发送至预先训练的宠物图像识别模型中的主干网络以进行特征提取，得到宠物图像识别特征数据，其中，上述宠物图像识别模型的主干网络模块预先部署于用户终端；将上述宠物图像识别特征数据发送至服务端，以供上述服务端中与上述宠物图像识别模型对应的分支网络模块进行宠物图像的特征识别，得到上述宠物图像的识别结果；响应于接收到的上述服务端返回的上述宠物图像识别结果，在上述用户终端的界面进行结果展示。

4、可选的，上述方法还包括：对上述场景视频中的各帧视频图像进行图像质量检测，以生成图像质量检测结果集；确定上述图像质量检测结果集中满足预设条件的图像质量检测结果，将上述满足预设条件的图像质量检测结果对应的视频图像确定为关键帧图像。

5、可选的，上述方法还包括：对上述场景视频进行目标检测，以确定上述场景视频中的目标宠物图；对检测到的上述目标宠物图进行目标跟踪，其中，对标识过的上述目标宠物图进行跟踪，得到跟踪标识集；确定所检测到的目标宠物图在上述场景视频图像中的宠物图像边框，得到宠物图像检测边框集；基于上述跟踪标识集和上述宠物图像检测边框集，对所检测到的各个目标宠物图对应的视频图像进行图像质量检测，以生成图像质量检测结果集。

6、可选的，上述方法还包括：响应于确定上述图像质量检测结果集中不存在满足预设条件的图像质量检测结果，再次对上述网络摄像头拍摄的场景视频进行关键帧选取。

7、可选的，上述基于上述跟踪标识集和上述宠物图像检测边框集，对所检测到的各个目标宠物图对应的视频图像进行图像质量检测，以生成图像质量检测结果集，包括：根据上述宠物图像检测边框集，确定上述跟踪标识集中各个跟踪标识对应的视频图像的图像清晰度集及图像遮挡比例值集；对上述宠物图像检测边框集中各个上述宠物图像检测边框对应的视频图像进行宠物站位识别，以生成图像拍摄角度信息集，其中，上述图像拍摄角度信息集中的每个图像拍摄角度信息对应一个宠物，每个图像拍摄角度信息包括关键帧图像中宠物相对于上述拍摄设备的观测视角标签，上述观测视角标签包括以下至少一项：第一视角标签、第二视角标签或第三视角标签；根据上述图像清晰度集、上述图像遮挡比例值集和上述图像拍摄角度信息集，确定与各个跟踪标识对应的像质量检测结果集。

8、可选的，上述方法还包括：确定上述跟踪标识集中各个跟踪标识对应的视频图像的图像清晰度，得到图像清晰度集；确定上述跟踪标识集中各个跟踪标识对应的视频图像的图像遮挡度，得到图像遮挡比例值集。

9、可选的，上述宠物图像识别模型通过预设模型生成方法训练生成；其中，预设模型生成方法包括：获取训练样本集，其中，上述训练样本集中的训练样本包括正样本图像、负样本图像对和对应的正样本标签、负样本标签；从上述训练样本集中选出训练样本输入至初始宠物图像识别模型的主干网络，以生成正样本主干特征图和负样本主干特征图，其中，上述初始宠物图像识别模型中主干网络的模型参数固定不变，上述初始宠物图像识别模型中的分支网络模块包括大聚类分支网络和小聚类分支网络，上述分支网络模块对应单个用户；将上述正样本主干特征图输入至上述初始宠物图像识别模型的分支网络模块，输出正样本预测标签，其中，上述分支网络模块中的小聚类分支网络用于对正样本主干特征图中的宠物局部特征进行聚类处理；将上述负样本主干特征图输入至上述初始宠物图像识别模型的分支网络模块，输出负样本预测标签，其中，上述分支网络模块中的大聚类分支网络用于对正样本主干特征图中的宠物整体特征进行聚类处理；根据得到的上述正样本预测标签、上述负样本预测标签、上述正样本标签和上述负样本标签生成样本损失值，以及根据上述样本损失值调整上述分支网络模块中的网络参数。

10、可选的，上述训练样本集通过以下步骤生成：接收用户对所展示的宠物识别图像集中宠物识别图像的图像移除操作；将上述图像移除操作对应的宠物识别图像确定为负样本图像，得到负样本图像组，其中，负样本图像为用户移除的负相关图像；将负样本图像组中每个负相关图像对应的跟踪标识确定为负样本标签，得到负样本标签组；接收用户对所展示的宠物识别图像集中宠物识别图像的图像合并操作；将图像合并操作对应的跟踪标识调整为同一标识，以及将宠物识别图像集中的各个宠物识别图像确定为正样本图像，得到正样本图像组；将上述正样本图像组中的每个正样本图像对应的跟踪标识确定为正样本标签，得到正样本标签组；将上述正样本图像组、正样本标签组、负样本图像组和负样本标签组进行组合，以训练样本集。

11、第二方面，本公开的一些实施例提供了一种宠物图像识别装置，该装置包括：关键帧选取单元，被配置成选取拍摄的场景视频中的关键帧，并由上述关键帧生成关键帧图像；特征提取单元，被配置成将上述关键帧图像发送至预先训练的宠物图像识别模型中的主干网络以进行特征提取，得到宠物图像识别特征数据，其中，上述宠物图像识别模型的主干网络模块预先部署于用户终端；特征识别单元，被配置成将上述宠物图像识别特征数据发送至服务端，以供上述服务端中与上述宠物图像识别模型对应的分支网络模块进行宠物图像的特征识别，得到上述宠物图像的识别结果；识别结果展示单元，被配置成响应于接收到的上述服务端返回的上述宠物图像识别结果，在上述用户终端的界面进行结果展示。

12、第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。

13、第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。

14、本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的宠物图像识别方法，可以宠物图像识别的准确度。具体来说，造成宠物图像识别的准确度降低的原因在于：拍摄设备（例如网络摄像头）的拍摄角度和环境限制（例如，家庭安防环境），导致难以拍摄到宠物特定视角的图像（例如，正脸图像），由此，导致难以有效地对宠物的脸部特征进行识别和分类。基于此，本公开的一些实施例的宠物图像识别方法，首先，对拍摄设备拍摄的场景视频进行关键帧选取，以生成关键帧图像。通过提取关键帧图像，可以用于选出图像视角合适的图像，以便于进行图像识别。接着，将上述关键帧图像发送至预先训练的宠物图像识别模型中的主干网络以进行特征提取，得到宠物图像识别特征数据。其中，上述宠物图像识别模型的主干网络模块预先部署于用户终端。这里，通过在用户终端提前部署宠物图像识别模型的主干网络，可以用于通过用户端进行特征提取，以此减缓服务端的计算资源压力。同时，也因为对于各个用户的用户终端，其部署的主干网络相同，因此可以便于部署和更新。然后，将上述宠物图像识别特征数据发送至服务端，以供上述服务端中与上述宠物图像识别模型对应的分支网络模块进行上述宠物图像的特征识别，得到上述宠物图像的识别结果。这里，通过设置在服务端的分支网络模块，实现宠物图像的识别。最后响应于接收到的上述服务端返回的上述宠物图像识别结果，在上述用户终端的界面进行结果展示。从而，上述实现方式可以首先用于挑选出适当的视频图像作为关键帧图像，以此避免识别过程中图像中宠物视角不同，而影响识别的准确度。进而，可以有效地对宠物的脸部特征进行识别和分类，提高宠物图像识别的准确度。