一种动物图像关键点标注和姿态分析方法及装置

本发明涉及动物目标检测及行为分析，特别涉及一种动物图像关键点标注和姿态分析方法及装置、电子设备和存储介质。

背景技术：

1、近年来，我国对脑科学及药物研究领域愈发重视，啮齿类动物（例如，科学实验用的小鼠）作为此类科学研究中最常用的实验对象，对其相关图像的数据分析也是研究的热点之一。通过建立小鼠关键点标注模型，对其行为姿态进行量化分析并得出具有统计意义的结论，在神经科学研究、疾病模型分析和治疗药物的开发中有广泛的应用。

2、早期研究人员通过观察动物图像，手工记录动物的行为动作数据和起止时间。不仅效率低，还存在不同人对于图像动作认定的个体差异，不适合大量数据的处理。

3、之后，也有技术开始使用数字化的方式对图像进行处理；但此类方法会造成图像内容的丢失，导致图像信息的挖掘程度不足、预测准确率较低；同时忽略了动物个体姿态特征，对于动物行为的高级属性以及行为复杂性捕捉不足。此外，还有一些技术使用了红外深度rgb相机，在图像录制的过程中同时得到了红外图，使用随机森林、k均值等算法对红外信息进行分析，通过小鼠不同位置的热力学差异得到行为学特征。但这种方法对录制设备的要求较高，不适用大规模使用。

技术实现思路

1、鉴于上述问题，本发明提供了一种动物图像关键点标注和姿态分析方法及装置，以期至少能够解决上述问题之一。

2、根据本发明的第一个方面，提供了一种动物图像关键点标注和姿态分析方法，包括：

3、对动物图像的类型进行识别，将符合预设图像类型的动物图像作为待处理的动物图像输入到训练完成的图像关键点标注模型中；

4、利用训练完成的图像关键点标注模型对待处理的动物图像进行特征提取与融合操作以及关键点标注操作，得到待处理的动物图像中动物的关键点坐标信息和边界框坐标信息；

5、根据待处理的动物图像中动物的关键点坐标信息和边界框坐标信息，利用预定义的姿态特征计算方法得到待处理的动物图像中动物的姿态特征；

6、通过加权归一化操作对动物的姿态特征进行数据预处理，利用预定义的层次聚类算法对预处理后的动物姿态特征进行聚类操作，并基于聚类操作的结果对待处理的动物图像中的动物行为进行分析。

7、根据本发明的实施例，上述利用训练完成的图像关键点标注模型对待处理的动物图像进行特征提取与融合操作以及关键点标注操作，得到待处理的动物图像中动物的关键点坐标信息和边界框坐标信息包括：

8、利用训练完成的图像关键点标注模型的特征提取网络对待处理的动物图像进行特征提取，并利用训练完成的图像关键点标注模型的特征增强网络对提取到的特征进行融合，得到融合特征；

9、利用训练完成的图像关键点标注模型的回归输出网络对融合特征进行数据分类操作和数据标注操作，得到待处理的动物图像中动物的关键点坐标信息和边界框坐标信息。

10、根据本发明的实施例，上述特征提取网络是由5个子模块串联组成；

11、其中，特征提取网络的第一个子模块包括2d卷积核、batchnorm2d和silu激活函数；

12、其中，特征提取网络的第二个子模块、第三个子模块以及第四个子模块均包括c2f单元，c2f单元包括卷积核和darknet；

13、其中，特征提取网络的第五个子模块包括c2f单元和sppf单元；

14、其中，特征提取网络的每个子模块与上一个子模块相比，所处理的特征图大小减半但通道数翻倍。

15、根据本发明的实施例，上述特征增强网络包括多层panet，特征增强网络通过上采样操作和下采样操作对提取到的特征进行张量维度对象，并通过向量拼接操作对提取到的特征进行特征融合；

16、其中，回归输出网络由回归分支网络和预测分支网络的双向耦合头组成，其中每个耦合头包括2d卷积层和多个卷积模块。

17、根据本发明的实施例，上述根据待处理的动物图像中动物的关键点坐标信息和边界框坐标信息，利用预定义的姿态特征计算方法得到待处理的动物图像中动物的姿态特征包括：

18、根据关键点坐标信息和边界框坐标信息，利用欧式距离计算公式得到待处理的动物图像中动物的多个距离特征信息；

19、根据关键点坐标信息、边界框坐标信息以及多个距离特征信息，利用余弦定理得到待处理的动物图像中动物的多个夹角信息；

20、根据关键点坐标信息和边界框坐标信息，计算出每个关键点在相邻两帧的待处理的动物图像中的距离和，并将距离和进行求平均操作，得到动物的相邻帧运动距离；

21、通过平移操作使得相邻两帧的待处理的动物图像的中心轴线的起点重合，并根据关键点坐标信息、边界框坐标信息以及动物的相邻帧运动距离，利用余弦定理计算相邻两帧的中心轴线的夹角，得到动物的相邻帧运动夹角。

22、根据本发明的实施例，上述通过加权归一化操作对动物的姿态特征进行数据预处理，利用预定义的层次聚类算法对预处理后的动物姿态特征进行聚类操作，并基于聚类操作的结果对待处理的动物图像中的动物行为进行分析包括：

23、通过加权归一化操作对动物的姿态特征进行数据预处理，得到预处理后的姿态特征，并根据需求设定聚类操作的类别数；

24、利用预定义的合并前后的族群内方差平和计算方法得到族间距离，并利用ward层次聚类算法合并每帧待处理的动物图像中多个族群预处理后的姿态特征；

25、通过最小化合并操作前后族间距离的值，得到ward层次聚类算法的聚类结果，并基于聚类结果对待处理的动物图像中的动物行为进行分析。

26、根据本发明的第二个方面，提供了一种图像关键点标注模型的训练方法，应用于动物图像关键点标注和姿态分析方法，包括：

27、获取目标动物的视频序列图像，并对目标动物的视频序列图像进行预处理，将预处理后的目标动物的视频训练图像进行随机划分，得到训练图像样本集和测试图像集；

28、构建图像关键点标注模型并进行参数初始化，利用图像关键点标注模型处理训练图像样本集，得到处理结果；

29、根据处理结果，利用预定义的优化器对图像关键点标注模型的参数进行优化，并利用测试图像集对优化后的图像关键点标注模型进行参数调整；

30、迭代进行模型处理操作、参数优化操作以及参数调整操作，直到满足预设条件，得到训练完成的图像关键点标注模型。

31、根据本发明的第三个方面，提供了一种动物图像的关键点标注和姿态分析装置，包括：

32、图像类型识别模块，用于对动物图像的类型进行识别，将符合预设图像类型的动物图像作为待处理的动物图像输入到训练完成的图像关键点标注模型中；

33、图像关键点标注模块，用于利用训练完成的图像关键点标注模型对待处理的动物图像进行特征提取与融合操作以及关键点标注操作，得到待处理的动物图像中动物的关键点坐标信息和边界框坐标信息；

34、动物姿态特征获取模块，用于根据待处理的动物图像中动物的关键点坐标信息和边界框坐标信息，利用预定义的姿态特征计算方法得到待处理的动物图像中动物的姿态特征；

35、聚类和行为分析模块，用于通过加权归一化操作对动物的姿态特征进行数据预处理，利用预定义的层次聚类算法对预处理后的动物姿态特征进行聚类操作，并基于聚类操作的结果对待处理的动物图像中的动物行为进行分析。

36、根据本发明的第四个方面，提供了一种电子设备，包括：

37、一个或多个处理器；

38、存储装置，用于存储一个或多个程序，

39、其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行动物图像关键点标注和姿态分析方法和图像关键点标注模型的训练方法。

40、根据本发明的第五个方面，提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行动物图像关键点标注和姿态分析方法和图像关键点标注模型的训练方法。

41、本发明提供的上述动物图像关键点标注和姿态分析方法与现有技术中的各类方案相比，在预测精度上有了很大的提升，对于动物图像中动物边界框有着很高的识别率、对于动物图像中动物关键点的位置预测有着较小的预测误差；此外，本发明提供的上述动物图像关键点标注和姿态分析方法相较于传统的人工统计方法，具有强大的图像批量处理能力。同时，本发明提供的上述动物图像关键点标注和姿态分析方法在生物学研究领域有着广泛的应用场景，能够大幅度提高相关科研人员的研究效率，尤其在一些脑部神经科学研究，例如小鼠需要头带电极、光纤或套管并需要同时记录神经信号和录制行为学视频的实验中有着很大的发挥空间，此类实验场景会有更多关键点被遮挡的情况出现，本发明针对关键点被遮挡的情况进行了检测优化。