一种融入动作信息的多模态奶牛个体识别方法及系统

本发明涉及图像处理，尤其涉及一种融入动作信息的多模态奶牛个体识别方法及系统。

背景技术：

1、奶牛的个体识别是奶牛精细化养殖、产品溯源、行为分析、病情监测和体况评分的前提与基础，准确可靠的识别每头奶牛具有重要意义。

2、传统的依靠人工的奶牛个体识别方法中，耳标是最为常见的一种。但是在实际生产生活中由于耳标丢失、损坏的情况时常发生，并不适合长期使用。基于rfid技术的电子标签也较为常见。然而该技术识别距离受限，且成本高，有较大的局限性。机器视觉是奶牛个体识别领域一个热门的研究方向，其在不需要人为干预情况下，利用摄像机对奶牛进行记录，通过分析视频，实现对场景中目标的定位、识别和跟踪。这种识别方法提高了识别的实时性和自动化程度，可以降低农场的管理成本和减少牛只应激反应。在机器视觉识别奶牛方面，由于每头奶牛的花纹信息都不相同，具有一定的独特性，基于深度学习技术利用奶牛身体背部或者侧部的花纹进行个体识别有较高的应用前景。然而在实际环境中应用这些方法往往存在很多困难。例如，在不同的光照甚至黑暗环境中，奶牛的外观会受到很大的影响。另外，对于花纹相似甚至纯色无花纹奶牛、具有无花纹特征的品种(例如，泽西奶牛)，很难使用基于花纹的方法来进行奶牛的个体识别。因此借鉴人类研究领域，可以融入奶牛行走时体形的变化(即动作信息)进行个体识别，该算法对光照变化和花纹相似奶牛的识别具有鲁棒性。但是单一的通过动作特征只能从运动目标的局部得到有限识别，且路况及环境的变化等都将对其产生负面影响。想要提升算法识别性能，就需要尝试运用多特征融合来提高单一模态识别技术的准确率。所以，亟待提出一种融入动作信息的多模态奶牛个体识别方法。

技术实现思路

1、本发明提供一种融入动作信息的多模态奶牛个体识别方法及系统，用以解决现有奶牛个体识别准确率低的问题。

2、本发明提供一种融入动作信息的多模态奶牛个体识别方法，包括：

3、采集奶牛活动时的视频数据，提取奶牛完整牛体图像；

4、将所述视频数据中提取的完整牛体图像转换为剪影图和rgb图片；

5、对所述剪影图和rgb图片进行预处理生成数据集，将所述数据集划分为训练集和测试集；

6、基于所述训练集和测试集构建深度学习网络模型，通过所述深度学习网络模型进行动作特征提取和花纹特征提取；

7、将所述动作特征和花纹特征进行特征融合，基于融合特征对预设的支持向量机进行训练；

8、基于训练后的支持向量机模型对实时采集的奶牛图像进行奶牛个体识别。

9、根据本发明提供的一种融入动作信息的多模态奶牛个体识别方法，所述采集奶牛活动时的视频数据，提取奶牛完整牛体图像，具体包括：

10、选择在奶牛挤奶完成离开挤奶厅时进行视频数据采集；

11、相机固定安装在过道内侧，距离奶牛设定距离，调整相机焦距使得整个相机视野大约为奶牛身体长度的3倍，摄像范围至少包含2个步态周期；

12、通过采集到的奶牛行走的视频数据，提取奶牛完整牛体。

13、根据本发明提供的一种融入动作信息的多模态奶牛个体识别方法，将所述视频数据中提取的完整牛体图像转换为剪影图和rgb图片，具体包括：

14、在侧视图视角下，将行走奶牛的视频数据预处理成视频帧；

15、基于视频帧通过预设的语义分割网络模型分割出完整的奶牛身体轮廓侧视图；

16、通过修改语义分割网络模型参数，将分割出来的牛体转换成剪影图和rgb图片。

17、根据本发明提供的一种融入动作信息的多模态奶牛个体识别方法，对所述剪影图和rgb图片进行预处理生成数据集，具体包括：

18、对所述剪影图和rgb图片进行裁剪，通过图像边界检测算法自动检测并裁剪图像中的边缘区域，去除图像中不相关或不需要的部分，获得感兴趣区域；

19、基于裁剪后的图像数据进行对齐，通过特征点检测和匹配算法找到图像中的关键特征点，并通过变换矩阵进行对齐，使图像中的对象或特征在相同位置上；

20、基于对齐后的图像数据进行归一化，使用线性归一化方法，将像素值缩放到0到1之间进行标准化处理。

21、根据本发明提供的一种融入动作信息的多模态奶牛个体识别方法，基于所述训练集和测试集构建深度学习网络模型，通过所述深度学习网络模型进行动作特征提取和花纹特征提取，具体包括：

22、将所述剪影图输入至深度学习网络模型，将剪影图的视频帧序列经过3d卷积网络和双向长短期记忆网络进行特征提取，输出概率向量形式的动作特征；

23、将所述rgb图输入至深度学习网络模型，经过卷积神经网络提取深层特征，经过输出层输出概率向量形式的花纹特征。

24、根据本发明提供的一种融入动作信息的多模态奶牛个体识别方法，将所述动作特征和花纹特征进行特征融合，基于融合特征对预设的支持向量机进行训练，具体包括：

25、将所述动作特征和花纹特征两种概率向量形式的特征通过特征加权求和、特征值求和以及特征最大值三种融合方法进行特征融合；

26、选取最佳融合策略为特征加权求和，动作特征和花纹特征权重比例4:6；

27、基于融合特征对预设的支持向量机进行训练。

28、根据本发明提供的一种融入动作信息的多模态奶牛个体识别方法，所述基于训练后的支持向量机模型对实时采集的奶牛图像进行奶牛个体识别，具体包括：

29、实时获取奶牛视频数据，将所述视频数据输入至训练后的支持向量机模型；

30、通过所述支持向量机模型进行奶牛个体识别。

31、本发明还提供一种融入动作信息的多模态奶牛个体识别系统，所述系统包括：

32、数据获取模块，用于采集奶牛活动时的视频数据，提取奶牛完整牛体图像；

33、图像转换模块，用于将所述视频数据中提取的完整牛体图像转换为剪影图和rgb图片；

34、预处理模块，用于对所述剪影图和rgb图片进行预处理生成数据集，将所述数据集划分为训练集和测试集；

35、特征提取模块，用于基于所述训练集和测试集构建深度学习网络模型，通过所述深度学习网络模型进行动作特征提取和花纹特征提取；

36、特征融合模块，用于将所述动作特征和花纹特征进行特征融合，基于融合特征对预设的支持向量机进行训练；

37、识别模块，用于基于训练后的支持向量机模型对实时采集的奶牛图像进行奶牛个体识别。

38、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述融入动作信息的多模态奶牛个体识别方法。

39、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述融入动作信息的多模态奶牛个体识别方法。

40、本发明提供的一种融入动作信息的多模态奶牛个体识别方法及系统，通过采集奶牛行走的视频数据，提取出完整的牛体，并转为剪影图和rgb图两种数据形式；对奶牛数据进行裁剪、对齐、归一化等预处理；将两部分数据分别划分为训练集和测试集两部分；构建深度学习网络模型提取奶牛行走时身体的动作特征和奶牛身体的花纹特征；对两种特征进行特征融合，并基于融合后的特征用支持向量机模型对奶牛进行分类，完成对奶牛的个体识别。实现对奶牛的准确识别且不会对奶牛个体产生影响。