一种基于双光相机的动物目标计数方法与流程

1.本发明涉及养殖技术领域，特别涉及一种基于双光相机的动物目标计数方法。


背景技术：

2.在生猪养殖过程中，就猪只盘点而言，从产房到妊娠舍，从保育到出栏各个阶段都需要实时统计圈舍内动物数量，便于规模化养殖场跟踪生产信息，调整生产策略，但是传统作业方式为人为统计舍内猪只数量，不仅费时耗力，且猪只数量每天都在变动，有死淘猪，有转舍、转栏猪群，人工记录容易出错。
3.近年来，随着人工智能技术在养殖行业的兴起，越来越多的企业开始利用物联网、人工智能、大数据等技术来提升生产效率，应用场景包括猪脸识别、疾病检测、猪群行为分析等。而猪只盘点是其中的一项非常有价值的工作，目前常用的非接触式猪只盘点方式为轨道式机器人，通过可见光相机来实时抓拍圈栏猪只，以实现记数目的。但是存在诸多问题，例如：轨道需要在建设猪场时提前规划铺设，这对已建场改造方案提出了巨大挑战；可见光相机受外界光环境影响很大，易造成漏判或误判，这对圈舍盘点动物数量的准确性有较大影响，动物数量统计的不准确将直接关联最后的经济效益。
4.红外热成像测量技术已被广泛地应用于军事和民用等领域，发挥着不可替代的重要作用，目前市面上常见的热成像设备已具备较高像素清晰度，测温误差
±
0.5℃，可实现目标检测、记数功能。当前，迫切需要一种可信度高的动物记数方法，获取真实、可靠、可追溯的各项数据，以满足常规生产场景下的应用。


技术实现要素：

5.为了能够更加精准地对圈舍动物进行目标计数，本发明提供了一种基于双光相机的动物目标计数方法。
6.为了实现上述发明目的，本发明提供了一种基于双光相机的动物目标计数方法，所述方法包括以下步骤：
7.步骤s1：获取动物栏位图像构建样本库，以存在动物面部的栏位图像为正样本，以不存在动物面部的栏位图像作为负样本；
8.步骤s2：构建计数模型，所述计数模型包括用于动物识别的神经网络模型；
9.步骤s3：将样本库输入到神经网络模型中进行训练，得到训练好的神经网络模型；
10.步骤s4：依次获取各栏位的待测图像，每个栏位对应一个待测图像组，每个待测图像组包括n张待测图像；
11.步骤s5：依次将每个栏位对应的2n张待测图像，输入至构建好的计数模型中，得出每个栏位的最终识别结果，统计所有栏位的最终识别结果得到动物目标数量。
12.其中，所述计数模型还包括连接于所述神经网络模型后端的修正模型，所述修正模型用于修正每个栏位的识别结果并统计出所有栏位的最终识别结果得到动物目标数量；
13.所述步骤s1获取的样本库包括两个子样本库，分别为可见光图像样本库和热成像
图像样本库；
14.所述步骤s4获取的各栏位对应的待测图像组包括两个子图像组，分别为可见光图像组和热成像图像组，可见光图像组和热成像图像组均包括n张待测图像；
15.所述步骤s4，同一栏位的待测图像组的所有待测图像均在同一时间段(该时间段优选为1
‑
2s)内获取；且，每个栏位获取待测图像组的时间长度相同。其中，n＜10，优选地，n为2、4或5。
16.所述计数模型包括两个神经网络模型，分别用于对可见光图像和热成像图像进行识别。
17.其中，所述步骤s5具体为：
18.步骤s501：依次将获取的每个栏位对应的待测图像输入至计数模型中，由两个子神经网络模型得出每张待测图像的初检结果，将存在动物面部的待测图像计为1，将不存在动物面部的待测图像计为0；其中，
19.步骤s502：将同一待测图像组的所有初检结果输入到修正模型中，得到该栏位的最终识别结果；
20.步骤s503：统计所有栏位的最终识别结果得到动物目标数量。
21.其中，所述步骤s502中的修正模型通过如下公式(1)实现修正方法，
[0022][0023]
式中，p
j
为第j个栏位的最终识别结果；第j个栏位对应的同一可见光图像组中第i张待测图像的初检结果为c
i
；第j个栏位对应的同一红外光图像组中第i张待测图像的初检结果为t
i
；β为置信度，β大于0.6且小于神经网络图像算法检测率。
[0024]
所述步骤s503具体为，通过如下公式(2)实现：
[0025]
p＝∑p
j
j＝1,2,3,...,m
ꢀꢀꢀꢀꢀꢀꢀ
公式(2)。
[0026]
其中，两个所述子神经网络模型均为yolov4神经网络。
[0027]
优选地，可见光图像样本库和热成像图像样本库、以及待测可见光图像组和热成像图像组，分别是采用可见光相机realsense d435、红外热成像相机艾睿光电at600来获取。
[0028]
优选地，所述步骤s4获取各栏位的待测图像时，可利用智能巡栏车作为载体；且巡栏方法/方式为：从第1纵列横向前进、走s型路线从起点到终点，按照拍摄时间来控制智能巡栏车在栏位前的停止时间。
[0029]
本发明的有益效果是：本发明特别适用于规模化猪场中的限位栏饲养环境，本发明能够实现更加精准的非接触式规模化舍内猪只盘点，尤其在当下非洲猪瘟盛行严防严控的情况下，非接触式自动测量技术更显得尤为重要，阻断了病毒传播途径，同时本发明为栏舍动物的自动化监控、管理提供了一种新的研究方向。
附图说明
[0030]
图1为本发明实施例3中智能巡栏车行走路线示意图。
[0031]
图2为可见光图像中猪头目标检测示意图。
[0032]
图3为热成像图像中猪头目标检测示意图。
[0033]
图4为实施例4的流程示意图。
具体实施方式
[0034]
为能清楚说明本方案的技术特点，下面通过具体实施方式，对本方案进行阐述。
[0035]
实施例1
[0036]
本发明实施例提供了一种基于双光相机的动物目标计数方法，具体包括以下步骤：
[0037]
步骤s1：获取动物栏位图像构建样本库，以存在动物面部或头部的栏位图像为正样本，以不存在动物面部的栏位图像作为负样本；其中，所获取的样本库包括两个子样本库，分别为可见光图像样本库和热成像图像样本库。
[0038]
步骤s2：构建计数模型，所述计数模型包括两个用于动物识别的神经网络模型，分别用于对可见光图像和热成像图像进行识别，两个神经网络结构模型可优先为yolov4神经网络；此外，该计数模型还包括连接于两个所述神经网络模型后端的修正模型，所述修正模型用于修正每个栏位的识别结果并统计出所有栏位的最终识别结果得到动物目标数量；
[0039]
步骤s3：将样本库输入到神经网络模型中进行训练，得到训练好的神经网络模型；
[0040]
步骤s4：依次获取各栏位的待测图像，每个栏位对应一个待测图像组，每个待测图像组包括n张待测图像；所获取的各栏位对应的待测图像组包括两个子图像组，分别为可见光图像组和热成像图像组，可见光图像组和热成像图像组均包括n张待测图像；此外，同一栏位的待测图像组的所有待测图像(包括可见光图像和热成像图像)均在同一时间段内获取；且，每个栏位获取待测图像组的时间长度相同；本实施例同一栏位的待测图像组是在1s内连续拍摄得到的。
[0041]
步骤s5：依次将每个栏位对应的2n张待测图像，输入至构建好的计数模型中，得出每个栏位的最终识别结果，统计所有栏位的最终识别结果得到动物目标数量；其中，该步骤s5具体为：
[0042]
步骤s501：依次将获取的每个栏位对应的待测图像输入至计数模型中，由两个子神经网络模型得出每张待测图像的初检结果，将存在动物面部的待测图像计为1，将不存在动物面部的待测图像计为0；其中，
[0043]
步骤s502：将同一待测图像组的所有初检结果输入到修正模型中，得到该栏位的最终识别结果；
[0044]
所述步骤s502中的修正模型通过如下公式(1)实现修正方法，
[0045][0046]
式中，p
j
为第j个栏位的最终识别结果；第j个栏位对应的同一可见光图像组中第i张待测图像的初检结果为c
i
；第j个栏位对应的同一红外光图像组中第i张待测图像的初检结果为t
i
；β为置信度，β大于0.6且小于神经网络图像算法检测率；
[0047]
步骤s503：通过公式(2)统计所有栏位的最终识别结果得到动物目标数量，
[0048]
p＝∑p
j
j＝1,2,3,...,m
ꢀꢀꢀꢀꢀꢀ
公式(2)。
[0049]
实施例2
[0050]
在实施例1的基础上，可见光图像样本库和热成像图像样本库、以及待测可见光图像组和热成像图像组，分别是采用可见光相机realsense d435、红外热成像相机艾睿光电at600来获取。
[0051]
实施例3
[0052]
在实施例1或2的基础上，在实施例1中步骤s4获取各栏位的待测图像时，可利用智能巡栏车(智能巡栏车为现有技术，在此不再赘述)作为载体；且巡栏方法/方式为：从第1纵列横向前进、走s型路线从起点到终点，按照拍摄时间来控制智能巡栏车在栏位前的停止时间。
[0053]
参见图1，给出了一个具体方案；图1中，栏位分4纵列，每1纵列横向有100个测点(即100个栏位)，智能巡栏车从第1纵列横向前进，走s型路线从起点到终点，每1纵列各测点的猪只图像可见光图像和热成像图像各拍摄至少2张(即可见光图像和红外图像各一张)，每天巡栏1次，智能巡检车可以控制相机每次与猪只之间的拍摄距离一致，拍摄后的图像传输至中控平台对其进行算法层面上的实时处理，将自动生成数据结果报表存储传输至本地电脑端用于进一步分析。
[0054]
实施例4
[0055]
在实施例1
‑
3任一项的基础上，本实施例还可采用热成像相机(艾睿光电at600)，同时捕获动物目标的温度点数据，该本实施例的目标检测算法可在实施例1的基础上，采用基于windows/ubuntu+tensorflow+yolo4框架，以实现动物头部的精准定位，进一步从定位框中快速捕捉感兴趣的温度特征点(例如：眼眶、耳部、鼻根部的温度)，如图2和图3所示(图2为可见光图像中猪头目标检测示意图，左为原图、右为处理分析的图像；图3为热成像图像中猪头目标检测示意图，左为原图、右为处理分析的图像)。其中，智能巡栏车同时可配备集成的多合一传感器，同步记录栏位测点的环境温度、湿度、风速、二氧化碳等，同动物个体数量、温度情况进行每日、每月的动物日常报表汇总；该动物日常报表的用途之一为分析对应栏位的猪只死淘的诱因。此外，因疾病引起的猪只早期体温上升现象也能通过动物日常报表分析出来，并由专业管理人员做出快速响应，整个操作流程可见图4，该流程主要分为参数初始化、栏位判断、图像获取、图像处理、图像显示，生成数据报表等，其中图像处理流程
中的功能主要包括：图像预处理(筛选有效、轮廓清晰图像，图像去噪、增强等)、目标检测(以猪体为例)、提取猪只轮廓特征、参数输出等。数据报表中包括测点环境温度、湿度、风速等参数，还包括当天每次、每日、每周、每月巡检测量的温度数据。通过汇总每日、每月的环境、生理参数等指标可实现自动测量、自动汇总，且关联到每一个个体，可追溯历史数据，真正实现了精准养殖。
[0056]
测试试验
[0057]
选取一猪群数量为1000头的栋舍，即m＝1000作为测试目标。
[0058]
以单一相机、单张拍照来作为唯一待测图像、利用训练好的单一神经网络模型来识别，作为对比例；
[0059]
以本发明方法作为实施例，具体的：
[0060]
基于windows/ubuntu+tensorflow+yolo4框架，搭建计算模型并训练成熟；其中，两个训练好的神经网络模型(分别对应可见光图像识别和热成像图像识别)的识别率达到0.85(即：检测到一只猪存在的概率为85％、15％为误判概率)，后接的修正模型置信度β设为0.7(即：满足大于0.6小于0.85的条件)。
[0061]
其中，对比例和实施例均可利用同时设有可见光相机(realsense d435)和红外热成像相机(艾睿光电at600)的智能巡栏车，实现进行前端图像采集；当对比例采集待测图像时，可仅开启可见光相机或红外热成像相机。
[0062]
经过多次测试，得出目标计数结果(参见表1)。
[0063]
表1各测试方法目标计数结果对照表
[0064]
[0065][0066]
由表1能够看出，以单一相机、单张拍照来作为唯一待测图像的对比例，其识别率仅在85％左右，考虑原因在于，不仅仅是识别模型自身的算法问题，还在于栏位猪只由于拍摄角度不同，当猪只出现吃食、饮水等不同状态时，会出现猪只头部或面部隐藏或偏斜的情况，因而不能被计数，从而出现误检。而采用本发明的方法，特别是当n为2、4及5以上时(n是指在1s内获取的可见光图像或热成像图像的数量，同一栏位的待测图像总数计为2n)，识别率均高于对比例的方法。此外，考虑计算机的gpu计算能力，不可能拍摄无上限数量的待测图片。结合计算机计算能力及识别率，n优选为2、4或5。
[0067]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。