一种基于机器视觉的海参行为监测方法、设备及存储介质

本发明属于海参养殖监测，尤其涉及一种基于机器视觉的海参行为监测方法、设备及存储介质。

背景技术：

1、海参含有丰富的蛋白质和糖分等营养素，是珍贵的海产品之一，具有较高的营养和药用价值。近年来，消费者对海参需求的不断增加，使得海参养殖业发展迅猛，养殖面积不断扩大。随着集约化养殖的发展，海参病害问题变得更加突出，逐渐成为制约相关产业可持续发展的瓶颈。在海参的病害中，比如腐皮综合症的致病力强、发病率高且传染性强，在苗期和成年期均有爆发，给养殖产业造成重大经济损失。

2、目前，已有许多学者已经对海参腐皮综合症的发病机制和检测展开了一系列研究。例如，通过在灿烂弧菌中放置绿色的荧光蛋白以实现灿烂弧菌在海参体内的分布和追踪，从而了解海参腐皮综合症的致病机制。通过荧光抗体检测技术实现了对刺参腐皮综合症的快速检测。目前对于海参腐皮综合症的发病机制研究已较为成熟，使得专家学者能够更方便地探究海参的发病和康复过程。

3、基于荧光标记以及打标签的方法同样被应用于海参的行为监测追踪中。例如，通过在3种大小规格的海参体内加入荧光色素以研究不同规格海参对环境的依赖性及生存能力。然而，无论荧光标记还是打标签的方法均会使海参产生应激反应，对实验结果带来一定的影响。对此，研究了两种标签对海参生理及行为的影响，实验结果表明标签的植入对海参没有生理上的影响，但是随着时间的增长，标签的脱落率逐渐升高。虽然标签植入这一方法被广泛应用于有脊椎动物身上，但海参属于无脊椎动物，导致植入标签相对困难。因此，亟待发展一种无损且智能化的海参跟踪监测技术。

4、近年来，人工智能特别是深度学习的发展，使其在目标识别、病虫害检测、水产养殖等领域得到了快速的发展。同时，模型良好的识别检测性能为动物行为追踪及分析奠定了坚实的基础。然而，由于水下生存条件限制以及背景复杂度更高，在一定程度上给模型的识别和行为追踪带来了一定的困难，使得水下目标追踪的研究相对较少。

5、为了将目标检测和跟踪算法进一步应用于水产养殖中，部分研究人员在实验室条件下展开了初步的研究，但是研究目标均为单头海参或单条鱼，缺少对多目标跟踪的研究。虽然这些研究实现了无损和智能化的水下目标监测跟踪，但是并未对水下动物的运动量进行统计，导致无法实现定量的分析。

技术实现思路

1、针对上述问题，本发明在前期研究基础之上，提出了基于st-yolov5(seacucumber tracking-you only look once version5)和多目标自动取帧匹配坐标的海参行为分析方法。该方法结合了所提出的st-yolov5快速准确检测目标的能力和输出的多目标坐标的自动匹配方法，实现了海参监测跟踪的定性和定量分析。

2、本发明第一方面提供了一种基于机器视觉的海参行为监测方法，其特征在于，包括以下步骤：

3、步骤1，在yolov5模型的基础上搭建st-yolov5的海参检测模型，引入ca注意力模块获取图像中海参的位置，并将模块嵌入至yolov5主干网络中以进一步增强模型对目标特征的表示能力，同时将路径聚合网络panet替换为加权双向特征金字塔结构bifpn；

4、步骤2，获取现场环境中拍摄的海参图像数据集并划分为训练集和测试集，对训练集中的图像数据进行预处理，同时对步骤1中搭建的st-yolov5的海参检测模型进行训练；

5、步骤3，使用训练完成的st-yolov5的海参检测模型对海参进行监测，获取实时的图像数据及每头海参的坐标位置信息；

6、步骤4，使用海参多目标定位方法，通过后一帧获取的若干头海参的坐标分别与前一帧获取的若干头海参的坐标分别作差，差值最小的则被认为是同一头海参连续两帧下的坐标，以此类推得到每头海参连续的坐标集合；

7、步骤5，绘制每头海参某个固定时间段内的行为轨迹曲线，并对海参的行为进行分析。

8、优选的，所述引入的ca注意力模块的具体为：沿着一个空间方向保留精确的位置信息，同时沿着另一个空间方向捕获远程依赖关系，最终生成的特征图可以分别编码为具有位置敏感和方向感知的注意力图，从而实现互补地输入至特征图，以增强对需注意海参目标的表示能力；

9、为了获取图像数据中高度和宽度上的注意力并编码相应的位置信息，将对输入的特征图分别进行高度和宽度两个方向的全局平均池化，以获得高度和宽度两个方向的特征图，如下式所示：

10、

11、

12、式中，xc(h,i)为特征图中(h,i)位置的特征值，xc(j,w)为特征图中(j,w)位置的特征值，w和h分别是特征图的宽和高，为高度为h的第c通道的输出，为宽度为w的第c通道的输出；对于给定的输入x进行一维要素编码操作，通过池化核的空间范围(h，1)或或(1，w)分别为对水平坐标和垂直坐标的各个通道进行相应的编码，从而得到以上的两个公式；

13、紧接着，将全局感受野沿着高度和宽度两个方向的特征图进行拼接，再将其送入至共享卷积核中，并进行变换操作：

14、f＝δ(f1([zh,zw]))

15、式中，[x,y]是沿空间维数的拼接操作，f是对空间信息在水平和垂直两个方向上进行编码的特征映射，δ表示非线性激活函数，f1是经过归一化处理的特征图，zh为高度为h的输出，zw为宽度为w的输出；通过另外的两个1×1卷积变换fh和fw分别将fh和fw变换成具有同一通道数的张量以输入至x，从而得到：

16、gh＝σ(fh(fh))

17、gw＝σ(fw(fw))

18、式中，σ为sigmoid激活函数，fh是空间信息在垂直方向上进行编码的特征映射，fw是空间信息在水平方向上进行编码的特征映射，gh是在高度方向上的注意力权重，gw是在宽度方向上的注意力权重；

19、最终通过在原始特征图上的乘法加权计算得到在高度和宽度方向上带有注意力权重的特征图。

20、优选的，所述将特征聚合结构panet替换为bifpn，具体为：首先，将panet中只有一条输入边且对特征网络贡献较小的节点删除，以通过删除对网络影响不大的节点来简化网络；其次，如果原始的输入节点与输出节点同属于同一层，那么将原始的输入节点与输出节点之间添加一条额外的通路，以在不增加过多的成本的前提下实现更多特征融合；最后，鉴于panet只有一个自顶向下和一个自底向上路径的处理通道，bifpn将把处理每个双向路径即自顶向下和自底向上的路径作为特征网络层，并重复同一层的特征，以实现更高层次的特征融合的目的。

21、优选的，所述步骤2的具体过程为：

22、s21，通过具备红外夜视功能的摄像头获取若干天的海参图像数据集；

23、s22，随机选取若干张图像数据并划分训练集和测试集，通过labelimg标记软件对训练集中的海参样本进行标记，生成包含目标类型和坐标信息的xml文件；

24、s23，对步骤1中搭建的st-yolov5的海参检测模型进行训练，并使用测试集完成测试。

25、优选的，所述步骤4的具体过程为：

26、s41，获取第1帧图像，假设在第1帧图像中共有n头海参，n头海参的坐标分别为(x1，y1)，(x2，y2)，......，(xn，yn)；

27、s42，获取第2帧图像，假设在第2帧图像中共有m头海参，m头海参的坐标分别为(x1，y1)，(x2，y2)，......，(xm，ym)；

28、s43，第2帧图像中的海参坐标分别与第1帧图像中的海参坐标分别作差，差值最小的对应坐标定义为同一头海参的坐标，并作为同一头海参的连续坐标集合进行保存；

29、s44，依次获取第i帧图像，并重复上述过程，即分别与第i-1帧图像作差，差值最小的对应坐标定义为同一头海参的坐标，并存入对应海参的坐标集合中；

30、s45，直到最后一帧图像便停止循环，最终得到每头海参连续帧间的坐标集合。

31、优选的，所述步骤5的具体过程为：通过步骤4所获得的每头海参的坐标集合绘制对应海参的运动轨迹，并根据每头海参的坐标点计算任意时间段内其运动量；海参感染疾病时往往在初期时行为变化最明显，一般表现为运动量的增加，因此通过监测养殖环境下海参运动量的骤增来间接判断海参的状态并发出预警，以及时提醒养殖人员做出相应的决策。

32、本发明第二方面提供了一种基于机器视觉的海参行为监测设备，所述设备包括至少一个处理器和至少一个存储器，所述处理器和存储器相耦合；所述存储器中存储有计算机执行程序；所述处理器执行存储器中存储的计算机执行程序时，可以使处理器执行如第一方面所述的海参行为监测方法。

33、本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序或指令，所述程序或指令被处理器执行时可以使处理器执行如第一方面所述的海参行为监测方法。

34、与现有技术相比，本发明主要提供了一种基于机器视觉的海参行为监测方法，本发明首次把yolov5模型用于海参养殖监测领域，在yolov5的框架下，本发明引入ca注意力模块以增强需检测目标的表征能力，改进后的方法相比于原始的yolov5模型有更好的识别效果，同时将yolov5结构中原有的panet替换为能够融合更多特征信息的bifpn，以实现在特征网络中突出贡献较大节点的能力；实验表明，精确率、回归率和ap50:95分别提高了0.42％、0.44％和3.12％。本发明提出了多目标自动取帧匹配坐标方法，该方法能够自动绘制多目标的行为轨迹，并能够分别统计每个目标的运动量，实现海参行为的定性和定量分析。本发明提出的方法可以进一步应用于海参的集约化养殖中，将模型嵌入至计算机中并与水下摄像头结合部署于监测平台，从而在海参出现聚集性疾病例如腐皮综合症前做出及时的决策。此外，本发明的思路也可以应用于其它养殖水产品中实现患病行为的监测，为提高渔业的智能化水平奠定理论和应用基础。