一种水下鱼体生物量检测方法及系统

本发明涉及鱼体检测，特别是涉及一种水下鱼体生物量检测方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、现有的水下双目视觉方法对鱼体进行识别检测时，对目标鱼体的姿态要求较为严格，针对与摄像机光轴正交、中轴不弯曲的鱼体有较高的有效性，而针对鱼体轮廓与摄像机光轴不正交、鱼体姿态弯曲的情况缺乏鲁棒性，鱼体轮廓与摄像机光轴非正交是指鱼是斜着面对摄像机的，比如头离摄像机近，尾巴离摄像机远，可能是姿态平直的，也可能是姿态弯曲的；姿态弯曲是指鱼的脊骨是弯曲的，这种情况下鱼的轮廓是个曲面。目前在进行识别检测时，常常过滤掉该部分数据，而该部分数据是具有完整鱼体轮廓的，由此需要解决鱼体轮廓与摄像机光轴非正交或姿态弯曲的鱼体识别问题。

3、在对识别出的目标鱼体进行生物量检测时，尤其是针对体重估计时，目前要么是采用单一变量如体长、周长等对体重进行线性拟合，精度不高，要么是直接套用现成的公式，未考虑不同种类鱼体体重估计的差异性，不具有通用性。

技术实现思路

1、为了解决上述问题，本发明提出了一种水下鱼体生物量检测方法及系统，设计自适应窗口的截尾高斯均值滤波方法以获得稠密视差图，对稠密视差图进行视差平滑后进行三维重建，由此得到鱼体轮廓，提高目标检测精度，实现多姿态水下鱼体非接触式生物量的估计。

2、为了实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供一种水下鱼体生物量检测方法，包括：

4、对水下双目图像对经实例分割后，得到目标鱼体双目图像对，并从目标鱼体双目图像对中提取对应的掩码对；

5、对掩码对进行立体匹配得到视差图，对视差图采用自适应窗口遍历深度值并进行截尾高斯均值滤波和缺失深度值补全，直至窗口内滤波后剩余的深度值数量满足比例要求，由此得到稠密视差图；

6、对稠密视差图经视差平滑处理后进行三维重建，得到鱼体轮廓，提取鱼体轮廓中的鱼体特征点并计算鱼体特征点间的距离，由此得到目标鱼体的叉长和体宽，根据叉长、体宽和体重的相关函数，估计目标鱼体的体重。

7、作为可选择的实施方式，对水下双目图像对进行实例分割的过程包括：

8、对水下双目图像对进行多尺度注意力特征提取，对每个尺度的注意力特征图经上采样后进行三重注意力提取，以此生成水下双目图像对的区域候选框；

9、根据区域候选框检测目标鱼体并分割，根据对区域候选框内像素类别的判定分割出掩码，由此提取出目标鱼体及其对应的掩码。

10、作为可选择的实施方式，截尾高斯均值滤波的过程包括：以视差图内的每个像素点为中心，以边长为n个深度值的窗口遍历所有深度值；将窗口内的非零深度值拟合为高斯分布，以高斯分布两倍标准差为截尾均值参数对窗口内的深度值进行滤波。

11、作为可选择的实施方式，缺失深度值补全的过程包括：将滤波后的剩余深度值求平均后替代滤波点处的深度值，若滤波后剩余深度值的数量不超过设定阈值，则扩大窗口大小，直到剩余深度值的比例满足要求，得到稠密深度图。

12、作为可选择的实施方式，三维重建的过程包括：将稠密视差图转换为点云图，对点云图进行体素下采样后，旋转至目标鱼体轴线与x轴平行，轮廓与z轴垂直，最后通过泊松表面重建后，得到三角网格格式的鱼体轮廓。

13、作为可选择的实施方式，提取鱼体轮廓的头部、尾部、背部和腹部的鱼体特征点，在三角网格表面计算头部和尾部、背部和腹部间所有特征点的距离，由此得到目标鱼体的叉长和体宽。

14、作为可选择的实施方式，通过引入代价函数拟合得到叉长、体宽和体重的相关函数为：w＝0.00477507fl+0.0311315wl-4.09581，其中，fl为叉长，wl为体宽，w为体重。

15、第二方面，本发明提供一种水下鱼体生物量检测系统，包括：

16、实例分割模块，被配置为对水下双目图像对经实例分割后，得到目标鱼体双目图像对，并从目标鱼体双目图像对中提取对应的掩码对；

17、视差图处理模块，被配置为对掩码对进行立体匹配得到视差图，对视差图采用自适应窗口遍历深度值并进行截尾高斯均值滤波和缺失深度值补全，直至窗口内滤波后剩余的深度值数量满足比例要求，由此得到稠密视差图；

18、生物量检测模块，被配置为对稠密视差图经视差平滑处理后进行三维重建，得到鱼体轮廓，提取鱼体轮廓中的鱼体特征点并计算鱼体特征点间的距离，由此得到目标鱼体的叉长和体宽，根据叉长、体宽和体重的相关函数，估计目标鱼体的体重。

19、第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。

20、第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

21、与现有技术相比，本发明的有益效果为：

22、本发明提出一种水下鱼体生物量检测方法及系统，采用实例分割网络模型并修改其骨干网络，通过增加注意力机制模块，提升多尺度通道对特征的关注能力，提升分割精度，解决双目图像存在的纹理重复、边缘模糊等问题，从而准确提取完整轮廓的目标鱼体。

23、本发明提出一种水下鱼体生物量检测方法及系统，通过立体匹配得到视差图，设计自适应窗口的截尾高斯均值滤波方法，以获得稠密视差图，对稠密视差图进行视差平滑后进行三维重建，由此得到鱼体轮廓，解决鱼体轮廓与摄像机光轴非正交或姿态弯曲的鱼体识别问题，提高双目图像中完整目标的边缘检测精度，实现多姿态水下鱼体非接触式生物量的估计。

24、本发明提出一种水下鱼体生物量检测方法及系统，通过引入代价函数拟合目标鱼体的叉长、体宽和体重的预测公式，即考虑了体宽对体重的影响，且又具有通用性。

25、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.一种水下鱼体生物量检测方法，其特征在于，包括：

2.如权利要求1所述的一种水下鱼体生物量检测方法，其特征在于，对水下双目图像对进行实例分割的过程包括：

3.如权利要求1所述的一种水下鱼体生物量检测方法，其特征在于，截尾高斯均值滤波的过程包括：以视差图内的每个像素点为中心，以边长为n个深度值的窗口遍历所有深度值；将窗口内的非零深度值拟合为高斯分布，以高斯分布两倍标准差为截尾均值参数对窗口内的深度值进行滤波。

4.如权利要求3所述的一种水下鱼体生物量检测方法，其特征在于，缺失深度值补全的过程包括：将滤波后的剩余深度值求平均后替代滤波点处的深度值，若滤波后剩余深度值的数量不超过设定阈值，则扩大窗口大小，直到剩余深度值的比例满足要求，得到稠密深度图。

5.如权利要求1所述的一种水下鱼体生物量检测方法，其特征在于，三维重建的过程包括：将稠密视差图转换为点云图，对点云图进行体素下采样后，旋转至目标鱼体轴线与x轴平行，轮廓与z轴垂直，最后通过泊松表面重建后，得到三角网格格式的鱼体轮廓。

6.如权利要求5所述的一种水下鱼体生物量检测方法，其特征在于，提取鱼体轮廓的头部、尾部、背部和腹部的鱼体特征点，在三角网格表面计算头部和尾部、背部和腹部间所有特征点的距离，由此得到目标鱼体的叉长和体宽。

7.如权利要求1所述的一种水下鱼体生物量检测方法，其特征在于，通过引入代价函数拟合得到叉长、体宽和体重的相关函数为：

8.一种水下鱼体生物量检测系统，其特征在于，包括：

9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的方法。

技术总结
本发明公开一种水下鱼体生物量检测方法及系统，包括：对水下双目图像对经实例分割后，得到目标鱼体双目图像对，并从目标鱼体双目图像对中提取对应的掩码对；对掩码对进行立体匹配得到视差图，对视差图采用自适应窗口遍历深度值并进行截尾高斯均值滤波和缺失深度值补全，直至窗口内滤波后剩余的深度值数量满足比例要求，由此得到稠密视差图；对稠密视差图经视差平滑处理后进行三维重建，得到鱼体轮廓，提取鱼体轮廓中的鱼体特征点并计算鱼体特征点间的距离，由此得到目标鱼体的叉长和体宽，根据叉长、体宽和体重的相关函数，估计目标鱼体的体重。提高双目图像中完整目标的边缘检测精度，实现多姿态水下鱼体非接触式生物量的估计。

技术研发人员：马昕,高兆志,李贻斌
受保护的技术使用者：山东大学
技术研发日：
技术公布日：2024/1/15