一种基于解缠与任务对齐的仔稚鱼密集检测方法及系统与流程

本发明涉及密集检测，尤其是涉及一种基于解缠与任务对齐的仔稚鱼密集检测方法及系统。

背景技术：

1、目前，渔业的发展非常迅速，对鱼类发育阶段的关注至关重要，保护和维护鱼类的发育阶段对于维持海洋和淡水生态系统的健康至关重要。鱼卵、仔鱼和稚鱼等不同时期鱼的质量和健康状况对于后续的发育同样至关重要。无论是鱼卵、仔鱼还是稚鱼，其数量众多，若要通过人工实现对每一个单一个体进行发育状态检测会变得非常耗时，因此，使用基于计算机视觉的密集目标检测方法能够有效且实时的区分出不同发育阶段的鱼类以及鱼的健康状况。密集目标检测方法在近几年中的发展非常迅速，以至于其在渔业领域的使用也越来越多，但该方法也存在一定的缺点。大多数的密集探测器的训练管道受到许多可能不成立的合相的影响，并且通常通过优化两个子任务来实现：目标分类和定位，使用具有两个平行分支的头部，这可能会导致两个任务之间的预测出现一定程度的空间错位。从而限制了目标检测器的性能。

2、目前，对仔稚鱼的密集探测器在密集检测任务中主要存在以下缺陷：1.在密集物体检测中，仔稚鱼过多且重叠可能导致标签分配不准确。2.当检测仔稚鱼重叠时，分类需要具有丰富语义信息的区域，而回归更倾向于关注边缘部分。因此，相同空间下的相同的感受野并不能保证最优的性能。3.由于金字塔结构的存在，不同层级的检测框之间存在不平衡的问题。4.密集探测器通常通过优化两个子任务来实现：目标分类和定位，使用具有两个平行分支的头部，这样的双分支设计可能会导致两个任务之间缺乏交互，从而导致两个任务之间的预测出现一定程度的空间错位，限制了目标检测器的性能。

技术实现思路

1、为了解决上述提到的问题，本发明提供一种基于解缠与任务对齐的仔稚鱼密集检测方法及系统。通过一种有效的解纠缠机制，解开了致密物体探测器的束缚，并提出了一种新颖的任务对齐头，通过设计样本分配方案和任务对齐损失，在训练期间明确地拉近两个任务的最佳锚点，更好地协调对象分类和定位任务，提升对不同时期鱼的质量和健康状况进行密集检测的准确性。

2、第一方面，本发明提供的一种基于解缠与任务对齐的仔稚鱼密集检测方法，采用如下的技术方案：

3、一种基于解缠与任务对齐的仔稚鱼密集检测方法，包括：

4、获取仔稚鱼的多尺度图像信息数据集， 并对数据集进行预处理；

5、对预处理后的图像信息进行标签分配解纠缠；

6、利用密集目标检测模型对图像信息进行特征提取，对提取后的特征进行空间特征解纠缠；

7、利用密集目标检测模型对空间特征解纠缠后的数据特征进行特征金字塔监督解纠缠；

8、利用任务对齐方法对特征金字塔监督解纠缠后的数据特征处理和任务对齐，实现对模型的优化；

9、利用优化后的模型对仔稚鱼进行实时检测。

10、进一步地，所述对数据集进行预处理，包括对采集到的仔稚鱼在不同阶段的图像信息进行特征标定与分类标定，并对标定后的图像信息进行随机缩放、裁剪、旋转和图像增强操作。

11、进一步地，所述对预处理后的图像信息进行标签分配解纠缠，包括将预处理后的图像信息输入至网络模型中生成每个像素的密集标签图，并引入局部一致性约束，将生成的密集标签图分配给不同的物体实例，使图像信息的数据特征被更好捕捉提取。

12、进一步地，所述对提取后的特征进行空间特征解纠缠，包括利用特征解缠网络将提取的特征解缠成不同的物体实例，再将特征解缠网络与物体检测和分割网络一起联合优化,以提高检测和分割性能。

13、进一步地，所述对空间特征解纠缠后的数据特征进行特征金字塔监督解纠缠，包括利用特征金字塔网络处理图像信息后得到特征图，从特征金字塔网络的不同层次中使用相应尺度的标签信息生成监督信号。

14、进一步地，所述对空间特征解纠缠后的数据特征进行特征金字塔监督解纠缠，还包括通过在每个特征金字塔网络的层次上引入监督连接模块，将监督信号和相应的特征金字塔网络层次进行连接，同时通过对特征金字塔网络层次定义相应的物体检测损失函数，来衡量模型预测与监督信号之间的差异。

15、进一步地，利用任务对齐方法对特征金字塔监督解纠缠后的数据特征处理和任务对齐，实现对模型的优化，包括利用任务头t-head对特征金字塔网络的特征进行处理，分别得到分类概率和定位预测，然后利用任务对齐学习tal平衡分类和定位预测的对齐程度，以提高模型的泛化能力。

16、第二方面，一种基于解缠与任务对齐的仔稚鱼密集检测系统，包括：

17、数据获取模块，被配置为，获取仔稚鱼的多尺度图像信息数据集， 并对数据集进行预处理；

18、预处理模块，被配置为，对预处理后的图像信息进行标签分配解纠缠；

19、解纠缠模块，被配置为，利用密集目标检测模型对图像信息进行特征提取，对提取后的特征进行空间特征解纠缠；利用密集目标检测模型对空间特征解纠缠后的数据特征进行特征金字塔监督解纠缠；

20、任务对齐模块，被配置为，利用任务对齐方法对特征金字塔监督解纠缠后的数据特征处理和任务对齐，实现对模型的优化；

21、检测模块，被配置为，利用优化后的模型对仔稚鱼进行实时检测。

22、第三方面，本发明提供一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的方法。

23、第四方面，本发明提供一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的方法。

24、综上所述，本发明具有如下的有益技术效果：

25、本发明设计了一种有效的解纠缠机制，解开了致密物体探测器的束缚，并提出了一种新颖的任务对齐头，通过设计样本分配方案和任务对齐损失，在训练期间明确地拉近两个任务的最佳锚点，更好地协调对象分类和定位任务，提升对不同时期鱼的质量和健康状况进行密集检测的准确性。

26、通过解纠缠机制，本发明解决了致密物体探测中对象相互遮挡和重叠的问题，使得检测器能够更准确地识别和分类鱼的不同状态。任务对齐头通过样本分配方案优化了锚点的选择，使得分类和定位任务在共享特征的基础上能够更有效地协同工作。任务对齐损失则进一步强化了分类和定位任务的联动性，减少了分类错误和定位偏差，提高了检测结果的一致性和可靠性。

技术特征：

1.一种基于解缠与任务对齐的仔稚鱼密集检测方法，其特征在于，包括：

2.根据权利要求1所述的一种基于解缠与任务对齐的仔稚鱼密集检测方法，其特征在于，所述对数据集进行预处理，包括对采集到的仔稚鱼在不同阶段的图像信息进行特征标定与分类标定，并对标定后的图像信息进行随机缩放、裁剪、旋转和图像增强操作。

3.根据权利要求2所述的一种基于解缠与任务对齐的仔稚鱼密集检测方法，其特征在于，所述对预处理后的图像信息进行标签分配解纠缠，包括将预处理后的图像信息输入至网络模型中生成每个像素的密集标签图，并引入局部一致性约束，将生成的密集标签图分配给不同的物体实例，使图像信息的数据特征被更好捕捉提取。

4.根据权利要求3所述的一种基于解缠与任务对齐的仔稚鱼密集检测方法，其特征在于，所述对提取后的特征进行空间特征解纠缠，包括利用特征解缠网络将提取的特征解缠成不同的物体实例，再将特征解缠网络与物体检测和分割网络一起联合优化,以提高检测和分割性能。

5.根据权利要求4所述的一种基于解缠与任务对齐的仔稚鱼密集检测方法，其特征在于，所述对空间特征解纠缠后的数据特征进行特征金字塔监督解纠缠，包括利用特征金字塔网络处理图像信息后得到特征图，从特征金字塔网络的不同层次中使用相应尺度的标签信息生成监督信号。

6.根据权利要求5所述的一种基于解缠与任务对齐的仔稚鱼密集检测方法，其特征在于，所述对空间特征解纠缠后的数据特征进行特征金字塔监督解纠缠，还包括通过在每个特征金字塔网络的层次上引入监督连接模块，将监督信号和相应的特征金字塔网络层次进行连接，同时通过对特征金字塔网络层次定义相应的物体检测损失函数，来衡量模型预测与监督信号之间的差异。

7.根据权利要求6所述的一种基于解缠与任务对齐的仔稚鱼密集检测方法，其特征在于，利用任务对齐方法对特征金字塔监督解纠缠后的数据特征处理和任务对齐，实现对模型的优化，包括利用任务头t-head对特征金字塔网络的特征进行处理，分别得到分类概率和定位预测，然后利用任务对齐学习tal平衡分类和定位预测的对齐程度，以提高模型的泛化能力。

8.一种基于解缠与任务对齐的仔稚鱼密集检测系统，其特征在于，包括：

9.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行如权利要求1所述的一种基于解缠与任务对齐的仔稚鱼密集检测方法。

10.一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行如权利要求1所述的一种基于解缠与任务对齐的仔稚鱼密集检测方法。

技术总结
本发明涉及密集检测技术领域，尤其是涉及一种基于解缠与任务对齐的仔稚鱼密集检测方法及系统。方法包括获取仔稚鱼的多尺度图像信息数据集，并对数据集进行预处理；对预处理后的图像信息进行标签分配解纠缠；利用密集目标检测模型对图像信息进行特征提取，对提取后的特征进行空间特征解纠缠；通过设计样本分配方案和任务对齐损失，在训练期间明确地拉近两个任务的最佳锚点，更好地协调对象分类和定位任务，提升对不同时期鱼的质量和健康状况进行密集检测的准确性。

技术研发人员：杨艳艳,李凡,朱明明,苏海霞,王秀霞,张孝民,徐炳庆,李少文,崔广鑫,郑翔
受保护的技术使用者：山东省海洋资源与环境研究院（山东省海洋环境监测中心、山东省水产品质量检验中心）
技术研发日：
技术公布日：2024/9/26