一种浑浊水下鱼类数据集采集及构建方法

本发明涉及一种图像数据集采集及构建方法，尤其涉及浑浊水下鱼类的图像采集及构建，属于渔业及图像采集。

背景技术：

1、海洋环境由于应用范围广，且数据易于获取，当前大多数的水下鱼类图像数据集都是从海洋环境中采集得到的，缺少湖库浑浊水下鱼类图像数据集。且当前一些含标签的海洋水下数据集，标注通常是通过人工模拟水下环境，或算法合成水下增强场景得到的。这种方法产生的标注数据真实性依赖于人工模拟的水下环境的真实性或增强算法的性能，因此标签数据的标注质量难以保证。综上，创建浑浊水下数据集面临的难点有：

2、(1)缺少浑浊水下数据集

3、(2)浑浊水下数据集的变迁数据难以获取

4、本发明将研究浑浊水下鱼类数据集的构建方法，以及介绍数据集的基本信息，为基于浑浊水下的数据增强算法的研究以及实现提供数据支持。在相关工作中，当前大多数的水下鱼类图像数据集都是从海洋环境中采集得到的，根据构建数据集的方式，大致可以分为真实海洋场景采集的数据集，以及算法合成标注的海洋数据集两大类。在研究浑浊水下鱼类图像增强的问题时，当前已有的数据集存在的问题为：缺少湖库浑浊水下鱼类图像数据集、由于水下特殊的光学成像条件，现实生活中不存在清晰的水下标签数据，而通过算法合成的水下清晰的标签数据的真实性难以保证。

技术实现思路

1、针对上述背景技术中的问题，本发明提出了一种多场景的浑浊水下数据集构建方法。为满足不同算法对数据集的需求，按照数据标签的关联程度强弱，依次采集足量的数据。该方法的关键点在于如何合理的设计实验，确保标签数据真实性的同时，采集得到的数据能够满足算法需求。

2、海洋环境由于应用范围广，且数据易于获取，当前大多数的水下鱼类图像数据集都是从海洋环境中采集得到的，缺少湖库浑浊水下鱼类图像数据集。由于缺少浑浊水下鱼类图像数据集，且海洋数据与湖库数据特征差异明显，难以迁移利用；现实环境不存在湖库水下清晰场景，因此，构建浑浊水下鱼类数据集对研究浑浊水下鱼类图像增强方法是十分必要的。

3、针对上述问题，根据样本与标签之间的关联性强弱，分别设计了湖库场景(无标签)，水池场景(弱相关标签)以及实验室场景(强相关标签)的数据采集方案。综上，提供了三种标签关联性不同的水下数据集，为测试水下增强模型的可用性、模型的迁移训练，以及在真实场景中模型的训练、验证提供了数据支持。

4、本发明采用的技术方案为一种浑浊水下鱼类数据集采集及构建方法，在真实场景中采集的水下湖库数据时，通过带有摄像头的水下机器人，潜入湖中采集得到若干的水下多个片段的视频数据。使用ffmpeg切帧工具，为保证画面的多样性，按照2秒时间间隔对水下视频数据进行切帧，即每2隔秒时间从获取的视频数据中获取一帧图像数据。随后人工过滤掉截取帧图像数据中不含鱼类的数据，最终得到1000张真实场景下包含鱼类的水下浑浊图像数据。

5、由于真实场景下的水下浑浊图像数据不含标签数据，将水上拍摄得到的清晰图像与水下失真的图像作为对照组数据，利用弱监督学习相关算法提升水下图像质量。为解决上述问题，通过控制水质的清、浊，分别使用gopro水下相机，同步采集相同场景条件下水下清晰以及浑浊水质环境下的视频数据。通过ffmpeg切帧工具，切帧后得到2300张清晰水质环境下的图像与2300张浑浊水质环境下的图像。清晰、浑浊图像之间一一组成对照数据。

6、为实现同步采集相同场景条件下水下清晰以及浑浊水质环境下的视频数据的目标，在实验室场景内搭建设备模拟湖库水域水下场景，放置两个大小不同的鱼缸，叠放形成内外鱼缸，将在市场中购买的鲤鱼、鲫鱼、鳙鱼等鱼类放置于玻璃鱼缸当中，利用两个gopro相机分别透过清水和浊水拍摄水下场景，以获得清水图像与浊水图像的数据对；在外缸中放着浑水，内缸中放着清水，同时利用浑浊水下的相机和清晰水下的相机同步拍摄同一场景，将两段视频的时间对齐之后，便可以分别采集到同一个场景的清晰和浑浊的图像。但由于相机位置不同，同一个场景得到的两张图像存在视差，无法直接进行匹配。又由于两个相机采集的是不同视角下的同一个场景，图像之间存在单应性，可以通过单应性矩阵变换对图像进行复原。

7、进一步地，单应性矩阵变换过程如下：

8、a)提取每张图surf特征点；

9、b)提取每个特征点对应的描述子，通过描述子并得到特征匹配对；

10、c)使用ransac算法剔除错误匹配；

11、d)求解方程组，计算homograph单应性变换矩阵；

12、surf的全称为加速稳健特征(speeded up robust feature)，属于具有较高计算效率的尺度不变特征的检测，即不仅在任何尺度下拍摄的物体都能检测到一致的关键点，而且每个被检测的特征点都对应一个尺度因子。

13、ransac的全称为(random sample consensus)，它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。

14、进一步地，homograph单应性变换矩阵是指从同一个源发出的光而得到的变化图，也就是射影变换。通过对两张图像进行单应性变换，最后通过裁剪之后得到清浊图像逐像素近似配对的图像。

15、进一步地，首先，用相机采集浑浊与清晰水质环境下的图像；然后，用单应性变化消除图像之间的视差；最后，经过对齐、裁剪后得到逐像素匹配的图像。通过上述方法采集并整理后，得到的数据集共574对。

16、在评价水下增强效果时，采用uiqm指标进行评价。其中uicm指标用于评价图像色彩恢复程度、uism指标用于物体形状恢复评价和uiconm指标用于对比度恢复评价线性组合的结果，作为衡量水下图像质量的依据。uiqm指标由以上三部分组成，其计算公式如下：

17、uiqm＝c1×uicm+c2×uism+c3×uiconm   (1)

18、其中系数为固定值，通常设置为：c1＝0.0282，c2＝0.2953，c3＝3.5753。

19、(1)uicm

20、uicm指标对水下图像的颜色真实程度的衡量方法。首先将图像中rgb三通道分别提取出来，随后对图像上的每一个像素位置分别计算以下两个色度变量：

21、

22、其中r、g、b分别表示红色、绿色和蓝色三个通道的色度值，rg表示红色通道和绿色通道的插值，yb表示水下图像中红色通道与绿色通道和的二分之一与剩下的蓝色通道之间的差值。由于水下图像往往含有很多的噪声，因此不直接使用色度变量，而是通过计算两个色度变量的非对称α剪枝统计值来衡量水下的色度。其中对于rg变量与yb变量统计值计算方法相同，其中rg变量的非对称剪枝均值计算如下：

23、

24、其中k表示图像的像素数量，αl与αr为两个参数。tαl，tαr为两个与像素数量相关的变量，参与α矫正。

25、

26、为了考虑像素方差的影响，该指标还考虑非对称α剪枝方差值如下：

27、

28、其中n为全部像素点数量。

29、最终uicm的计算方式如下：

30、

31、(2)uism

32、uism指标即对水下图像的锐度的衡量方法，增强测度估计eme方法适用于背景均匀且呈现非周期模式的图像。用其估计图像中边缘的锐度，分别在三个通道上对锐度进行测量，然后累加作为uism的值，计算如下：

33、

34、其中eme的计算方法是将图像分成若干个k1×k2的区块，然后在每一个区块内计算区块内像素的最大值和最小值。最终通过相除、取对数累加等方式得到锐度值。log中的分式是每个区域中亮度最大imax,k,l与最小值imin,k,l的比值，即对比度，算出rgb三通道的eme，带入到uism公式中，其中λc中λr＝0.299，λg＝0.587，λb＝0.114。

35、(3)uiconm

36、uiconm指标指的是underwater image contrast measure，用于衡量水下的对比度的指标，该指标采用直接计算得到：

37、uiconm＝logamee(intensity)  (8)

38、其中logamee的计算方式如下：

39、

40、其中amee与eme类似，通过计算k1×k2区域内的估计值从而计算对比度，与eme不同的是amee计算的是区块内像素最大值与最小值的差与和比值的对数值。

41、uciqe指标在cielab空间上计算，由于cielab空间被设计成一个统一的色彩空间。因此不同通道上的像素值经过统一之后，并不会因为通道不同而出现权重差异。因此计算uciqe时，首先将图像转换到cielab空间上，利用ip来表示cielab上的图像，那么有：

42、ip＝[lp,ap,bp]  (10)

43、图像像素有l、a、b三个通道组成，lp，ap，bp分别表示在cielab空间中l、a、b三个通道值，随后在该cielab空间上通过以下公式计算uciqe的值：

44、uciqe＝c1×σc+c2×conl+c3×μs (11)

45、其中σc是色度的标准差，conl是亮度对比度，μs是饱和度平均值，另外三个权重指标，分别设置为：c1＝0.4680；c2＝0.2745；c3＝0.2576。

46、该权重指标的计算过程如下：

47、a)将图像转换到cielab空间进行特征提取，由于cielab空间被设计成一个统一的色彩空间，因此在提取特征的时候避免了数值大小对图像不同特征存在的影响。

48、b)在cielab空间中计算色度的标准差，色度的标准差与人类对水下彩色图像感兴趣区域有着较强的正相关。

49、c)在cielab空间中计算亮度对比度，该值用于测量在均匀背景下看到的单个目标的局部对比度。

50、d)在cielab下计算饱和度的平均值，该值可用于表示图像全局的灰度分布.

51、e)最后拟合参数计算出最终的uciqe值。

52、与现有技术相比，本发明具有以下技术优势：

53、1.本发明实现了相同场景条件下水下清晰以及浑浊水质环境下的图像对数据采集，场景高度还原真实湖库环境，填补了相关数据对构建方面的空白，为相关研究提供了有力支撑；

54、2.本发明为消除清、浊水质环境下数据对之间的视差，采用单应性变化对图像进行处理，使得图像对能够实现一一对应，解决了清、浊水质环境中拍摄图像难以成对的问题。

55、3.采用对齐、裁剪等方法对图像对进行精细化处理，得到逐像素匹配的图像，解决了视差图像难以匹配的问题。