深度学习和图像处理结合的侧扫声呐海底高程探测方法

1.本发明属于海洋测绘技术领域，更具体地，涉及一种深度学习和图像处理结合的侧扫声呐海底高程探测方法。


背景技术：

2.侧扫声呐是水下探测和海洋调查的主要设备之一，在高分辨率、高测绘效率、低成本方面有不可替代的综合优势，并被广泛使用。常规侧扫声呐只按时间顺序记录发射声波的后向散射声波强度，然后依据目标斜距和测量高程计算平距，从而获取水底地貌图像。可见侧扫声呐的每个测量位置下方水底高程的测量精度，直接决定了地貌图像每个断面各点的位置精度，从而决定了地貌图像的准确性。侧扫声呐发射的声波通常会经过一段距离的水体，到达海底后反射回波，回波强度反映水底特征，记录回波强度序列即可得到当前断面的水底特征；声呐平台在行进过程中不断记录回波后向散射强度，即可由线及面的得到水底地貌条带图像，且图像特征为：由中心点开始向两侧后向散射强度在海底处存在较为明显的、由弱到强的梯度变化。
3.现有的侧扫声呐海底高程的测量方法利用梯度变化或手动方式标记海底线，或通过设置回波强度阈值的方式，从侧扫声呐图像中提取海底线，进而计算海底高程。但手动标记方法耗时耗力，测量效率和成本都不满足大范围海洋调查的应用需求。阈值或梯度变化检测等方法容易受海面回波或水体杂散目标回波影响，难以实现准确可靠的自动化探测结果。


技术实现要素：

4.本发明通过提供一种深度学习和图像处理结合的侧扫声呐海底高程探测方法，解决现有技术中侧扫声呐海底高程的测量效率较低、准确性较低的问题。
5.本发明提供一种深度学习和图像处理结合的侧扫声呐海底高程探测方法，包括以下步骤：
6.步骤1、获得侧扫声呐源条带图像；
7.步骤2、将所述侧扫声呐源条带图像输入至训练好的unet深度学习网络，所述训练好的unet深度学习网络输出分割图像，所述分割图像将所述侧扫声呐源条带图像中的像素分类标记为海底区域和非海底区域；
8.步骤3、对所述分割图像进行滤波，滤除干扰团；
9.步骤4、利用海底线跟踪的ping数据匹配模板与滤波后的分割图像的右舷区域、左舷区域分别逐ping作相关处理，得到右舷海底位置和左舷海底位置；
10.步骤5、对所述右舷海底位置、所述左舷海底位置进行对称性校验和海底重定位，得到右舷海底线、左舷海底线；
11.步骤6、基于所述右舷海底线和所述左舷海底线，计算得到海底高程。
12.优选的，所述步骤1中，所述侧扫声呐源条带图像由利用二维侧扫声呐测量平台获
取的左舷条带图像和右舷条带图像拼接而成，所述侧扫声呐源条带图像的中线表示侧扫声呐探测声源的发射起点。
13.优选的，所述步骤2中，包括构建unet深度学习网络和数据集；所述数据集基于实测的若干侧扫声呐源条带图像，结合图像处理和手动复核校正形成，所述数据集包括训练集和验证集；基于所述训练集、所述验证集对构建的所述unet深度学习网络进行训练、验证，得到所述训练好的unet深度学习网络。
14.优选的，所述数据集还包括测试集，基于所述测试集的海底线位置真值结果对得到的所述右舷海底线和所述左舷海底线的检测结果进行评价。
15.优选的，所述unet深度学习网络首先进行两次3
×
3的卷积操作，激活函数为relu函数，然后进行一次最大池化的下采样操作，使图像尺寸减半，并增加特征维数；将上述操作重复4次，图像尺寸减半4次，特征维数增加4次，构成特征提取网络，将高分辨率图像编码成为高维低分辨率图像特征；
16.将所述高维低分辨率图像特征通过一次上采样，再经过两次3
×
3的卷积操作，使图像尺寸翻倍，特征降维；将上述特征与对应的编码层输出特征进行拼接，将浅层特征和深层特征进行融合；将上述的上采样、卷积、拼接操作过程重复4次，得到一个与输入图像尺寸相同的分类预测结果。
17.优选的，所述步骤3中，利用检测连通域的像素个数计算所述分割图像中封闭团和簇状区域面积，将小区域的干扰团去除。
18.优选的，所述步骤4中，所述海底线跟踪的ping数据匹配模板包括第一匹配模板和第二匹配模板，所述第一匹配模板记为tr＝[0,0,1,1,1,1]，所述第二匹配模板记为tl＝[1,1,1,1,0,0]；
[0019]
所述第一匹配模板与滤波后的分割图像的右舷区域逐ping作相关处理，得到右舷相关值序列rri，i为ping序号；从所述右舷相关值序列rri中找出第i个ping中的最大相关值，该最大值所在的位置为第i个ping的右舷海底分界点位置，将第i个ping的右舷海底分界点位置与侧扫声呐源条带图像中线的像素距离作为第i个ping的右舷海底像素距离并记作bri，所有ping的右舷海底位置像素距离序列记作br；
[0020]
所述第二匹配模板与滤波后的分割图像的左舷区域逐ping作相关处理，得到左舷相关值序列rli，i为ping序号；从所述左舷相关值序列rli中找出第i个ping中的最大相关值，该最大值所在的位置为第i个ping的左舷海底分界点位置，将第i个ping的左舷海底分界点位置与侧扫声呐源条带图像中线的像素距离作为第i个ping的左舷海底像素距离并记作bli，所有ping的左舷海底位置像素距离序列记作bl。
[0021]
优选的，所述步骤5中，所述对称性校验的具体实现方式如下：对所有ping进行左右舷的对称性校验，针对第i个ping，判断是否满足|bli–
bri|》t0，其中t0为对称性阈值；满足该式的ping被认为不满足对称性假设，需要进行海底重定位。
[0022]
优选的，所述海底重定位的具体实现方式如下：
[0023]
对不满足对称性假设的每ping数据，以声源的发射起点为中心，以该ping左舷海底像素距离bli为基准，找到其右舷对称点p(i,j)，使其海底像素距离j＝bli；在p(i,j)点的长度为l+1的子区域[ps(i,j-l/2):pe(i,j+l/2)]中，找出所述右舷相关值序列rri最大的点，将该点的海底像素距离记作br
i’，以|bli–
br
i’|表征以左舷为基准时两者的对称性偏差
程度；
[0024]
以声源的发射起点为中心，以该ping右舷的海底像素距离bri为基准，找到其左舷对称点，并在其长度为l+1的子区域中找出所述左舷相关值序列rli最大的点，将该点的海底像素距离记作bl
i’，以|bli’–
bri|表征以右舷为基准时两者的对称性偏差程度；
[0025]
将上述两组对称性偏差进行比较，若|bli–
br
i’|＜|bli’–
bri|，则令bri＝br
i’，否则令bli＝bl
i’，实现重定位功能。
[0026]
优选的，所述步骤6中，每个ping的海底高程通过以下公式计算得到：
[0027][0028]
其中，hi为第i个ping的高程，k为相邻像素点之间的实际距离；bi为第i个ping的一侧舷海底像素距离，若为左舷，则bi对应第i个ping的左舷海底像素距离bli，若为右舷，则bi对应第i个ping的右舷海底像素距离bri；c为水下声速，ts为侧扫声呐图像数据点的采样周期。
[0029]
本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0030]
本发明首先利用unet深度学习网络对侧扫声呐源条带图像进行海底和非海底的分类，然后在分割的基础上，应用滤波、梯度模板匹配、对称性校核等图像处理方法，将难以在unet深度学习网络中表达出来的海底边界的梯度特征、对称性等先验信息在后续的图像处理方法中加以利用，从而结合深度学习和图像处理的优点，实现准确、可靠地识别海底线，进而测量海底高程，为后续的斜距信息转平距信息及合成地貌图像打下了基础。
附图说明
[0031]
图1为侧扫声呐源条带图像；
[0032]
图2为侧扫声呐海底线提取结果图；其中，图2(a)为侧扫声呐源条带图像，图2(b)为侧扫声呐源条带图像经训练好的unet深度学习网络分类后得到的分割图像，图2(c)为最终提取的海底线；
[0033]
图3为本发明实施例提供的一种深度学习和图像处理结合的侧扫声呐海底高程探测方法的流程图；
[0034]
图4为本发明实施例提供的一种深度学习和图像处理结合的侧扫声呐海底高程探测方法中unet深度学习网络的示意图。
具体实施方式
[0035]
侧扫声呐向水底方向发射左右两束声波，两束声波在侧扫声呐平台的前进方向波束窄，而在前进方向的垂直横向方向波束宽，声波覆盖区域为横向方向的一个断面。发射声波碰到海底目标后反射，侧扫声呐平台按照时间顺序分别记录反射回波强度，从而得到左右两个断面的一维强度序列。侧扫声呐平台在航行过程中持续获取左右舷连续断面的一维强度序列，并将其堆叠起来，形成两幅覆盖左右舷断面区域的二维侧扫声呐地貌条带图像，即侧扫声呐源条带图像。
[0036]
图1为侧扫声呐源条带图像，该图像由左右舷条带图像直接拼接而成，左半部分为左舷条带图像，右半部分为右舷条带图像。该图像中线表示声源发射位置；两侧颜色深的地方表示回波强度强，通常为海底回波；声源到海底之间颜色较黑的区域表示未接收到目标
回波，通常为水体；声源到海底之间有不规则的回波强度强的区域，通常为海面回波或混响、杂波干扰，这些因素极大地影响海底线的准确提取。
[0037]
为了满足复杂环境下海底高程自动、准确、可靠提取的需求，提高侧扫声呐地貌图像的成图精度和质量，本发明基于深度学习和图像处理相结合的办法，识别和提取二维侧扫声呐测量平台测量获取的左右舷条带图像中的海底线，并依据提取的海底线计算声呐平台相对正下方海底高程信息。以该高程信息为基础，可以进一步将条带图像数据中的斜距信息转换为平距信息，提高侧扫声呐地貌图像精度。
[0038]
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
[0039]
参见图3，本发明提供的一种深度学习和图像处理结合的侧扫声呐海底高程探测方法包括以下步骤：
[0040]
步骤1、获得侧扫声呐源条带图像。
[0041]
具体的，利用二维侧扫声呐测量平台获取左舷条带图像和右舷条带图像，将所述左舷条带图像和所述右舷条带图像直接拼接成一幅区域地貌图像，得到侧扫声呐源条带图像，如图1所示。该图像的中线表示侧扫声呐探测声波的发射起点，中线两侧分别为左右舷回波数据，中间带状暗区表现声波在水体传播期间收到的噪声和弱散射回波，两侧亮区表现声波到达海底后的较强的目标后向反射回波。
[0042]
步骤2、将所述侧扫声呐源条带图像输入至训练好的unet深度学习网络，所述训练好的unet深度学习网络输出分割图像，所述分割图像将所述侧扫声呐源条带图像中的像素分类标记为海底区域和非海底区域。
[0043]
其中，包括构建unet深度学习网络和数据集，所述数据集基于实测的若干侧扫声呐源条带图像，结合图像处理和手动复核校正形成，所述数据集包括训练集和验证集；基于所述训练集、所述验证集对构建的所述unet深度学习网络进行训练、验证，得到所述训练好的unet深度学习网络。
[0044]
所述训练好的unet深度学习网络对输入的侧扫声呐源条带图像进行分类识别，最终得到原图像大小的分割图像。所述分割图像将源图像标记为海底、非海底(包括水体、海面反射和杂波干扰等)，参见图2。其中，图2(a)为侧扫声呐源条带图像，图2(b)为条带图像经unet网络分类后的分割图像。
[0045]
步骤3、对所述分割图像进行滤波，滤除干扰团。
[0046]
对分割图像进行滤波操作，利用检测连通域的像素个数计算图像中封闭团和簇状区域面积，将小区域的干扰团去除。
[0047]
步骤4、利用海底线跟踪的ping数据匹配模板与滤波后的分割图像的右舷区域、左舷区域分别逐ping作相关处理，得到右舷海底位置和左舷海底位置。
[0048]
具体的，所述海底线跟踪的ping数据匹配模板包括第一匹配模板和第二匹配模板，所述第一匹配模板记为tr＝[0,0,1,1,1,1]，所述第二匹配模板记为tl＝[1,1,1,1,0,0]。
[0049]
所述第一匹配模板与滤波后的分割图像的右舷区域逐ping作相关处理，得到右舷相关值序列rri，i为ping序号；从所述右舷相关值序列rri中找出第i个ping中的最大相关值，该最大值所在的位置为第i个ping的右舷海底分界点位置，将第i个ping的右舷海底分
界点位置与侧扫声呐源条带图像中线(即声源位置)的像素距离作为第i个ping的右舷海底像素距离并记作bri，所有ping的右舷海底位置像素距离序列记作br。
[0050]
所述第二匹配模板与滤波后的分割图像的左舷区域逐ping作相关处理，得到左舷相关值序列rli，i为ping序号；从所述左舷相关值序列rli中找出第i个ping中的最大相关值，该最大值所在的位置为第i个ping的左舷海底分界点位置，将第i个ping的左舷海底分界点位置与侧扫声呐源条带图像中线的像素距离作为第i个ping的左舷海底像素距离并记作bli，所有ping的左舷海底位置像素距离序列记作bl。
[0051]
即所述第一匹配模板与滤波后的分割图像的右舷区域逐ping作相关处理，找出一ping中的最大相关值，该最大相关值所在的位置为右舷海底位置；所述第二匹配模板与滤波后的分割图像的左舷区域逐ping作相关处理，找出一ping中的最大相关值，该最大相关值所在的位置为所述左舷海底位置。
[0052]
如图1所示，对于图像的一个断面数据，即所述侧扫声呐条带图像的一ping数据，海底回波线邻域具备显著的梯度特征：以海底线为分界，其一侧为连续非海底区域，另一侧为海底区域。借助这一特征，本发明建立海底线跟踪的ping数据匹配模板tr＝[0,0,1,1,1,1]，利用tr模板与分割图像的右半部分，即右舷区域，逐ping作相关处理，找出一ping中的最大相关值，则认为该最大相关值所在的匹配位置为右舷海底位置。类似的，建立海底线跟踪的ping数据匹配模板tl＝[1,1,1,1,0,0]，利用tl模板与分割图像的左半部分，即左舷区域，逐ping作相关处理，找出一ping中的最大相关值，则认为该最大相关值所在的匹配位置为左舷海底位置。
[0053]
步骤5、对所述右舷海底位置、所述左舷海底位置进行对称性校验和海底重定位，得到右舷海底线、左舷海底线。
[0054]
由侧扫声呐图像的成图原理和图1所示可知，侧扫声呐左舷条带图像和右舷条带图像中探测的海底位置具有对称性。因此对步骤4得到的海底线位置进行对称性校验，通过阈值检测左右舷海底线位置偏离对称位置程度对称性差别较大的点，对其进行海底重定位计算。
[0055]
具体的，所述对称性校验的具体实现方式如下：对所有ping进行左右舷的对称性校验，针对第i个ping，判断是否满足|bli–
bri|》t0，其中t0为对称性阈值；满足该式的ping被认为不满足对称性假设，需要进行海底重定位，校正错误的海底位置检测结果。
[0056]
所述海底重定位的具体实现方式如下：
[0057]
对不满足对称性假设的每ping数据，以声源的发射起点为中心，以该ping左舷海底像素距离bli为基准，找到其右舷对称点p(i,j)，使其海底像素距离j＝bli；在p(i,j)点的长度为l+1的子区域[ps(i,j-l/2):pe(i,j+l/2)]中，找出所述右舷相关值序列rri最大的点，将该点的海底像素距离记作br
i’，以|bli–
br
i’|表征以左舷为基准时两者的对称性偏差程度。
[0058]
类似的，以声源的发射起点为中心，以该ping右舷的海底像素距离bri为基准，找到其左舷对称点，并在其长度为l+1的子区域中找出所述左舷相关值序列rli最大的点，将该点的海底像素距离记作bl
i’，以|bli’–
bri|表征以右舷为基准时两者的对称性偏差程度。
[0059]
将上述两组对称性偏差进行比较，若|bli–
br
i’|＜|bli’–
bri|，则令bri＝br
i’，否则令bli＝bl
i’，实现重定位功能。
[0060]
对称性校验和海底重定位后，最终提取的海底线如图2(c)所示。
[0061]
此外，所述数据集还可以包括测试集，利用所述测试集对得到的所述右舷海底线和所述左舷海底线的检测结果进行评价。
[0062]
具体的，对前面深度学习和图像处理结合算法检测的海底线结果，依据侧扫声呐海底跟踪数据集中的测试集的海底线位置真值结果进行综合性能评估，得到处理结果的客观评价。
[0063]
步骤6、基于所述右舷海底线和所述左舷海底线，计算得到海底高程。
[0064]
每个ping(即每个断面)的海底高程通过以下公式计算得到：
[0065][0066]
其中，hi为第i个ping的高程，k为相邻像素点之间的实际距离；bi为第i个ping的一侧舷海底像素距离，若为左舷，则bi对应第i个ping的左舷海底像素距离bli，若为右舷，则bi对应第i个ping的右舷海底像素距离bri；c为水下声速，ts为侧扫声呐图像数据点的采样周期。
[0067]
下面对本发明中的unet深度学习网络做进一步的说明。
[0068]
所述unet深度学习网络的数据集建立、训练、验证和最终测试使用，包括如下方面：
[0069]
(1)根据实测的若干侧扫声呐源条带图像数据，建立unet深度学习网络所需要训练集、验证集和测试数据集。由于侧扫声呐图像的海底高程自动检测任务和常规的图像分类任务有本质区别、侧扫声呐图像的机理、图像质量与常规光学图像有显著差异，无法利用现有的公开数据集训练模型。因此根据实测的侧扫声呐源条带图像建立侧扫声呐图像海底跟踪专用数据集。采用上述步骤4的方式，先对实测数据进行海底线的预提取。由于海面回波或水体杂波目标回波影响，提取的海底线存在错误。借助人工复核和手动标记，对错误检测的海底线进行校正，从而得到所有侧扫声呐源条带图像的海底线位置真值结果。
[0070]
(2)对于侧扫声呐的左舷条带图像，以海底线为分界，将其左侧区域所有像素标记为海底，将其右侧区域所有像素标记为非海底。非海底分类中包括水体、海面反射和杂波干扰等。
[0071]
(3)由实测的侧扫声呐源条带图像和其对应的海底、非海底分类标签，形成了所述数据集。将所述数据集按6:2:2的比例划分为训练集、验证集和测试集。
[0072]
(4)建立如图4所示的unet深度学习网络模型。将数据集中的实测条带图像拼接后，输入所述unet深度学习网络，首先进行两次3
×
3的卷积操作，激活函数为relu函数，然后进行一次最大池化的下采样操作，使图像尺寸减半，并增加特征维数；将上述操作重复4次，图像尺寸减半4次，特征维数增加4次，即构成了特征提取网络，也可视为编码器，将高分辨率图像编码成为高维低分辨率图像特征，该高维低分辨率图像特征中包含了源图像的多维抽象语义特征。将得到的所述高维低分辨率语义特征通过一次上采样，再经过两次3
×
3的卷积操作，使图像尺寸翻倍，特征降维；将上述特征与对应的编码层输出特征进行拼接，将浅层特征和深层特征进行融合。将上述的上采样、卷积、拼接过程重复4次，即可得到一个与输入图像尺寸相同的分类预测结果。
[0073]
(5)将训练集的实测条带图像输入所述unet深度学习网络，得到该条带图像的预
测分类结果，通过训练集的标签数据与预测结果比对，调整unet深度学习网络的参数。利用测试集数据对通过训练集训练后的unet深度学习网络进行评估。最终得到泛化误差小的unet网络深度学习网络，供前面所述步骤2使用。
[0074]
本发明中的unet深度学习网络从所述数据集中学习到海底回波分布的表达，克服了水面反射波、水中杂质回波等干扰的影响。
[0075]
综上，本发明基于上述深度学习和图像处理相结合的方案，可以直接从二维侧扫声呐测量平台测量获取的左右舷条带图像中自动提取准确、可靠的海底线，进而测量海底高程。
[0076]
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。