一种基于深度神经网络的海洋勘测图像质量增强方法与流程

本发明涉及一种基于深度神经网络的海洋勘测图像质量增强方法，属于图像处理技术领域。

背景技术：

随着gpu和tpu的不断发展，深度神经网络(dnn)在对象分类，对象检测和图像质量改善方面表现出明显的优势，目前卷积神经网络(cnn)在图像处理中的应用越来越广泛。虽然这些系统在不同领域的应用中展现了一些图像信号处理能力，但海洋勘测依赖于水下遥控设备(rov)上的摄像头来捕捉图像画面，由于水、照明和设备视野中微粒/气泡的干扰，成像效果并不理想，因此在海洋勘测领域并没有相应图像质量增强系统的应用。另外在我国南海拥有的九段线以内数百万平方公里的领海，有诸多资源等待开发利用，而海洋勘测又扮演的举足轻重的角色，本发明给高质量，高精度的海洋勘测提供了一种可能性，应用前景广泛。

技术实现要素：

本发明为了解决现有技术中存在的上述缺陷和不足，提供了一种基于深度神经网络的海洋勘测图像质量增强方法。

为解决上述技术问题，本发明提供一种基于深度神经网络的海洋勘测图像质量增强方法，包括以下步骤：

步骤一，原始图像预处理：采用手动或边缘检测算法采集海洋勘测的原始图像进行图像的轮廓信息；

步骤二，图像的增强处理；

2.1建立具有若干个结构相同层块的深度神经网络dnn模型；

2.2将步骤一所选轮廓内的图像输入深度神经网络dnn模型内，由深度神经网络dnn模型内不同的层块依次提取所选轮廓内图像不同的局部特征信息；

2.3深度神经网络dnn模型将每个层块提取的局部特征信息和该层块的标记数据进行匹配，并将匹配度最高的局部特征信息进行权重的分配；

步骤三，生成高分辨率图像：深度神经网络dnn模型的最后一个层块将增强处理后的图像经过加权处理全局特征和原始图像像素，得到高分辨率图像。

其中，步骤2.1还包括对深度神经网络dnn的训练过程，具体如下：

2.11对海洋勘测区域进行远端和近端图像采集，选取图像轮廓，并对所选轮廓内的图像提取rgb数据和位置信息，并把rgb数据和位置信息带入哈希函数，分别生成远端和近端所选轮廓内图像的压缩签名或密钥；

2.12利用余弦相似度检测的方法，将远端和近端图像的压缩签名或密钥匹配进行匹配，生成远端模糊图像和近端具有细节特征图像的匹配对，再通过人工标注的方法对匹配对进行分类，其中清晰度高的图像的标记数据为“正”，清晰度低的图像的标记数据为“负”；

2.13标记数据为“正”的图像在深度神经网络dnn模型中，生成损失测量值；

2.14若损失测量值为1×10^-3，则获得具有区分清晰海洋勘测图像和包含噪音的海洋勘测图像的深度神经网络dnn模型；否则，复步骤2.12和步骤2.13，经过若干次迭代，直至损测量值为1×10^-3，获得具有区分清晰海洋勘测图像和包含噪音的海洋勘测图像的深度神经网络dnn模型。

步骤一中边缘检测算法的包括以下步骤：

1.1降噪：将原始图像与高斯平滑模型做卷积处理，清除原始图像的噪音部分，得到降噪图像；

1.2生成边缘：利用过滤矩阵检测降噪图像水平、垂直以及对角线方向的边缘像素点，从而生成降噪图像的边缘像素点的梯度图以及梯度方向。

进一步，步骤2.12余弦相似度检测的具体过程如下：

以压缩签名或密钥作为变量将远端和近端图像进行二维展开，得到远端和近端图像的向量；其中，远端图像的向量imagea＝[a_1,a_2,…a_n]，a为远端图像的压缩签名或密钥，近端图像的向量imageb＝[b_1,b_2,…b_3]，b为近端图像的压缩签名或密钥；然后分别计算远端图像向量和近端图像向量的点积，若选定的远端图像向量和近端图像向量的点积为1，则说明所选定的远端图像与近端图像是匹配的，若点积为-1，在说明远端图像和近端图像不匹配。

本发明所达到的有益技术效果：本发明提供的一种基于深度神经网络的海洋勘测图像质量增强方法，通过对原始低质量、高噪声的图像进行采样标记，然后在一个多层可训练的深度神经网络(dnn)模型中进行推算处理，进而生成高分辨率的图像，最后将生成的高分辨率图像与原始图像拼接并形成一个具有高清晰度和高信噪比的海洋勘测图像。

附图说明

图1本发明对海洋勘测图像进行质量增强处理的流程示意图；

图2本发明具体实施例中采用本发明进行图像处理的过程框图；

图3本发明之深度神经网络dnn模型组成框图。

具体实施方式

下面结合具体实施例对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

下面结合附图和实施例对本发明专利进一步说明。

如图1所示，本发明提供一种基于深度神经网络的海洋勘测图像质量增强方法，包括以下步骤：

步骤一，原始图像预处理：采用手动或边缘检测算法采集海洋勘测的原始图像进行图像的轮廓信息；海洋勘测的原始图像可以从远程操作车辆(rov)中的机载摄像机或由潜水员携带的摄像机获得，之后通过两种方式提供图像，一种是当海洋勘测正在进行时，图像可以直接进行在线传输；另一种是直接将图像保存到硬盘驱动器或sd卡等外部存储设备上。

其中，边缘检测算法的具体过程如下：

1.1降噪：将原始图像与高斯平滑模型做卷积处理，清除原始图像的噪音部分，得到降噪图像；

1.2生成边缘：利用过滤矩阵检测降噪图像水平、垂直以及对角线方向的边缘像素点，从而生成降噪图像的边缘像素点的梯度图以及梯度方向。该过程是为了对降噪图像的边缘处进行追踪，弱的边缘像素点会被检测出来，并以此作为该图像边缘是否保留的依据；但在检测过程中，会采用关联性标记对一个单一像素点周围相连接的8个像素点进行分析，如果至少有一个像素点被标记为强的边缘像素点，则该被检测的弱像素点被保留。

步骤二，图像的增强处理；

2.1建立具有若干个结构相同层块的深度神经网络dnn模型；该模型的具体训练过程如下：

2.11对海洋勘测区域进行远端和近端图像采集，选取图像轮廓，并对所选轮廓内的图像提取rgb数据和位置信息，并把rgb数据和位置信息带入哈希函数，分别生成远端和近端所选轮廓内图像的压缩签名或密钥；将rgb数据和位置信息输入哈希函数后，生成具有固定改长度的压缩签名或密钥，如在加密散列函数sha2、sha3或blake2中生成的压缩签名长度为256bit到512bit之间。

2.12利用余弦相似度检测的方法，将远端和近端图像的压缩签名或密钥匹配进行匹配，生成远端模糊图像和近端具有细节特征图像的匹配对，再通过人工标注的方法对匹配对进行分类，其中清晰度高的图像的标记数据为“正”，清晰度低的图像的标记数据为“负”；

余弦相似度检测的具体过程如下：

以压缩签名或密钥作为变量将远端和近端图像进行二维展开，得到远端和近端图像的向量；其中，远端图像的向量imagea＝[a_1,a_2,…a_n]，a为远端图像的压缩签名或密钥，近端图像的向量imageb＝[b_1,b_2,…b_3]，b为近端图像的压缩签名或密钥；然后分别计算远端图像向量和近端图像向量的点积，若选定的远端图像向量和近端图像向量的点积为1，则说明所选定的远端图像与近端图像是匹配的，若点积为-1，在说明远端图像和近端图像不匹配。

2.13标记数据为“正”的图像在深度神经网络dnn模型中，生成损失测量值；

2.14若损失测量值为1×10^-3，则获得具有区分清晰海洋勘测图像和包含噪音的海洋勘测图像的深度神经网络dnn模型；否则，复步骤2.12和步骤2.13，经过若干次迭代，直至损测量值为1×10^-3，获得具有区分清晰海洋勘测图像和包含噪音的海洋勘测图像的深度神经网络dnn模型。其中，损失测量值是有损失函数计算得出，其值是用来衡量原始图像与深度神经网络dnn模型的匹配，该值越小，说明匹配度高，则原始图像越清晰。在训练过程中，一般会采用梯度下降法对损失测量值进行最优化处理，即沿着梯度下降的放心求解极小值或沿着梯度上升的放心求解极大值。优化迭代公式为：其中，其中代表梯度负方向，ρk表示梯度方向上的搜索步长。梯度方向我们可以通过对函数求导得到，步长是由线性搜索算法来确定，即把下一个点的坐标是ak+1的函数，然后求满足f(ak+1)的最小值的ak+1即可。

2.2将步骤一所选轮廓内的图像输入深度神经网络dnn模型内，由深度神经网络dnn模型内不同的层块依次提取所选轮廓内图像不同的局部特征信息；

2.3深度神经网络dnn模型将每个层块提取的局部特征信息和该层块的标记数据进行匹配，并将匹配度最高的局部特征信息进行权重的分配；权重(weight)：在深度神经网络dnn模型中权重的计算与更新是由优化算法的规则决定的。优化算法会根据最优值与权重更新值的和来计算当前最优的权重，计算过程如下：

其中，η是学习率，往往是[0,1]间的小数，y输入样本的正确分类，y’是预测出来的分类。

步骤三，生成高分辨率图像：深度神经网络dnn模型的最后一个层块将增强处理后的图像经过加权处理全局特征和原始图像像素，得到高分辨率图像。高分辨率的图像会由两部分来计算生成，加权值总是1。例如，原始图像像素点的加权设定为0.6，那么经过处理的高分辨率全局特征的像素点加权范围为1-0.6＝0.4，所以高分辨率的图像像素点＝0.6*原始图像像素点+0.4*高分辨率全局特征像素点。0.6与0.4则是全局特征与原始图像像素的权重，加权处理就是与权重相乘的和。

实施例

作为本发明的一个具体实施例如图2所示，原始图像作为一个整体输入深度神经网络dnn模型中。具体过程为：在图像预处理过程中，操作者可以使用鼠标选择由虚线框包围的区域；也可以对输入图像使用边缘检测算法，虚线框可以跟踪检测到边缘并提取图像中对应的轮廓。然后将采样到图像轮廓信息传送到深度神经网络dnn模型中进行匹配处理，其中深度学习网络dnn模块是通过多个神经网络层块串联连接形成，最后一个层块将会输出最终的高分辨率图像。

如图3所示，构成深度神经网络dnn模型的层块包括按顺序连接的卷积(conv)层312、一组relu层313和一组批标准化(bn)层314。

以上已以较佳实施例公布了本发明，然其并非用以限制本发明，凡采取等同替换或等效变换的方案所获得的技术方案，均落在本发明的保护范围内。