基于全卷积神经网络的舰船目标分割方法、系统及介质与流程

本发明涉及图像处理领域，具体地，涉及基于全卷积神经网络的舰船目标分割方法、系统及介质。

背景技术：

在军事活动中，对于海洋上运动目标的实时跟踪检测与监视是非常重要的。此外，如何快速地从目标图像中检测出舰船物体也是很有必要的。例如，渔船监测、舰船非法倾倒油污监测等实际问题，利用计算机技术实现舰船目标检测成为国内外研究重点。

对于现有的目标检测方法来说，包含对舰船本身各类浅层特征(hough直线、形态、灰度、边缘、sift等)的检测算法。但由于受到海洋光照等影响，会造成这些特征的削弱，导致鲁棒性较差。

基于此，本专利提出一种基于全卷积神经网络的目标图像的分割方法，实现对目标图像进行端到端的目标分割，可以有效的提高鲁棒性。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种基于全卷积神经网络的舰船目标分割方法、系统及介质。

根据本发明提供的一种基于全卷积神经网络的舰船目标分割方法，包括：

构建训练样本步骤：获取原始数据集，对原始数据集中的船舰图像进行增强操作，获得增强后的船舰图像，对增强后的船舰图像进行归一化处理，获得训练样本集；

训练样本标定步骤：对训练样本集中的船舰图像进行逐像素的标注；

网络构建步骤：构建训练网络，获得待训练网络；

网络训练步骤：对获得的待训练网络，利用所述训练样本集进行训练，更新神经元的权重和偏置，最终使得神经网络达到收敛状态，获得训练好的网络；

目标分割步骤：将待分割图像进行归一化处理，获得待分割图像集，将待分割图像集输入到训练好的网络中，输出分割后的图像。

优选地，所述增强操作包括：平移、亮度增加、旋转中的任一种或任多种操作；

平移包括：对原始数据集中的每一张舰船图像进行随机的方向平移的操作；

亮度增加包括：对原始数据集中的每一张舰船图像进行随机的亮度增加的操作；

旋转包括：对原始数据集中的每一张舰船图像进行随机的方向旋转的操作。

优选地，所述待训练网络包括：

卷积操作conv、归一化操作bn、激活函数relu、激活函数sigmoid、最大池化操作maxpool、上采样操作upscale中的任一个或任多个。

优选地，所述归一化处理包括：

将目标图像的尺寸进行归一化；

所述分割后的图像为二值化的图像，背景区域的像素值为0，前景区域的像素值为1，所述前景区域即舰船区域；

所述训练样本标定步骤包括：

对训练样本集中的舰船图像进行逐像素的标注，标注的值为0或者1；使得标注的训练样本集中的舰船图像为一张二值图像，背景区域的像素值为0，前景区域的像素值为1，所述前景区域即舰船区域。

根据本发明提供的一种基于全卷积神经网络的舰船目标分割系统，包括：

构建训练样本模块：获取原始船舰图像，对原始船舰图像进行增强操作，获得增强后的船舰图像，对增强后的船舰图像进行归一化处理，获得训练样本集；

训练样本标定模块：对训练样本集中船舰图像进行逐像素的标注；

网络构建模块：构建训练网络，获得待训练网络；

网络训练模块：对获得的待训练网络，利用所述训练样本集进行训练，更新神经元的权重和偏置，最终使得神经网络达到收敛状态，获得训练好的网络；

目标分割模块：将待分割图像进行归一化处理，获得待分割图像集，将待分割图像集输入到训练好的网络中，输出分割后的图像。

优选地，所述增强操作包括：平移、亮度增加、旋转中的任一种或任多种操作；

平移包括：对原始数据集中的每一张舰船图像进行随机的方向平移的操作；

亮度增加包括：对原始数据集中的每一张舰船图像进行随机的亮度增加的操作；

旋转包括：对原始数据集中的每一张舰船图像进行随机的方向旋转的操作。

优选地，所述待训练网络包括：

卷积操作conv、归一化操作bn、激活函数relu、激活函数sigmoid、最大池化操作maxpool、上采样操作upscale中的任一个或任多个。

优选地，所述归一化处理包括：

将目标图像的尺寸进行归一化；

所述分割后的图像为二值化的图像，背景区域的像素值为0，前景区域的像素值为1，所述前景区域即舰船区域；

所述训练样本标定模块：

对训练样本集中的舰船图像进行逐像素的标注，标注的值为0或者1；使得标注的训练样本集中的舰船图像为一张二值图像，背景区域的像素值为0，前景区域的像素值为1，所述前景区域即舰船区域。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述任一项所述的基于全卷积神经网络的舰船目标分割方法的步骤。

与现有技术相比，本发明具有如下的有益效果：

1、本发明采用深度学习的方法，实现对目标图像的分割，不仅提高了分割准确率，同时也缩短了目标分割的时间。

2、本发明将全卷积神经网络应用到舰船目标分割上，在gpu的作用，可以快速地实现高精度的目标分割目效果。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的实施例1提供的基于全卷积神经网络的舰船目标分割方法步骤流程示意图。

图2为本发明的实施例1提供的全卷积网络结构示意图。

图3为本发明的实施例1提供的最大池化操作示意图。

图4为本发明的实施例1提供的填充原理示意图。

图5为本发明的实施例1提供的单个神经元结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的一种基于全卷积神经网络的舰船目标分割方法，包括：

构建训练样本步骤：获取原始数据集，对原始数据集中的船舰图像进行增强操作，获得增强后的船舰图像，对增强后的船舰图像进行归一化处理，获得训练样本集；

训练样本标定步骤：对训练样本集中的船舰图像进行逐像素的标注；

网络构建步骤：构建训练网络，获得待训练网络；

网络训练步骤：对获得的待训练网络，利用所述训练样本集进行训练，更新神经元的权重和偏置，最终使得神经网络达到收敛状态，获得训练好的网络；

目标分割步骤：将待分割图像进行归一化处理，获得待分割图像集，将待分割图像集输入到训练好的网络中，输出分割后的图像。

具体地，所述增强操作包括：平移、亮度增加、旋转中的任一种或任多种操作；

平移包括：对原始数据集中的每一张舰船图像进行随机的方向平移的操作；

亮度增加包括：对原始数据集中的每一张舰船图像进行随机的亮度增加的操作；

旋转包括：对原始数据集中的每一张舰船图像进行随机的方向旋转的操作。

具体地，所述待训练网络包括：

卷积操作conv、归一化操作bn、激活函数relu、激活函数sigmoid、最大池化操作maxpool、上采样操作upscale中的任一个或任多个。

具体地，所述归一化处理包括：

将目标图像的尺寸进行归一化；

所述分割后的图像为二值化的图像，背景区域的像素值为0，前景区域的像素值为1，所述前景区域即舰船区域；

所述训练样本标定步骤包括：

对训练样本集中的舰船图像进行逐像素的标注，标注的值为0或者1；使得标注的训练样本集中的舰船图像为一张二值图像，背景区域的像素值为0，前景区域的像素值为1，所述前景区域即舰船区域。

本发明提供的基于全卷积神经网络的舰船目标分割系统，可以通过本发明给的基于全卷积神经网络的舰船目标分割方法的步骤流程实现。本领域技术人员可以将所述基于全卷积神经网络的舰船目标分割方法，理解为所述基于全卷积神经网络的舰船目标分割系统的一个优选例。

根据本发明提供的一种基于全卷积神经网络的舰船目标分割系统，包括：

构建训练样本模块：获取原始船舰图像，对原始船舰图像进行增强操作，获得增强后的船舰图像，对增强后的船舰图像进行归一化处理，获得训练样本集；

训练样本标定模块：对训练样本集中船舰图像进行逐像素的标注；

网络构建模块：构建训练网络，获得待训练网络；

网络训练模块：对获得的待训练网络，利用所述训练样本集进行训练，更新神经元的权重和偏置，最终使得神经网络达到收敛状态，获得训练好的网络；进一步地，通过反向传播算法进行训练。

目标分割模块：将待分割图像进行归一化处理，获得待分割图像集，将待分割图像集输入到训练好的网络中，输出分割后的图像。

具体地，所述增强操作包括：平移、亮度增加、旋转中的任一种或任多种操作；

平移包括：对原始数据集中的每一张舰船图像进行随机的方向平移的操作；

亮度增加包括：对原始数据集中的每一张舰船图像进行随机的亮度增加的操作；

旋转包括：对原始数据集中的每一张舰船图像进行随机的方向旋转的操作。

具体地，所述待训练网络包括：

卷积操作conv、归一化操作bn、激活函数relu、激活函数sigmoid、最大池化操作maxpool、上采样操作upscale中的任一个或任多个。进一步地，所述上采样操作upscale即线性插值实现上采样。

具体地，所述归一化处理包括：

将目标图像的尺寸进行归一化；进一步地，归一化的大小是246×246。

所述分割后的图像为二值化的图像，背景区域的像素值为0，前景区域的像素值为1，所述前景区域即舰船区域；

所述训练样本标定模块：

对训练样本集中的舰船图像进行逐像素的标注，标注的值为0或者1；使得标注的训练样本集中的舰船图像为一张二值图像，背景区域的像素值为0，前景区域的像素值为1，所述前景区域即舰船区域。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述任一项所述的基于全卷积神经网络的舰船目标分割方法的步骤。

下面通过优选例，对本发明进行更为具体地说明。

实施例1：

如图1所示，基于全卷积神经网络的舰船目标分割方法包括：

步骤1：构建训练样本

对于深度学习来说，数据的重要性，不言而喻，海量的数据同时也就意味着更加精确的效果。但是对于舰船图像来说，其不像普通的自然图像，无法获取大量的数据集，因此这对网络的训练有着一定的负面影响，基于此，在本专利中，对于现有的数据集进行数据增强操作，从而获得更多的舰船数据集。

在本专利中，对原始的舰船数据集依次进行随机的平移、亮度增加，旋转等操作。

(1)平移。对原始数据集中的每一张舰船图像进行随机的方向平移的操作，具体如下：

a、定义两个随机数a和b。a的取值为0和1，b的取值为0,1,2,3等；

b、如果a取值为0，表示进行平移操作，否则不进行平移操作；

c、b的取值0,1,2,3分别代表向竖直向上、水平向右，竖直向下以及水平向左平移10个像素。

(2)旋转。对原始数据集中的每一张舰船图像进行随机的方向旋转的操作，具体如下：

a、定义两个随机数a和b。a的取值为0和1，b的取值为0,1等；

b、如果a取值为0，表示进行旋转操作，否则不进行旋转操作；

c、b的取值0,1分别代表顺时针、逆时针旋转5度。

(3)亮度增加。对原始数据集中的每一张舰船图像进行随机的亮度增加的操作，具体如下：

a、定义随机数a。a的取值为0和1；

b、如果a取值为0，表示进行亮度增加操作，继续执行步骤c，否则不进行亮度增加操作；

c、对于舰船图像的某一像素点p(x,y)，获取该像素点的亮度值l(x,y),然后对其进行亮度增加5％操作，获取亮度值的方法如公式(1)所示，增加亮度的方法如公式(2)所示，其中r(x,y)、g(x,y)和b(x,y)分别表示在像素点p(x,y)处的r、g、b三个通道的值

l(x,y)＝l(x,y)*1.05(2)

当对数据进行数据增强后，我们需要将其进行舰船图片的尺寸大小的归一化，从而方便训练，归一化后的尺寸大小是246×246。

步骤2：训练样本标定

对于数据增强后的数据集中每一张舰船图片进行逐像素的标注，标注的值为0或者1。则标注的训练样本图像为一张二值图像，0表示背景像素，1表示前景像素，即舰船区域部分像素。

步骤3：构建网络

在本专利中，我们采用的是全卷积神经网络来进行训练数据，其整体模型如表1所示。其中输入网络的舰船图片尺寸是246×246×3，分别表示图片的长度、宽度以及通道(rgb三通道)。

如图1所示的全卷积网络结构示意图：

(1)其中，conv为卷积操作、bn为batchnormalization归一化操作、relu和sigmoid都为激活函数、maxpool为最大池化操作、upscale为上采样操作(即线性插值实现上采样)、b表示batchsize即每一个训练输入多少张舰船图片，进行网络的训练，本专利中，b的大小设置为32。

(2)激活函数relu的定义如公式(3)所示，sigmoid的定义如公式(4)所示：

relu(x)＝max(0,x)(3)

sigmoid(x)＝1/(1+e^-x)(4)

(3)maxpool操作如图2所示，假设pool的大小为2，则其是对一个2×2大小的领域进行最大池化操作，具体是求取2×2领域内的最大值作为输出，即max(a,b,c,d)。

(4)填充的原理可如图3所示。其中绿色部分表示原始的图像区域，蓝色所包围的区域是用像素为0的像素点填充操作。

步骤4：网络训练

(1)网络的输入：归一化的含有舰船目标的图片。

在该部分中，我们的训练集是2000张含有舰船目标的归一化图片，归一化的大小是246×246。

(2)输出：二值化的图像。像素值为0，表示背景区域，像素值为1，为前景区域(舰船区域)。

(3)训练策略：常规的bp训练方法。通过使用bp算法来更新神经元的权重和偏置，最终使得神经网络达到收敛状态，具体解析如下。

简单小神经网络的结构可如图4所示，其中每一个圆圈代表着一个神经元，w1和w2代表神经元之间的权重，b表示偏置，g(z)为激活函数，从而使得输出变得非线性，a表示输出，x1和x2表示输入，则针对当前结构，输出的可表示为公式(5)。由公式(5)可得，在输入数据和激活函数不变的情况下，神经网络的输出的值a是与权重和偏置有关的。通过调节不同的权重和偏置，神经网络的输出也会有不同的结果。

a＝g(x1*w1+x2*w2+1*b)(5)

已知神经网络输出的值(预测值)为a，假设其对应的真实值为a'。

对于图4，其bp算法执行如下：

a、在bp算法中，其会先随机初始化每条连接线权重(w1和w2)和偏置b；

b、对于输入数据x1，x2，bp算法都会先执行前向传输得到预测值a；

c、然后根据真实值a'与预测值a之间的误差逆向反馈更新神经网络中每条连接线的权重和每层的偏置。

权重和偏置的更新方法如公式(6)-(8)所示，即对e分别求w1，w2，b的偏导。其中η表示的是学习率，在此公式中，其是一个设置好的参数。

d、不断重复步骤a-c，直到网络收敛，即e的值最小或者基本保持不变。此刻，表示网络已经训练完毕。

步骤5：目标分割

当完成步骤4的网络训练之后，保存训练好的网络参数，当进行目标分割的时候，直接将归一化为246×246的原始目标图像输入到训练好的网络之中，网络会自动输出分割后的图像，且耗时较小，精度较高。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。