基于对抗神经网络的图像特征提取方法与流程

本发明涉及深度学习和图像领域，尤其涉及在图像处理应用中，通过对深度学习卷积神经网络学习的图像特征来进行图片语义特征点的提取。具体涉及基于对抗神经网络的图像特征提取方法。

背景技术：

数字特征提取技术计算机视觉领域的关键部分也是数字图像处理中的关键技术之一，是其他一些数字图像处理，如图像拼接、全景视频、智能视频监控等的基础，如何实现高质量的图像特征提取，对于整个系统而言都是至关重要的。

特征提取是从通过对图像数据特征进行变换获取信息的过程。传统方法如尺度不变特征转换(sift)算法，可以侦测与描述影像中的局部性特征，寻找空间尺度中的极值点，并提取出其位置、尺度与旋转不变量。方向梯度直方图(hog)方法通过计算和统计图像局部区域的地图方向直方图来完成图像特征提取。

传统的图像特征提取方法都是基于图像空间特征进行图片特征的提取，但在面对图像分类、图像分割等任务时，传统在提取图像特征提取方法由于并未考虑图片所表达的含义，即图像的语义特征，任务完成效果并不理想。

随着计算机视觉领域的不断优化发展，为了顺应这种发展趋势，大量基于深度学习的图像算法被研究并改进，主要工作是围绕深度学习采用的网络结构方面进行的，通过对网络结构进行改良，使得深度学习的图像算法取得更好的结果。

技术实现要素：

为克服现有技术的不足，本发明旨在提出一种基于深度学习卷积神经网络进行图像特征点提取的方法。该方法依据深度学习网络提取的不同层次的图像空间特征与语义特征来进行图像特征点的提取。为此，本发明采取的技术方案是，基于对抗神经网络的图像特征提取方法，步骤如下：

1)图像预处理：对图像数据进行中心化与归一化处理，并用经过处理的图像数据作为卷积神经网络的输入；

2)训练提取特征点的神经网络，采用生成对抗网络的对抗形式对用于提取特征的卷积神经网络进行训练；

3)利用训练好的卷积神经网络获取图像语义特征点。

图像预处理具体步骤如下：首先对图片所有像素点像素值xi求和并除以图像像素点总个数n计算图像像素平均值μ，然后用图像中各点像素值减去图像像素平均值μ，对该计算结果取平方，并将所有像素点的计算结果相加之和进行开平方运算得到结果σ，对图像所有像素点进行像素值减去μ并除以σ的操作得到预处理后的图像，公式如下：

其中xi为第i个像素点对应的像素值，xi′为第i个像素点经过图像预处理步骤后的输出结果；

步骤2)具体过程为，将提取特征点的神经网络g的输出与提取特征的卷积神经网络的输入d相连接，在训练时将神经网络g的参数固定，将经过预处理的数据作为卷积神经网络d的输入，并把数据标签置为0，并用下式作为损失公式进行训练：

loss＝-(log(1-d(g(z)))+logd(y))

其中d为提取特征的卷积神经网络，g为提取特征点的神经网络，z为提取特征点的神经网络的输入，y为提取特征的卷积神经网络的输入，g(z)为提取特征点的神经网络输出，d(y)为提取特征的卷积神经网络输出，计算提取特征的卷积神经网络输出的对数，计算1减去提取特征的卷积神经网络输出的对数并相加，该结果作为网络误差，以该结果的相反数为损失值，对网络进行训练。

本发明的特点及有益效果是：

1.该方法通过卷积神经网络对图像特征进行提取，避免了传统图像拼接方法对角点等图像特征的依赖。

2.该方法通过卷积神经网络对图像特征进行提取，相对于传统方法特征点位置选取更加精确。

附图说明：

图1卷积神经网络结构示意图。

图2一种基于对抗神经网络的图像语义特征点提取方法网络训练方法图。

图3一种基于对抗神经网络的图像语义特征点提取方法流程图。

具体实施方式

本发明中，使用了两个深度学习网络相互对抗的方式对图像特征进行提取，并通过提取的语义特征获得图像的语义特征点，从而使提取的特征点具有图片的语义特征。这一技术发明主要分为以下几个部分：

1.图像预处理

为了使图像特征能够更好的被卷积神经网络提取，并提高网络训练速度。我们首先对cifar10数据库中的图像数据进行中心化与归一化处理，并用经过处理的图像数据作为卷积神经网络的输入。方法如下公式所述，首先对图片所有像素点像素值求和并除以图像像素点总个数n计算图像像素平均值μ，然后用图像中各点像素值减去图像像素平均值μ，对该计算结果取平方，并将所有像素点的计算结果相加之和进行开平方运算得到结果σ。对图像所有像素点进行像素值减去μ并除以σ的操作得到预处理后的图像。

2.提取特征点的神经网络训练

该部分由卷积神经网络组成，是图像特征提取过程的主体部分，网络结构如图2所示。网络输入为图像数据，网络输出为和输入相似的图像数据。该网络以对抗方式被提取特征的卷积神经网络训练。具体过程为，将提取特征点的神经网络的输出与提取特征的卷积神经网络的输入相连接，在训练时将提取特征的卷积神经网络的参数固定，将经过预处理的数据作为网络的输入，并把数据标签置为0，并用下式作为损失公式进行训练。

loss＝-(log(1-d(g(z)))+logd(y))

其中d为提取特征的卷积神经网络，g为提取特征点的神经网络，z为提取特征点的神经网络的输入，y为提取特征的卷积神经网络的输入，g(z)为提取特征点的神经网络输出，d(y)为提取特征的卷积神经网络输出，计算提取特征的卷积神经网络输出的对数，计算1减去提取特征的卷积神经网络输出的对数并相加，该结果作为网络误差，以该结果的相反数为损失值，对网络进行训练。

经过训练后，我们会获得一个能够输出使提取特征的卷积神经网络分类概率大幅降低的网络。

3.图像语义特征点获取

在提取特征点的神经网络经过训练后，我们认为该网络对图片的微小改动极大的影响了提取特征的卷积神经网络对修改后图片的分类。即被提取特征点的神经网络修改的地方能够极大的体现图像的语义特征。所以讲上一步训练网络的输出与原图像进行比对，改动点即为图像的语义特征点。

本文设计基于深度学习卷积神经网络进行特征提取的图像拼接方法通过深度学习网络来对图像特征进行识别。在使用前需要使用大量数据对卷积神经网络进行训练。在实际使用时，可根据实际情况选取合适的训练集，并根据训练集情况适当调整网络结构。在实际训练过程中，可能出现参数难以收敛等训练困难的情况，需要手动对参数进行微调。