一种基于全卷积网络的纹理分割方法与流程

本发明涉及纹理分割领域，尤其是涉及了于一种基于全卷积网络的纹理分割方法。

背景技术：

对于计算机视觉领域来讲，纹理分割与分析任务非常重要，是众多图像分析和机器视觉应用的基础。然而，由于自然纹理类型庞杂、形态各异且结构繁复，同时也因为对人类视觉系统感知纹理的机理认识不足，纹理图像分割一直是图像处理领域的一大难题。纹理区域一般被认为是像素密度的统计性空域分布，并且能够被描述评级为好、中、粗糙等。纹理是图像分割的一条重要线索，能够清晰地获得图像的纹理分割，极大地帮助了解多场景下的不同应用，例如海洋岛屿测绘、森林火灾防御、红外遥感图像识别等实用领域。

深度学习是近年来非常热门的研究方法，此前在其他应用例如文本识别、语音识别等问题上取得突破性的成功，此次引入深度学习，一方面验证对抗已有的图像分割算法，另一方面要从传统卷积网络入手改进，发展延伸出全卷积网络，并且充分利用局部信息利用输出改善了区域分割方法。

本发明提出了一种基于纹理区域识别的新框架。使用卷积网络和池化函数对输入图像进行处理，得到多个阶段的特征图并对特征图进行反卷积处理，得到上采样填充的特征图，再对此最后阶段的特征图进行分割函数处理，得到概率最高的类别作为分割结果。本发明可以有效分割纹理区域，提供一个更完善的区域分割函数来完成纹理特征识别，同时提高了其精细程度。

技术实现要素：

针对在图像中寻找纹理特征区别纹理区域的问题，本发明的目的在于提供一种基于全卷积网络的纹理分割方法，提出了一种基于纹理区域识别的新框架。

为解决上述问题，本发明提供一种基于视频数据的人体动作分析方法，其主要内容包括：

(一)卷积和池化模块；

(二)数据层融合模块；

(三)反卷积模块；

(四)分类模块。

(五)分割区域的改善方法

其中，所述的卷积和池化模块，对于输入图像，组合使用卷积和池化函数组成相应的集合，从而得到经过处理的特征图，具体的，依次使用10层函数，其中第1、3、5、7、9、10层为卷积函数(共6层)，第2、4、6、8层为池化函数(共4层)，因此为了叙述方便可分别命名为conv1，conv2，……，conv6和poll1，pool2，pool3，pool4两个模块系统。

进一步地，所述的卷积和池化函数，对于在给定层位置(i,j)其数据向量为xi,j，则紧跟着下一层的对应数据向量为：

yi,j＝fks(<xsi+δi,sj+δj>0≤δi,δj≤k)(1)

这里k指的是卷积核尺寸大小，s指的是步长或者下采样因子，fks则是具体的函数，即可以为卷积函数或者池化函数；

其中，在卷积函数中，卷积核大小由最终分类特征图的大小决定；池化函数中，步长默认设置为2，即相当于使用步长为2的下采样函数。

进一步地，所述的数据层融合模块，从输入图像经过10层函数处理过后，具体地抽出第n层函数处理后的特征图，在各自扩充到统一维度后进行相互叠加，具体为：输入图像依次经过每层函数的运算后，依次得到每个函数使用完时得到的特征图mi(i＝1,2,…,n)，然后使用反卷积的方法统一特征图的尺寸，然后线性相加融合；特别地，抽取的特征图为pool1，pool2，pool3和conv6，这四个特征图的尺寸分别为原图像尺寸的1/2，1/4，1/16和1/32。

进一步地，所述的反卷积模块，假若通过卷积或者池化后的特征图尺寸是原输入图像尺寸的1/f，并且f是整数，那么通过改变卷积核的大小，可将此特征图通过卷积的方法上采样填充至原输入图像的尺寸，由此可实现网络的端对端调整。

进一步地，所述的上采样填充，对pool2，pool3和conv6三个特征图mi经过反卷积函数处理，得到与pool1尺寸(即输入图像尺寸的1/2)同等大小的特征图，然后将这三个经过处理的特征图与pool1四者线性叠加，得到新的特征图m^s(此特征图的尺寸仍为输入图像的1/2)；

对m^s再进行反卷积模块的操作，使之上采样填充至与输入图像尺寸相等的特征图m^f，m^f即为用待分类的特征图。

进一步地，所述的分类模块，对输入图像做区域分割时，不同的区域由边界隔开并用数字标签1到x(x≥1)标示，因此待分割区域数目等于类别数目等于数字标签数目，即x；对于具有x个标签的特征图m^f，使用分类函数对其进行分割。

进一步地，所述的分类函数，使用softmax函数对特征图m^f对不同类别的大小概率进行估计：

其中θi和x是列向量，通过此函数，可以使得p(i)的范围在[0,1]之间，实现端对端调节；

最后输出的结果是一个概率估计图，图中对应像素点的某个标签值越大，其像素为该类的结果也越大。

进一步地，所述的分割区域的改善方法，根据分类函数输出的概率向量中有各个类别(区域)的概率值，概率值最高的标签将代表这个像素所处在的区域，因此，利用剩余的概率信息，可以将独立成块的、非单个像素的区域进行迭代重新赋予标签。

进一步地，所述的迭代重新赋予标签，对于图像中独立成块、非单个像素的区域，按照从大到小的方式赋予标签1到x(x≥1)，即：

1)定位最大的像素块；

2)重新赋予标签1；

3)寻找剩余区域最大的像素块；

4)重新赋予标签2；

……

5)重新赋予标签x；

其中如果有相同大小的像素块，回到上一级并赋予标签xi-1。

附图说明

图1是本发明一种基于全卷积网络的纹理分割方法的系统流程图。

图2是本发明一种基于全卷积网络的纹理分割方法检测结果的比较图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于全卷积网络的纹理分割方法的系统流程图。主要包括卷积和池化模块；数据层融合模块；反卷积模块；分类模块；分割区域的改善方法。

其中，对于输入图像，组合使用卷积和池化函数组成相应的集合，从而得到经过处理的特征图，具体的，依次使用10层函数，其中第1、3、5、7、9、10层为卷积函数(共6层)，第2、4、6、8层为池化函数(共4层)，因此为了叙述方便可分别命名为conv1，conv2，……，conv6和poll1，pool2，pool3，pool4两个模块系统。

对于在给定层位置(i,j)其数据向量为xi,j，则紧跟着下一层的对应数据向量为：

yi,j＝fks(<xsi+δi,sj+δj>0≤δi,δj≤k)(1)

这里k指的是卷积核尺寸大小，s指的是步长或者下采样因子，fks则是具体的函数，即可以为卷积函数或者池化函数；

其中，在卷积函数中，卷积核大小由最终分类特征图的大小决定；池化函数中，步长默认设置为2，即相当于使用步长为2的下采样函数。

从输入图像经过10层函数处理过后，具体地抽出第n层函数处理后的特征图，在各自扩充到统一维度后进行相互叠加，具体为：输入图像依次经过每层函数的运算后，依次得到每个函数使用完时得到的特征图mi(i＝1,2,…,n)，然后使用反卷积的方法统一特征图的尺寸，然后线性相加融合；特别地，抽取的特征图为pool1，pool2，pool3和conv6，这四个特征图的尺寸分别为原图像尺寸的1/2，1/4，1/16和1/32。

假若通过卷积或者池化后的特征图尺寸是原输入图像尺寸的1/f，并且f是整数，那么通过改变卷积核的大小，可将此特征图通过卷积的方法上采样填充至原输入图像的尺寸，由此可实现网络的端对端调整。

对pool2，pool3和conv6三个特征图mi经过反卷积函数处理，得到与pool1尺寸(即输入图像尺寸的1/2)同等大小的特征图，然后将这三个经过处理的特征图与pool1四者线性叠加，得到新的特征图m^s(此特征图的尺寸仍为输入图像的1/2)；

对m^s再进行反卷积模块的操作，使之上采样填充至与输入图像尺寸相等的特征图m^f，m^f即为用待分类的特征图。

对输入图像做区域分割时，不同的区域由边界隔开并用数字标签1到x(x≥1)标示，因此待分割区域数目等于类别数目等于数字标签数目，即x；对于具有x个标签的特征图m^f，使用分类函数对其进行分割。

使用softmax函数对特征图m^f对不同类别的大小概率进行估计：

其中θi和x是列向量，通过此函数，可以使得p(i)的范围在[0,1]之间，实现端对端调节；

最后输出的结果是一个概率估计图，图中对应像素点的某个标签值越大，其像素为该类的结果也越大。

根据分类函数输出的概率向量中有各个类别(区域)的概率值，概率值最高的标签将代表这个像素所处在的区域，因此，利用剩余的概率信息，可以将独立成块的、非单个像素的区域进行迭代重新赋予标签。

对于图像中独立成块、非单个像素的区域，按照从大到小的方式赋予标签1到x(x≥1)，即：

1)定位最大的像素块；

2)重新赋予标签1；

3)寻找剩余区域最大的像素块；

4)重新赋予标签2；

……

5)重新赋予标签x；

其中如果有相同大小的像素块，回到上一级并赋予标签xi-1。

图2是本发明一种基于全卷积网络的纹理分割方法检测结果的比较图。如图所示，从a)到g)分别为薯条、输入图像、实际有效分割、基于马尔科夫随机场的分割、基于共生特征的分割、基于con-col方法的分割、没有改善方法的全卷积网络分割、改善方法的全卷积网络分割，可以看出，最后一张结果图也就是本发明的结果图要比其他方法得到的图像更加真实，更加接近实际，边界锐利，说明精细程度高。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。