基于交错卷积神经网络的目标光场图像分类方法及系统与流程

本发明涉及图像分类技术领域，尤其涉及一种基于交错卷积神经网络的目标光场图像分类方法及系统。

背景技术：

与传统的2d图像采集相比，新兴的光场成像技术，除了可获取图像的空间域信息外(如图像的像素)，还可获取额外的角度域信息(即从不同角度观看图像得到的不同光线信息)。光场相机的基本成像原理如图1所示，在主透镜和光感器之间，有一组二维微透镜阵列，可采集从不同角度反射的光线。通过这种设计，光场相机能够从不同的视点，采集到多幅2d子图像(或称为2d子孔径图像)。因此，光场图像实际上是一组图像，它既包含空间域信息，即一张子图像的像素信息，也包含角度域信息，即同一像素在不同角度反射的光线信息。

图像分类是计算机视觉领域中最基本的研究问题之一，其应用范围十分广泛。传统的图像分类方法主要基于2d图像，其分类效果往往不佳，尤其是对于某些特殊类型图像的分类效果很不理想。

技术实现要素：

基于背景技术存在的技术问题，本发明提出了一种基于交错卷积神经网络的目标光场图像分类方法及系统。

本发明提出的一种基于交错卷积神经网络的目标光场图像分类方法，包括：

选取卷积神经网络模型；

通过多个交错布置的空间域滤波器和角度域滤波器替代卷积神经网络模型中的全连接层，形成lfi图像分类模型；

通过lfi图像分类模型对目标光场图像进行分类。

优选的，通过lfi图像分类模型对目标光场图像进行分类的具体方法为：

目标光场图像数据经缺失全连接层的卷积神经网络模型进行卷积操作，提取第一图像特征；

将所述第一图像特征经过多个交错布置的空间域滤波器和角度域滤波器进行处理，提取第二图像特征；

根据第二图像特征进行图像分类。

优选的，lfi图像分类模型中，多个交错布置的空间域滤波器和角度域滤波器形成多层交错卷积层。

优选的，每一层交错卷积层上的通道数量均为奇数。

优选的，空间域滤波器对图像特征进行空间域卷积的运算模型为：

其中，表示第k连接层的第u个通道；α表示角度域位置；r表示滤波器编号；p×q表示图像尺寸；xx×yy表示空间域位置；为第k连接层第u-1通道的第i个滤波器输出值；wi(xx,yy,j)表示第i个滤波器的维度，l表示数据结构；δ1为偏移项。

优选的，角度域滤波器对图像特征进行角度域卷积的运算模型为：

其中，表示第k连接层的第u个通道；β表示空间域位置；r表示滤波器编号；；g×h表示图像的角度分辨率；mm×nn表示角度域位置；为第k连接层第u-1通道的第i个滤波器输出值；wi(mm,nn,j)表示第i个滤波器的维度，l表示数据结构；δ2为偏移项。

一种基于交错卷积神经网络的目标光场图像分类系统，包括光场成像设备；所述系统对光场成像设备拍摄的光场图像进行预处理，获取目标光场图像，并通过权力要求1-6任一项所述的基于交错卷积神经网络的目标光场图像分类方法对目标光场图像进行图像分类。

优选的，光场成像设备中位于主透镜和光感器之间的微透镜阵列采用a1×a2阵列；所述系统对光场成像设备拍摄的光场图像进行预处理具体为：从光场成像设备获取的a1×a2角度域的光场图像中提取对应微透镜阵列中部的b1×b2个微透镜的b1×b2角度域的光场图像，将所述b1×b2角度域的光场图像增强处理并进行尺寸调整后作为目标光场图像；a1＞b1≥2，a2＞b2≥2。

优选的，a1＝a2，b1＝b2。

本发明提出的一种基于交错卷积神经网络的目标光场图像分类方法，通过lfi图像分类模型进行图像分类时，通过角度域滤波器利用了光场图像特有的角度域信息，有利于提高图像分类的准确度，特别是某些特殊类型图像例如显示图像和镜面图像的分类准确度。

本发明中，lfi图像分类模型采用迁移学习的方法，用一组交错的空间域和角度域滤波器代替卷积神经网络的全连接层，充分利用了光场图像的空间域信息和角度域信息，从而比传统模型具有更精确的分类性能。经实验验证，相对于传统2d图像分类模型，本发明中的lfi图像分类模型可将分类准确度提高8-16％。

此外，本发明对于一些特殊类型的图像，分类效果更为明显。经实验验证，lfi分类模型相对于传统2d分类模型，可将特殊类别图像例如显示图像和镜面图像的分类准确度提高12％-16％。显示图像是指显示设备屏幕显示物体形成的图像；镜面图像是指由镜面或类镜面介质反射物体形成的图像。

如此，本发明应用在人脸识别认证中，解决了传统的方法可能被显示人脸图像的屏幕所欺骗的问题；本发明应用在自动驾驶中，解决了无人机可能需要识别具有镜像属性的物体，以便安全导航问题，如高层建筑中可反射光线的玻璃以及水面等具有反射现象的介质。

可见，本发明利用光场图像具有丰富角度域信息的特点，以及专门设计的空间域和角度域交错卷积神经网络，可普遍提高各类别图像分类的整体准确度，大幅提高对某些特殊种类图像的分类准确度。且，本发明采用交错的2d卷积操作，有利于降低算法的复杂度，提高图像分类效率。

附图说明

图1为光场图像成像原理图；

图2为本发明提出的一种基于交错卷积神经网络的目标光场图像分类方法流程图；

图3为多种图像分类方法精确度比对图表。

具体实施方式

参照图2，本发明提出的一种基于交错卷积神经网络的目标光场图像分类方法，包括：

选取卷积神经网络模型；

通过多个交错布置的空间域滤波器和角度域滤波器替代卷积神经网络模型中的全连接层，形成lfi图像分类模型；

通过lfi图像分类模型对目标光场图像进行分类。

如此，本实施方式中，通过lfi图像分类模型进行图像分类时，通过角度域滤波器利用了光场图像特有的角度域信息，有利于提高图像分类的准确度，特别是某些特殊类型图像例如显示图像和镜面图像的分类准确度。

本实施方式中，通过lfi图像分类模型对目标光场图像进行分类的具体方法为：

目标光场图像数据经缺失全连接层的卷积神经网络模型进行卷积操作，提取第一图像特征；

将所述第一图像特征经过多个交错布置的空间域滤波器和角度域滤波器进行处理，提取第二图像特征；

根据第二图像特征进行图像分类。

如此，本实施方式中，多个交错布置的空间域滤波器和角度域滤波器在lfi图像分类模型中构成了新的连接层。本实施方式中，目标光场图像数据经过缺失全连接层的卷积神经网络模进行卷积操作后，以最后一个卷积层的输出作为新的连接层的输出，以便通过新的连接层对卷积层输出的第一图像特征进行交错的空间域和角度域滤波处理，从而使得新的连接层进一步输出同时包含空间域特征和角度域特征的第二图像特征；最后，lfi图像分类模型再通过对第二图像特征进行计算比对后输出分类结果。

如此，本实施方式中，通过多个交错布置的空间域滤波器和角度域滤波器实现了对于目标光场图像中空间域信息和角度域信息的充分利用，有利于提高各类图像分类的准确率，并大幅提高某些特殊种类图像(显示图像和镜面图像)的分类准确率。

具体的，本实施方式中中，lfi图像分类模型中，多个交错布置的空间域滤波器和角度域滤波器形成多层交错卷积层，即lfi图像分类模型中，由多个交错布置的空间域滤波器和角度域滤波器形成的新的连接层实际上分割为多层交错卷积层。具体的，本实施方式中，每一次交错卷积层上，空间域滤波器和角度域滤波器交错布置，使得每一层交错卷积层上相邻两个通道分别采用空间域卷积运算和角度域卷积运算；同时相邻两层交错卷积层，上一层交错卷积层的最后一个通道与下一个交错卷积层的第一个通道分别采用空间域卷积运算和角度域卷积运算，以实现整个新的连接层中空间域滤波器和角度域滤波器的交错分布。

具体的，每一层交错卷积层上的通道数量均为奇数，以进一步保证相邻两层交错卷积层上的空间域滤波器和角度域滤波器交错布置，从而进一步提高lfi图像分类模型对于目标光场图像的空间域信息和角度域信息交错卷积操作的精确，以提高图像分类的精确。

本实施方式中，空间域滤波器对图像特征进行空间域卷积的运算模型为：

其中，表示第k连接层的第u个通道；α表示角度域位置；r表示滤波器编号；p×q表示图像尺寸；xx×yy表示空间域位置；为第k连接层第u-1通道的第i个滤波器输出值；wi(xx,yy,j)表示第i个滤波器的维度，l表示数据结构；δ1为偏移项。

本实施方式中，角度域滤波器对图像特征进行角度域卷积的运算模型为：

其中，表示第k连接层的第u个通道；β表示空间域位置；r表示滤波器编号；g×h表示图像的角度分辨率；mm×nn表示角度域位置；为第k连接层第u-1通道的第i个滤波器输出值；wi(mm,nn,j)表示第i个滤波器的维度，l表示数据结构；δ2为偏移项。

本发明还提供一种基于交错卷积神经网络的目标光场图像分类系统，所述系统包括光场成像设备；所述系统对光场成像设备拍摄的光场图像进行预处理，获取目标光场图像，并通过上述的基于交错卷积神经网络的目标光场图像分类方法对目标光场图像进行图像分类，以提高图像分类精确程度。

具体的，光场成像设备中位于主透镜和光感器之间的微透镜阵列采用a1×a2阵列；所述系统对光场成像设备拍摄的光场图像进行预处理具体为：从光场成像设备获取的a1×a2角度域的光场图像中提取对应微透镜阵列中部的b1×b2个微透镜的b1×b2角度域的光场图像，将所述b1×b2角度域的光场图像增强处理并进行尺寸调整后作为目标光场图像；a1＞b1≥2，a2＞b2≥2。

本实施方式中，提取对应微透镜阵列中部的b1×b2个微透镜的b1×b2角度域的光场图像，即从光场成像设备获取的a1×a2个子孔径图像中筛选由微透镜阵列中部的b1×b2个微透镜形成的b1×b2个子孔径图像。如此，可删除微透镜阵列边界上的微透镜生成的亮度较低的子孔径图像，提高目标光场图像的分辨率。本实施方式中，在图像预处理时对b1×b2角度域的光场图像增强处理并进行尺寸调整，进一步提高了目标光场图像的品质，从而有利于进一步提高图像分类的精确度。

以下，结合一个具体的实施例，对上述系统和方法做进一步说明。

具体的，本实施例中，用于对光场相机拍摄的光场图像进行分类处理。

本实施例中，光场相机拍摄的光场图像，其空间分辨率为541x376，角度分辨率为14x14。在其14x14的角度域上，由于边界上的子孔径图像过暗不可用，选取取中间的8x8子孔径图像并进行增强处理。在空间域上，将541x376的图像重新调整尺寸至224x224。如此，经过图像预处理，获取空间分辨率为224x224，角度分辨率为8x8的目标光场图像。可见，本实施例中，a1＝a2，b1＝b2。

本实施例中，根据上述的基于交错卷积神经网络的目标光场图像分类方法对目标光场图像进行分类。具体的，本实施例中构建的lfi图像分类模型中，多个交错布置的空间域滤波器和角度域滤波器形成多层交错卷积层，且每一层交错卷积层均包含3个输出通道。

具体的，本实施例中，以5d数据结构表示目标光场图像数据，具体为的，其中m×n表示角度域位置(即子孔径图像的位置)，x×y表示空间域位置(即像素的位置)，c表示输出通道，表示第k连接层上第u个输出通道。

如此，本实施例中，对于输入是的第k层交错卷积层，对于在角度域位置α和输出通道的空间域卷积操作可被表达为：其中，表示第k连接层的第1个输出通道的第i个滤波器输出值；xx×yy表示空间域位置；wi(xx,yy,j)表示第i个滤波器的维度。δ1为偏移项。本实施例中，re(·)为relu激活函数(即rectifiedlinearunit，线性整流函数)。

然后，输出格式被转换为(即reshape为)以便将空间域卷积操作转换为角度域卷积操作，则在空间域位置β和输出通道的角度域卷积操作可被表达为：

其中，表示第k连接层的第2个通道的第i个滤波器输出值；β表示空间域位置；g×h表示图像的角度分辨率；mm×nn表示角度域位置；wi(mm,nn,j)表示第i个滤波器的维度。δ2为偏移项。re(·)为relu激活函数。

然后，输出被重新转换为从而成为下一个(k+1)交错卷积层的输入

如此，本实施例中，通过交错的空间域和角度域卷积，可被看作是交错2d卷积对4d卷积的仿真。这种特殊的设计可有效提取4d光场图像的空间域和角度域特征，同时保持了2d卷积的高效率。本实施例中，目标光场图像数据在经过缺失全连接层的卷积神经网络模型后，将经过两次交错的空间域和角度域卷积。首先数据将经过一个空间域滤波器以获得空间域特征，然后再经过角度域滤波器进行角度域特征提取。因此，这两种2d滤波器在一个周期中的组合是对4d卷积滤光器的模拟，它能够有效和高效的处理4d光场数据。对于光场相机采集的光场图像而言，在第一次卷积中，空间域滤波器和角度域滤波器具有相同的维度2×2×256×256，步长为2且没有填充。在第二次卷积中，空间域滤波器维度为3×3×256×256，步长为1且没有填充，而角度域滤波器维度为4×4×256×512，步长为1且没有填充。最终的分类器的滤波器维度为1×1×512×11，步长为1且没有填充，输出1×1×1×11特征向量，用以表示图像属于每个分类的概率。

具体的，为了进一步验证本实施例中提供的lfi图像分类模型的有效性，以包含11个类别的560张光场图像的图像分类进行验证。该11个类别包括书本、瓶子、椅子、花卉、帽子、杯子、碟子、鞋子、咖啡、显示图像和镜面图像，其中，前9个类别为普通图像，后2个类别为特殊类别。

本次验证中，分别通过传统的2d图像分类模型、立体图像分类模型以及本发明提供的lfi图像分类模型对560张光场图像进行图像分类，且2d图像分类模型、立体图像分类模型以及lfi图像分类模型均采用相同的图像预处理技术和深度神经网络模型。本次验证中，最终对各类图像的分类精确度如图3所示，其中，lfi图像分类模型、2d图像分类模型以及立体图像分类模型对于每一类图像的分类精确度按照左中右的顺序分布。

从图3可知，对于所有的11个类别，本发明提供的lfi图像分类模型都获得了比传统方法更高的分类准确度。总体而言，lfi图像分类模型相对于2d图像分类模型和立体图像分类模型可获得8％和7％的准确度提升。另一方面，对于特殊类别，lfi图像分类模型明显优于传统方法。与2d图像分类模型和立体图像分类模型相比，对于显示图像类别，lfi图像分类模型获得了16％和12％的准确度提升；对于镜面图像类别，lfi图像分类模型获得了13％和11％的准确度提升。实际上，2d图像分类模型和立体图像分类模型经常错误地将今镜面图像和显示图像类别标记为由镜面反射或由屏幕显示的对象本身的类别。本发明中提出的lfi图像分类模型，充分利用了角度域和空间域的图像信息，可以做出更准确的分类决策。

以上所述，仅为本发明涉及的较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。