图像分类的方法及装置的制造方法
【技术领域】
[0001] 本发明属于计算机视觉技术领域，尤其设及图像分类的方法及装置。
【背景技术】
[0002] 图像分类技术是指通过计算机算法判断图像内容如物体、场景等所属的类别。而 图像分类技术中图像的特征表示将直接影响最终的判断结果。随着深度学习的发展，使用 大量数据训练的卷积神经网络模型成为主要的图像分类技术，该技术利用卷积神经网络中 的全连接层作为图像的特征表示，然后利用SoftMax等分类器进行分类，在实际应用中取得 了较好的效果。
[0003] 然而，全连接层的图像特征表示的是图像的高层语义特征，主要描述图像的整体 布局。但在许多图像中，例如：邸室和客厅，整体布局相同，但是客厅一般只放沙发，邸室只 放床。而运些物体上的差异信息高层语义特征往往无法表述，影响了图像分类的准确率。
【发明内容】
[0004] 鉴于此，本发明实施例提供一种图像分类的方法及装置，W提高图像分类的准确 率。
[0005] 第一方面，本发明实施例提供了一种图像分类的方法，所述方法包括：
[0006] 通过卷积神经网络提取输入图像的中间卷积层的特征W及全连接层的特征；
[0007] 对提取的所述中间卷积层的特征进行预处理，并对预处理后的中间卷积层的特征 进行编码，W形成图像表示的中层语义特征，对提取后的全连接层的特征进行归一化处理 后作为图像表示的高层语义特征；
[000引将所述图像表示的中层语义特征和所述图像表示的高层语义特征进行融合；
[0009] 基于融合后的特征进行图像分类。
[0010] 第二方面，一种图像分类的装置，所述装置包括：
[0011] 特征提取单元，用于通过卷积神经网络提取输入图像的中间卷积层的特征W及全 连接层的特征；
[0012] 处理单元，用于对提取的所述中间卷积层的特征进行预处理，并对预处理后的中 间卷积层的特征进行编码，W形成图像表示的中层语义特征，对提取后的全连接层的特征 进行归一化处理后作为图像表示的高层语义特征；
[0013] 融合单元，用于将所述图像表示的中层语义特征和所述图像表示的高层语义特征 进行融合；
[0014] 分类单元，用于基于融合后的特征进行图像分类。
[0015] 本发明实施例与现有技术相比存在的有益效果是:本发明实施例通过卷积神经网 络提取输入图像的中间卷积层的特征，对提取的所述中间卷积层的特征进行预处理后编码 成图像表示的中层语义特征，并将所述图像表示的中层语义特征和图像表示的高层语义特 征进行融合，通过融合后的混合特征来表示图像信息，由于融合后的混合特征不仅能够体 现图像的高层全局语义特征而且也能很好的体现图像的细节和局部信息，因此效果相比单 一的全连接层特征有明显提高，可有效提高图像内容识别的准确率，进而提高图像分类的 准确率，具有较强的易用性和实用性。
【附图说明】
[0016] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述 中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些 实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可W根据运些 附图获得其他的附图。
[0017] 图1是本发明实施例提供的图像分类的方法的实现流程示意图；
[0018] 图2是本发明实施例提供的图像分类的装置的组成结构示意图。
【具体实施方式】
[0019] W下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具 体细节，W便透切理解本发明实施例。然而，本领域的技术人员应当清楚，在没有运些具体 细节的其它实施例中也可W实现本发明。在其它情况中，省略对众所周知的系统、装置、电 路W及方法的详细说明，W免不必要的细节妨碍本发明的描述。
[0020] 为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
[0021] 请参阅图1，图1示出了本发明实施例提供的图像分类的方法的实现流程，该方法 可适用于各类终端设备，如个人计算机、平板电脑、手机等。该方法过程详述如下：
[0022] 步骤S101，通过卷积神经网络提取输入图像的中间卷积层的特征W及全连接层的 特征。
[0023] 需要说明的是，所述卷积神经网络包含多个卷积层，不同的卷积层所包含的信息 不同。本实施例所述中间卷积层可W看做是一个Ξ维矩阵，因此提取的所述中间卷积层的 特征为F=mXnXk，其中mXn为每个卷积特征图的大小，k为卷积特征图（卷积滤波器)的个 数。
[0024] 在步骤S102中，对提取的所述中间卷积层的特征进行预处理，并对预处理后的中 间卷积层的特征进行编码，W形成图像表示的中层语义特征，对提取后的全连接层的特征 进行归一化处理后作为图像表示的高层语义特征。
[0025] 在本实施例中，所述对提取的所述中间卷积层的特征进行预处理包括：
[00%] 将每个特征图处理成一列mn，得到一个二维数组(大小为mn X k)，对所述二维数组 进行归一化和降维处理，得到最后的特征X=[xi;x2;.. . ;xk]，其中xt表示一个k维的行特 征，t = l，2,...，k，X可W作为所有行特征的集合。
[0027]本实施例还包括对X中的行特征进行编码，W形成图像表示的中层语义特征，具体 如下：
[002引令X={xt}，X服从概率密度函数μλ，λ表示所有的参数A={wi,yi, Xli,i = l.. .K}，贝化可 W表示为梯度向量巧= log 所述梯度向量与λ中参数的个数相关，常用的核函数为： ^口，10 =巧巧1巧，则形成图像表示的中层语义特征为&=>^,^^￥^03//^切(7,雌//,1(句/']， 其中VV〇g%(X慷示对logyi(X)求关于λ的偏导瓜~表示求期望。
[0029] 在步骤S103中，将所述图像表示的中层语义特征和所述图像表示的高层语义特征 进行融合。
[0030] 在本实施例中，通过融合后的混合特征来表示图像信息，由于融合后的混合特征 不仅能够体现图像的高层语义特征而且也能很好的体现图像的细节和局部信息，因此效果 相比单一的全连接层特征有明显提高。其中，所述融合包括将所述图像表示的中层语义特 征和所述图像表示的高层语义特征进行特征拼接的操作，当然还可W采用其他融合方式， 在此不做限定。
[0031 ]在步骤S104中，基于融合后的特征进行图像分类。
[0032] 在本实施例中，可W通过支持向量机(Suppo;rt Vector Machine,SVM)等分类器对 融合后的特征进行分析，进而实现图像的分类。具体还可W是，在训练阶段，通过融合后的 特征训练分类器，通过训练后的分类器对测试图像进行分类，从而可有效提高图像分类的 准确率。
[0033] 本发明经过大量实验，在多个测试数据集上使用本发明所述方法均获得较好的图 像分类效果，如表1所示：
[0034]
[0035]
[0036] 表 1
[0037] 从表1可W看出，本发明所述方法相比现有的图像分类方法，准确率有了明显的提 高，说明中间卷积层的特征与全连接层的特征有很强的互补性。
[0038] 图2为本发明实施例提供的图像分类的装置的组成结构示意图。为了便于说明，仅 示出了与本发明实施例相关的部分。
[0039] 所述图像分类的装置可应用于各种终端设备，例如口袋计算机(Pocket化rsonal Computer，PPC)、掌上电脑、计算机、笔记本电脑、个人数字助理（Personal Digital Assistant, PDA)等，可W是运行于运些终端内的软件单元、硬件单元或者软硬件相结合的 单元，也可W作为独立的挂件集成到运些终端中或者运行于运些终端的应用系统中。
[0040] 所述图像分类的装置包括：
[0041] 特征提取单元21，用于通过卷积神经网络提取输入图像的中间卷积层的特征W及 全连接层的特征；
[0042] 处理单元22,用于对提取的所述中间卷积层的特征进行预处理，并对预处理后的 中间卷积层的特征进行编码，W形成图像表示的中层语义特征，对提取的全连接层的特征 进行归一化处理后作为图像表示的高层语义特征；
[0043] 融合单元23,用于将所述图像表示的中层语义特征和所述图像表示的高层语义特 征进行融合；
[0044] 分类单元24,用于基于融合后的特征进行图像分类。
[00