基于分层卷积神经网络的商品图像分类方法

本发明属于计算机图像分类领域，具体的说是一种基于分层卷积神经网络的商品图像分类方法。

背景技术：

1、在电子商务平台上，图像是商品展示最直观的方式，标签是商品描述最简洁、核心的方式。现有技术主要通过采集商品图像进行分类，一方面现有技术只考虑商品图像的粗粒度标签，忽略了商品图像的细粒度标签分类，而在电商平台中，细粒度标签对商品图像的描述价值更高，更能体现商品的信息；另一方面现有的标签监督学习方法仅使用单一特征训练且没有充分利用标签之间的关系，因此网络需要学习数据尽可能多的特征，这使得模型对数据的要求很高，抗噪性差，泛化和迁移能力不足。

技术实现思路

1、本发明是为了解决上述现有技术存在的不足之处，提出一种基于分层卷积神经网络的商品图像分类方法，以期能同时考虑商品图像的粗细粒度标签，通过融合商品图像局部特征和全局特征，充分利用不同图像标签之间的相关性和同一图像标签内部的层级关系训练得到特征提取能力和泛化能力更优的分类网络来实现商品图像标签分类，从而能丰富商品图像标签分类空间，更好地提取商品图像特征，以提高商品图像的标签分类准确率，更加适用于现有的电子商品平台。

2、本发明为达到上述发明目的，采用如下技术方案：

3、本发明一种基于分层卷积神经网络的商品图像分类方法的特点在于，是按如下步骤进行：

4、步骤1.获取仅包含单一商品的原始商品图像集并进行预处理，得到商品图像集x＝{x1,x2,...,xi,...,xn}，xi∈rc×h×w表示第i个商品图像，c、h和w分别表示图像的通道数、高度和宽度，1≤i≤n，n为商品图像的总数；

5、定义粗细粒度标签集y＝{yj|j＝1,2,…,j}，其中，yj表示第j类标签集，j表示标签的种类；且yj,z表示第j类标签集yj中第z个标签，zj表示第j类标签集yj中的标签数量；

6、将第i个商品图像xi在第j类标签集yj中第z个标签记为则第i个商品图像xi对应标签集合记为表示第i个商品图像xi未对应第j类标签集yj中第z个标签，表示第i个商品图像xi对应第j类标签集yj中第z个标签；

7、步骤2.构建分层卷积神经网络模型，包括：特征提取模块、层级融合分类模块；

8、步骤2.1所述特征提取模块依次由1个卷积层、1个最大池化层、若干个block块组成；其中，每个block块均包含个c二维卷积层、c个批归一化层，c个relu激活层，且每个二维卷积层后依次连接1个批归一化层、1个relu激活层；

9、将所述商品图像集x＝{x1,x2,…,xi,…,xn}输入所述分层卷积神经网络模型中，并经过所述特征提取模块中的卷积层和最大池化层的处理后，得到商品图像局部特征集再经过若干个block块的处理后，得到商品图像全局特征集其中，表示第i个商品图像xi的局部特征，表示第i个商品图像xi的全局特征；

10、步骤2.2所述层级融合分类模块由一个平均池化层和j个全连接层组成，其中，第j个全连接层作为第j类标签集的分类器，并包含zj个神经元，且第z个神经元的输出表示第j类标签集yj中第z个标签yj,z的分类概率值；

11、所述商品图像局部特征集fl和商品图像全局特征集ft分别输入所述平均池化层中进行处理，得到图像局部池化特征集和图像全局池化特征集其中表示第i个商品图像xi的局部池化特征，表示第i个商品图像xi的全局池化特征；

12、当j＝1时，全局池化特征输入第j个全连接层中进行处理，得到第j类标签集yj的分类结果表示第i个商品图像xi在第j类标签集yj中第z个标签的分类概率值；

13、当j＝2,3,…,j时，将局部池化特征全局池化特征和第j-1类标签集的分类概率值通过融合操作后得到元特征后，输入第j个全连接层中进行处理，得到第i个商品图像xi在第j类标签集yj的分类概率值从而将局部池化特征全局池化特征和第j-1类标签集的分类概率值通过融合操作后输入第j个全连接层中进行处理，并输出第i个商品图像xi在第j类标签集yj的分类概率值

14、步骤2.3根据式(1)计算各类标签的分类损失lcls：

15、

16、步骤3.构建分层卷积神经网络模型中特征提取模块的优化策略；

17、步骤3.1对第i个商品图像xi进行随机数据增强得到增强后的第i个商品图像xi′；

18、步骤3.2将所述商品图像集x＝{x1,x2,…,xi,…,xn}和增强后的商品图像集x′＝{x1′,x2′,…,xi′,…,xn′}合并后，得到新的商品图像集和标签集其中，表示第e个新商品图像，ys,e表示第e个新商品图像的标签；

19、根据式(2)计算第e个新商品图像所对应的标签ys,e与标签集{ys,1,ys,2,…,ys,e,…,ys,2n}中所有标签的相似度se，从而得到标签相似矩阵s＝[s1,s2,…,se,…,s2n]；

20、

21、式(2)中，se,k表示第e个新商品图像所对应的标签ys,e与第k个新商品图像所对应的标签ys,k的相似度，⊙表示点乘操作，|| ||表示向量的模；

22、步骤3.3将所述新的商品图像集xs输入特征提取模块中进行处理，并输出新的商品图像局部特征和新的商品图像全局特征将所述新的商品图像全局特征fs,t输入所述层级融合分类模块中的平均池化层进行后，得到新的图像全局池化特征其中，表示第e个新商品图像的局部特征，表示第e个新商品图像的全局特征，表示第e个新商品图像的全局池化特征；

23、步骤3.4采用式(3)构建数据训练的有监督对比损失函数lcon：

24、

25、式(3)中，|代表条件符号，β表示标签相似度阈值，表示新的商品图像集xs中与锚图像标签相似度大于等于β的图像个数，表示第r个全局池化特征与相似度大于等于阈值β的第e个全局池化特征的点积结果，表示第r个全局池化特征与2n个全局池化特征中除自身的其他全局池化特征的点积之和，t是点积温度参数；

26、步骤4.所述分层卷积神经网络模型的训练，包括两阶段：

27、第一阶段训练：

28、基于所述商品图像集x＝{x1,x2,...,xi,...,xn}，对所述分层卷积神经网络进行训练，并计算所述分类损失函数lcls用于反向传播训练所述分层卷积神经网络模型，当训练次数epoch达到设定的阈值λ时，执行第二阶段训练；

29、第二阶训练：

30、基于所述新的商品图像集采用对比学习方法先对所述分层卷积神经网络模型中的特征提取模块进行优化，计算所述对比学习损失lcon用于反向传播优化所述分层卷积神经网络模型中的特征提取模块，再基于所述商品图像集x＝{x1,x2,...,xi,...,xn}，对所述分层卷积神经网络模型进行训练，并计算所述分类损失函数lcls用于反向传播训练所述分层卷积神经网络模型，经过多次迭代训练，得到最优分层卷积神经网络模型，用于电子商务平台的商品标签分类。

31、本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述商品图像分类方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

32、本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述商品图像分类方法的步骤。

33、与现有技术相比，本发明的有益效果在于：

34、1、本发明考虑了商品图像的粗细粒度标签，扩充商品图像的标签空间，更加适用于当前电子商务平台应用需求。

35、2、本发明通过提取商品图像的局部特征和全局特征，利用标签内部的层级关系，融合局部特征、全局特征和上一级标签预测值得到新的特征表示进而进行下一级标签分类，从而提高了商品图像分类网络的准确率。

36、3、本发明使用有监督对比学习方法，充分利用不同图像标签之间的相关性得到提取有效商品图像特征能力更强的特征提取模块，在进一步提高了网络性能的同时提升了模型的鲁棒性。