一种基于深度学习的服装图像分类模型建立方法与流程

本发明涉及一种基于深度学习的服装图像分类模型建立方法，采用深度学习技术，建立基于vgg-16模型的服装图像分类模型，属于深度学习计算机视觉领域。

背景技术：

随着电子商务和服装行业的发展，线上购物已经成为人们选购服装的主流方式，网购时用户主要通过服装商品图像来选购心仪产品，因此服装商品图像的识别和分类问题引起了广泛关注。常用的服装图像分类方法可以分为传统方法和深度学习方法，传统的图像识别分类方法即借助数字图像处理、模式识别的方法，基于底层的视觉特征进行服装的标签属性分类。传统服装图像分类方法大多数都是利用sift和hog实现特征提取，之后将特征作为各类分类器的输入实现分类。

近年来，随着服装品类迅速扩张，服装图像数据呈爆炸式增长，传统的图像处理方式已经不适用于大数据的发展趋势，除此之外，传统的特征提取方法在服装标签属性识别本身的表达上具有多义性和不确定性，因此难以满足实际服装图像属性识别的需求。

深度学习近年来在学术界工业界掀起了热潮，目前已经有许多通过机器视觉实现服装商品自动分类的方法，研究者把深度学习和服装图像处理结合起来，并诞生了一系列优秀的算法。如今，服装商品图像数据量巨大，市场对服装图像精确分类也有着非常大的需求。因此结合深度学习技术来实现对服装图像的准确分类具有重大研究意义。

技术实现要素：

本发明要解决的技术问题是当前各电商平台累积海量未进行属性标注的服装图片数据无法被有效利用。

为了解决上述技术问题，本发明的技术方案是提供了一种基于深度学习的服装图像分类模型建立方法，基于深度学习技术构建服装图像分类模型和使用已标注服装数据集的方案。其特征在于，采用了深度学习技术，建立了服装图像分类模型，并将服装数据集进行了应用，整体流程包括以下步骤：

步骤一：基于深度学习框架建立服装图像分类模型；

步骤二：通过标注好的数据集对服装图像分类模型进行训练；

步骤三：用单张图像对服装图像分类模型的预测进行测试；

步骤四：对大量未标注服装图像数据集进行标注；

步骤五：设计并搭建个性化服装检索系统；

步骤六：将标记好的服装数据集应用于服装检索系统。

其中，服装检索系统包括输入搜索模块、风格分类模块和精细分类模块。

其中，风格分类分为六类风格，分别为：简约风格、优雅风格、复古风格、民族风格、可爱风格、职场风格。

本技术方案结合深度学习技术，提取了图像更精确的特征，将服装图像进行了细致的分类。对服装图像精细的分类包括服装种类分类和服装风格分类两个方面，最终实现对服装数据集的多标签识别与标注。

本发明采用vgg-16深度学习模型构建服装图像分类网络，之后通过训练好的模型对原始服装图像进行属性标注生成服装数据集。并将数据集应用于服装推荐系统。为各类电商平台已累积的大量未标注图像的有效利用提供了思路。

附图说明

图1是标注好的数据集对服装图像分类模型进行训练的具体训练示例。

图2是用单张图像对服装图像分类模型的预测进行测试的测试示例。

图3是利用模型实现对图像的批量预测和标注。

图4是个性化服装检索系统模块分类示意图。

图5是个性化服装检索系统首页界面

图6是个性化服装检索系统输入搜索功能界面

图7是个性化服装检索系统风格分类界面

图8是个性化服装检索系统精细分类界面

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明基于vgg-16网络结构和fashionnet网络结构建立服装图像分类模型。该模型根据输入的用于训练的数据集对服装的种类和风格进行分类，模型的构建算法如下表所示：

算法1构建服装种类识别与分类模型

算法1展示了种类识别分支的建立过程：首先定义输入内容为服装图像images、服装种类总数量numcategories和最终激活层类型softmax。之后将图像由rgb格式转换为灰度(grayscale)格式。这样做是因为同一种类的服装可以是不同颜色的，而颜色信息在种类识别任务中属于不关键信息(例如t恤，无论是哪种颜色的t恤其种类都是t恤)。因此，在识别过程中选择丢弃服装的颜色信息而集中关注图片的真实结构组成，以确保网络在训练和学习的过程中不会将特定颜色与服装种类联合关联。

如算法1所示，第一段卷积有32个滤波器，卷积核为3×3，采用relu作为激活函数，并在池化过程后采取dropout以减少过度拟合。之后连续两组(conv＝>relu)*2＝>pool模块(包含了第二至五段卷积)，此过程通过重复卷积和池化逐步减小空间大小、增加网络深度。最后，将上述模型连接到最后一个激活层即fc层(fc层具有与服装种类个数numcategories相同数量的神经元即输出个数)实现最终的服装种类分类。

此模型可对任意服装图片进行识别，训练结果表明，在训练数据集最多的情况下识别准确率最高可在99％以上。

训练结果如图1所示。共有两组：分别为对47264在服装数据集的训练结果和对141408张服装图像数据集的训练结果。

之后，将单张图像输入进网络并利用matplotlib对预测结果进行可视化。服装种类分类模型的预测结果如图2所示，其中分别展示了“coat(大衣)”、“jeggings(牛仔紧身裤)”、“kaftan(宽大长袖女袍)”、“anorak(带帽防寒短上衣)”的准确预测结果。

本发明运用该服装图像分类模型对大量未标注服装图像进行批量标注，生成已标注的服装数据集。

采用服装风格数据集对模型进行训练，之后对服装图像的风格进行批量标注过程：首先，遍历所有的服装图片，将其输入服装风格识别模型。之后得到每张图片属于各类别的概率，取最大概率的风格类别作为预测结果。最后，将所有服装图像的风格预测结果写入数据库以实现对服装图像的批量标注。批量预测风格时每条数据都有5类属性，包括id、图像名称、真实风格、预测风格和分别属于六大风格类别的概率。批量预测概率数值及标注结果如图3所示。其中a-f代表a:简约风格；b:优雅风格；c:复古风格；d:民族风格；e:可爱风格；f职场风格。

本发明将用服装图像分类模型标注好的服装图像数据集应用于个性化服装检索系统，该系统分为三大模块，模块分类方式设计如图4所示。系统首页如图5所示。

(1)输入搜索模块。该模块要实现的功能是用户输入描述服装的关键字，页面展示与关键字相关的服装图像。其中关键字分为三类：服装类别(上衣，短裤等)，服装特点(印花，针织等)和服装颜色。系统会根据用户输入的关键字弹出含有关键字属性的服装类别以供选择，用户点击选择确定的一种类别后界面展示指定类别服装图像。界面展示如图6所示。

(2)风格分类模块。通过对当下时代主流服装风格的总结，该模块将所有服装图像风格分为六类风格，分别为：a:简约风格；b:优雅风格；c:复古风格；d:民族风格；e:可爱风格；f职场风格。界面展示如图7所示。

(3)精细分类模块。该模块实现由大类开始逐层细致检索的功能。定义服装第一层总体类别为三类；上装，下装和全身；第二层为款式分类，如上装可分为背心，t恤等。第三层分类添加了一些服装属性标签，这些标签包括风格(如运动)和一些服装特点(如印花，针织)。界面展示如图8所示。