一种基于人体语义分割的服饰色彩提取方法与流程

本发明属于数字图像处理技术领域，具体涉及一种利用人体语义分割来对服饰图像进行色彩提取的方法。

背景技术：

随着时代的发展，生活的进步，人们对衣着越来越重视，逐渐意识到了服饰搭配在日常工作和生活中的重要性。可见服饰搭配对自我形象的塑造有着十分重要的意义和影响，然而在现实生活中，人们很难把握自己的身材特点和穿衣风格，且有关服装搭配的理论体系和服务较为缺失，尤其表现为精准的个性化搭配。

服饰穿搭所包含的内容很多，最重要的三要素是色彩、款型和材质。色彩搭配在其中占着绝对地位，人们往往最先注意到的就是颜色，所以色彩是整体搭配的灵魂所在。

服饰色彩提取的基本流程：定位目标服饰、服饰的色彩特征提取。针对定位目标服饰常用的方法有基于canny算子的梯度检测，获取服饰边缘信息；基于人体姿态关键点的检测定位人体骨架结构等，然后采用二值化、grabcut等分割算法提取服饰掩膜，获取目标像素值，但这些方法都基于传统的数字图像处理，对于复杂背景场景下的抗干扰效果都不佳。针对色彩特征提取有中位切分法,将图像颜色看作是色彩空间中的长方体，将rgb中最长的一边从颜色统计的中位数一切为二，使得到的两个长方体所包含的像素数量相同，重复上述步骤，直到最终切分得到长方体的数量等于主题颜色数量为止；八叉树算法，将颜色值转换成二进制之后，较低位（八叉树中位置较深层）数值将被压缩进较高位（八叉树中较浅层）。八叉树算法应用到主题色提取可能存在的问题是，每次削减掉的叶子数不确定，但是新增加的只有一个，这就导致服饰的主题色数量并不一定刚好得到满足。

技术实现要素：

本发明的目的在于提供一种利用人体语义分割来提取服饰色彩特征的方法，旨在提供一种精确的服饰定位和色彩提取方式，提高服饰搭配的有效性和稳定性。

本发明采用如下技术方案：

s1、提供rgb格式的服饰图像；

s2、人体语义分割模型的实现:

（1）数据收集和标注，语义信息包含：上衣、裤子、连衣裙和半裙;

（2）卷积神经网络模型搭建：主体架构为deeplabv3+;

（3）模型训练和测试;

s3采用针对服饰训练完成的人体语义分割模型进行类别和掩膜提取；

s4根据不同的服饰语义信息，分别定位和提取服饰所在的前景rgb像素值；

s5将目标服饰类别的rgb值转换到lab颜色空间；

s6光照归一化处理,将lab值划分成个的像素块，每个像素块计算局部颜色均值，最后对每个图像块进行归一化处理，弱化光照的影响；

s7服饰色彩最小阈值设定，利用手肘法通过循环迭代的方式来确定主体色的数量k；

s8使用k-means算法对s6中的lab值进行聚类，聚类簇的个数为k,表征为服饰的基本颜色，中心簇的面积为服饰中的色彩占比，基于lab值得服饰色彩编码可以表示为f=(c,ls,lm),其中c表示服装类型，ls表示lab颜色集合，lm表示每个独立色彩对应的面积比例；

s9将s8中的颜色集合（ls）转换到hsv空间，计算ls的色相（h）、纯度（s）、明度（v）和冷暖（wc）信息，即ls->(h,s,v,wc)；

s10对输入图像中的不同语义进行提取颜色信息，最后的特征f={f1,f2,...,fn}={(c1,(h1,s1,v1,wc1),lm1),(c2,(h2,s2,v2,wc2),lm2),...,(cn,(hn,sn,vn,wcn),lmn)}；

s11根据对套装服饰的颜色信息编码，可用于相似颜色的服饰检索，服饰搭配和推荐等。

附图说明

图1为人体语义分割的效果图；

图2为服饰颜色特征提取方法的流程图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好的理解本发明。

本实施例中，公开了一种基于人体语义分割的服饰色彩提取方法，整体流程如图2所示，至少包括以下步骤：

s1、输入为rgb颜色空间的服饰图像；

本实施例在实际使用时需要输入一张rgb格式的服饰图像，可使用手机等数码设备进行拍摄或网络上进行下载。rgb色彩模式是工业界的一种颜色标准，可以通过对红(r)、绿(g)、蓝(b)三个颜色通道相互叠加来获得各式各样的颜色。

s2、本实施例的人体语义分割模型的实现，具体包括以下步骤：

（a）数据收集：通过网络爬取和移动设备的拍摄获得；

（b）样本标注：通过标注工具来进行服饰语义标注，标注的类别有上衣、裤子、连衣裙和半裙，共4类；

（c）数据集划分：12000张训练样本，2642张测试样本；

（4）模型搭建：基于开源的卷积神经网络deeplabv3+为基础，进行迁移学习；

（5）模型训练和测试；

s3、使用训练完成的人体语义分割模型来获取服饰的类别和掩膜信息，如图1所示，为模型的输入和输出结果图；

s4、通过掩膜信息和输入rgb图像进行取交集，获得服饰的rgb色彩值；

s5、将rgb颜色值映射到lab色彩空间，lab模式既不依赖光线，也不依赖于颜料，它是cie组织确定的一个理论上包括了人眼可以看见的所有色彩的色彩模式；

s6、光照归一化处理，将lab值分为若干个小单元格，每个单元格为个像素点（、均为常数）。计算每个单元格内所有像素点的颜色特征均值(是第个像素点的颜色特征),计算可得第个像素点的颜色特征的量化值；

s7、主体色的数量确定，对处理后的lab采用手肘法，通过迭代的方式来确定服饰色彩数量；

s8、使用k-means算法对s6中的lab值进行聚类，聚类簇的个数为k,表征为服饰的基本颜色，中心簇的面积为服饰中的色彩占比，基于lab值得服饰色彩编码可以表示为f=(c,ls,lm),其中c表示服装类型，ls表示lab颜色集合，lm表示每个独立色彩对应的面积比例；

s9、将s8中的颜色集合（ls）转换到hsv空间，通过hsv的特殊颜色编码方式，计算ls的色相（h）、纯度（s）、明度（v）信息，通过色环来获得冷暖（wc）信息，即ls->(h,s,v,wc)；

s10、对输入图像中的不同语义进行提取颜色信息，最后的特征f={f1,f2,...,fn}={(c1,(h1,s1,v1,wc1),lm1),(c2,(h2,s2,v2,wc2),lm2),...,(cn,(hn,sn,vn,wcn),lmn)}；

s11、根据对套装服饰的颜色信息编码，可用于相似颜色的服饰检索，服饰搭配和推荐等。