一种图像的聚类方法和装置以及设备与流程

1.本发明涉及计算机图像处理技术领域，尤其涉及一种图像的聚类方法和装置以及设备。


背景技术：

2.目前的互联网点上平台飞速发展，服装类商品的交易量巨大。电商平台上的商品详情页是展示商品卖点的重要部分。通常服装类商品存在多种颜色的情况，在商品详情页中经常需要把相同颜色的多张展示图连续摆放。所以，通过计算机自动化制作商品详情页中，需要根据服装颜色特征对原始图片进行聚类，划分成各服装图集。由此首先需要提取图片中服装的颜色特征。此外，在相同或相似服装检索的系统中，服装颜色也是分词重要的基础特征。再有在制作店铺详情页的时候通常是同种颜色商品排版的时候一般是摆放在一起进行展示，那么这就需要前期人工的对本地的素材图库手动整理，同种色系的商品图需要存放到一起，方便详情页展示的时候放到同一模块下，而这也导致了每次新的商品上新都需要人工去处理，费时费力。


技术实现要素：

3.有鉴于此，本发明的目的在于提出一种图像的聚类方法和装置以及设备，能够有效解决以上问题。
4.为实现上述目的，本发明提供一种图像的聚类方法，所述方法包括：
5.获取多个待处理图像；
6.对每一所述待处理图像进行目标相关位置的定位，得到mask目标区域；
7.对所述mask目标区域内的像素进行kmeans聚类，提取对应每一所述待处理图像的预设个数的主色；
8.利用ciede2000颜色距离公式将主色个数相同的所述待处理图像进行运算归类，获得多个图像集合。
9.优选的，所述待处理图像所对应的图像类型为静物图或模特图；所述对每一所述待处理图像进行目标相关位置的定位的步骤包括：
10.对所述待处理图像的图像类型进行识别分类后，分别对所识别的所述静物图或所述模特图进行目标相关位置的定位。
11.优选的，所述对所述待处理图像的图像类型进行识别分类的步骤包括：
12.利用预先获取的图像训练集对所选取的ghostnet网络进行模型训练，得到前置分类器，通过所述前置分类器对所述待处理图像的图像类型进行识别分类。
13.优选的，所述对所识别的所述静物图进行目标相关位置的定位的步骤包括：
14.利用unet显著性检测模型对所述静物图提取显著性区域，以得到目标位置范围。
15.优选的，所述待处理图像包括服装图像，所述对所识别的所述模特图进行目标相关位置的定位的步骤包括：
16.利用pspnet对所述模特图中的人体进行多类分割，以分割所述模特图中的上下装位置。
17.优选的，所述对所述mask目标区域内的像素进行kmeans聚类，提取对应每一所述待处理图像的预设个数的主色的步骤包括：
18.对所述mask目标区域内的像素进行kmeans聚类后，得到对应每一所述待处理图像的前n个主色；
19.利用ciede2000颜色距离公式将距离小于第一阈值的前n个主色进行合并运算；
20.对运算后所得到的多个主色进行占比统计，得到对应所述待处理图像的前两个主色或前一个主色。
21.为实现上述目的，本发明还提供一种图像的聚类装置，所述装置包括：
22.获取单元，用于获取多个待处理图像；
23.定位单元，用于对每一所述待处理图像进行目标相关位置的定位，得到mask目标区域；
24.主色提取单元，用于对所述mask目标区域内的像素进行kmeans聚类，提取对应每一所述待处理图像的预设个数的主色；
25.图像归类单元，用于利用ciede2000颜色距离公式将主色个数相同的所述待处理图像进行运算归类，获得多个图像集合。
26.优选的，所述待处理图像所对应的图像类型为静物图或模特图；所述定位单元包括：
27.对所述待处理图像的图像类型进行识别分类后，分别对所识别的所述静物图或所述模特图进行目标相关位置的定位。
28.优选的，所述主色提取单元包括：
29.聚类单元，用于对所述mask目标区域内的像素进行kmeans聚类后，得到对应每一所述待处理图像的前n个主色；
30.合并运算单元，用于利用ciede2000颜色距离公式将距离小于第一阈值的前n个主色进行合并运算；
31.统计单元，用于对运算后所得到的多个主色进行占比统计，得到对应所述待处理图像的前两个主色或前一个主色。
32.为实现上述目的，本发明还提供一种设备，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序能够被所述处理器执行以实现如上述实施例所述的一种图像的聚类方法。
33.有益效果：
34.以上方案，通过对待处理图像进行定位所要的目标位置，对目标区域进行kmeans聚类提取主色，基于ciede2000标准对颜色进行归类后，最终将图片根据颜色进行有效的归类，能够有效去除背景的干扰，并且不会受到人体或其他因素的影响，进一步提高处理过程、以及提高聚类的精度，从而实现对图像准确的聚类。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1为本发明一实施例提供的一种图像的聚类方法流程示意图。
37.图2为一实施例提供的图像类型示意图。
38.图3为一实施例提供的服装目标区域定位的效果示意图。
39.图4为一实施例提供的聚类方法流程示意图。
40.图5为本发明一实施例提供的一种图像的聚类装置结构示意图。
41.图6为本发明一实施例提供的一种设备的结构示意图。
42.发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
43.为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
44.以下结合实施例详细阐述本发明的内容。
45.参照图1所示为本发明实施例提供的一种图像的聚类方法流程示意图。
46.在本实施例中，所述方法包括：
47.s11，获取多个待处理图像。
48.其中，所述待处理图像所对应的图像类型为静物图或模特图；所述对每一所述待处理图像进行目标相关位置的定位的步骤包括：
49.对所述待处理图像的图像类型进行识别分类后，分别对所识别的所述静物图或所述模特图进行目标相关位置的定位。
50.进一步的，对所述待处理图像的图像类型进行识别分类的步骤包括：
51.利用预先获取的图像训练集对所选取的ghostnet网络进行模型训练，得到前置分类器，通过所述前置分类器对所述待处理图像的图像类型进行识别分类。
52.其中，所述对所识别的所述静物图进行目标相关位置的定位的步骤包括：
53.利用unet显著性检测模型对所述静物图提取显著性区域，以得到目标位置范围。
54.其中，所述对所识别的所述模特图进行目标相关位置的定位的步骤包括：
55.利用pspnet对所述模特图中的人体进行多类分割，以分割所述模特图中的上下装位置。
56.在本实施例中，所述待处理图像包括服装图像。对于所获取的服装图像，需要对它们进行图像类型的识别分类，该图像类型包括静物图和模特图，如图2所示，图2中左边为静物图，右边为模特图。在不同场景下可以使用不同的手段来处理它们，由于ghostnet模块是
一种轻量化网络模块，在本实施例中，我们选取ghostnet网络进行实现，通过使用爬虫然后人工筛选后的图像数据集来训练模型，作为前置分类器来识别。进一步的，如果所识别的服装图像为模特图的话，在后续使用图像分割技术对人体进行解析，也就是对于模特图，在本实施例中使用pspnet进行人体进行多类分割，精准分割出上下装的位置；其中，pspnet是语义分割算法中的一种，整个网络结构相对简单，能够融合合适的全局特征，有着较好的多类分割精度和较好的实用性。如果所识别的服装图像是静物图的话，则使用显著性检测提取显著性区域，即对于静物图，在本实施例中使用unet显著性检测模型提取显著性区域；unet是一个稠密预测(分割)网络，其中的overlap-tile策略能够有效解决边缘区域没有上下文的问题，以及使用了加权损失以使得网络更加重视边缘像素的学习，从而实现更好的分割效果。上述两种操作的目的旨在定位出服装目标区域的位置，为后续的颜色聚类去除背景和其他无用区域的干扰，提高聚类的准确度。其中对图2中的原图分别进行服装位置的定位效果可参见图3所示的示意图。
57.s12，对每一所述待处理图像进行目标相关位置的定位，得到mask目标区域。
58.在本实施例中，该目标相关位置的定位为服装相关位置的定位。由于我们需要提取服装颜色作为商品的主色，但是如果对整张图进行聚类，那么就会提取出很多杂色，干扰后续的效果，所以在提取颜色之前需要聚焦在我们所感兴趣的区域，从而获取了服装mask目标区域。mask掩膜是用一副二值化图片对另外一幅图片进行局部的遮挡，即，用选定的图像、图形或物体对待处理的图像(全部或局部)进行遮挡，来控制图像处理的区域或处理过程。mask其实就是位图，来选择哪个像素允许拷贝，哪个像素不允许拷贝，如果mask像素的值是非0的，从而就拷贝它，否则不拷贝。
59.s13，对所述mask目标区域内的像素进行kmeans聚类，提取对应每一所述待处理图像的预设个数的主色。
60.其中，所述对所述mask目标区域内的像素进行kmeans聚类，提取对应每一所述待处理图像的预设个数的主色的步骤包括：
61.s13-1，对所述mask目标区域内的像素进行kmeans聚类后，得到对应每一所述待处理图像的前n个主色；
62.s13-2，利用ciede2000颜色距离公式将距离小于第一阈值的前n个主色进行合并运算；
63.s13-3，对运算后所得到的多个主色进行占比统计，得到对应所述待处理图像的前两个主色或前一个主色。
64.在本实施例中，在获取了服装mask目标区域之后，进一步对mask目标区域内的像素进行kmeans聚类，提取前n个主色，进一步的，为了能够实现更精准的颜色聚拢效果，其前n个主色至少为top5，优选前n个主色为top8主色。kmeans是目前最常用的基于欧式距离的聚类算法，其认为两个目标的距离越近，相似度越大；通过使用kmeans在处理数据集时，能够保证有较好的伸缩性、且算法复杂度低，从而实现效果较好的聚类。而因为kmenas内部是使用欧式距离来度量颜色间的距离，部分相近色被拆分成了不同主色，所以为了提取更加精准的前n个主色，进一步使用ciede2000颜色距离公式重新对提取的前n个主色之间再做度量，将距离低于阈值8的主色再次合并(求平均)，对重新计算后得到的若干个主色做占比统计，如果top2的主色占比大于20％那么返回对应服装图像的主色为2个，否则只返回top1
的主色。
65.s14，利用ciede2000颜色距离公式将主色个数相同的所述待处理图像进行运算归类，获得多个图像集合。
66.如图4所示。在本实施例中，通过上述步骤的处理之后得到了每张服装图像的主色(部分服装图像可能有2个主色)，因为有些服饰并不是简单的纯色，所以在这里通过可能存在的top2的主色来应对多色情况(2个主色已经足够表征一件服饰了)，因此这里就划分出了两类图像了，包括主色只有一个的和主色有两个的。例如图3中所提出的的主色均为1个。进一步的，再次使用ciede2000颜色距离准则来对所有服装图像(主色数量相同)进行重新“聚类”。其中，该聚类的逻辑为：随机选取一张服装图像，与剩余的服装图像计算颜色距离(2个主色的则是分别计算然后求平均)，颜色距离低于阈值8的归为一类，后续不再参与计算，随后随机选取剩余服装图像的某一张继续刚才的操作，直至遍历完所有的服装图像。最终就将所有的图像基于颜色聚出了n个不同的类。
67.参照图5所示为本发明实施例提供的一种图像的聚类装置结构示意图。
68.本实施例中，该装置50包括：
69.获取单元51，用于获取多个待处理图像。
70.定位单元52，用于对每一所述待处理图像进行目标相关位置的定位，得到mask目标区域。
71.进一步的，所述待处理图像所对应的图像类型为静物图或模特图；所述定位单元52包括：
72.类型识别单元，用于对所述待处理图像的图像类型进行识别分类后，分别对所识别的所述静物图或所述模特图进行目标相关位置的定位。
73.其中，所述类型识别单元包括：
74.利用预先获取的图像训练集对所选取的ghostnet网络进行模型训练，得到前置分类器，通过所述前置分类器对所述待处理图像的图像类型进行识别分类。
75.其中，所述对所识别的所述静物图进行目标相关位置的定位包括：
76.利用unet显著性检测模型对所述静物图提取显著性区域，以得到目标位置范围。
77.所述对所识别的所述模特图进行目标相关位置的定位包括：
78.利用pspnet对所述模特图中的人体进行多类分割，以分割所述模特图中的上下装位置。
79.主色提取单元53，用于对所述mask目标区域内的像素进行kmeans聚类，提取对应每一所述待处理图像的预设个数的主色。
80.进一步的，所述主色提取单元53包括：
81.聚类单元，用于对所述mask目标区域内的像素进行kmeans聚类后，得到对应每一所述待处理图像的前n个主色；
82.合并运算单元，用于利用ciede2000颜色距离公式将距离小于第一阈值的前n个主色进行合并运算；
83.统计单元，用于对运算后所得到的多个主色进行占比统计，得到对应所述待处理图像的前两个主色或前一个主色。
84.图像归类单元54，用于利用ciede2000颜色距离公式将主色个数相同的所述待处
理图像进行运算归类，获得多个图像集合。
85.该装置50的各个单元模块可分别执行上述方法实施例中对应步骤，故在此不对各单元模块进行赘述，详细请参见以上对应步骤的说明。
86.本发明实施例还提供一种设备，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序能够被所述处理器执行以实现如上述实施例所述的一种图像的聚类方法。
87.如图6所示，该设备可包括但不仅限于处理器61、存储器62。本领域技术人员可以理解，所述示意图仅仅是该设备的示例，并不构成对该设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述设备还可以包括输入输出设备、网络接入设备、总线等。
88.所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述设备的控制中心，利用各种接口和线路连接整个设备的各个部分。
89.所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述设备的各种功能。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
90.其中，所述设备集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
91.需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
92.上述实施例中的实施方案可以进一步组合或者替换，且实施例仅仅是对本发明的优选实施例进行描述，并非对本发明的构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中专业技术人员对本发明的技术方案作出的各种变化和改进，均属于本发明的保护范围。