技术特征：
1.一种基于分割图像特征提取的推荐方法，其特征在于，包括以下步骤：(1)收集全身图像、图像中衣物的实体掩码、实体掩码对应的类型标签作为第一数据集，以及收集单品图像、描述标签作为第二数据集，所述的描述标签包括类型标签、质料标签、部件标签、形状标签、纹理标签；(2)构建并训练基于混合任务级联式神经网络的服装分割分类模型，训练时采用第一数据集作为训练集；(3)构建并训练基于残差网络的五个特征提取模型，训练时采用第二数据集作为训练集；(4)对目标服装图像进行服装实体分割并提取特征，获得分割得到的目标单品服装图像特征；(5)把单品服装图像数据集作为用于推荐的服装图像库，提取每件单品服装图像的特征；根据服装图像库中的单品服装图像的特征建立树结构，依据所分割得到的目标单品服装图像特征，在服装图像库内获取相似服装图像作为推荐。2.根据权利要求1所述的基于分割图像特征提取的推荐方法，其特征在于，在第一训练集中，训练数据属性包括图像编号、实体掩码、高度、宽度、分类编号。3.根据权利要求2所述的基于分割图像特征提取的推荐方法，其特征在于，在对服装分割分类模型训练之前，还包括对第一数据集进行预处理的步骤，具体为：针对第一数据集中的每一张全身图像，根据实体掩码和高度，计算每一个掩码像素点，得到类型标签对应的掩码矩阵。4.根据权利要求3所述的基于分割图像特征提取的推荐方法，其特征在于，掩码矩阵的计算过程为：针对某实体掩码“x1*height+y1 l1 x2*height+y2 l2 x3*height+y3 l3
…
xi*height+yi li”和已知的高度值height，分别转储游程编码字符串为两列表[x1*height+y1，x2*height+y2，x3*height+y3
…
xi*height+yi]和[l1，l2，l3
…
li]，这两列表分别为编码对的起始掩码值和对应的长度；然后两列表相加得到终止掩码值[x1*height+y1+l1，x2*height+y2+l2，x3*height+y3+l3
…
xi*height+yi+li]；其中，(xi，yi)为掩码像素点，li为长度；对掩码值xi*height+yi，除以height，商为xi，余数为yi，可得对应坐标位点(xi，yi)；新建与图像长度、宽度一致的二值矩阵，对起止坐标，即(xi，yi)到(xi，yi+li)之间的点赋值，得到存储有该掩码所包含的所有像素位点的掩码矩阵。5.根据权利要求3所述的基于分割图像特征提取的推荐方法，其特征在于，将预处理后的第一数据集中的全身图像作为服装分割分类模型的输入，得到预测的服装实体掩码矩阵；根据预测的服装实体掩码矩阵与实际计算得到的掩码矩阵之间的损失对服装分割分类模型进行训练，得到训练好的服装分割分类模型。6.根据权利要求1所述的基于分割图像特征提取的推荐方法，其特征在于，所述的服装分割分类模型采用基于混合任务级联式区域卷积神经网络。7.根据权利要求1所述的基于分割图像特征提取的推荐方法，其特征在于，在对服装分割分类模型训练之前，还包括对第一数据集中的全身图像进行图像增强的处理步骤。8.根据权利要求1所述的基于分割图像特征提取的推荐方法，其特征在于，所述的步骤3具体为：
(3.1)建立五个结构相同的resnet50模型，分别用于预测单品服装的类型、质料、部件、形状和纹理；(3.2)将第二数据集中的单品图像和类型标签作为第一个resnet50模型的输入，根据预测得到的类型与实际类型标签作比较，对第一个resnet50模型进行训练；将第二数据集中的单品图像和质料标签作为第二个resnet50模型的输入，根据预测得到的质料与实际质料标签作比较，对第二个resnet50模型进行训练；以此类推，根据5种不同属性的标签分别训练得到一个相对应的resnet50模型。9.根据权利要求1所述的基于分割图像特征提取的推荐方法，其特征在于，所述的步骤(4)具体为：(4.1)将目标服装图像输入到步骤s02训练好的服装分割分类模型中，输出所预测的服装实体掩码矩阵；根据预测掩码矩阵从目标服装图像中分割出对应的目标单品服装图像；(4.2)把分割后的目标单品服装图像分别输入到步骤s03训练好的五个特征提取模型中，将每一个特征提取模型中全连接层的输出作为一项特征数据；(4.3)把由五个特征提取模型得到的全连接层的五项特征数据连接起来，作为目标单品服装图像特征。10.根据权利要求1所述的基于分割图像特征提取的推荐方法，其特征在于，所述的步骤(5)具体为：(5.1)把单品服装图像数据集作为用于推荐的服装图像库，对每件单品服装图像通过步骤s03中训练好的五个特征提取模型提取图像特征，作为用于推荐的单品服装图像特征；(5.2)根据用于推荐的单品服装图像特征建立树结构：使用随机投影，创建多个点，执行k
‑
means聚类过程，确定点集聚类的两个质心，以它们为根节点建立分支，不断迭代构建一棵树，最后在树中的每个中间节点，都有一个随机超平面将空间分成两个子空间；通过从子空间中采样两个点并选择与它们等距的超平面来选择此超平面；在该过程中，通过遍历所有的节点，一边判定节点所属的分支，一边更新中心节点的位置，直到找到二聚类的中心，确定超平面，并在超平面划分的子空间继续这一过程，直到所有二叉树叶子节点都只包含小于k个向量，除了叶子结点以外的其它节点都记录着划分超平面的信息，得到用于推荐的单品图像特征的森林结构。最后，通过使用汉明距离将森林结构处理成底层编码，通过计位查找函数提升速度。(5.3)依据所分割得到的目标单品服装图像特征，在用于推荐的服装图像库内获取相似服装图像作为推荐：在查找时使用分割得到的目标单品服装图像特征遍历用于推荐的单品服装图像特征的森林，不断地与森林中树的中间结点的超平面信息做比较，确定这个节点是在这棵树的哪一个分支，最后到叶子节点确定推荐的单品服装图像集合。
技术总结
本发明公开了一种基于分割图像特征提取的推荐方法，包括：(1)收集服装图像数据集作为训练对象；(2)构建并训练基于混合任务级联式区域卷积神经网络的服装分割分类模型；(3)构建并训练基于残差网络的五个特征提取模型；(4)对目标图像进行服装实体分割并特征提取；(5)依据所分割服装的特征提取结果在推荐库内计算相似度进行推荐。本发明的方法去除了特征提取的背景干扰，对于图像噪声、复杂的服装干扰下仍保持着出色的识别和分割能力，可以在推荐系统中高效地对分割后的服装分别检索出相似的服装作为推荐。似的服装作为推荐。似的服装作为推荐。
技术研发人员：柴春雷 周子理 廖婧 孙守迁
受保护的技术使用者：浙江大学
技术研发日：2021.05.18
技术公布日：2021/9/9