基于时尚图迁移的特定行人衣物解析方法及系统与流程

本发明涉及监控图像分割
技术领域：
，涉及一种行人衣物解析方法，尤其涉及一种基于时尚图迁移的特定行人衣物解析方法及系统。
背景技术：
：衣物解析是一种针对具体衣物及人体部件的图像分割任务。虽然衣物解析是计算机视觉中近些年才兴起的研究热点，但其已广泛应用于人物识别、姿态估计、时尚图解析等领域。特别是与时尚图相关的衣物解析取得了较为成功的研究成果与应用，如：服装检索、电子商务等。与此同时，尽管针对监控视频中行人的衣物解析可以得到行人身份、位置、遮挡等智能安防系统中的关键信息，可为打击犯罪、维护社会安全方面提供有效手段，但与时尚图相比，目前对监控中的衣物解析的成果仍十分有限。目前实际监控场景中的衣物解析，主要面临两方面的挑战：(1)复杂的环境干扰，如光照变化、视角变化、低分辨率、运动模糊等；(2)分割标注工作任务量繁重，尤其流行的深度模型对训练数据量提出了更高的要求。虽然在高清时尚图像集中利用低级特征加人物姿态的方法取得了一定的效果[1]～[2]，并在后来结合深度学习取得了更好的成果[3]，但受限于监控场景的条件制约，监控视频中的衣物解析的相关进展较为缓慢。若能将高清图集中获取的信息迁移到监控图集中无疑是一种理想的解决上述两者挑战的途径。然而现有迁移方法仅仅关注属性级别的迁移[4]～[5]。针对以上问题，本发明提出了一种基于时尚图迁移的特定行人衣物解析方法，该方法可以利用时尚领域的衣物信息，通过迁移学习将其应用于监控领域，保留了时尚图集的优势，改善了监控衣物解析效果，并极大地减轻数据标注量。对已有类似的解析工作展开分析，迄今为止已有公开专利13项，但没有与本项发明确切相关的“衣物解析”任务，下面列出其中与本发明最为相关的6项公开专利的分析。中国专利文献号cn102521565b，公开(公告)日2014.02.26，公开了一种低分辨率视频的服装识别方法，其首先利用背景建模技术获得人体分割区域，再利用人体生物特征对人体进行分块，通过颜色纹理特征与预设的库特征对比，得到服装的类别。该发明主要考虑服装的类别区分，仅给出服装的大致位置，没有考虑服装的上下边缘的像素级分割信息，因而还有优化空间。中国专利文献号cn105760999a，公开(公告)日2016.07.13，公开了一种衣服推荐管理方法及系统，在衣服提取阶段，其采用了人脸定位人体位置，再结合衣服的边缘信息确定衣服区域的方法，然后通过衣物识别为该区域添加衣物标签，然而该方法仅得到衣服的矩形区域，而非像素级别的分割区域。中国专利文献号cn103578004a，公开(公告)日2014.02.12，公开了一种用于展示虚拟试衣效果的方法，在提取人体分割区域时，首先获取图像四个顶点的像素点的颜色平均值作为背景色，然后计算图像每个像素与背景色的rgb加权色差，再得到二值化图像获得人体分割区域。然而该发明主要针对人体进行分割，缺少了对衣物信息的挖掘。中国专利文献号cn104794722a，公开(公告)日2015.07.22，公开了利用单个kinect计算着装人体三维净体模型的方法，该发明在提取人体分割区域时通过kinect摄像头，捕捉着装人体rgb-d图像及骨架信息，提取人体深度图像后去噪，利用深度信息，然后将人体分为多个刚性部位，该方法与本发明的区别在于利用了额外的深度信息，并且无法得到衣物的类别信息。中国专利文献号cn104504745a，公开(公告)日2015.04.08，公开了一种基于图像分割和抠图的证件照生成方法，在人像分割阶段，其计算图像梯度，根据图像梯度对图像进行采样，得到一组前景、背景候选点集合。但其分割对象为含有衣服的上半身人像，与本发明所提的衣物解析不同。中国专利文献号cn103345744a，公开(公告)日2013.10.09，公开了一种基于多图像的人体目标部件自动解析方法，给定多个人体目标图像的基础上，利用目标间存在的共现性，自动地实现图像中人体目标部件解析。所述方法迭代地执行人体目标分类模块和人体目标解析模块，直到达到终止条件。然而该方法主要针对人体部件的解析，并没有进一步发掘出具体的衣物信息。相关参考文献：[1]kotayamaguchi,mhadikiapour,luiseortiz,andtamaralberg,“parsingclothinginfashionphotographs,”incomputervisionandpatternrecognition(cvpr),2012ieeeconferenceon.ieee,2012,pp.3570–3577.[2]kotayamaguchi,m.hadikiapour,andtamaralberg,“paperdollparsing:retrievingsimilarstylestoparseclothingitems,”inieeeinternationalconferenceoncomputervision,2013,pp.3519–3526.[3]pongsatetangseng,zhipengwu,andkotayamaguchi,“lookingatoutfittoparseclothing,”inproceedingsoftheieeeconferenceoncomputervisionandpatternrecognition,2017[4]qiangchen,junshihuang,rogerioferis,lisambrown,jiandong,andshuichengyan,“deepdomainadaptationfordescribingpeoplebasedonfine-grainedclothingattributes,”inproceedingsoftheieeeconferenceoncomputervisionandpatternrecognition,2015,pp.5315–5324[5]zhiyuanshi,timothymhospedales,andtaoxiang,“transferringasemanticrepresentationforpersonre-identificationandsearch,”inproceedingsoftheieeeconferenceoncomputervisionandpatternrecognition,2015,pp.4184–4193.技术实现要素：针对现有技术在监控环境下行人衣物解析的空缺，本发明提供了一种基于时尚图迁移的特定行人衣物解析方法。本发明基于时尚图迁移的特定行人衣物解析方法，包括：s1采用全卷积网络对时尚数据集进行训练，得到初始化的衣物解析模型；所述衣物解析模型用来解析人物图像，并预测各像素的衣物标签及各衣物标签对应的位置；s2监控图像中使用条带的强约束修正初始化的衣物解析模型，具体为：根据人体各部位比例的统计数据，采用条带将监控图像中行人划分为若干横向区域，各横向区域对应人体一部位，即一衣物标签对应一条带；采用衣物解析模型解析监控图像，获得各衣物标签对应像素的位置的解析结果，将该解析结果乘以衣物标签对应的fn(y)，以修正衣物解析模型；所述其中，y表示衣物标签对应像素预测的纵坐标；n表示衣物标签的序号；fn(y)表示序号为n的衣物标签在纵坐标为y时衣物解析模型预测正确的可能性；tn、bn分别表示第n个衣物标签对应条带的上边缘和下边缘的纵坐标；hn表示条带高度；αn、βn表示两个约束参数，为经验值；s3监控数据集中，采用示例迁移学习法更新衣物解析模型；本步骤进一步包括子步骤：s310以时尚数据集初始化训练数据集；s320对监控数据集中各监控图像分别进行解析处理，并更新训练数据集；具体为：s321采用步骤s2方法修正后的衣物解析模型对监控图像进行解析，获得解析结果；s322计算监控图像的置信度c＝ch·cl；采用经典cnn模型全局评估监控图像的分割图，获得置信度ch；所述cl表示对监控图像中衣物标签分别计算其对应的置信度，所述其中，f(·)是双曲正切函数；wp和wa分别表示位置项和面积项的权重；dp表示监控图像中衣物标签中心位置和该衣物标签对应部位的平均中心位置的欧氏距离，所述平均中心位置为从监控数据集获得的统计值；g(|al-a0|)表示al向量和a0向量的差的平均值，al的计算具体为：计算各衣物标签所占面和总解析面积的比构成向量；a0表示衣物标签对应部位的平均面积比，具体为当前衣物标签对应部位所占面积和总解析面积的比的平均值构成向量，该平均面积比为从监控数据集获得的统计值；s323比较置信度和置信度阈值的大小，若置信度大于置信度阈值，将该监控图像以及对应的解析结果放入训练数据集；否则，不放入训练数据集；s234对监控数据集中各监控图像分别重复步骤s321～s323，得到更新后的训练数据集；s330采用全卷积网络对更新后的训练数据集进行训练，得到更新后的衣物解析模型，采用步骤s2方法修正更新后的衣物解析模型；s340重复步骤s320～330直至收敛，所述收敛条件为：前后两次迭代获得的训练数据集中图像样本的平均置信度的变化值不超过预设值。步骤s1具体为：以时尚数据集中高清彩色人物图像为输入数据，利用高清彩色人物图像的分割图像作为标注信息进行训练，得到的模型即初始化的衣物解析模型m。本发明基于时尚图迁移的特定行人衣物解析系统，包括：第一模块，用来采用全卷积网络对时尚数据集进行训练，得到初始化的衣物解析模型；所述衣物解析模型用来解析人物图像，并预测各像素的衣物标签及各衣物标签对应的位置；第二模块，用来监控图像中使用条带的强约束修正初始化的衣物解析模型；所述第二模块，进一步包括：：条带划分模块，用来根据人体各部位比例的统计数据，采用条带将监控图像中行人划分为若干横向区域，各横向区域对应人体一部位，即一衣物标签对应一条带；修正模块，用来采用衣物解析模型解析监控图像，获得各衣物标签对应像素的位置的解析结果，将该解析结果乘以衣物标签对应的fn(y)，以修正衣物解析模型；所述其中，y表示衣物标签对应像素预测的纵坐标；n表示衣物标签的序号；fn(y)表示序号为n的衣物标签在纵坐标为y时衣物解析模型预测正确的可能性；tn、bn分别表示第n个衣物标签对应条带的上边缘和下边缘的纵坐标；hn表示条带高度；αn、βn表示两个约束参数，为经验值；第三模块，用来监控数据集中，采用示例迁移学习法更新衣物解析模型；所述第三模块，进一步包括：初始化模块，用来以时尚数据集初始化训练数据集；更新模块，用来对监控数据集中各监控图像分别进行解析处理，并更新训练数据集；具体为：s321采用第二模块修正后的衣物解析模型对监控图像进行解析，获得解析结果；s322计算监控图像的置信度c＝ch·cl；采用经典cnn模型全局评估监控图像的分割图，获得置信度ch；所述cl表示监控图像中衣物标签分别计算其对应的置信度，所述其中，f(·)是双曲正切函数；wp和wa分别表示位置项和面积项的权重；dp表示监控图像中衣物标签中心位置和该衣物标签对应部位的平均中心位置的平均欧氏距离，所述平均中心位置为从监控数据集获得的统计值；g(|al-a0|)表示al向量和a0向量的差的平均值，al的计算具体为：计算各衣物标签所占面和总解析面积的比构成向量。a0表示衣物标签对应部位的平均面积比，具体为当前衣物标签对应部位所占面积和总解析面积的比的平均值构成向量，该平均面积比为从监控数据集获得的统计值；s323比较置信度和置信度阈值的大小，若置信度大于置信度阈值，将该监控图像以及对应的解析结果放入训练数据集；否则，不放入训练数据集；s234对监控数据集中各监控图像分别重复步骤s321～s323，得到更新后的训练数据集；训练模块，用来采用全卷积网络对更新后的训练数据集进行训练，得到更新后的衣物解析模型，采用步骤s2方法修正更新后的衣物解析模型；收敛判断模块，用来判断是否收敛，所述收敛条件为：前后两次迭代获得的训练数据集中图像样本的平均置信度的变化值不超过预设值。和现有技术相比，本发明具有如下特点和有益效果：本发明借助于弱标签，使用迁移学习学习将衣物解析从时尚领域迁移到监控领域。更加具体的，本发明提出了一种新的弱监督衣物解析方法，将时尚训练模型迁移到监控场景中；并引入了条带约束进行衣服解析，无需对目标数据集进行任何像素级的标签工作。通过试验验证，本发明更为灵活性，可以结合任何分割算法，并获得了较好的衣物解析效果。附图说明图1为本发明中采用的条带约束示意图；图2为实施例中的解析结果图例；图3为本发明中用示例迁移学习处理迁移问题流程。具体实施方式为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步的详细描述，应当理解，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限定本发明。本发明认为高级特征对衣物是一种很好的信息表达，因此本发明着重于改善高级语义特征来对行人衣物的特征描述。本发明方法，首先，通过训练时尚数据集初始化解析模型；然后，利用该解析模型解析监控图像，与现有的解析方法不同，本发明引入条带约束监控场景中的衣物；最后，利用监控数据集中的弱标签，通过示例迁移学习处理迁移问题。具体实现步骤如下：步骤1：初始化衣物解析模型。采用全卷积网络(fcn)，对时尚数据集进行训练，所述时尚数据集为全身摆拍的高清彩色人物图像的集合。所述训练具体为：以时尚数据集中的高清彩色人物图像作为输入数据，利用高清彩色人物图像的分割图像作为标注信息进行训练，得到的模型即初始化的衣物解析模型m。所述衣物解析模型用来解析人物图像，并预测各像素的衣物标签及各衣物标签对应的位置。fcn是一种针对分割应用的端到端的神经网络架构。本发明中，将最后一个输出层21类改为45类，即训练一个具有45个类的端对端全卷积网络，然后将给出的人物图像放入网络中，以输出每像素的衣物预测。步骤2：监控图像中使用条带的强约束来修正初始化的衣物解析模型。在步骤1获得初步解析结果后，在监控图像中使用称为条带的强约束来修正初始化的衣物解析模型m。通过条带将监控图像中的每个行人划分成几个横向区域，各横向区域分别对应人体的一个部位，也是对应一个衣物标签。所述部位包括头颈部、上身和下身。条带的划分根据人体各部位比例的统计数据进行，这些条带形成的掩膜可以避免错误预测。除了背景，每个衣物标签都拥有自己的条带。本发明提出了条带掩模公式，采用链式函数表达，考虑了垂直方向的像素变化，定义如下，式(1)中：y表示图像中像素在竖直方向的坐标,即像素纵坐标；n表示衣物标签的序号，衣物标签用来表示衣物类别；fn(y)表示序号为n的衣物标签在纵坐标为y时的模型m预测正确的可能性，越远离条带，可能性越低；每个衣物标签都会对应一个条带，tn、bn分别表示第n个衣物标签对应条带的上边缘和下边缘的纵坐标；hn表示条带高度；αn、βn表示两个约束参数，为经验值，本实施例中，αn、βn从ppss(监控场景行人解析数据集)的步行分割统计得出。采用衣物解析模型m可获得各像素的衣物标签及各衣物标签对应的位置的预测结果。由公式(1)可以看出，采用衣物解析模型m获得各衣物标签对应像素的位置的预测结果，判断像素位置是否落在该衣物标签所对应的条带内，若落入所对应的条带内，即tn＜y＜bn时，则认为其预测正确的可能性为1；而远离条带时，衣物解析模型m的预测结果就会产生衰减，则该位置的预测结果乘以fn(y)，以此纠正模型。这里，y特指衣物标签对应像素预测的纵坐标。步骤3：在监控数据集中，用示例迁移学习法更新衣物解析模型m。本发明认为时尚数据图与监控数据集存在一部分重叠的特征交集，通过寻找该交集区域内的特征，实现模型从时尚数据图到监控数据集的过度。本步骤具体包括以下子步骤；步骤3.1：初始训练数据集d。以时尚数据集初始化训练数据集d，后续迭代更新过程中将不断补充监控数据集中解析效果好的监控图像用于更新训练数据集。步骤3.2：采用步骤s2方法修正后的衣物解析模型对监控数据集中各监控图像进行解析处理，并更新训练数据集d；具体可分为以下子步骤：步骤3.2.1：取出监控数据集中一监控图像i；步骤3.2.2：采用步骤s2方法修正后的衣物解析模型m对监控图像i进行解析并输出解析结果图l，见图2。步骤3.2.3：计算监控图像i的置信度c，具体公式为c＝ch·cl。ch为通过经典cnn模型的高级特征获取的置信度，用于全局评估图像分割结果。该训练集的正样本从ppss数据集获取，负样本则利用部分初始模型中解析失败的结果。cl表示仅考虑用每个标签结果的位置和面积来表示低级信息，具体公式如下:式(2)中：f(·)是双曲正切函数；wp和wa分别表示位置项和面积项的权重；dp表示监控图像中各衣物标签中心位置和该衣物标签对应部位的平均中心位置的欧氏距离的平均值，所述该衣物标签对应部位的平均中心位置为从监控数据集获得的统计值；g(|al-a0|)表示al向量和a0向量的差的平均值，al的计算具体为：分别计算各衣物标签所占面积和总解析面积的比，构成al向量，al向量中各元素是分别和各衣物标签对应的面积比。a0表示衣物标签对应部位的平均面积比，为从监控数据集获得的统计值；a0的计算具体为：对监控数据集中各监控图像，分别计算各衣物标签对应部位所占面积和总解析面积的比的平均值，构成a0向量，a0向量中各元素是分别和各衣物标签对应的平均面积比；本实施例中，将wp和wa均设置为1，意味dp和|al-a0|具有相等的权重。步骤3.2.4：比较置信度和置信度阈值的大小，若置信度大于置信度阈值，则将监控图像i以及对应的解析结果l放入到训练数据集d中；否则，不放入训练数据集d中。本实施例中置信度阈值设为0.5。步骤3.2.5：重复步骤3.2.1～3.2.4，对监控数据集中每一张监控图像逐一解析，得到更新后的训练数据集d；步骤3.3：计算当前的训练数据集的平均置信度cmean，并判断当前的训练数据集和上一训练数据集的平均置信度的变化值是否超过预设值；若未超过，则收敛，结束；否则，继续执行步骤3.4。式(3)中，m表示训练数据集中样本的总数，ck表示第k张训练样本的置信度。步骤3.4：采用步骤1的方法，利用全卷积网络对更新后的训练数据集d进行训练，得到更新后的衣物解析模型m。步骤3.5：重复步骤3.2-3.4至平均置信度cmean收敛为止，该情况下所对应的模型即为最终的模型m。所述收敛指两次平均置信度的变化值不超过0.05。实施例本实施例所采用的时尚数据集包括“时尚人”数据集(简称：fashionista)和“衣物联合解析”数据集(简称：ccp)；所采用的监控数据集包括麻省理工学院提供的行人数据集(简称mit)和“行人重识别”数据集(简称：prid)。本实施例中，将时尚数据集作为初始化的训练数据集，监控数据集中取100张监控图像作为测试数据集，余下的作为迁移训练数据集。试验过程中时尚数据集和监控数据集两两交叉，共进行四组试验，包括：fa-mit(从fashionista迁移到mit,下同)、fa-prid、ccp-mit、ccp-prid。本发明采用前景精度来考核实验效果。前景精度指的是图像前景区域分割准确的面积占真实分割标注中整个前景区域面积的百分比。可以看到不做迁移学习的方法在进行衣物解析时，得到的前景精度都不太理想。而本发明所提的方法显着提高了前景精度。从表1中可以看出，通过示例迁移学习进行准确迁移的结果与迁移前的结果相比有60％左右的提升。表1衣物解析下的平均前景精度迁移数据集fa-mitfa-pridccp-mitccp-prid迁移前0.1990.1120.1790.123迁移前+已知衣物类别0.3280.2440.2940.241迁移后0.2960.2420.2610.262迁移后+已知衣物类别0.5530.3990.4540.391应当理解的是，本说明书未详细阐述的部分均属于现有技术。应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。当前第1页12