一种虚拟真人试衣方法
【专利摘要】本发明公开了一种虚拟真人试衣方法，其特征在于：将不同尺寸、不同款式的服装由对应体型和风格的模特穿着，并由模特完成规定的动作，录下试穿过程的视频；试衣时，找出与试衣者体型和风格相近的模特以及该模特的试衣视频，实时显示试衣者的头部，同时识别试衣者的肢体动作，并将试衣者身体部分替换为具有相似动作的模特身体显示，形成试衣者的试衣效果视频；本发明能够自动地识别试衣者体型、肢体动作，并将试衣者的身体部分替换为模特的身体部分，同时，本发明未对人物或衣服进行三维建模，保留了衣服的纹理以及随肢体动作引起的折叠、舒展等细节，因此最终展现出的试衣效果更加真实。
【专利说明】
一种虚拟真人试衣方法
技术领域
[0001]本发明具体涉及一种虚拟真人试衣方法，属于计算机视觉技术领域。
【背景技术】
[0002]现有技术中，在传统的线下购买服装时，客户往往需要脱掉身上衣服，试穿候选的衣服，经过多次的试穿及对比，客户也消耗了大量的时间；随着互联网B2C、C2C等电子商务模式的兴起，出现了许多虚拟试衣产品，这些产品大都是通过建立一个与试衣者身材相近的三维模型，以及每件衣服的三维模型，试衣时将衣服模型与人的模型相融合;或者将三维衣服模型直接与真人图像相融合等等，以此达到虚拟试衣目的。
[0003]然而这类虚拟试衣系统的缺陷也很明显，例如衣服模型的真实感不强；其次卖方需要制作每件衣服(或试衣者)的三维模型用于随时调用，但其工作量较大，随着试衣者的数量增加及衣服款式的增加，该方法由于其工作量巨大，逐渐变的不可取。
【发明内容】
[0004]本发明所要解决的技术问题是，克服现有技术的缺点，提供一种虚拟试衣系统及其应用方法。
[0005]为了解决以上技术问题，本发明提供一种虚拟真人试衣方法，首先，将不同尺寸、不同款式的服装由对应体型和风格的模特穿着，并由模特完成规定的动作，且录下试穿过程的视频;试衣时，找出与试衣者体型和风格相近的模特以及该模特的试衣视频，实时显示试衣者的头部，同时识别试衣者的肢体动作，并将试衣者身体部分替换为具有相似动作的模特身体显示，形成试衣者的试衣效果视频。
[0006]具体步骤为:
步骤1:准备阶段，商家将所有不同型号、款式的服装让不同体型、风格的模特进行试穿，为方便后期的视频处理，试衣间内的背景被调整为单一的颜色，然后让模特做若干种动作，用视频录制整个试衣过程；
步骤2:对模特视频进行人脸检测在人脸附近的一个较大的局部区域内，利用肤色检测分割出人脸以及与之连通的颈部区域；由于试衣间背景是单一颜色，能够显著地区别于其它物体，因此利用区域增长算法将颜色相近的邻居像素合并到种子区域，进而分割出模特的身体、背景以及头发等区域，然后记录颈部和身体这两个区域的公共边界线，用另一段视频保存已分割出的模特身体图像序列；
步骤3:利用同样的方法检测试衣者视频中的人脸，分割出头部、身体及背景区域，身体区域赋值为背景颜色，实时显示头部，然后计算动作特征；用该动作特征与系统中预先保存的模特动作特征逐个地作相似度计算，将相似度最高的特征对应的模特身体视频作为动作识别结果；
步骤4:通过对视频的图像序列进行降采样或者等间隔插值运算等线性拉伸方法，使得模特和试衣者这两段视频具有相同的帧数， 步骤5:对试衣者视频中的每一帧图像，将相同帧序号的模特身体区域平移至试衣者的身体区域，并满足模特和试衣者两者的颈部与身体公共边界线的重心重合，将模特身体在该重心的附近进行局部微调，使得试衣者颈部与公共边界线所形成的空洞区域面积最小，使用近邻的像素填充这些空洞区域。
[0007]本发明进一步限定的技术方案是:
进一步的，前述的一种虚拟真人试衣方法，对于每位模特而言，需要试穿多款适合该模特的衣服，每试穿一款衣服都需要完成若干种规定的肢体动作，录下每一种肢体动作并保存。
[0008]前述的一种虚拟真人试衣方法，在录制模特试穿过程的视频时，通过体感传感器获得试衣者的连续动作姿态信息，将这些特征数据组合起来形成肢体动作特征；
使用体感器捕获模特视频每一帧的骨骼姿态，计算特定几个关节点之间的夹角，获取参与夹角运算的关节点的深度信息，将深度数据归一化与夹角数据组成一个向量，该向量即为一帧图像的姿态特征，视频的动作特征可以用每帧图像的特征向量组合起来表示;将视频特征数据与对应的视频文件关联起来进行保存；
然后在所选定的模特的视频集合中，根据试衣者的肢体动作特征，找到一段与试衣者动作最为相似的模特视频。
[0009]前述的一种虚拟真人试衣方法，在试衣者进行试衣时将模特视频的帧序列进行降采样或者最近邻插值，使得试衣者和模特这两段视频具有相同的帧数;对两段视频的每一帧图像，分割出其中的头部及身体区域，将相同帧号的模特身体覆盖试衣者的身体部分与试衣者的头部合成，形成试衣者的试衣视频。
[0010]本发明的有益效果是:
本发明能够自动地识别试衣者体型、肢体动作，并将试衣者的身体部分替换为模特的身体部分，同时，本发明未对人物或衣服进行三维建模，保留了衣服的纹理以及随肢体动作引起的折叠、舒展等细节，因此最终展现出的试衣效果更加真实。
【附图说明】
[0011]图1为本发明所设计的虚拟真人试衣方法的流程示意图。
【具体实施方式】
[0012]实施例1
本实施例提供的一种虚拟真人试衣方法，包括以下步骤:
1.准备阶段，商家将所有不同型号、款式的服装让不同体型、风格的模特试穿，为方便后期的视频处理，试衣间内的背景被调整为与衣服不同且单一的颜色，被然后让模特做若干种动作，整个试衣过程用视频录制并保存；
2.使用kinect设备捕获模特人体的骨骼姿态，并计算每一段运动视频中的姿态特征，具体方法是:
对每一帧图像，计算左右手腕、肘部及肩膀分别和肩膀中心节点所成夹角，左右脚踝、膝盖及臀部分别和臀部中心所成夹角；
然后获取参与夹角运算的14个关节点的深度值，将每个深度值减去其中的最小值，并线性拉伸到
[0360]的范围内，最后将12个夹角数据与归一化后的深度数据组成一个26维的向量，该向量即为人体姿态特征;每一帧的特征数据组合起来形成一个矩阵，作为该视频的动作特征，与对应的原视频关联起来并保存；
3.对模特视频的每一帧图像进行人脸检测，对检测结果的矩形进行扩大，记扩大后的矩形为Rf，将矩形Rf中的局部图像由RGB空间转换到YCbCr空间；
人肤色的CbCr数值通常在一个固定的范围内，因此，通过像素的CbCr两个分量可以判定该像素是否属于人的肤色。人脸下方的肤色区域认为是颈部区域;而人脸上方的非背景、非肤色区域认为是头发区域；
4.对整幅图像由RGB空间转换到HSV空间；依次判断每个像素的H分量与试衣间环境颜色Hr的绝对值的差值是否小于阈值Tb，若小于Tb，则认为该像素属于背景，否则属于人形区域；
通过遍历整幅图像，可以将所有像素分为背景或非背景两类，将人形区域中去除人脸、头发区域后的连通区域定义为身体区域。用另一段视频保存模特身体部分的图像序列；
5.用同样的方法检测试衣者视频中的人脸，分割出头部及身体区域，其中身体部分赋值为背景颜色，实时显示头部，然后计算其动作特征；
逐个取出模特动作特征数据并与试衣者的动作特征作相似性运算，使用欧式距离来衡量特征之间的相似性，将最小距离的特征对应的一段模特身体视频作为肢体动作识别结果;
6.若模特视频帧数大于试衣者视频帧数，则模特视频帧序列进行线性降采样;若模特视频帧数小于试衣者视频帧数，则将模特视频序列进行等间隔的插值运算，复制某些帧图像到原视频序列;通过对视频序列的线性拉伸运算，使得模特和试衣者这两段视频具有相同的帧数；
7.对试衣者视频中的每一帧图像，将相同帧序号的模特身体区域平移至试衣者的身体区域，并满足模特和试衣者两者的颈部与身体公共边界线的重心重合，将模特身体在该重心的附近进行局部微调，使得试衣者颈部与公共边界线所形成的空洞区域面积最小，使用空洞的外轮廓处的像素对其进行填充。
[0013]以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。
【主权项】
1.一种虚拟真人试衣方法，其特征在于:首先，将不同尺寸、不同款式的服装由对应体型和风格的模特穿着，并由模特完成规定的动作，且录下试穿过程的视频;试衣时，找出与试衣者体型和风格相近的模特以及该模特的试衣视频，实时显示试衣者的头部，同时识别试衣者的肢体动作，并将试衣者身体部分替换为具有相似动作的模特身体显示，形成试衣者的试衣效果视频。2.根据权利要求1的一种虚拟真人试衣方法，其特征在于:对于每位模特而言，需要试穿多款适合该模特的衣服，每试穿一款衣服都需要完成若干种规定的肢体动作，录下每一种肢体动作并保存。3.根据权利要求1的一种虚拟真人试衣方法，其特征在于:在录制模特试穿过程的视频时，通过体感传感器获得试衣者的连续动作姿态信息，将这些特征数据组合起来形成肢体动作特征;然后在所选定的模特的视频集合中，根据试衣者的肢体动作特征，找到一段与试衣者动作最为相似的模特视频。4.根据权利要求1的一种虚拟真人试衣方法，其特征在于:在试衣者进行试衣时将模特视频的帧序列进行降采样或者最近邻插值，使得试衣者和模特这两段视频具有相同的帧数;对两段视频的每一帧图像，分割出其中的头部及身体区域，将相同帧号的模特身体覆盖试衣者的身体部分与试衣者的头部合成，形成试衣者的试衣视频。
【文档编号】G06T19/00GK105869217SQ201610200691
【公开日】2016年8月17日
【申请日】2016年3月31日
【发明人】刘鹏, 张真, 秦恩泉, 曹骝
【申请人】南京云创大数据科技股份有限公司