本申请涉及人工智能领域,尤其涉及一种人脸模型生成的方法、模型生成的方法及装置。
背景技术:
人脸是人类日常情感表达、交流最重要和最直接的载体,真实感三维人脸建模一直备受关注。人脸的三维建模是一项十分重要的技术,在影视特效、游戏、虚拟现实、网络社交、人脸识别和辅助医疗等领域都有非常广阔的应用前景。
目前,人脸的三维建模主要是针对不戴眼镜的用户群体,即首先通过对用户的人脸进行扫描来获取输入的图像数据,然后通过人脸三维建模方法对人脸进行建模,例如采用三维变形模型(3dmorphablemodels,3dmm)建立用户的人脸模型。
然而,对于戴眼镜的用户群体而言,由于镜片折射会带来形变,因此,可能导致三维重建之后人脸眼窝形态上也存在形变,即表现为眼窝往内凹陷,从而降低了三维人脸建模的真实性。
技术实现要素:
本申请实施例提供了一种人脸模型生成的方法、模型生成的方法及装置,对于戴眼镜的用户群体而言,需要先后采集戴眼镜时的人脸图像以及不戴眼镜时的人脸图像,然后基于戴眼镜的人脸图像建立眼镜模型,并基于不戴眼镜的人脸图像建立人脸模型,将两个模型合成后即可消除因镜片折射给人脸形态带来的影响,从而提升三维人脸建模的真实性。
有鉴于此,本申请第一方面提供一种人脸模型生成的方法,包括:
获取第一待识别图像,其中,第一待识别图像中包括待建模对象;
若第一待识别图像中的待建模对象为已戴眼镜的对象,则根据第一待识别图像生成眼镜模型,其中,第一待识别图像中包括眼镜图像;
获取第二待识别图像,其中,第二待识别图像中包括待建模对象;
若第二待识别图像中的待建模对象为未戴眼镜的对象,则根据第二待识别图像生成待合成人脸模型;
根据眼镜模型以及待合成人脸模型,生成待建模对象所对应的目标人脸模型。
本申请第二方面提供一种模型生成的方法,包括:
获取第一待识别图像,其中,第一待识别图像中包括待建模对象;
若第一待识别图像中的待建模对象为已携带物件的对象,则根据第一待识别图像生成物件模型,其中,第一待识别图像中包括物件图像;
获取第二待识别图像,其中,第二待识别图像中包括待建模对象;
若第二待识别图像中的待建模对象为未携带物件的对象,则根据第二待识别图像生成待合成对象模型;
根据物件模型以及待合成对象模型,生成待建模对象所对应的目标对象模型。
本申请第三方面提供一种人脸模型生成装置,包括:
获取模块,用于获取第一待识别图像,其中,第一待识别图像中包括待建模对象;
生成模块,用于在第一待识别图像中的待建模对象为已戴眼镜的对象的情况下,根据获取模块获取的第一待识别图像生成眼镜模型,其中,第一待识别图像中包括眼镜图像;
获取模块,还用于获取第二待识别图像,其中,第二待识别图像中包括待建模对象;
生成模块,还用于在第二待识别图像中的待建模对象为未戴眼镜的对象的情况下,根据获取模块获取的第二待识别图像生成待合成人脸模型;
生成模块,还用于根据眼镜模型以及待合成人脸模型,生成待建模对象所对应的目标人脸模型。
在一种可能的设计中,在本申请实施例的第三方面的第一种实现方式中,
获取模块,具体用于:
获取第一待处理图像,其中,第一待处理图像中包括待建模对象;
基于第一待处理图像,通过关键点检测模型获取待建模对象所对应的m个关键点信息,其中,关键点信息与关键点一一对应,m为大于1的整数;
从m个关键点信息中确定n个关键点信息,其中,n为大于1,且小于或等于m的整数;
基于n个关键点信息,根据第一待处理图像获取第一待识别图像。
在一种可能的设计中,在本申请实施例的第三方面的第二种实现方式中,
获取模块,还用于基于获取模块获取的第一待识别图像,通过眼镜检测模型获取第一待识别图像的分类结果;
获取模块,还用于在第一待识别图像的分类结果为第一分类结果的情况下,基于获取模块获取的第一待识别图像,通过对象构建模型获取待建模对象所对应的目标人脸模型。
获取模块,具体用于在第一待识别图像的分类结果为第二分类结果的情况下,确定第一待识别图像中的待建模对象为已戴眼镜的对象,执行获取第二待识别图像的步骤。
在一种可能的设计中,在本申请实施例的第三方面的第三种实现方式中,
获取模块,具体用于:
获取第二待处理图像,其中,第二待处理图像中包括待建模对象;
基于第二待处理图像,通过关键点检测模型获取待建模对象所对应的m个关键点信息,其中,关键点信息与关键点一一对应,m为大于1的整数;
从m个关键点信息中确定n个关键点信息,其中,n为大于1,且小于或等于m的整数;
基于n个关键点信息,根据第二待处理图像获取第二待识别图像。
在一种可能的设计中,在本申请实施例的第三方面的第四种实现方式中,
获取模块,还用于基于第二待识别图像,通过眼镜检测模型获取第二待识别图像的分类结果;
生成模块,还用于在第二待识别图像的分类结果为第一分类结果的情况下,执行根据第二待识别图像生成待合成人脸模型的步骤;
人脸模型生成装置还包括:确定模块,用于在第二待识别图像的分类结果为第二分类结果的情况下,确定第二待识别图像中的待建模对象为已戴眼镜的对象。
在一种可能的设计中,在本申请实施例的第三方面的第五种实现方式中,
获取模块,还用于在第一待识别图像中的待建模对象为已戴眼镜的对象的情况下,基于n个关键点信息,从第一待识别图像中获取眼镜图像;
生成模块,具体用于:
基于第一待识别图像中的眼镜图像,通过眼镜分类模型获取目标眼镜类型;
根据目标眼镜类型生成眼镜模型。
在一种可能的设计中,在本申请实施例的第三方面的第六种实现方式中,
生成模块,具体用于基于第二待识别图像,通过对象构建模型获取待合成人脸模型。
在一种可能的设计中,在本申请实施例的第三方面的第七种实现方式中,
人脸模型生成装置还包括:输出模块,用于基于第一待识别图像以及第二待识别图像,通过对象判别模型输出对应的判别结果;
生成模块,还用于在输出模块输出的判别结果为第一判别结果的情况下,执行根据第二待识别图像生成待合成人脸模型的步骤;
人脸模型生成装置还包括:接收模块,用于在输出模块输出的判别结果为第二判别结果的情况下,接收图像重置请求,其中,图像重置请求用于提示再次输入待识别图像。
在一种可能的设计中,在本申请实施例的第三方面的第八种实现方式中,
人脸模型生成装置还包括:确定模块,用于根据第一待识别图像以及第二待识别图像,确定目标相似度;
生成模块,还用于在确定模块确定的目标相似度大于或等于相似度阈值的情况下,执行根据第二待识别图像生成待合成人脸模型的步骤;
人脸模型生成装置还包括:接收模块,用于在目标相似度小于相似度阈值的情况下,接收图像重置请求,其中,图像重置请求用于指示再次输入待识别图像。
本申请第四方面提供一种模型生成装置,包括:
获取模块,用于获取第一待识别图像,其中,第一待识别图像中包括待建模对象;
生成模块,用于在第一待识别图像中的待建模对象为已携带物件的对象的情况下,根据获取模块获取的第一待识别图像生成物件模型,其中,第一待识别图像中包括物件图像;
获取模块,还用于获取第二待识别图像,其中,第二待识别图像中包括待建模对象;
生成模块,还用于在第二待识别图像中的待建模对象为未携带物件的对象的情况下,根据获取模块获取的第二待识别图像生成待合成对象模型;
生成模块,还用于根据物件模型以及待合成对象模型,生成待建模对象所对应的目标对象模型。
本申请的第五方面提供一种终端设备,其特征在于,包括:存储器、收发器、处理器以及总线系统;
其中,存储器用于存储程序;
处理器用于执行存储器中的程序,包括如下步骤:
获取第一待识别图像,其中,第一待识别图像中包括待建模对象;
若第一待识别图像中的待建模对象为已戴眼镜的对象,则根据第一待识别图像生成眼镜模型,其中,第一待识别图像中包括眼镜图像;
获取第二待识别图像,其中,第二待识别图像中包括待建模对象;
若第二待识别图像中的待建模对象为未戴眼镜的对象,则根据第二待识别图像生成待合成人脸模型;
根据眼镜模型以及待合成人脸模型,生成待建模对象所对应的目标人脸模型;
总线系统用于连接存储器以及处理器,以使存储器以及处理器进行通信。
本申请的第六方面提供一种终端设备,其特征在于,包括:存储器、收发器、处理器以及总线系统;
其中,存储器用于存储程序;
处理器用于执行存储器中的程序,包括如下步骤:
获取第一待识别图像,其中,第一待识别图像中包括待建模对象;
若第一待识别图像中的待建模对象为已携带物件的对象,则根据第一待识别图像生成物件模型,其中,第一待识别图像中包括物件图像;
获取第二待识别图像,其中,第二待识别图像中包括待建模对象;
若第二待识别图像中的待建模对象为未携带物件的对象,则根据第二待识别图像生成待合成对象模型;
根据物件模型以及待合成对象模型,生成待建模对象所对应的目标对象模型;
总线系统用于连接存储器以及处理器,以使存储器以及处理器进行通信。
本申请的第七方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
获取第一待识别图像,若第一待识别图像中的待建模对象为已戴眼镜的对象,则根据包括眼镜图像的第一待识别图像生成眼镜模型,并获取第二待识别图像,若第二待识别图像中的待建模对象为未戴眼镜的对象,则根据第二待识别图像生成待合成人脸模型,根据眼镜模型以及待合成人脸模型,生成待建模对象所对应的目标人脸模型。通过上述方式,对于戴眼镜的用户群体而言,需要先后采集戴眼镜时的人脸图像以及不戴眼镜时的人脸图像,然后基于戴眼镜的人脸图像建立眼镜模型,并基于不戴眼镜的人脸图像建立人脸模型,将两个模型合成后即可消除因镜片折射给人脸形态带来的影响,从而提升三维人脸建模的真实性。
附图说明
图1为本申请实施例中模型生成系统的一个架构示意图;
图2为本申请实施例中人脸模型生成的方法一个实施例示意图;
图3为本申请实施例中人脸模型生成的方法中第一待识别图像生成过程的一个示意图;
图4为本申请实施例中人脸模型生成的方法中获取第一待识别图像的分类结果过程的一个示意图;
图5为本申请实施例中人脸模型生成的方法中第二待识别图像生成过程的一个示意图;
图6为本申请实施例中人脸模型生成的方法中获取第二待识别图像的分类结果过程的一个示意图;
图7为本申请实施例中人脸模型生成的方法中判别结果生成过程的一个示意图;
图8为本申请实施例中人脸模型生成的方法中另一个实施例示意图;
图9为本申请实施例中模型生成的方法一个实施例示意图;
图10为本申请实施例中人脸模型生成装置一个实施例示意图;
图11为本申请实施例中人脸模型生成装置另一个实施例示意图;
图12为本申请实施例中模型生成装置一个实施例示意图;
图13为本申请实施例中服务器一个实施例示意图;
图14为本申请实施例中终端设备一个实施例示意图。
具体实施方式
本申请实施例提供了一种人脸模型生成的方法、模型生成的方法及装置,对于戴眼镜的用户群体而言,需要先后采集戴眼镜时的人脸图像以及不戴眼镜时的人脸图像,然后基于戴眼镜的人脸图像建立眼镜模型,并基于不戴眼镜的人脸图像建立人脸模型,将两个模型合成后即可消除因镜片折射给人脸形态带来的影响,从而提升三维人脸建模的真实性。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解,本申请实施例可以应用于各种利用包括待建模对象的图像对待建模对象进行建模的场景中,例如在电影、游戏、医疗、虚拟现实、网络社交、人脸识别和追踪等场景中均存在利用包括待建模对象的图像对待建模对象进行建模的需求,前述待建模对象指的可以为人、动物、植物、非生物等等。但由于图像中的待建模对象可能会携带有物件,待建模对象携带的物件可能会降低对待建模对象的建模真实性。具体的,作为示例,例如待建模对象是一个佩戴有眼镜(也即物件的一个示例)的人脸,但由于镜片折射会带来形变导致对人脸进行重建后人脸眼窝形态上也存在形变,从而降低了人脸建模的真实性;作为另一示例,例如待建模对象是一个佩戴有嘴套(也即物件的一个示例)的狗,由于嘴套对狗的嘴部的纹理会造成影响,从而导致重建后嘴部的纹理肤色会发生变化,从而降低了动物建模的真实性。
为了解决上述问题,本申请提出了一种模型生成的方法,该方法应用于图1所示的人脸模型生成系统,请参阅图1,图1为本申请实施例中模型生成系统的一个架构示意图,如图所示,模型生成系统中包括服务器和终端设备。
具体的,终端设备可以获取第一待识别图像,若第一待识别图像中的待建模对象为已携带物件的对象,则根据第一待识别图像生成物件模型。更具体的,终端设备可以直接在本地生成物件模型;也可以为将第一待识别图像发送给服务器,由服务器根据第一待识别图像生成物件模型之后,再发送给终端设备。进而终端设备获取第二待识别图像,若第二待识别图像中的待建模对象为未携带物件的对象,则根据第二待识别图像生成待合成对象模型;更具体的,终端设备可以直接在本地生成待合成对象模型;也可以为将第二待识别图像发送给服务器,由服务器根据第二待识别图像生成待合成对象模型之后,再发送给终端设备。从而终端设备根据物件模型以及待合成对象模型,生成待建模对象所对应的目标对象模型,可选地,也可以为服务器在根据物件模型以及待合成对象模型,生成待建模对象所对应的目标对象模型之后,发送给终端设备。
进一步地,对待建模对象进行建模的执行主体可以具体表现为客户端部署于终端设备上的客户端,例如向玩家提供对自己的游戏角色进行捏脸功能的游戏类客户端或即时通讯类客户端等;对待建模对象进行建模的执行主体也可以具体表现为终端设备整体,例如人脸识别设备中可以对待识别对象进行建模等,此处不做穷举。其中,如图1所示,前述终端设备包含但不仅限于平板电脑、笔记本电脑、掌上电脑、手机、语音交互设备及个人电脑(personalcomputer,pc),此处不做限定。其中,语音交互设备包含但不仅限于智能音响以及智能家电。在部分实现方式中,客户端可以表现为网页客户端,也可以表现为应用程序类客户端,部署于前述终端设备上。图1中的服务器可以是一台服务器或多台服务器组成的服务器集群或云计算中心等,具体此处均不限定。
终端设备和服务器之间可以通过无线网络或有线网络进行通信。其中,上述的无线网络使用标准通信技术和/或协议。无线网络通常为因特网、但也可以是任何网络,包括但不限于蓝牙、局域网(localareanetwork,lan)、城域网(metropolitanareanetwork,man)、广域网(wideareanetwork,wan)、移动、专用网络或者虚拟专用网络的任何组合)。在一些实施例中,可以使用定制或专用数据通信技术取代或者补充上述数据通信技术。
虽然图1中仅示出了五个终端设备和一个服务器,但应当理解,图1中的示例仅用于理解本方案,具体终端设备和服务器的数量均应当结合实际情况灵活确定。
由于本申请实施例中根据第二待识别图像生成待合成对象模型为采用神经网络实现的,也即本申请实施例是应用于人工智能领域的,在对本申请实施例提供的模型训练的方法开始介绍之前,先对人工智能领域的一些基础概念进行介绍。人工智能(artificialintelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。机器学习(machinelearning,ml)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步,人工智能技术在多种方向展开研究,计算机视觉技术(computervision,cv)就是人工智能技术的多种研究方向中研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(opticalcharacterrecognition,ocr)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的方案涉及人工智能的图像处理技术,结合上述介绍,下面将对本申请中人脸模型生成的方法进行介绍,请参阅图2,本申请实施例中人脸模型生成的方法一个实施例包括:
101、获取第一待识别图像,其中,第一待识别图像中包括待建模对象;
本实施例中,人脸模型生成装置可以获取第一待识别图像,其中,第一待识别图像中包括的待建模对象为存在人脸的对象,第一待识别图像中的待建模对象可以为已戴眼镜的对象,也可以为未戴眼镜的对象。可以理解的是,在一种情况下,人脸模型生成装置可以部署于终端设备上,则步骤101可以包括:终端设备获取第一待识别图像;在另一种情况下,人脸模型生成装置可以部署于服务器上,则步骤101可以包括:服务接收终端设备发送的第一待识别图像,此处不做限定。
对于终端设备获取第一待识别图像,具体的,第一待识别图像可以为终端设备进行过预处理之后的图像,也可以为终端设备获取之后,未经预处理的图像。更具体的,在第一待识别图像是终端设备获取之后,未经预处理的图像的情况下,终端设备可以通过图像采集装置采集获取待建模对象的第一待识别图像,前述图像采集装置具体可以表现为相机;也可以从终端设备的本地图库中获取待建模对象的第一待识别图像;还可以为从网络中下载获取待建模对象的第一待识别图像,作为示例,例如从待建模对象的网盘中下载第一待识别图像,再例如从待建模对象的即时通讯应用的后台服务器中下载第一待识别图像等,此处不做限定。
102、若第一待识别图像中的待建模对象为已戴眼镜的对象,则根据第一待识别图像生成眼镜模型,其中,第一待识别图像中包括眼镜图像;
本实施例中,人脸模型生成装置在获取到第一待识别图像之后,需要判断第一待识别图像中的待建模对象是否为已戴眼镜的对象,若为已戴眼镜的对象,则人脸模型生成装置可以根据第一待识别图像中包括的眼镜图像生成眼镜模型。对于判断第一待识别图像中的待建模对象是否为已戴眼镜的对象,具体的,终端设备可以直接利用识别类的神经网络进行判断,也可以将第一待识别图像发送给服务器,由服务器进行判断。
对于生成眼镜模型,具体的,终端设备可以将第一待识别图像发送给服务器,由服务器根据第一待识别图像生成眼镜模型,并接收服务器发送的眼镜模型;也可以为终端设备直接根据第一待识别图像生成眼镜模型。更具体的,对于由终端设备直接生成眼镜模型,在一种实现方式中,终端设备可以根据第一待识别图像中包括的眼镜图像,利用神经网络对眼镜直接进行建模,从而生成眼镜模型;在另一种实现方式中,终端设备中可以配置有眼镜模型库,眼镜模型库中包括有多种眼镜模型,终端设备可以利用神经网络对第一待识别图像中的眼镜进行分类,得到第一待识别图像中的眼镜的类别信息,进而从眼镜模型库中获取与第一待识别图像中的眼镜的类别信息匹配的眼镜模型,并将前述匹配的眼镜模型确定为根据第一待识别图像生成眼镜模型。对于由服务器生成眼镜模型的具体实现方式可以参阅终端设备直接生成眼镜模型的具体实现方式,此处不做赘述。
103、获取第二待识别图像,其中,第二待识别图像中包括待建模对象;
本实施例中,在第一待识别图像中的待建模对象为已戴眼镜的对象的情况下,人脸模型生成装置为了获取到未佩戴眼镜的待识别图像,还需要获取待建模对象的第二待识别图像。具体的,在一种情况下,人脸模型生成装置可以部署于终端设备上,则步骤103可以包括:终端设备获取第二待识别图像;在另一种情况下,人脸模型生成装置可以部署于服务器上,则步骤103可以包括:服务接收终端设备发送的第二待识别图像,此处不做限定。
对于终端设备获取第二待识别图像,终端设备可以向用户输出提示信息,以提示用户输入未戴眼镜的待建模对象的待识别图像。具体的,可以为输出文字形式的提示信息,例如在终端设备的展示界面上显示“请输入未佩戴眼镜的人脸图像”;也可以为输出语音形式的提示信息;还可以为前述两种形式的组合,或者也可以通过其他方式输出提示信息等。更具体的,终端设备获取第二待识别图像的具体实现方式与获取第一待识别图像的方式类似,此处不做赘述。
进一步地,可以为服务器在确定第一待识别图像中的待建模对象为已戴眼镜的对象的情况下,向终端设备发送获取待建模对象的未佩戴眼镜的第二待识别图像的指令,从而终端设备执行获取第二待识别图像的操作;也可以为终端设备在直接利用识别类的神经网络确定第一待识别图像中的待建模对象为已戴眼镜的对象的情况下,直接执行获取第二待识别图像的操作。
104、若第二待识别图像中的待建模对象为未戴眼镜的对象,则根据第二待识别图像生成待合成人脸模型;
本实施例中,人脸模型生成装置在获取到第二待识别图像之后,需要判断第二待识别图像中的待建模对象是否为未戴眼镜的对象,在第二待识别图像中的待建模对象为未戴眼镜的对象的情况下,根据第二待识别图像生成待合成人脸模型。对于判断第二待识别图像中的待建模对象是否为已戴眼镜的对象,具体的,终端设备可以直接利用识别类的神经网络进行判断,也可以将第二待识别图像发送给服务器,由服务器进行判断。
对于生成待合成人脸模型,具体的,终端设备可以将第二待识别图像发送给服务器,由服务器根据第二待识别图像生成待合成人脸模型,并接收服务器发送的待合成人脸模型;也可以为终端设备直接根据第二待识别图像生成待合成人脸模型。更具体的,终端设备或服务器可以根据第二待识别图像,利用神经网络对人脸直接进行建模,从而生成待合成人脸模型。
105、根据眼镜模型以及待合成人脸模型,生成待建模对象所对应的目标人脸模型。
本实施例中,人脸模型生成装置在获取到眼镜模型以及待合成人脸模型之后,生成待建模对象所对应的目标人脸模型。具体的,在一种情况下,终端设备可以在获取到眼镜模型以及待合成人脸模型之后,将眼镜模型和待合成人脸模型进行组合,从而生成待建模对象所对应的目标人脸模型,进而将目标人脸模型展示给用户;在另一种情况下,也可以为服务器将眼镜模型和待合成人脸模型进行组合,生成待建模对象所对应的目标人脸模型之后,将目标人脸模型发送给终端设备,由终端设备通过展示界面向用户展示目标人脸模型。具体的,终端设备或服务器可以从待合成人脸模型上获取到人脸关键点,并且从眼镜模型上获取到眼镜关键点,通过人脸关键点估计眼镜模型在待合成人脸模型上的位置和大小,其中,位置用于估计眼镜模型在待合成人脸模型上的相对位置,以此确定眼镜模型挂在待合成人脸模型上的大致位置范围,同时防止穿模。大小是指对眼镜模型的一个缩放比例。将人脸关键点与眼镜关键点对应起来,从而实现眼镜模型和待合成人脸模型的组合。
本申请实施例中,获取第一待识别图像,若第一待识别图像中的待建模对象为已戴眼镜的对象,则根据包括眼镜图像的第一待识别图像生成眼镜模型,并获取第二待识别图像,若第二待识别图像中的待建模对象为未戴眼镜的对象,则根据第二待识别图像生成待合成人脸模型,根据眼镜模型以及待合成人脸模型,生成待建模对象所对应的目标人脸模型。通过上述方式,对于戴眼镜的用户群体而言,需要先后采集戴眼镜时的人脸图像以及不戴眼镜时的人脸图像,然后基于戴眼镜的人脸图像建立眼镜模型,并基于不戴眼镜的人脸图像建立人脸模型,将两个模型合成后即可消除因镜片折射给人脸形态带来的影响,从而提升三维人脸建模的真实性。
可选地,在上述图2应的各个实施例的基础上,本申请实施例提供的人脸模型生成的方法一个可选实施例中,获取第一待识别图像,包括:
获取第一待处理图像,其中,第一待处理图像中包括待建模对象;
基于第一待处理图像,通过关键点检测模型获取待建模对象所对应的m个关键点信息,其中,关键点信息与关键点一一对应,m为大于1的整数;
从m个关键点信息中确定n个关键点信息,其中,n为大于1,且小于或等于m的整数;
基于n个关键点信息,根据第一待处理图像获取第一待识别图像。
本实施例中,在人脸模型生成装置会对获取到的第一待处理对象进行预处理之后,得到第一待识别图像的情况下,人脸模型生成装置获取第一待处理图像的具体实现方式可以参阅步骤101中对人脸模型生成装置获取第一待识别图像的具体实现方式的描述,此处不作赘述。人脸模型生成装置在获取到第一待处理图像之后,第一待处理图像中包括待建模对象,人脸模型生成装置可以基于关键点检测模型获取建模对象所对应的m个关键点的关键点信息,其中,关键点检测模型可以为神经网络。具体的,人脸模型生成装置可以通过神经网络对第一待处理图像中的m个人脸关键点进行采集,用于采集人脸关键点的神经网络包括但不限于级联姿势回归(cascadedposeregression,crp)模型、多任务卷积神经网络(multi-taskconvolutionalneuralnetwork,mtcnn)、深度卷积神经网络(deepconvolutionalnetwork,dcnn)或其他类型的神经网络等,此处不做限定。其中,m为大于1的整数,m的取值可以为22、68、86、106、1000或其他取值等等。m个关键点中往往包括眼镜、鼻子、嘴巴、脸部轮廓所对应的点。m个关键点的关键点信息可以为关键点的二维坐标、三维坐标、二维像素坐标、三维像素坐标或m个关键点连接起来组成的形状向量或其他类型的信息等,通过人脸的关键点信息可以对第一待处理图像中包括人脸的各个部分进行定位和尺度标定;可选地,人脸模型生成装置还可以通过矩阵变换对包括人脸的第一待处理图像进行对齐处理。其中,矩阵变换操作包括但不限于平移、缩放、旋转或斜切等,对齐指的是以预设形状为基准,对其它形状进行矩阵变换使其尽可能的与基准形状接近的过程。
人脸模型生成装置在获取到m个关键点信息之后,会从m个关键点信息中确定n个关键点信息,其中,n的取值可以为5,当n的取值为5时,n个关键点可以分别对应两部的两个眼睛、鼻子、嘴巴的左唇尖和右唇尖。人脸模型生成装置上可以预先存储有第一待识别图像的大小、对第一待识别图像中的人脸占比比值和/或人脸倾斜度等预设规格要求,人脸模型生成装置可以基于n个关键点信息,对第一待处理图像进行旋转、缩放和/或斜切等操作,以获取到第一待识别图像,其中,第一待识别图像可以为符合预设规格要求的图像,预设规格要求中第一待识别图像的大小可以大于或等于第一阈值且小于或等于第二阈值,人脸占比比值可以大于或等于第三阈值,人脸倾斜度可以小于或等于第四阈值,进一步地,第三阈值的取值可以为百分之五十、百分之六十、百分之七十等;第四阈值的取值可以为30度、20度、15度、10度或其他取值等等。
为了进一步理解本方案,请参阅图3,图3为本申请实施例中人脸模型生成的方法中第一待识别图像生成过程的一个示意图,图3中以第一待识别图像包括已佩戴眼镜的对象为例,图3包括左子示意图和右子示意图示图,图3的左示意图中示出的为第一待处理图像,其上还展示有n个关键点(也即图3中示出的5个关键点),分别为眼睛(也即图3中眼镜上的两个关键点)、鼻子、嘴巴的左唇尖和右唇尖,图3的右示意图中示出的为第一待识别图像,通过图3左子示意图和右子示意图的对比可以看出,人脸模型生成装置对第一待处理对象进行了旋转、斜切和缩放的操作,第一待识别图像的人脸占比更高、人脸的倾斜度也更小,由于本实施例中的待处理对象是人脸,也即第一待识别图像的图像质量高于第一待处理图像,应理解,图3中的示例仅为方便理解本方案,不用于限定本方案。
本申请实施例中,在获取第一待处理图像之后,会基于第一待处理图像,通过关键点检测模型获取待建模对象所对应的m个关键点信息,其中,关键点信息与人脸关键点一一对应,从m个关键点信息中确定n个关键点信息,并基于n个关键点信息,根据第一待处理图像获取第一待识别图像。通过上述方式,对第一待处理图像进行预处理后,得到符合规格要求的第一待识别图像,提高了后续图像处理阶段的效率和精准度。
可选地,在上述图2应的各个实施例的基础上,本申请实施例提供的人脸模型生成的方法一个可选实施例中,获取第一待识别图像之后,还可以包括:
基于第一待识别图像,通过眼镜检测模型获取第一待识别图像的分类结果;
若第一待识别图像的分类结果为第一分类结果,则基于第一待识别图像,通过对象构建模型获取待建模对象所对应的目标人脸模型。
获取第二待识别图像,可以包括:
若第一待识别图像的分类结果为第二分类结果,则确定第一待识别图像中的待建模对象为已戴眼镜的对象,执行获取第二待识别图像的步骤。
本实施例中,在一种情况下,人脸模型生成装置可以部署于终端设备上,在另一种情况下,人脸模型生成装置可以部署于服务器上,此处不做限定。
具体的,终端设备在获取到第一待识别图像之后,可以将第一待识别图像发送给服务器,由服务器来确定第一待识别图像中的待建模对象是否为已戴眼镜的对象;也可以为由终端设备确定第一待识别图像中的待建模对象是否为已戴眼镜的对象。
对于确定第一待识别图像中的待建模对象是否为已戴眼镜的对象,具体的,终端设备或服务器在获取到第一待识别图像之后,可以直接将第一待识别图像输入到眼镜检测模型中,由眼镜检测模型输出第一待识别图像的分类结果。可选地,终端设备或服务器也可以先通过关键点检测模型获取待建模对象所对应的n个关键点的关键点信息,基于n个关键点信息,对待建模对象的眼镜和鼻子位置进行定位,从而对第一待识别图像进行剪裁,以从第一待识别图像中截取到眼镜图像;可选地,终端设备或服务器还可以通过矩阵变换操作对截取的待建模对象的眼镜图像进行对齐变换,从而使得眼镜的倾斜度更小。进而终端设备或服务器可以将从第一待识别图像中获取的眼镜图像或者对齐后的眼镜图像输入到眼镜检测模型中,由眼镜检测模型输出第一待识别图像的分类结果。
其中,眼镜检测模型可以为一种神经网络,具体可以为已经执行过训练操作的成熟的眼镜检测二分类器,作为示例,例如眼镜检测二分类器具体可以表现为用于大规模图像识别的超深卷积网络(verydeepconvolutionalnetworksforlarge-scaleimagerecognition,vgg-19)眼镜分类器;进一步地,前述眼镜检测二分类器可以为通过人脸数据库celeba中的人脸数据进行训练操作的,其中,celeba是一个包括了大量人脸图像的数据库,且每个人脸图像都预先做好了标注,应理解,上述对眼镜检测二分类器和人脸数据库的举例仅为证明本方案的可实现性,不用于限定本方案。n个关键点中p的取值包括但不限于5、22、68、86、106或1000等。分类结果包括第一分类结果和第二分类结果,第一分类结果指示待建模对象未戴眼镜,第二分类结果指示待建模对象已戴眼镜;进一步地,眼镜检测模型可以通过输出不同的数字编码来分别代表不同的分类结果,作为示例,例如当眼镜检测模型输出的为00时,代表的为第一分类结果,当眼镜检测模型输出的为11时,代表的为第二分类结果;眼镜检测模型还可以通过输出不同的字符编码来代表不同的分类结果,作为示例,例如当眼镜检测模型输出的为wpd代表的为第一分类结果,当眼镜检测模型输出的为pd代表的为第二分类结果等等,此处不对分类结果的具体表现形式进行穷举。由于关键点检测模型的含义在上述实施例中已有描述,此处不再赘述。
若第一待识别图像的分类结果为第一分类结果,也即第一待识别图像中的待建模对象未戴眼镜,则服务器或终端设备可以基于第一待识别图像,通过对象构建模型获取待建模对象所对应的目标人脸模型,其中,对象构建模型可以为一种神经网络,具体可以表现为通用人脸神经网络模型(candide-3)、3dmm或其他变形神经网络等。若第一待识别图像的分类结果为第二分类结果,则服务器或终端设备确定第一待识别图像中的待建模对象为已戴眼镜的对象,进而需要执行获取第二待识别图像的步骤。
为了进一步理解本方案,请参阅图4,图4为本申请实施例中人脸模型生成的方法中获取第一待识别图像的分类结果过程的一个示意图,图4中以上述p的取值为5,且通过终端设备确定第一待识别图像中的待建模对象是否为已戴眼镜的对象为例,其中,a1、终端设备通过关键点检测模型获取待建模对象所对应的n个关键点(也即图4中的5个关键点)的关键点信息;a2、终端设备基于n个关键点对待建模对象的眼镜和鼻子位置进行定位,从而对第一待识别图像进行剪裁,以截取到待建模对象的眼镜图像;a3、终端设备将截取待建模对象的眼镜图像输入到眼镜检测模型中,由眼镜检测模型输出第一待识别图像的分类结果;应理解,图4中的示例仅为方便理解本方案,不用于限定本方案。
本申请实施例中,基于第一待识别图像,通过眼镜检测模型获取第一待识别图像的分类结果,若第一待识别图像的分类结果为第一分类结果,则基于第一待识别图像,通过对象构建模型获取待建模对象所对应的目标人脸模型,若第一待识别图像的分类结果为第二分类结果,则确定第一待识别图像中的待建模对象为已戴眼镜的对象,执行获取第二待识别图像的步骤。通过上述方式,提供了当第一待识别图像中的待建模对象为未戴眼镜的对象时的具体实现方式,扩展了本方案的应用场景,提高了本方案的全面性。
可选地,在上述图2应的各个实施例的基础上,本申请实施例提供的人脸模型生成的方法一个可选实施例中,获取第二待识别图像,包括:
获取第二待处理图像,其中,第二待处理图像中包括待建模对象;
基于第二待处理图像,通过关键点检测模型获取待建模对象所对应的m个关键点信息,其中,关键点信息与关键点一一对应,m为大于1的整数;
从m个关键点信息中确定n个关键点信息,其中,n为大于1,且小于或等于m的整数;
基于n个关键点信息,根据第二待处理图像获取第二待识别图像。
本实施例中,人脸模型生成装置在获取到第二待处理图像之后,第二待处理图像中包括待建模对象,人脸模型生成装置可以基于关键点检测模型获取建模对象所对应的m个关键点的关键点信息。人脸模型生成装置在获取到m个关键点信息之后,会从m个关键点信息中确定n个关键点信息,进而基于n个关键点信息,对第二待处理图像进行旋转、缩放和/或斜切等操作,以获取到第二待识别图像,其中,第二待识别图像可以为符合预设规格要求的图像。人脸模型生成装置获取第二待处理图像的具体实现方式与人脸模型生成装置获取第一待处理图像的具体实现方式类似,通过第二待处理图像获取第二待识别图像的方式与人脸模型生成装置通过第一待处理图像获取第一待识别图像的方式类似,此处均不做赘述。
为了进一步理解本方案,请参阅图5,图5为本申请实施例中人脸模型生成的方法中第二待识别图像生成过程的一个示意图,图5中以第二待识别图像包括未佩戴眼镜的对象为例,图5包括左子示意图和右子示意图示图,图5的左示意图中示出的为第二待处理图像,其上还展示有n个关键点(也即图5中示出的5个关键点),分别为眼睛、鼻子、嘴巴的左唇尖和右唇尖,图5的右示意图中示出的为第二待识别图像,通过图5左子示意图和右子示意图的对比可以看出,人脸模型生成装置对第二待处理对象进行了旋转、斜切和缩放的操作,第二待识别图像的人脸占比更高、人脸的倾斜度也更小,应理解,图5中的示例仅为方便理解本方案,不用于限定本方案。
本申请实施例中,在获取第二待处理图像之后,会基于第二待处理图像,通过关键点检测模型获取待建模对象所对应的m个关键点信息,从m个关键点信息中确定n个关键点信息,并基于n个关键点信息,根据第二待处理图像获取第二待识别图像。通过上述方式,对第二待处理图像进行预处理后,得到符合规格要求的第二待识别图像,提高了后续图像处理阶段的效率和精准度。
可选地,在上述图2应的各个实施例的基础上,本申请实施例提供的人脸模型生成的方法一个可选实施例中,获取第二待识别图像之后,还可以包括:
基于第二待识别图像,通过眼镜检测模型获取第二待识别图像的分类结果;
若第二待识别图像的分类结果为第一分类结果,则执行根据第二待识别图像生成待合成人脸模型的步骤;
若第二待识别图像的分类结果为第二分类结果,则确定第二待识别图像中的待建模对象为已戴眼镜的对象。
本实施例中,在一种情况下,人脸模型生成装置可以部署于终端设备上,在另一种情况下,人脸模型生成装置可以部署于服务器上,此处不做限定。
具体的,终端设备在获取到第二待识别图像之后,可以将第二待识别图像发送给服务器,由服务器来确定第二待识别图像中的待建模对象是否为已戴眼镜的对象;也可以为由终端设备确定第二待识别图像中的待建模对象是否为已戴眼镜的对象。对于确定第二待识别图像中的待建模对象是否为已戴眼镜的对象的具体实现过程可以参阅上述实施例中对确定第一待识别图像中的待建模对象是否为已戴眼镜的对象的描述,此处不做赘述。
若第二待识别图像的分类结果为第一分类结果,也即第二待识别图像中的待建模对象未戴眼镜,则服务器或终端设备可以基于第二待识别图像,通过对象构建模型获取待建模对象所对应的目标人脸模型,其中,对象构建模型可以为一种神经网络,具体可以表现为通用人脸神经网络模型(candide-3)、3dmm或其他变形神经网络等。若第二待识别图像的分类结果为第二分类结果,则服务器或终端设备确定第二待识别图像中的待建模对象为已戴眼镜的对象,进而需要终端设备再次向用户输出提示信息,以提示用户输入未戴眼镜的待建模对象的待识别图像。
为了进一步理解本方案,请参阅图6,图6为本申请实施例中人脸模型生成的方法中获取第二待识别图像的分类结果过程的一个示意图,图6中以上述p的取值为5,且通过终端设备确定第二待识别图像中的待建模对象是否为已戴眼镜的对象为例,其中,b1、终端设备获取待建模对象所对应的n个关键点(也即图5中的5个关键点)的关键点信息;b2、终端设备基于n个关键点对待建模对象的眼镜和鼻子位置进行定位,从而对第二待识别图像进行剪裁,以截取到待建模对象的眼睛图像;b3、终端设备将截取待建模对象的眼睛图像输入到眼镜检测模型中,由眼镜检测模型输出第二待识别图像的分类结果;应理解,图6中的示例仅为方便理解本方案,不用于限定本方案。
本申请实施例中,基于第二待识别图像,通过眼镜检测模型获取第二待识别图像的分类结果,若第二待识别图像的分类结果为第一分类结果,则基于第二待识别图像,通过对象构建模型获取待建模对象所对应的目标人脸模型,若第二待识别图像的分类结果为第二分类结果,则确定第二待识别图像中的待建模对象为已戴眼镜的对象。通过上述方式,提供了对第二待识别图像的具体处理方式,提供了本方案的可执行性;且虽然第二待识别图像是基于提示信息获取到的,但仍旧会对第二待识别图像进行分类检测,从而确保可以获取到待建模对象未戴眼镜的图像,从而保证得到高质量的人脸建模结果。
可选地,在上述图2应的各个实施例的基础上,本申请实施例提供的人脸模型生成的方法一个可选实施例中,获取第一待识别图像之后,还可以包括:
若第一待识别图像中的待建模对象为已戴眼镜的对象,则基于n个关键点信息,从第一待识别图像中获取眼镜图像;
根据第一待识别图像生成眼镜模型,可以包括:
基于第一待识别图像中的眼镜图像,通过眼镜分类模型获取目标眼镜类型;
根据目标眼镜类型生成眼镜模型。
本实施例中,在一种情况下,人脸模型生成装置可以部署于终端设备上,在另一种情况下,人脸模型生成装置可以部署于服务器上,此处不做限定。
具体的,终端设备或服务器在确定第一待识别图像汇总的待建模对象为已戴眼镜的对象之后,可以基于n个关键点信息,从第一待识别图像中获取眼镜图像。具体的,终端设备或服务器可以基于前述n个关键点对待建模对象的眼镜和鼻子位置进行定位,从而对第一待识别图像进行剪裁,以从第一待识别图像中截取待建模对象的眼镜图像,可选地,终端设备或服务器还可以通过矩阵变换操作对截取的待建模对象的眼镜图像进行对齐变换,从而使得眼镜图像中眼镜的倾斜度更小。
终端设备或服务器在得到眼镜图像或对齐后的眼镜图像之后,可以将眼镜图像或对齐后的眼镜图像输入到眼镜分类模型中,由眼镜分类模型输出目标眼镜类型。其中,前述眼镜分类模型为一种进行过训练操作的成熟神经网络,眼镜分类模型可以为图像识别类的卷积神经网络,眼镜分类模型中可以包括一个或多个眼镜分类模型,例如可以为输出多种属性分类的一个眼镜分类模型,也可以为通过多个眼镜分类模型分别输出眼镜的多种属性类型,作为示例,例如眼镜分类模型中可以包括多个眼镜分类模型,前述多个眼镜分类模型均采用深度可分离卷积神经网络mobilenet作为基本神经网络,得到多个分支神经网络,以分别对眼镜的各个属性进行识别,以输出各个属性的眼镜类型。眼镜的各个属性包括镜框类型、镜框形状、镜框颜色、镜片颜色或其他属性等,镜框类型包括但不限于全镜框、半镜框以及无镜框等;镜框形状包括但不限于圆形、椭圆形、方形、长方形、菱形、心形或其他形状等,镜框颜色包括但不限于黑色、金色、银色、正红色、粉红色、褐色或其他镜框颜色等,镜片颜色包括但不限于黑色、透明、橙色、蓝色或其他镜片颜色等,应当理解,前述对各个属性的举例仅为方便理解本方案,各个属性还可以包括镜框宽度、眼镜配饰或其他属性等,此处不做穷举。目标眼镜类型中包括对第一待识别图像中的眼镜图像包括的眼镜进行识别后得到的一种或多种属性类别;作为示例,例如目标眼镜类型可以为全镜框、长方形镜框、黑色镜框、透明镜片。进一步地,终端设备或服务器在利用眼镜分类模型对眼镜图像中眼镜进行分类之前,还需要对眼镜分类模型进行训练,具体的,服务器或终端设备可以从网络中获取包括戴眼镜对象的多个图像,也可以购买包括戴眼镜对象的多个图像的图像集,还可以通过信息采集装置获取包括戴眼镜对象的多个图像等,对前述包括眼镜对象的多个图像中的眼镜的各个属性进行标注,进而利用标注了属性类别的戴眼镜图像集合对眼镜分类模型进行训练,以获取到成熟的眼镜分类模型进行训练。
终端设备或服务器在获取到目标眼镜类型之后,会根据目标眼镜类型生成眼镜模型。具体的,在一种情况下,终端设备或服务器上可以配置有眼镜模型库,眼镜模型库中的每个眼镜模型都有对应的类别标签,从而终端设备或服务器在获取到目标眼镜类型之后,可以根据获取到的一个或多个属性类别,与眼镜模型库中的每个眼镜模型的类别标签进行匹配,进而从眼镜模型库中选取类别标签与属性类别一致的目标眼镜模型,并将其确定为与第一待识别图像的眼镜图像对应的眼镜模型;作为示例,例如目标眼镜类型为全镜框、长方形镜框、黑色镜框、透明镜片,则可以在眼镜模型库中选取类别标签为全镜框、长方形镜框、黑色镜框、透明镜片的目标眼镜模型,并将其确定为与第一待识别图像的眼镜图像对应的眼镜模型。在另一种情况下,终端设备或服务器在获取到目标眼镜类型之后,可以将目标眼镜类型和眼镜图像输入到神经网络中,以通过神经网络直接建立与第一待识别图像的眼镜图像对应的眼镜模型。
本申请实施例中,若第一待识别图像中的待建模对象为已戴眼镜的对象,则基于n个关键点信息,从第一待识别图像中获取眼镜图像,并基于第一待识别图像中的眼镜图像,通过眼镜分类模型获取目标眼镜类型,根据目标眼镜类型生成眼镜模型。通过上述方式,先从第一待识别图像中获取到眼镜图像,再利用眼镜分类模型获取目标眼镜类型,从而避免眼镜分类模型对第一待识别图像中的非眼镜部分进行识别,降低了眼镜分类模型的工作量,使得眼镜分类模型的识别对象更为精准,有利于提高眼镜分别模型的识别准确率;此外,根据眼镜图像得到眼镜的目标眼镜分类,进而生成眼镜模型,将生病眼镜模型的过程进行拆分,提高了眼镜模型生成过程的精细化程度,有利于生成更为逼真的眼镜模型。
可选地,在上述图2应的各个实施例的基础上,本申请实施例提供的人脸模型生成的方法一个可选实施例中,根据第二待识别图像生成待合成人脸模型,包括:
基于第二待识别图像,通过对象构建模型获取待合成人脸模型。
本实施例中,在一种情况下,人脸模型生成装置可以部署于终端设备上,在另一种情况下,人脸模型生成装置可以部署于服务器上,此处不做限定。
具体的,在服务器或终端设备确定第二待识别图像中的待建模对象为未戴眼镜的对象的情况下,将第二待识别图像输入到对象构建模型获取待合成人脸模型。其中,对象构建模型包括但不限于通用人脸神经网络模型(candide-3)和3dmm及其变种深度神经网络模型。具体的,此处以采用的对象构建模型为3dmm为例,对合成待合成人脸模型的过程做详细介绍,3dmm中包括一个深度神经网络,将第二待识别图像输入到深度神经网络之后,可以得到一个特征向量,特征向量分为不同的块,分别表示形状(shape)、质感(texture)、姿势(pose)、神色(expression)、光线(light)或其他信息,通过特征向量所携带的特征信息,可以构建出待合成人脸模型。进一步地,形状信息为对人脸脸部轮廓的描述,质感为对人脸肤质的描述,姿势为对人脸五官姿势的描述,光线为对人脸光线的描述等,应当理解,上述对特征向量中携带的特征信息的举例仅为方便理解本方案,特征向量还可以携带其他人脸信息,此处不做穷举。
本申请实施例中,在第二待识别图像中的待建模对象为未戴眼镜的对象的情况下,基于第二待识别图像,通过对象构建模型获取待合成人脸模型。通过上述方式,提供了构建待合成人脸模型的具体实现方式,提高了本方案的可实现性。
可选地,在上述图2应的各个实施例的基础上,本申请实施例提供的人脸模型生成的方法一个可选实施例中,获取第二待识别图像之后,还可以包括:
基于第一待识别图像以及第二待识别图像,通过对象判别模型输出对应的判别结果;
若判别结果为第一判别结果,则执行根据第二待识别图像生成待合成人脸模型的步骤;
若判别结果为第二判别结果,则接收图像重置请求,其中,图像重置请求用于提示再次输入待识别图像。
本实施例中,在一种情况下,人脸模型生成装置可以部署于终端设备上,在另一种情况下,人脸模型生成装置可以部署于服务器上,此处不做限定。
具体的,终端设备或服务器在获取到第二待识别图像之后,在利用第二待识别图像生成待合成人脸模型之前,还可以将第一待识别图像以及第二待识别图像输入到对象判别模型中,以通过对象判别模型输出对应的判别结果,进而基于对象判别模型输出的判别结果,判别第一待识别图像中的待建模对象和第二待识别图像中的待建模对象是否为同一个待建模对象。其中,对象判别模型为进行过训练操作的成熟的深度神经网络,进一步地,服务器或终端设备在对对象判别模型进行训练的过程中,可以使用爬虫从网络中爬取多个图像对,也可以购买包括多个图像对的图像库,还可以利用图像采集装置分别获取同一对象佩戴眼镜的图像和未戴眼镜的图像组成图像对,重复前述操作以采集到多个图像对,每个图像对中均由同一对象佩戴眼镜的图像和未戴眼镜的图像组成,进而基于前述多个图像对对对象判别模型进行训练,直至获取到成熟的对象判别模型。作为示例,例如对象模型分类器是基于用于大规模图像识别的超深卷积网络(verydeepconvolutionalnetworksforlarge-scaleimagerecognition,vgg-19)训练得到的,应当理解,前述对对象模型分类器的举例仅为证明本方案的可实现性,还可以通过其他具有判别功能的深度神经网络来实现上述功能,此处不做穷举。对象判别模型输出的判别结果包括第一判别结果和第二判别结果,可以具体表现为一维张量、数字编码、字符编码或其他形式等,通过输出不同的判别结果分别指示第一待识别图像中的待建模对象和第二待识别图像中的待建模对象为同一待建模对象和为不同的待建模对象这两种判别结果。进一步地,作为示例,例如当对象判别模型输出的为00时,代表的为第一判别结果,也即判别第一待识别图像中的待建模对象和第二待识别图像中的待建模对象为同一个待建模对象,当对象判别模型输出的为11时,代表的为第二判别结果,也即判别第一待识别图像中的待建模对象和第二待识别图像中的待建模对象为不同的待建模对象;作为另一示例,例如当对象判别模型输出的为xt代表的为第一判别结果,当对象判别模型输出的为bt代表的为第二判别结果等等,此处举例不用于限定第一判别结果和第二判别结果的具体展现形式。为了进一步理解本方案,请参阅图7,图7为本申请实施例中人脸模型生成的方法中判别结果生成过程的一个示意图,图7中以通过服务器判断第一待识别图像中的待建模对象和第二待识别图像中的待建模对象是否为相同的待建模对象为例,其中,c1指的是第一待识别图像,c2指的是第二待识别图像,c3、服务器将第一待识别图像和第二待识别图像输入到对象判别模型中,以得到对象判别模型输出对应的判别结果。应理解,图7中的示例仅为方便理解本方案,不用于限定本方案。
在服务器或终端设备得到判别结果之后,若判别结果为第一判别结果,则确定第一待识别图像中的待建模对象和第二待识别图像中的待建模对象为同一个待建模对象,进而执行根据第二待识别图像生成待合成人脸模型的步骤;若判别结果为第二判别结果,则确定第一待识别图像中的待建模对象和第二待识别图像中的待建模对象为不同的待建模对象,从而可以通过终端设备输出提示信息,以提示用户输入与第一待识别图像中的待建模对象相同的待建模对象的未戴眼镜的待识别图像。具体的,在一种情况中,若为服务器基于第一待识别图像以及第二待识别图像,得到的第二判别结果,则服务器会向终端设备发送图像重置请求,其中,图像重置请求用于提示再次输入待识别图像,对应的,终端设备在接收到图像重置请求之后,可以通过展示界面输出已输入的第二待识别图像不合格,再次输入待识别图像的提示;在另一种情况中,若为终端设备基于第一待识别图像以及第二待识别图像,得到的第二判别结果,则终端设备可以直接通过展示界面输出提示信息。更具体的,终端设备可以通过展示界面输出文字形式的提示信息,也可以输出语音形式的提示信息,还可以输出其他形式的提示信息等等,此处不做限定。提示信息的内容可以为“请输入相同人脸的未戴眼镜图像”等,此处不做限定。
为了进一步理解本方案,请参阅图8,图8为本申请实施例中人脸模型生成的方法中一个实施例示意图,其中,d1、终端设备获取第一待识别图像,并将第一待识别图像发送给服务器;d2、服务器判断第一待识别图像中的待建模对象是否为已戴眼镜的对象,若为已戴眼镜的对象,则进入d4,若为未戴眼镜的对象,则进入d3;d3、服务器基于第一待识别图像,通过3dmm生成不戴眼镜用户的人脸模型,并发送给终端设备,由终端设备向用户展示前述不戴眼镜用户的人脸模型,从而完成了对用户人脸的建模;d4、服务器保存第一待识别图像;d5、服务器基于第一待识别图像,通过眼镜分类模型生成与第一待识别图像中的眼镜对应的眼镜模型;d6、服务器向终端设备发送第二待识别图像的图像获取请求,以指示终端设备获取待建模对象未戴眼镜的待识别图像;d7、终端设备在接收到第二待识别图像的图像获取请求之后,获取第二待识别图像,并将第二待识别图像发送给服务器;d8、服务器判断第二待识别图像中的待建模对象是否为已戴眼镜的对象,若为已戴眼镜的对象,则重新进入d6,以获取到待建模对象未戴眼镜的待识别图像,若为未戴眼镜的对象,则进入d9;d9、服务器基于第二待识别图像,通过3dmm生成待合成人脸模型;d10、服务器将通过步骤d5生成的眼镜模型与通过步骤d9生成的待合成人脸模型进行合成,得到戴眼镜用户的人脸模型,并发送给终端设备,由终端设备向用户展示前述戴眼镜用户的人脸模型,从而完成了对用户人脸的建模;应理解,图8中的示例仅为方便理解本方案,不用于限定本方案。
本申请实施例中,基于第一待识别图像以及第二待识别图像,通过对象判别模型输出对应的判别结果,若判别结果为第一判别结果,则执行根据第二待识别图像生成待合成人脸模型的步骤,若判别结果为第二判别结果,则接收图像重置请求,其中,图像重置请求用于提示再次输入待识别图像。通过上述方式,在获取到第二待识别图像之后,会判断第一待识别图像中的待建模对象和第二待识别图像中的待建模对象是否为同一个待建模对象,在确定第一待识别图像中的待建模对象和第二待识别图像中的待建模对象为同一个待建模对象的情况下,才基于第二待识别图像生成人脸模型,从而保证了人脸建模的完备性和统一性,避免第一待识别图像中的待建模对象和第二待识别图像中的待建模对象为不同待建模对象的情况下,给人脸建模造成的负面影响,以提高人脸建模的还原度。
可选地,在上述图2应的各个实施例的基础上,本申请实施例提供的人脸模型生成的方法一个可选实施例中,获取第二待识别图像之后,还可以包括:
根据第一待识别图像以及第二待识别图像,确定目标相似度;
若目标相似度大于或等于相似度阈值,则执行根据第二待识别图像生成待合成人脸模型的步骤;
若目标相似度小于相似度阈值,则接收图像重置请求,其中,图像重置请求用于指示再次输入待识别图像。
本实施例中,在一种情况下,人脸模型生成装置可以部署于终端设备上,在另一种情况下,人脸模型生成装置可以部署于服务器上,此处不做限定。
具体的,终端设备或服务器上可以预先存储有相似度阈值,在获取到第二待识别图像之后,在利用第二待识别图像生成待合成人脸模型之前,还可以计算第一待识别图像和第二待识别图像的目标相似度,进而判断目标相似度是否大于或等于相似度阈值,以确定第一待识别图像中的待建模对象和第二待识别图像中的待建模对象是否为同一个待建模对象。其中,相似度阈值可以为百分之九十、百分之九十三、百分之九十五、百分之九十八、百分之九十九或其他数值等,此处不做限定。具体的,终端设备或服务器可以分别提取第一待识别图像和第二待识别图像的特征向量,并通过计算第一待识别图像和第二待识别图像的特征向量的相似度的方式来计算第一待识别图像和第二待识别图像的目标相似度。更具体的,终端设备或服务器可以将第一待识别图像和第二待识别图像的特征向量的相似度直接确定为目标相似度,也可以为第一待识别图像和第二待识别图像的特征向量的相似度与目标相似度之间存在映射关系,从而在得到第一待识别图像和第二待识别图像的特征向量的相似度之后,根据该映射关系得到目标相似度。
进一步地,终端设备或服务器可以利用识别类的神经网络来提取第一待识别图像和第二待识别图像的特征向量;通过欧式距离(l2distance)或余弦距离(cosinedistance)来计算第一待识别图像和第二待识别图像的特征向量的相似度,应当理解,前述举例仅为证明本方案的可实现性,还可以通过其他方式来计算第一待识别图像和第二待识别图像的特征向量的相似度,此处不做穷举。
本申请实施例中,根据第一待识别图像以及第二待识别图像,确定目标相似度,若目标相似度大于或等于相似度阈值,则执行根据第二待识别图像生成待合成人脸模型的步骤,若目标相似度小于相似度阈值,则接收图像重置请求,其中,图像重置请求用于指示再次输入待识别图像。通过上述方式,利用第一待识别图像和第二待识别图像之间的相似度来判断第一待识别图像中的待建模对象和第二待识别图像中的待建模对象是否为同一个待建模对象,也即提供了判断第一待识别图像中的待建模对象和第二待识别图像中的待建模对象是否为同一个待建模对象的另一种实现方式,提高了本方案的实现灵活性。
本申请实施例还提供一种模型生成的方法,请参阅图9,图9为本申请实施例中模型训练方法一个实施例示意图,本申请实施例中模型生成的方法一个实施例包括:
201、获取第一待识别图像,其中,第一待识别图像中包括待建模对象;
本实施例中,模型生成装置获取第一待识别图像,第一待识别图像中包括待建模对象,待建模对象包括但不限于人、动物、植物、非生物,非生物例如电器、家具等不具有生命体的对象。需要说明的是,在一种情况下,模型生成装置可以部署于模型生成装置上,在另一种情况下,模型生成装置可以部署于服务器上,此处不做限定。
202、若第一待识别图像中的待建模对象为已携带物件的对象,则根据第一待识别图像生成物件模型,其中,第一待识别图像中包括物件图像;
本实施例中,模型生成装置在获取到第一待识别图像之后,需要判断第一待识别图像中的待建模对象是否为已戴物件的对象,若为已戴物件的对象,则模型生成装置可以根据第一待识别图像中包括的物件图像生成物件模型。其中,物件包括但不限于物件、嘴罩、帽子等会影响对象建模形态的物件。
203、获取第二待识别图像,其中,第二待识别图像中包括待建模对象;
本实施例中,在第一待识别图像中的待建模对象为已戴物件的对象的情况下,模型生成装置为了获取到未佩戴物件的待识别图像,还需要获取待建模对象的第二待识别图像。则模型生成装置可以向用户输出提示信息,以提示用户输入未戴物件的待建模对象的待识别图像。
204、若第二待识别图像中的待建模对象为未携带物件的对象,则根据第二待识别图像生成待合成对象模型;
本实施例中,模型生成装置在获取到第二待识别图像之后,需要判断第二待识别图像中的待建模对象是否为未戴物件的对象,在第二待识别图像中的待建模对象为未戴物件的对象的情况下,根据第二待识别图像生成待合成对象模型。
205、根据物件模型以及待合成对象模型,生成待建模对象所对应的目标对象模型。
本实施例中,在获取到物件模型和待合成对象模型之后,模型生成装置或服务器可以生成待建模对象所对应的目标对象模型。对于步骤201至步骤205的具体实现方式,均可以参阅上述图2对应的各个实施例中的描述,此处不做赘述。
本申请实施例中,获取第一待识别图像,若第一待识别图像中的待建模对象为已携带物件的对象,则根据包括物件图像的第一待识别图像生成物件模型,并获取第二待识别图像,若第二待识别图像中的待建模对象为未携带物件的对象,则根据第二待识别图像生成待合成对象模型,根据物件模型以及待合成对象模型,生成待建模对象所对应的目标对象模型。通过上述方式,对于携带物件的用户群体而言,需要先后采集携带物件时的对象图像以及不携带物件时的对象图像,然后基于携带物件的对象图像建立物件模型,并基于不携带物件的对象图像建立对象模型,将两个模型合成后即可消除因携带物件给对象形态带来的影响,从而提升三维对象建模的真实性;也即本实施例不仅适用于人脸建模,还可以适用于更大范围的对象建模,例如动物、植物等,扩展了本方案的应用场景。
下面对本申请中的人脸模型生成装置进行详细描述,请参阅图10,图10为本申请实施例中人脸模型生成装置一个实施例示意图,人脸模型生成装置30包括:
获取模块301,用于获取第一待识别图像,其中,第一待识别图像中包括待建模对象;
生成模块302,用于在第一待识别图像中的待建模对象为已戴眼镜的对象的情况下,根据获取模块301获取的第一待识别图像生成眼镜模型,其中,第一待识别图像中包括眼镜图像;
获取模块301,还用于获取第二待识别图像,其中,第二待识别图像中包括待建模对象;
生成模块302,还用于在第二待识别图像中的待建模对象为未戴眼镜的对象的情况下,根据获取模块301获取的第二待识别图像生成待合成人脸模型;
生成模块302,还用于根据眼镜模型以及待合成人脸模型,生成待建模对象所对应的目标人脸模型。
本实施例中,获取模块301获取第一待识别图像,其中,第一待识别图像中包括待建模对象,生成模块302在第一待识别图像中的待建模对象为已戴眼镜的对象的情况下,根据获取模块301获取的第一待识别图像生成眼镜模型,其中,第一待识别图像中包括眼镜图像,获取模块301获取第二待识别图像,其中,第二待识别图像中包括待建模对象,生成模块302在第二待识别图像中的待建模对象为未戴眼镜的对象的情况下,根据获取模块301获取的第二待识别图像生成待合成人脸模型,生成模块302根据眼镜模型以及待合成人脸模型,生成待建模对象所对应的目标人脸模型。
可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的人脸模型生成装置30的另一实施例中,获取模块301,具体用于:
获取第一待处理图像,其中,第一待处理图像中包括待建模对象;
基于第一待处理图像,通过关键点检测模型获取待建模对象所对应的m个关键点信息,其中,关键点信息与关键点一一对应,m为大于1的整数;
从m个关键点信息中确定n个关键点信息,其中,n为大于1,且小于或等于m的整数;
基于n个关键点信息,根据第一待处理图像获取第一待识别图像。
可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的人脸模型生成装置30的另一实施例中,
获取模块301,还用于基于获取模块301获取的第一待识别图像,通过眼镜检测模型获取第一待识别图像的分类结果;
获取模块301,还用于在第一待识别图像的分类结果为第一分类结果的情况下,基于获取模块301获取的第一待识别图像,通过对象构建模型获取待建模对象所对应的目标人脸模型。
获取模块301,具体用于在第一待识别图像的分类结果为第二分类结果的情况下,确定第一待识别图像中的待建模对象为已戴眼镜的对象,执行获取第二待识别图像的步骤。
可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的人脸模型生成装置30的另一实施例中,获取模块301,具体用于:
获取第二待处理图像,其中,第二待处理图像中包括待建模对象;
基于第二待处理图像,通过关键点检测模型获取待建模对象所对应的m个关键点信息,其中,关键点信息与关键点一一对应,m为大于1的整数;
从m个关键点信息中确定n个关键点信息,其中,n为大于1,且小于或等于m的整数;
基于n个关键点信息,根据第二待处理图像获取第二待识别图像。
可选地,在上述图10所对应的实施例的基础上,请参阅图11,图11为本申请实施例中人脸模型生成装置的一个实施例示意图,本申请实施例提供的人脸模型生成装置30的另一实施例中,
获取模块301,还用于基于第二待识别图像,通过眼镜检测模型获取第二待识别图像的分类结果;
生成模块302,还用于在第二待识别图像的分类结果为第一分类结果的情况下,执行根据第二待识别图像生成待合成人脸模型的步骤;
人脸模型生成装置30还包括:确定模块303,用于在第二待识别图像的分类结果为第二分类结果的情况下,确定第二待识别图像中的待建模对象为已戴眼镜的对象。
可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的人脸模型生成装置30的另一实施例中,获取模块301,还用于在第一待识别图像中的待建模对象为已戴眼镜的对象的情况下,基于n个关键点信息,从第一待识别图像中获取眼镜图像;
生成模块302,具体用于:
基于第一待识别图像中的眼镜图像,通过眼镜分类模型获取目标眼镜类型;
根据目标眼镜类型生成眼镜模型。
可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的人脸模型生成装置30的另一实施例中,生成模块302,具体用于基于第二待识别图像,通过对象构建模型获取待合成人脸模型。
可选地,在上述图10和图11所对应的实施例的基础上,本申请实施例提供的人脸模型生成装置30的另一实施例中,
人脸模型生成装置30还包括:输出模块304,用于基于第一待识别图像以及第二待识别图像,通过对象判别模型输出对应的判别结果;
生成模块302,还用于在输出模块304输出的判别结果为第一判别结果的情况下,执行根据第二待识别图像生成待合成人脸模型的步骤;
人脸模型生成装置还包括:接收模块305,用于在输出模块304输出的判别结果为第二判别结果的情况下,接收图像重置请求,其中,图像重置请求用于提示再次输入待识别图像。
可选地,在上述图10和图11所对应的实施例的基础上,本申请实施例提供的人脸模型生成装置30的另一实施例中,人脸模型生成装置还包括:确定模块303,用于根据第一待识别图像以及第二待识别图像,确定目标相似度;
生成模块302,还用于在确定模块确定的目标相似度大于或等于相似度阈值的情况下,执行根据第二待识别图像生成待合成人脸模型的步骤;
人脸模型生成装置还包括:接收模块305,用于在目标相似度小于相似度阈值的情况下,接收图像重置请求,其中,图像重置请求用于指示再次输入待识别图像。
本申请实施例还提供了一种模型生成装置,请参阅图12,图12为本申请实施例中模型生成装置的一个实施例示意图,模型生成装置40包括:
获取模块401,用于获取第一待识别图像,其中,第一待识别图像中包括待建模对象;
生成模块402,用于在第一待识别图像中的待建模对象为已携带物件的对象的情况下,根据获取模块401获取的第一待识别图像生成物件模型,其中,第一待识别图像中包括物件图像;
获取模块401,还用于获取第二待识别图像,其中,第二待识别图像中包括待建模对象;
生成模块402,还用于在第二待识别图像中的待建模对象为未携带物件的对象的情况下,根据获取模块401获取的第二待识别图像生成待合成对象模型;
生成模块402,还用于根据物件模型以及待合成对象模型,生成待建模对象所对应的目标对象模型。
本实施例中,获取模块401获取第一待识别图像,其中,第一待识别图像中包括待建模对象,生成模块402在第一待识别图像中的待建模对象为已携带物件的对象的情况下,根据获取模块401获取的第一待识别图像生成物件模型,其中,第一待识别图像中包括物件图像,获取模块401获取第二待识别图像,其中,第二待识别图像中包括待建模对象,生成模块402在第二待识别图像中的待建模对象为未携带物件的对象的情况下,根据获取模块401获取的第二待识别图像生成待合成对象模型,生成模块402,还用于根据物件模型以及待合成对象模型,生成待建模对象所对应的目标对象模型。
接下来,本申请实施例还提供了一种服务器,请参阅图13,图13为本申请实施例中提供的服务器的一个结构示意图。所述服务器500上可以部署有上述图10和图11对应的实施例中提供的人脸模型生成装置,用于执行图2至图8对应的实施例中服务器执行的步骤,或者,所述服务器500上可以部署有上述图12对应的实施例中提供的模型生成装置,用于执行图9对应的实施例中服务器执行的步骤。该服务器500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(centralprocessingunits,cpu)522(例如,一个或一个以上处理器)和存储器532,一个或一个以上存储应用程序542或数据544的存储介质530(例如一个或一个以上海量存储设备)。其中,存储器532和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对区块链节点中的一系列指令操作。更进一步地,中央处理器522可以设置为与存储介质530通信,在服务器500上执行存储介质530中的一系列指令操作。
服务器500还可以包括一个或一个以上电源526,一个或一个以上有线或无线网络接口550,一个或一个以上输入输出接口555,和/或,一个或一个以上操作系统541,例如windowsservertm,macosxtm,unixtm,linuxtm,freebsdtm等等。
上述实施例中由服务器所执行的步骤可以基于该图13所示的服务器。在本申请实施例中,当服务器上部署有图10和图11对应的实施例中提供的人脸模型生成装置时,cpu522还用于执行图2至图8对应的实施例中服务器执行的步骤,cpu522还用于执行如下步骤:
获取第一待识别图像,其中,第一待识别图像中包括待建模对象;
若第一待识别图像中的待建模对象为已戴眼镜的对象,则根据第一待识别图像生成眼镜模型,其中,第一待识别图像中包括眼镜图像;
获取第二待识别图像,其中,第二待识别图像中包括待建模对象;
若第二待识别图像中的待建模对象为未戴眼镜的对象,则根据第二待识别图像生成待合成人脸模型;
根据眼镜模型以及待合成人脸模型,生成待建模对象所对应的目标人脸模型。
对于cpu522执行图2至图8应的实施例中服务器执行的步骤的具体实现方式,可以参阅图2至图8对应的方法实施例中的描述,此处不做赘述。
当服务器上部署有图12对应的实施例中提供的模型生成装置时,cpu522还用于执行图9对应的实施例中服务器执行的步骤,具体的,cpu522还用于执行如下步骤:
获取第一待识别图像,其中,第一待识别图像中包括待建模对象;
若第一待识别图像中的待建模对象为已携带物件的对象,则根据第一待识别图像生成物件模型,其中,第一待识别图像中包括物件图像;
获取第二待识别图像,其中,第二待识别图像中包括待建模对象;
若第二待识别图像中的待建模对象为未携带物件的对象,则根据第二待识别图像生成待合成对象模型;
根据物件模型以及待合成对象模型,生成待建模对象所对应的目标对象模型。
对于cpu522执行图9应的实施例中服务器执行的步骤的具体实现方式,可以参阅图9对应的方法实施例中的描述,此处不做赘述。
接下来,本申请实施例还提供了一种终端设备,所述终端设备上可以部署有上述图10和图11对应的实施例中提供的人脸模型生成装置,用于执行图2至图8对应的实施例中终端设备执行的步骤,或者,所述终端设备600上可以部署有上述图12对应的实施例中提供的模型生成装置,用于执行图9对应的实施例中终端设备执行的步骤。如图14所示,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(personaldigitalassistant,pda)、销售终端(pointofsales,pos)、车载电脑等任意终端设备,以属性信息展示装置为手机为例:
图14示出的是与本申请实施例提供的模型生成装置相关的手机的部分结构的框图。参考图14,手机包括:射频(radiofrequency,rf)电路610、存储器620、输入单元630、显示单元640、传感器630、音频电路660、无线保真(wirelessfidelity,wifi)模块670、处理器680、以及电源690等部件。本领域技术人员可以理解,图14中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图14对手机的各个构成部件进行具体的介绍:
rf电路610可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器680处理;另外,将设计上行的数据发送给基站。通常,rf电路610包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(lownoiseamplifier,lna)、双工器等。此外,rf电路610还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(globalsystemofmobilecommunication,gsm)、通用分组无线服务(generalpacketradioservice,gprs)、码分多址(codedivisionmultipleaccess,cdma)、宽带码分多址(widebandcodedivisionmultipleaccess,wcdma)、长期演进(longtermevolution,lte)、电子邮件、短消息服务(shortmessagingservice,sms)等。
存储器620可用于存储软件程序以及模块,处理器680通过运行存储在存储器620的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器620可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器620可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元630可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元630可包括触控面板631以及其他输入设备632。触控面板631,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板631上或在触控面板631附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板631可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器680,并能接收处理器680发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板631。除了触控面板631,输入单元630还可以包括其他输入设备632。具体地,其他输入设备632可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元640可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元640可包括显示面板641,可选的,可以采用液晶显示器(liquidcrystaldisplay,lcd)、有机发光二极管(organiclight-emittingdiode,oled)等形式来配置显示面板641。进一步的,触控面板631可覆盖显示面板641,当触控面板631检测到在其上或附近的触摸操作后,传送给处理器680以确定触摸事件的类型,随后处理器680根据触摸事件的类型在显示面板641上提供相应的视觉输出。虽然在图14中,触控面板631与显示面板641是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板631与显示面板641集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器630,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板641的亮度,接近传感器可在手机移动到耳边时,关闭显示面板641和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路660、扬声器661,传声器662可提供用户与手机之间的音频接口。音频电路660可将接收到的音频数据转换后的电信号,传输到扬声器661,由扬声器661转换为声音信号输出;另一方面,传声器662将收集的声音信号转换为电信号,由音频电路660接收后转换为音频数据,再将音频数据输出处理器680处理后,经rf电路610以发送给比如另一手机,或者将音频数据输出至存储器620以便进一步处理。
wifi属于短距离无线传输技术,手机通过wifi模块670可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图14示出了wifi模块670,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器680是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器620内的软件程序和/或模块,以及调用存储在存储器620内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器680可包括一个或多个处理单元;可选的,处理器680可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器680中。
手机还包括给各个部件供电的电源690(比如电池),可选的,电源可以通过电源管理系统与处理器680逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像模块、蓝牙模块等,在此不再赘述。
在本申请实施例中,当终端设备上部署有图10和图11对应的实施例中提供的人脸模型生成装置时,处理器680还用于执行图2至图8对应的实施例中终端设备执行的步骤,该终端设备所包括的处理器680还用于执行如下步骤:
获取第一待识别图像,其中,第一待识别图像中包括待建模对象;
若第一待识别图像中的待建模对象为已戴眼镜的对象,则根据第一待识别图像生成眼镜模型,其中,第一待识别图像中包括眼镜图像;
获取第二待识别图像,其中,第二待识别图像中包括待建模对象;
若第二待识别图像中的待建模对象为未戴眼镜的对象,则根据第二待识别图像生成待合成人脸模型;
根据眼镜模型以及待合成人脸模型,生成待建模对象所对应的目标人脸模型。
对于处理器680执行图2至图8应的实施例中终端设备执行的步骤的具体实现方式,可以参阅图2至图8对应的方法实施例中的描述,此处不做赘述。
当终端设备上部署有图12对应的实施例中提供的模型生成装置时,处理器680还用于执行图9对应的实施例中终端设备执行的步骤,具体的,处理器680还用于执行如下步骤:
获取第一待识别图像,其中,第一待识别图像中包括待建模对象;
若第一待识别图像中的待建模对象为已携带物件的对象,则根据第一待识别图像生成物件模型,其中,第一待识别图像中包括物件图像;
获取第二待识别图像,其中,第二待识别图像中包括待建模对象;
若第二待识别图像中的待建模对象为未携带物件的对象,则根据第二待识别图像生成待合成对象模型;
根据物件模型以及待合成对象模型,生成待建模对象所对应的目标对象模型。
对于处理器680执行图9应的实施例中终端设备执行的步骤的具体实现方式,可以参阅图9对应的方法实施例中的描述,此处不做赘述。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行如前述图2至图8所示实施例描述的方法中服务器所执行的步骤,或者,使得计算机执行如前述图9所示实施例描述的方法中服务器所执行的步骤。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行如前述图2至图8所示实施例描述的方法中终端设备所执行的步骤,或者,使得计算机执行如前述图9所示实施例描述的方法中终端设备所执行的步骤。
本申请实施例中还提供一种包括程序的计算机程序产品,当其在计算机上运行时,使得计算机执行如前述图2至图8所示实施例描述的方法中服务器所执行的步骤,或者,使得计算机执行如前述图9所示实施例描述的方法中服务器所执行的步骤。
本申请实施例中还提供一种包括程序的计算机程序产品,当其在计算机上运行时,使得计算机执行如前述图2至图8所示实施例描述的方法中终端设备所执行的步骤,或者,使得计算机执行如前述图9所示实施例描述的方法中终端设备所执行的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。