人脸三维模型重建方法、装置、设备、系统及移动终端与流程

文档序号:16323688发布日期:2018-12-19 05:48阅读:195来源:国知局
人脸三维模型重建方法、装置、设备、系统及移动终端与流程

本申请涉及计算机视觉领域,特别涉及一种三维重建方法、装置、设备、系统及一种移动终端。

背景技术

随着科学技术的日新月异,计算机视觉的应用日益受到各行业的关注和重视,三维重建是计算机视觉技术中最为热门的研究方向之一,三维人脸重建的目标是根据某个人的一张或者多张二维人脸图像重建出其三维人脸模型(此处的三维人脸模型一般仅指形状模型,定义为三维点云)。三维人脸模型在医学治疗、数字影视制作、游戏开发以及安防监控等方面展现出了极强的生命力和影响力,行业前景大好。

三维重建属于计算机视觉领域,专门针对人脸的三维重建对人脸的细节方面有着更高的要求。在现有的三维重建技术中,有着一些硬件的方法实现三维重建,比如多视图相机,三维扫描仪。这种方法能够获得精确的三维人脸模型,但是这些设备的价格都十分的昂贵,并且庞大,难以应用在个体用户上。在软件方法上的三维重建,是基于视频或者多角度图片进行三维重建的,对人脸的多个方位进行拍照采样,对相机进行人为的相机标定来获得相机的内外参数,然后通过人脸特征点检测,根据获得的特征点进行稠密匹配(或稀疏匹配)获得视差图。根据视差图重建出空间中对应的人脸三维坐标,然后通过一系列的滤波去除稠密点云中的误差值,最后使用稠密点云进行三维表面的重建来获得人脸三维模型。

上述过程中对进行相机标定的过程需要通过专业的相机设备,对没有抖动等干扰的情况下对多角度的大量高精度照片对图像进行特征点检测,然后对多角度的图片之间的特征点进行匹配,估算出相机的相对姿态,最后得到相机的内外参数。这种方法要求人为的拍照技术要非常好,排除人为抖动的等因素干扰,而且要求相机的本身像素要比较好,最后才能够获得较为精确的相机参数。另外,现有技术中对于一张图片中人脸的细节不能够很好的全部获取,误差较大。

因此,如何在控制降低拍摄条件需求下进行高精度的人脸三维模型重建,是本领域技术人员需要解决的技术问题。



技术实现要素:

本申请的目的是提供一种人脸三维模型重建方法,该方法在相对较差的拍摄条件下可以实现高精度的人脸三维模型重建;本申请的另一目的是提供人脸三维模型重建装置、设备、系统及一种移动终端,具有上述有益效果。

为解决上述技术问题,本申请提供一种人脸三维模型重建方法,包括:

接收采集的人脸视频;其中,所述人脸视频包括目标人脸预设角度的微小移动视频;

对所述人脸视频中的图像进行特征点检测,得到特征点坐标;

基于最小化重投影误差算法根据所述特征点坐标进行相机参数估计,得到估计参数;其中,所述估计参数包括:相机参数以及逆深度参数;

根据所述估计参数对所述图像进行立体匹配,得到人脸深度图;

根据所述人脸深度图建立人脸三维模型。

可选地,根据所述估计参数所述图像进行立体匹配包括:

基于平面扫描算法通过建立光强剖面根据所述估计参数对所述图像进行垂直方向以及水平方向修正后的立体匹配。

可选地,根据所述人脸深度图建立人脸三维模型前还包括:

根据所述估计参数对所述人脸深度图进行噪声剔除,得到精确人脸深度图;

则所述根据所述人脸深度图建立人脸三维模型具体为:根据所述精确人脸深度图建立人脸三维模型。

可选地,所述对所述人脸视频中图像进行特征点检测包括:

基于光流法对所述人脸视频中相邻图片进行特征点检测。

可选地,所述基于光流法对所述人脸视频中相邻图片进行特征点检测包括:

基于光流法对所述人脸视频中相邻图片进行顺序特征点检测;

参照所述顺序特征点检测的结果进行反序特征点检测。

可选地,所述基于平面扫描算法通过建立光强剖面根据所述估计参数对所述图像进行立体匹配前还包括:

根据所述估计参数中的畸变参数对所述人脸视频中图片帧进行畸变校正,得到无畸变失真的图像;

则所述基于平面扫描算法通过建立光强剖面根据所述估计参数对所述图像进行立体匹配具体为:基于平面扫描算法通过建立光强剖面根据所述估计参数对所述无畸变失真的图像进行立体匹配。

本申请公开一种人脸三维模型重建装置,包括:

视频接收单元,用于接收采集的人脸视频;其中,所述人脸视频包括目标人脸预设角度的微小移动视频;

特征点检测单元,用于对所述人脸视频中的图像进行特征点检测,得到特征点坐标;

参数估计单元,用于基于最小化重投影误差算法根据所述特征点坐标进行相机参数估计,得到估计参数;其中,所述估计参数包括:相机参数以及逆深度参数;

立体匹配单元,用于根据所述估计参数对所述图像进行立体匹配,得到人脸深度图;

模型建立单元,用于根据所述人脸深度图建立人脸三维模型。

本申请公开一种人脸三维模型重建设备,包括:

存储器,用于存储程序;

处理器,用于执行所述程序时实现所述人脸三维模型重建方法的步骤。

本申请公开一种人脸三维模型重建系统,包括:

摄像头,用于采集的人脸视频;其中,所述人脸视频包括对目标人脸的预设角度采集的微小移动视频;

人脸三维模型重建设备,用于接收所述人脸视频;对所述人脸视频中图像进行特征点检测,得到特征点坐标;根据所述特征点坐标估计相机参数,得到相机的估计参数;基于平面扫描算法通过建立光强剖面根据所述估计参数对所述图像进行立体匹配,得到人脸深度图;根据所述人脸深度图建立人脸三维模型。

本申请公开一种移动终端,包括:人脸三维模型重建系统。

本申请所提供的人脸三维模型重建方法根据最小化重投影误差对采集的微小移动短视频进行计算,最小化重投影误差可以对可能出现的人为抖动以及像素较差等干扰因素进行最优补偿,通过最小化重投影误差进行参数的估计可以实现从图片序列中获取精确的相机参数以及逆深度参数,这种情况下对拍摄者的拍摄技能以及相机的像素都没有过多要求,有利于人脸三维模型重建方法的普及;另外,通过最小化重投影误差计算得到高精度的逆深度参数,根据这该逆深度参数值进行立体匹配可以大大提升深度图的准确性,从而增加模型的可信度。

在本申请另一实施例中公开了通过平面扫描匹立体匹配算法进行立体匹配,增加了代价函数的垂直方向和水平方向的补偿,可以提高所获得深度图像边缘的精度,得到更加精确的深度图。

本申请还公开了一种人脸三维模型重建装置、设备、系统及一种移动终端,具有上述有益效果,在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的人脸三维模型重建方法的流程图;

图2为本申请实施例提供的连续图片中对应特征点示意图;

图3为本申请实施例提供的人脸三维模型重建装置的结构框图;

图4为本申请实施例提供的人脸三维模型重建设备的结构框图;

图5为本申请实施例提供的人脸三维模型重建设备的结构示意图。

具体实施方式

本申请的核心是提供一种人脸三维模型重建方法,该方法能够自动实现多个多媒体设备的同时运行;本申请的另一核心是提供一种多媒体控制装置、系统及一种可读存储介质,具有上述有益效果。

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

现有技术中通过软件形式进行模型重建一般是基于多视角图片的从二维图片到三维模型的人脸3d重建技术。为获取多角度的高清人脸图像,并计算得到较为精准的相机的参数,需要对多角度的图片之间的特征点进行匹配,找出几张图片相同的特征点,根据特征点的位置估算出相机的相对姿态,最后得到相机的内外参数。其中,特征点的检测需要在保持高像素且拍摄的多角度人脸图像需尽量保持单方向移动,然后在实际拍摄过程中很容易出现轻微抖动等情况,会严重影响模型的准确度。

本实施例提供一种人脸三维模型重建方法,基于最小重投影算法对拍摄的微笑移动的视频进行参数的估计,可以避免由于测量仪器的精度不完善和人为因素及外界条件对参数估计的影响,得到高精度的参数,对于用户采集数据的要求降低,可以广泛应用于移动设备,通过普通的摄像头也可以得到更加精确的深度图,从而得到更为精确的人脸三维模型。

请参考图1,图1为本实施例提供的人脸三维模型重建方法的流程图;该方法可以包括:

步骤s100、接收采集的人脸视频;其中,人脸视频包括目标人脸预设角度的微小移动视频。

预设角度指用户预先设定的人脸拍摄角度,对人脸进行预设角度的拍摄时,需要可以从预设角度的拍摄画面获取整个人脸的图像,为在保证可用数据量的基础上尽量减少计算时间,预设角度可以为人脸的左、中、右三个角度。每个视频包括若干帧图像集,当拍摄左中右三个角度时,可以得到左,右,中三个图像集。

微小移动指视频中拍摄角度的变化小,基本上相当于人手的抖动的角度变化,比如移动幅度变化小于1cm等。由于本实施例提供的计算方法只能实现对小基线图片的建模计算,因此输入的进行模型重建的视频需保证为微小移动的图片集。

另外,视频的采集可以直接对不同角度的人脸各采集1s左右的短视频,也可以通过拍摄整个人脸的长视频后进行部分截取,在此对微小移动视频的获取方式不做限定。

步骤s110、对人脸视频中图像帧进行特征点检测,得到特征点坐标信息;

对图像进行特征点检测的方法在此不做限定,可以选用光流法或者sift特征点检测等方法。

其中,sift特征点检测法计算速度较快,但精度较低,为保证模型的精确度,优选地,本实施例中进行特征点检测采用光流法。光流法是对运动序列图像进行分析的一个重要方法,光流不仅包含图像中目标的运动信息,而且包含了三维物理结构的丰富信息,可用来确定目标的运动情况以及反映图像其它等信息,匹配精度高。

当通过光流法进行特征检测时,对进行光流法进行特征检测的次数以及输入顺序不做限定,检测次数越多特征点越准确,计算量越大,速度越慢。优选地,可以采用两次检测,技能保证检测的准确率,又能保证较快的计算速度。

进行特征检测的图片输入顺序不做限定,可以顺序输入,当进行多次特征点检测时采用固定的图片输入顺序进行检测,也可调换顺序进行检测,比如进行多次检测时采用顺序以及倒序交换的方式进行检测。由于调换图片输入顺序进行检测过程可以最大限度避免检测过程的误差,增加每个特征点的准确性,优选地,可以采用顺序以及倒序交换的方式进行检测。

则对人脸视频中相邻图片通过光流法进行特征点检测具体可以为:

对人脸视频中相邻图片通过光流法进行顺序特征点检测;

参照顺序特征点检测的结果进行反序特征点检测。

采用上述步骤进行特征点的检测可以尽量避免检测出错误的特征点从而导致最后的相机参数不收敛的情况。

步骤s120、基于最小化重投影误差算法根据特征点坐标进行相机参数估计,得到估计参数。

估计参数主要包括相机参数以及逆深度参数,其中,相机参数包括的具体参数类型可以参照现有技术,可以包括比如相机焦距,相机径向畸变参数和相机的姿态矩阵等。

考虑到普通参数估计方法对特征点坐标检测结果依赖性较大,当采集的图像稳定,检测的特征点坐标误差小,即可获得相对准确的参数,一旦图像出现抖动等干扰情况参数的计算误差也会随之大大增加,而为了广泛应用,各种干扰情况的发生是不可避免的,通过现有技术中直接对多角度图像进行稠密匹配(或稀疏匹配)获得视差图并进行三维建模的过程误差会很大,本实施例将最小化重投影误差算法应用于参数的估计过程中,最小化重投影误差算法不仅考虑了单应矩阵的计算误差,同时也考虑了图像点的测量误差,可以最大程度消除重投影误差,避免解析方程的非线性问题。通过最小化重投影误差可以实现从图片序列中获取精确的相机参数以及逆深度参数,根据上述高精度的参数进行模型的构建可以大大增加模型的精确程度。最小化重投影误差算法的具体步骤可参照现有技术,在此不再赘述。

步骤s130、根据估计参数对图像进行立体匹配,得到人脸深度图。

根据步骤s120获得的估计参数可以对图像进行立体匹配。进行立体匹配的具体步骤可参照现有技术,比如可以通过动态规划算法、sad算法、ssd算法等。

其中,平面扫描算法主要是对空间对象进行一遍扫描,并在扫描过程中完成对空间对象的性质或空间对象之间的关系的分析。在扫描过程中,扫描线自左向右移动,依一定顺序遍历所有与扫描线相交的空间元素,判断它们之间的顺序和其他空间拓扑关系,可以依照一定规则进行分析,平面扫描算法一般应用于城市规划管理领域,比如水污染检测等。平面扫描算法对

优选地,可以利用平面扫描算法的对空间对象的分析能力通过建立光强剖面进行立体匹配。由于基于平面扫描算法进行立体匹配的过程中可能会出现深度图边缘误差较大的情况,为了减小图像深度图在图像边缘中的误差,可以在代价函数中增加了的修正因子,比如垂直方向和/或水平方向,修正角度越多修正效果越好,优选地,可以在代价函数中同时增加垂直方向和水平方向的修正。

则优选地,根据估计参数图像进行立体匹配具体可以为:基于平面扫描算法通过建立光强剖面根据估计参数对图像进行垂直方向以及水平方向修正后的立体匹配。具体地,上述过程具体可以包括以下步骤:根据逆深度参数将图像映射到参考平面,得到光强剖面,根据光强剖面确定匹配代价函数,根据光强剖面计算垂直方向以及水平方向的修正函数,根据匹配代价函数以及修正函数计算修正后的代价函数,根据修正后的代价函数进行稠密立体匹配,得到人脸深度图。

通过平面扫描算法进行立体匹配,相比现有的深度图获取方法提高了所获得深度图像边缘的精度,可以得到更加精确的深度图。深度图对于模型的建立十分重要,深度图相当于模型的“骨架”,建立高精确度的深度图可以大大提升模型的精确程度。

步骤s140、根据人脸深度图建立人脸三维模型。

根据深度图建立三维模型的具体过程可参照现有技术,通过计算得到的相机参数以及深度图,把获得的所有深度图通过相机参数反映射到三维空间中去,完成深度图的融合。

假设第k张深度图的第i行第j列深度为depth(k,i,j),

其中,xr和yr是图片的像素平面坐标,f为相机焦距。

从上式中把深度图上的点都映射到三维空间中去,组成一个稠密三维点云,最后可以进行表面泊松重建,获得人脸的三维模型。

基于上述实施例,本实施例通过的人脸三维模型重建根据最小化重投影误差通过对采集的微小移动短视频对可能出现的人为抖动等以及像素较差等干扰因素进行最优补偿,进行参数的估计,可以实现从图片序列中获取精确的相机参数以及逆深度参数,这种情况下对拍摄者的拍摄技能以及相机的像素都没有过多要求,有利于人脸三维模型重建方法的普及;另外,通过最小化重投影误差计算得到高精度的逆深度参数,根据这该逆深度参数值进行立体匹配可以大大提升深度图的准确性,从而增加了模型的可信度。

上述实施例中对通过最小化重投影误差算法进行相机参数估计的具体算法不做限定,为加深对参数估计过程的详细了解,在此以通过d-u径向畸变模型通过最小化重投影进行相机焦距f,相机径向畸变参数k1、k2,和相机的姿态矩阵r的估计为例,其它通过最小化重投影误差算法进行相机参数的估计的算法过程均可参照本实施例的介绍。

如图2所示为连续图片中对应特征点示意图,图中球体圆柱体以及正方体代表实际物体,从实际物体中引出的两个长方形代表对物体拍摄得到的其中的两张连续相邻图片,一个短视频拍摄了n张图片,图中undistortedfeaturecoordinate代表未失真的特征点坐标,projectedpoint代表的是下一张图中对应的点,referenceview代表参考图片,i-thview代表第i张图片,ri代表参考图片到第i张图片的旋转矩阵,ti代表参考图片到第i张图片的平移矩阵,是参考图像的第j个特征点的失真坐标,是第i张图像的第j个特征点的失真坐标,

采用d-u径向畸变模型将扭曲的图像域中的点映射到未失真的图像域。在中,f是d-u进行畸变模型函数,f(*)=1+k1||*||2+k2||*||4,其中,k1和k2是相机的径向畸变参数。

如果参考图像是第0张图片,特征点uoj反映射成三维空间点xj,

其中,wj为这个空间点的逆深度参数。

通过一个π函数来描述xj映射到第i张图片的过程

π(xj,ri,ti)=<r(ri)xj+ti>

<[x,y,z]t>=[x/z,y/z]t

这里ri和ti表示从参考图像到第i个图像的相对旋转和位移。{ri,1,ri,2,ri,3}分别是ri的第一行,第二行和第三行。

制定光束法平差(bundleadjustment),以最小化非参考图像中所有特征的再投影误差,如下:

n是图片集中图片的数量,ρ是element-wisehuber代价函数,k是相机的参数,r是旋转矩阵,t是平移矩阵,w是逆深度的值。

通过最小化重投影误差,可以获得精准的相机参数以及精准的逆深度参数。

另外,上述实施例中对通过平面匹配算法进行立体匹配的过程没有过多阐述,为加深对上述过程的理解,在此以下面的通过转换矩阵对建立的光强剖面映射到虚拟平面后再映射到参考图像的过程进行详细阐述,其它通过平面匹配算法进行立体匹配的过程均可参照下面的介绍。

i代表第i张图像,k代表第k个扫描面,定义一个单位矩阵hik,用于描述了从参考图像映射到第i张图像转换矩阵。

其中,k为相机的内部参数。

获得iik(u)的定义后,通过iik(u)把一张图片所有的像素u都映射参考平面上,获得一个强度剖面p(u,wk)=var([iok(u),...,i(n-1)k(u)])

然后定义了一个匹配代价函数,用于拟合实际的深度图.

c1(u,wk)=var([iok(u),...,i(n-1)k(u)])

其中,var代表计算方差。

为了提高图像深度图在图像边缘中的误差更加小,在代价函数中增加了垂直方向和水平方向的修正。

最后的匹配代价函数为

c=c1+λ(cδu+cδv)

其中,λ为用于调节垂直方向和水平方向的调节力度,过小时会导致边缘误差修正不到位,过大时会导致边缘过度修正,使得到的深度图边缘模糊化,λ的设定可自行选择合适的数据,在此对具体数值的设定不做限定。

通过匹配代价函数计算出参考图片和第i张图片中某区域的匹配程度,获得两张图片的最高匹配区域,从而进行稠密立体匹配,获得深度图。

基于上述实施例计算得到的深度图中存在一定的噪声,为尽量减少噪声干扰,优选地,可以对人脸深度图进行噪声剔除,进行噪声剔除的过程在此不做限定,可以根据噪声分布范围设置滤波器进行滤波。另外,也可以定义一个函数对强度剖面公式进行阈值设定,具体地,可以设置噪声剔除函数这里的是强度剖面p的平均值,dwin(u)是深度图中像素点u的深度值。可以设定一旦m(u)小于额定阈值,就认为当前点是噪声点,把其剔除掉,最后可以获得精确的深度图。根据精确人脸深度图可以得到精确的人脸三维模型。

上述实施例中计算得到的相机参数中包括畸变参数,为减少图像的畸变程度,提高建模的精准度,优选地,可以在对图像进行立体匹配前通过计算得到的畸变参数进行图像畸变校正。通过上一步获得的径向畸变参数k1和k2,对所有图片集进行畸变的校正,比如进行径向畸变校正,对应可以获得无径向畸变失真的图像。基于平面扫描算法通过建立光强剖面根据估计参数对无畸变失真的图像进行立体匹配可以得到更为精准的三维模型。

下面对本实施例提供的人脸三维模型重建装置进行介绍,下文描述的人脸三维模型重建装置与上文描述的人脸三维模型重建方法可相互对应参照。

请参考图3,图3为本实施例提供的人脸三维模型重建装置的结构框图;该装置可以包括:视频接收单元300、特征点检测单元310、参数估计单元320、立体匹配单元330以及模型建立单元340。

其中,视频接收单元300主要用于接收采集的人脸视频;其中,人脸视频包括目标人脸预设角度的微小移动视频;

特征点检测单元310主要用于对人脸视频中的图像进行特征点检测,得到特征点坐标;

参数估计单元320主要用于基于最小化重投影误差算法根据特征点坐标进行相机参数估计,得到估计参数;其中,估计参数包括:相机参数以及逆深度参数;

立体匹配单元330主要用于根据估计参数对图像进行立体匹配,得到人脸深度图;

模型建立单元340主要用于根据人脸深度图建立人脸三维模型。

优选地,立体匹配单元330具体可以为平面扫描立体匹配单元,用于基于平面扫描算法通过建立光强剖面根据估计参数对图像进行垂直方向以及水平方向修正后的立体匹配。

优选地,特征点检测单元310具体可以为光流检测单元,用于基于光流法对人脸视频中相邻图片进行特征点检测。

进一步地,光流检测单元具体可以包括第一检测子单元以及第二检测子单元,其中第一检测子单元用于基于光流法对人脸视频中相邻图片进行顺序特征点检测;第二检测子单元用于参照顺序特征点检测的结果进行反序特征点检测。

人脸三维模型重建装置可以还包括噪声剔除单元,噪声剔除单元输入端与参数估计单元320的输出端以及立体匹配单元330的输出端连接,噪声剔除单元的输出端与模型建立单元340的输入端连接,噪声剔除单元具体用于根据估计参数对人脸深度图进行噪声剔除,得到精确人脸深度图。则与噪声剔除单元连接的模型建立单元用于根据精确人脸深度图建立人脸三维模型。

人脸三维模型重建装置可以还包括畸变校正单元,畸变校正单元输入端与视频接收单元300以及参数估计单元320连接,用于根据估计参数中的畸变参数对人脸视频中图片帧进行畸变校正,得到无畸变失真的图像。畸变校正单元输出端与立体匹配单元的输入端连接,立则体匹配单元具体用于基于平面扫描算法通过建立光强剖面根据估计参数对无畸变失真的图像进行立体匹配。

需要说明的是,本申请具体实施方式中的人脸三维模型重建装置中的各个单元,其工作过程请参考人脸三维模型重建方法对应的具体实施方式,在此不再赘述。

请参考图4,图4为本实施例提供的人脸三维模型重建设备的结构框图;该设备可以包括:

存储器400,用于存储计程序;

处理器410,用于执行程序时实现人脸三维模型重建方法的步骤。

请参考图5,为本实施例提供的一种人脸三维模型重建设备的结构示意图,该重建设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessingunits,cpu)322(例如,一个或一个以上处理器)和存储器332,一个或一个以上存储应用程序342或数据344的存储介质303(例如一个或一个以上海量存储设备)。其中,存储器332和存储介质303可以是短暂存储或持久存储。存储在存储介质303的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对定位设备中的一系列指令操作。更进一步地,中央处理器322可以设置为与存储介质303通信,在重建设备301上执行存储介质303中的一系列指令操作。

重建设备301还可以包括一个或一个以上电源326,一个或一个以上有线或无线网络接口350,一个或一个以上输入输出接口358,和/或,一个或一个以上操作系统341,例如windowsservertm,macosxtm,unixtm,linuxtm,freebsdtm等等。

上面所描述的人脸三维模型重建方法中的步骤可以由人脸三维模型重建设备的结构实现。

本申请还公开一种可读存储介质,可读存储介质上存储有程序,程序被处理器执行时实现人脸三维模型重建方法的步骤。

本申请公开一种人脸三维模型重建系统,包括摄像头以及人脸三维模型重建设备。

其中摄像头的型号在此不做限定,普通的可以采集的人脸视频的摄像头即可。

人脸三维模型重建设备可参照上述介绍,在此不再赘述。人脸三维模型重建设备主要用于接收人脸视频;对人脸视频中图像进行特征点检测,得到特征点坐标;根据特征点坐标估计相机参数,得到相机的估计参数;基于平面扫描算法通过建立光强剖面根据估计参数对图像进行立体匹配,得到人脸深度图;根据人脸深度图建立人脸三维模型。

本申请还公开一种移动终端,包括上述人脸三维模型重建系统。

用户通过移动终端(如手机或平板)拍摄人脸,分别从人脸的多个角度(比如左、右、中)拍摄,对每个角度进行人脸视频的拍摄,每个角度采集大概1s左右的视频,进行一点点微小的移动,基本上相当于人手的抖动幅度。对于用户采集数据的要求很低,能够应用在移动设备上普通的摄像头上,并且在同样的光照环境下采集的数据。不用人为的进行相机参数的标定,也能够获得精确的人脸三维模型。用户可以通过手机快速获取自己的三维人脸模型,并应用在虚拟现实中。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置,系统,存储介质和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置,系统,存储介质和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个移动终端中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该产品存储在一个存储介质中,包括若干指令用以使得一台移动终端(可以是手机,或者平板电脑等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。

说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。

专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、终端或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的人脸三维模型重建方法、装置、设备、系统以及移动终端进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1