头戴式面部捕捉装置及使用该装置的三维面部重建系统的制作方法

1.本公开涉及三维重建技术，具体而言，涉及一种头戴式面部捕捉装置及使用该装置的三维面部重建系统。


背景技术：

2.电影/电视、游戏、广告新媒体等产业都需要使用大量逼真的三维数据组成的虚拟人类。为了获得人物的三维数据，多台照相机(photography camera)阵列可以对真人进行同一时刻多角度照片拍摄，再基于这些照片生成被扫描人物的三维数据。但是由于人脸面部表情更为丰富和细腻，上述这种方式丢掉了表情的动画信息，导致后续需要更多的手动建模和动画处理时间才能将虚拟面部表情动画制作得更逼真。
3.为了对面部表情进行捕捉，往往需要搭建非常昂贵的实验室环境的硬件系统来获取面部表情和纹理。如果仅采用简易设备对面部少量二维关键点进行采集，则后期还需要工作人员进行大量的手动的人脸表情建模工作才能让虚拟对象获得相对自然的表情动画，所以这些方式也是费时且昂贵的。
4.为此需要提供一种新型的便携式面部表情捕捉装置，使得对人脸面部表情的采集和重建过程在保证效果的同时效率更高，成本更低。


技术实现要素：

5.为了解决上述技术问题中的至少之一，根据本公开的实施例的一方面，提供了一种头戴式面部捕捉装置，其包括头戴框架组，该头戴框架组包括佩戴于头部上方的上框架，分别连接在所述上框架的两个末端的两个连接件，连接到所述连接件中的至少一个并延伸到面部前方的前框架，该头戴式面部捕捉装置还包括设置在所述前框架上的至少两台摄像机和设置在所述前框架上的照明部件；其中在所述上框架面对至少两台摄像机的表面上具有预设图案，其位于每台摄像机的拍摄范围内。
6.根据本公开的实施例的头戴式面部捕捉装置，可选地，所述至少两台摄像机被设置为任一台摄像机与其余摄像机中的至少一台的拍摄范围具有30％以上的重叠率。
7.根据本公开的实施例的头戴式面部捕捉装置，可选地，所述头戴框架组还包括后框架，该后框架包括调节旋转轴和对称设置的两个连杆，其中每个连杆的一端插入调节旋转轴，每个连杆的另一端可旋转地连接到两个所述连接件中的一个，所述调节旋转轴可旋转以调节每个连杆插入其中的深度。
8.根据本公开的实施例的头戴式面部捕捉装置，可选地，所述头戴框架组还包括下颌固定带，其在佩戴时贴合于头部的下颌部。
9.根据本公开的实施例的头戴式面部捕捉装置，可选地，所述前框架的两端分别固定到两个所述连接件，所述前框架包括一根或者多根支杆。
10.根据本公开的实施例的头戴式面部捕捉装置，可选地，所述前框架的两端分别固定到所述后框架的连杆，所述前框架包括一根或者多根支杆。
11.根据本公开的实施例的头戴式面部捕捉装置，可选地，所述前框架包括并置的两根或多跟u形支杆，其在面部两侧贴合在一起，在面部前方横向分开间隔设置。
12.根据本公开的实施例的头戴式面部捕捉装置，可选地，设置在所述前框架上的所述照明部件包括两个或多个led灯并且其被设置于至少一根支杆内，其中所述支杆为透明材质。
13.根据本公开的实施例的头戴式面部捕捉装置，可选地，两个所述连接件的形状与耳廓形状相适应以佩戴在耳后，所述上框架两端与两个所述连接件可旋转地连接，所述上框架上的图案是单色点状图案。
14.根据本公开的另一方面，还提供一种三维面部重建系统，其包括所述任一种头戴式面部捕捉装置，以及通过有线或者无线方式连接到所述头戴式面部捕捉装置的摄像机的计算机和同步盒，计算机从摄像机接收拍摄的信号，同步盒向摄像机发射同步拍摄的信号。
15.本公开的实施例所提供的头戴式面部捕捉装置通过头戴框架组中的一个或多个部件可以稳定地固定于头部，便于获得清晰精细的面部表情图像。此外，该头戴式面部捕捉装置的头戴框架组中多个部件可以设置为可调节模式，使得该头戴式面部捕捉装置可以方便地配合不同的采集对象和采集场景。由此，摄像机矩阵可以与人脸保持相对稳定的关系，让被扫描对象可以自由移动头部进行表情表演，从而捕获生动自然的表情。
16.另外，设置预设图案为至少两台摄像机组成的摄像机矩阵所拍摄的图案提供对齐的依据可以让表情动画数据更加稳定自然，使得处理效率和效果都得到提高，并且逼真度也得到显著提升。将照明部件分布于透明材质的支杆中可以在实现对面部均匀照明的同时使得装置更加简洁。
17.再者，包含该头戴式面部捕捉装置的三维面部重建系统可以将图像捕捉的控制部分和三维重建部分设置为便携式装置，自动完成三维面部重建处理，使得三维面部重建系统效率更高且成本更低。
18.实施本公开的任一装置并不一定需要同时达到以上所述的所有优点。本公开的其它特征和优点将在随后的说明书实施例中阐述，并且，部分地从说明书实施例中变得显而易见，或者通过实施本公开而了解。本公开实施例的目的和优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
19.为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简要地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
20.图1是根据本公开一个实施例的三维面部重建系统的结构示意图；
21.图2是根据本公开一个实施例的头戴式面部捕捉装置在佩戴时的示意性正视图；
22.图3是根据本公开一个实施例的头戴式面部捕捉装置在佩戴时的示意性侧视图；和
23.图4是根据本公开一个实施例的头戴式面部捕捉装置的分解示意图。
具体实施方式
24.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例
的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
25.除非另作定义，此处使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不必然表示数量限制。“包括”或者“包含”等类似的词语意指出现该词前面的元件或物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
26.图1是根据本公开一个实施例的三维面部重建系统的结构示意图。图2和图3分别示出了根据本公开一个实施例的头戴式面部捕捉装置在佩戴时的示意性正视图和侧视图。如图1-3所示，三维面部重建系统包括头戴式面部捕捉装置10和控制装置50。
27.头戴式面部捕捉装置10包括头戴框架组100、摄像机200和照明部件300。头戴框架组100佩戴在头部，使得头部与摄像机200和照明部件300的位置能够保持固定并且在需要时可进行调节。即便在被扫描对象自由移动头部的情况下，该结构仍然能保证摄像机200与扫描对象的面部相对稳定的关系。
28.摄像机200包括两台或者两台以上摄像机。图中示出了由6台摄像机组成的摄像机矩阵。摄像机的数量可以根据不同的三维重建精度的需求来进行调整，例如精度要求高的情况下可以设置6台或更多摄像机。为了适于捕捉面部表情，摄像机200可以采用帧速率不低于每秒30帧的小型摄像机。此外，摄像机200可以进一步具备全局快门和高分辨率，以保证拍摄过程中不出现由于被扫描对象的表情运动速度过快所导致的图片模糊问题。摄像机200的数据可以通过有线或者无线方式传送到控制装置50，并且可以通过有线或者无线方式接收来自控制装置50的控制信号。为了同步多台摄像机拍摄的每一帧，可以使用控制装置50中的同步盒(将在下文中描述)向各摄像机发送同步拍摄的触发信号。摄像机阵列的拍摄范围覆盖人脸全部区域，并且任一台摄像机与其余摄像机中的至少一个在拍摄范围拥有一定重叠率，例如在30％以上。举例来说，摄像机阵列中相邻摄像机的拍摄范围具有30％以上的重叠率。
29.照明部件300可以包括一个或多个led灯，用于给面部补光。可以设置相对于面部对称的led灯组，使得面部照明更加均匀。照明部件300也可以用其他合适的光源来实现。
30.图4示出了根据本公开一个实施例的头戴式面部捕捉装置的分解示意图。以下参照图1-4对头戴框架组100进行更具体地描述。
31.如图所示，头戴框架组100可以包括上框架110、后框架130、前框架140、后脑固定带150、下颌固定带160和连接件170。为了保持头部位置相对于摄像机的稳定，头戴框架组100至少需要具有上框架110、前框架140以及连接件170。
32.上框架110佩戴于头部上方，其两个末端分别连接到连接件170的第一和第二连接
件171和173。上框架110面对摄像机的表面上设置有预设图案120，其位置相对于头部固定，并且位于每台摄像机的拍摄范围内。该预设图案120可以由随机分布的单色点状图案构成，其让每台摄像机精确重建自身的三维位置。在上框架上设置该预设图案使得表情动画的每一帧三维模型数据都可以对齐到同一空间坐标内，让表情动画数据更加稳定自然。预设图案也可以设置在单独的部件上，其连接到上框架110的表面。
33.上框架110还可以包括辅助上框架定位的定位块115，其可以做成与头顶形状相适应的挡块，以进一步防止上框架在头顶部分移动。
34.连接件170包括佩戴于左右两侧的第一和第二连接件171和173，其可以设置为适合于耳廓的形状，例如大致半圆环形，在佩戴时位于耳廓之后。上框架110的末端通过连接机构与第一和第二连接件171和173相连接。上框架110与第一连接件171可以采用可围绕第一旋转轴113枢轴旋转的连接方式，上框架110与第二连接件173可采用相同或类似方式连接，使得上框架可以在一定范围内调整其在头顶的位置。该连接方式能够锁紧，使得上框架在调整到位之后相对头部保持稳定。
35.后框架130包括调节旋转轴139和对称设置的两侧连杆135和137。连杆135和137可以采用l形结构，并且两个连杆的一端分别插入调节旋转轴139的两侧，另一端分别连接到第一和第二连接件171和173。调节旋转轴139可通过旋转来调节每个连杆插入其中的深度，以调节连杆之间的距离，由此可以调节头戴框架组的夹紧程度。
36.前框架140可以如图所示固定到后框架130的连杆上，例如将其末端插入连杆中或者采用其他连接方式，由此前框架可以经由后框架的连杆连接到连接件。为了调节前框架140相对于面部的位置，连杆135可以通过第二旋转轴133枢轴连接到第一连接件171，并且连杆137和第二连接件173可采用相同或类似方式连接。当调节到需要的位置后，该旋转轴133的连接可以锁紧。图中示出的前框架140为大致u形的形状，前框架140也可以采用例如l形的形状并且其一端固定到连杆中的一个。此外，前框架140可以通过固定或者可旋转的方式直接连接到连接件中的一个(例如，可以采用大致l形的形状)或者直接连接到两侧连接件(例如，可以采用大致u形的形状)。前框架140还可以设置为可伸缩的结构，进一步调节与面部的距离和位置。通过以上调节方式中的一种或多种，摄像机阵列可以被调节到拍摄范围能够覆盖完整面部的位置处。
37.图1-图4示出了大致为u形的前框架140，其包括两个支杆141和143，其在侧面位置处贴合在一起，在面部前方上下间隔设置。
38.支杆的数量可以是一个或者多个，其可以根据所需安装的摄像机的位置和数量来确定。例如，如果设置两台摄像机，支杆数量可以为1个。在多个支杆的情况下，支杆之间可以纵向间隔设置。图中示出了由6台摄像机构成的摄像机矩阵，分别设置在两个支杆141和143上，两个支杆可以对称设置。摄像机可以设置为能够根据需要安装、拆卸或调节位置，或者摄像机可以设置为固定于支杆上。照明部件300可以设置在支杆上，以在拍摄时对面部进行补光。
39.支杆可以采用轻质刚性材料，以减轻自身重量。此外，支杆还可以采用透明材质构成，并且具有中空的结构。照明部件300可以如图所示设置在支杆的中空结构中，使得外观更加简洁和美观。照明部件300可以包括一个或多个led灯。led灯可以对称地分布在支杆中，以使得面部的补光更加均匀。支杆采用中空的结构，也可以用于隐藏和保护照明组件
和/或摄像机的走线。
40.前框架140也可以采用其他形状或结构，只要便于在其上设置摄像机和照明部件即可。
41.后脑固定带150可以采用弹性材质，并且也可以根据需要采用可调节长度的结构。后脑固定带150的两端分别固定到左右两侧的第一和第二连接件171和173。为了进一步固定头戴框架组100的位置，还可以设置下颌固定带160，其可以采用弹性材料，并且也可以根据需要采用可调节长度的结构。下颌固定带160的两端分别固定到左右两侧的第一和第二连接件171和173。
42.头戴式面部捕捉装置10可以连接外部电源获取电力或者在其上配置有可充电电池(未示出)。该头戴式面部捕捉装置的头戴框架组中多个部件被设置为可调节和/或可拆卸模式，使得该头戴式面部捕捉装置可以方便地配合不同的采集对象和采集场景。
43.控制装置50包括同步盒51和计算机53。同步盒51与每台摄像机采用有线或者无线方式连接，用于将计算机53产生的每秒固定帧频的脉冲变成驱动摄像机拍摄每一帧的触发信号，使得所有摄像机同步拍摄每一帧。计算机53接收摄像机拍摄的数据，将数据存储为与每帧对应的图片文件。计算机53还可以将图片文件重建为每帧对应的三维数据模型，让这些模型的拓扑结构对齐，由此产生面部表情动画数据。在这个过程中，由于引入了定位的预设图案，每台摄像机可以精准地重建出自身的三维位置，使得扫描出来的表情数据可以对齐到统一的三维空间，提升了图像处理效率和效果。
44.控制装置50可以采用通用设备实现，也可以做成便携式装置，佩戴在被扫描对象的身上，或者可以仅将其中的同步设备佩戴在被扫描对象上。控制装置50根据需要还可以包括显示部件，也可以将处理之后的数据发送到其他设备的显示装置上进行显示。
45.以上所述仅是本公开的示范性实施方式，而非用于限制本公开的保护范围，本公开的保护范围由所附的权利要求确定。