使用3D摄像头自助拍照打印3D人像的一体设备及方法与流程

本发明属于3d打印技术领域，特别是涉及一种使用3d摄像头自助拍照打印3d人像的一体设备及方法。

背景技术：

随着3d打印技术的普及，市场上已有专业提供3d人像打印的机构。3d人像打印最重要的是人体三维数据的采集和人体几何建模，目前3d人像打印普遍使用3d扫描仪进行人体数据的捕捉和处理，其流程包含扫描、修图、建模、打印，整套流程需要使用不同种类的设备仪器，不仅数据处理耗时较长，用户体验不佳，还导致3d人像打印整体价格居高不下。

传统的三维人体扫描方式需要用户站在3d人体扫描仪前，一定时间内保持特定的姿势，扫描仪对人体进行扫描后使用三维建模软件对扫描的数据进行处理转换为空间点，以点数据显示虚拟的模型。

也可使用多台套rgb摄像头进行不同角度拍照，然后通过2d图片识别方法，从平面图像中，通过自动或人工交互的方式恢复出三维人体的几何模型。

已有技术缺点：

1、三维人体扫描仪多数是采用结构光扫描或激光扫描等技术，但传统的三维人体扫描通常需要接受过专业训练的人员进行操作，扫描速度较慢，仪器成本较高，通常是针对人体的某一个特定的姿势获得人体外观数据，因此很难直接满足人们在不同应用环境下的需求。

2、由于rgb摄像头拍摄的2d图像只含有人体的轮廓信息，不具有人体的深度信息，深度信息依赖纯软件算法或是专用芯片计算得出，因此不能得到精确的3d人体模型。同时，普通rgb摄像头在昏暗环境下以及特征不明显的情况下并不适用，受光照、物体纹理性质影响明显，需要多视角数据，对辅助设备的依赖性比较大。

技术实现要素：

针对现有技术中存在的问题，本发明提供一种使用3d摄像头自助拍照打印3d人像的一体设备及方法，整套设备集成化程度高，全程可视化操作，使用方便，测量精度较高，可在无人值守的情况下自助完成拍摄，建模，支付，打印的全流程服务。

为了实现上述目的，本发明采用以下的技术方案：

本发明提供的一种使用3d摄像头自助拍照打印3d人像的一体设备，该设备包括：

多台3d摄像头，用于拍摄人体彩色图像和获取人体深度信息；

显示单元，用于显示操作命令和图像处理信息；

数据处理单元，用于计算处理所述3d摄像头拍摄的图像信息和深度信息，并将不同视角的图像特征点融合、配准和拼接，快速创建人体三维模型；

3d打印单元，用于打印指定目标区域的3d人像；

电源单元，用于为多台3d摄像头、显示单元、数据处理单元和3d打印单元提供电源。

本发明还提供一种使用3d摄像头自助拍照打印3d人像的方法，包含以下步骤：

安装3d摄像头，在水平方向和垂直方向分别安装多台3d摄像头，使得3d摄像头拍摄范围覆盖拍摄区域内的所有空间；

选择打印区域，用户拍照前，先在显示单元上选择相应的打印区域，不同打印区域对应启动不同数量的3d摄像头；

选择支付，选定打印区域后，设备的显示单元生成支付界面，用户通过移动终端扫描支付二维码完成打印费用的支付；

图像采集，3d摄像头启动工作，从水平方向和垂直方向对人体进行图像数据采集，图像数据包括人体的彩色图像和深度信息；

图像配准和三维点云生成，为深度图像中的每一个像素点附上对应的rgb颜色从而得到人体局部的三维点云；

多视角图像拼接，由于每台3d摄像头视角有重叠部分，需拼接并配准不同视角下深度图像代表的人体局部点云，即可获得完整的三维人体点云数据；

构建人体三维模型，基于人体点云进行泊松表面重建得到人体三维模型；

打印3d人像，数据处理单元将待打印区域人体的3d影像数据传输给3d打印单元打印3d人像。

进一步地，所述安装3d摄像头的具体步骤如下：

由于3d摄像头与物体间的距离越近，拍摄效果越精确，为达到最佳拍摄效果，拍照区域设计为圆形，在水平方向和垂直方向分别安装多台3d摄像头；

若3d摄像头水平方向视野角度为α，在圆形拍照区域的外围水平安装360°/α台3d摄像头，360°/α台3d摄像头以每隔α对位于圆形拍照区域中心处的人体进行水平方向360°图像采集；

在圆形拍照区域每间隔α垂直安装三台3d摄像头；

设3d摄像头距离人体的水平距离为d，待测人体身高为h，3d摄像头垂直方向的视野角度为θ，要求三台3d摄像头的扫描高度大于等于h，公式如下：

d×6tan(θ/2)>h

d>h/6×tan(θ/2)，

因此，拍照区域设置为直径不小于2d的圆形区域；

位于最下面的摄像头离地面的高度为h1，计算h1的公式为：h1＝tan(θ/2)×d；

位于最上面的摄像头离地面的高度为h3，计算h3的公式为：h3＝h-tan(θ/2)×d；

位于中间的摄像头离地面的高度为h2，计算h2的公式为：h2＝(h1+h3)/2。

进一步地，所述安装3d摄像头之后，还包括：

使用zhang氏标定法，分别对3d摄像头内置的深度摄像头和rgb摄像头进行标定，通过matlabcameracalibrationtoolbox程序，分别计算出深度摄像头和rgb摄像头的内参和外参矩阵。

进一步地，所述选择打印区域分别为面部、半身和全身；

选择面部打印时，系统启动h3高度的360°/α台3d摄像头；

选择半身打印时，系统启动h2、h3高度的2×360°/α台3d摄像头；

选择全身打印时，系统启动h1、h2、h3高度的3×360°/α台3d摄像头。

进一步地，所述图像采集的具体步骤如下：

首先，深度摄像头测出拍摄目标区域内的深度信息，即z坐标，z坐标代表拍摄目标距深度摄像头视角的深度；

rgb摄像头对目标区域拍摄彩色图像，采集二维平面的人体信息，即x坐标和y坐标，x坐标代表目标物体的水平位置，y坐标代表目标物体的高度。

进一步地，所述图像配准和三维点云生成的具体步骤如下：

将rgb相机坐标系作为世界坐标系，则[rrgbtrgb]＝[i0]，其中，r为摄像头的旋转矩阵，t为摄像头的平移向量，设空间点p在rgb相机坐标系和深度相机坐标系下的坐标分别为prgb和pir，对公式pir＝rirprgb+tir求逆，得到prgb＝rir^-1pir-rir^-1tir，则空间点p经过(rir^-1-rir^-1tir)的坐标变换可以得到该点对应的rgb坐标；

在rgb图像上分别建立以像素为单位的直角坐标系u、v和以物理单位毫米为单位的直角坐标系xy，xy坐标系以图像内某一像素点o为原点，两坐标轴x、y分别与u、v平行；其中(u、v)表示以像素为基本单位的图像坐标系的坐标，(x、y)表示以毫米为基本单位的图像坐标系的坐标，则两图像坐标系上的坐标点有如下坐标变换关系：

深度相机坐标系转换到rgb相机坐标系后，假设空间任意一点p的深度坐标为(u,v)，则由坐标变换关系得：

式中，xw、yw是点p在rgb相机坐标系内的空间位置，zw是由深度相机坐标系到rgb相机坐标系点p的深度值，ɑx为深度摄像头u轴上归一化焦距，ɑy为深度摄像头v轴上归一化焦距，(uo,vo)为深度摄像头图像中心的坐标，ɑx、ɑy、uo、vo与摄像头的内参有关；

根据上式，求出点p的三维坐标：

对深度图像中的每一个像素都做上述操作，获得深度图像上像素点的三维坐标从而得到人体局部的三维点云。

进一步地，所述多视角图像拼接的具体步骤如下：

使用sift算子，找出各张照片中的特征点，得到特征点的精确位置和尺度信息，进行特征点的匹配；

完成特征点的匹配后得出一个特征点匹配集合，从特征点集合中选出最近距离与次近距离比值最小的八组匹配特征点进行图像的匹配，求出两张图像间的坐标变换；

将不同视角的图像转换到同一坐标系中，完成点云的初始配准，并采用随机采样一致性方法进行配准校正，得到照片中人体的完整三维点云数据。

进一步地，所述构建人体三维模型的具体步骤如下：

原始点云采样，对原始点云数据集采样，使用icp算法从两片原始点云中提取关键点；

初始对应点集估计，两片点云各自对选取的所有关键点分别计算其特征描述因子，结合特征描述因子在两个数据集中的坐标的位置，以二者之间特征和位置的相似度为基础，来估算它们的对应关系，初步估计对应点对，从而确定初始对应点集；

错误对应点对剔除，错误对应点对的剔除使用随机采样一致性的剔除算法；

刚体变换矩阵求解，基于对应关系评估错误度量标准，估计一个初始变换矩阵，使用最小二乘法迭代计算变换矩阵，最小化误差函数，直到符合收敛性条件；

配准完整人体点云数据，三维模型构造结束。

与现有技术相比，本发明具有以下优点：

本发明提供一种使用3d摄像头自助拍照打印3d人像的一体设备，设备使用多台3d摄像头，精确获取人体彩色图像和深度信息数据，通过将不同视角的图像特征点融合、配准和拼接，快速创建人体三维模型，用户可自由选择打印区域，并通过移动支付，自助完成3d人像打印。整套设备集成化程度高，操作简单，全程可视化操作，测量精度较高，可在无人值守的情况下自助完成拍摄、建模、支付、打印的全流程服务。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的一种使用3d摄像头自助拍照打印3d人像的一体设备的结构框图；

图2是本发明实施例的一种使用3d摄像头自助拍照打印3d人像方法的流程示意图；

图3是3d摄像头安装的示意图之一；

图4是3d摄像头安装的示意图之二。

图中序号所代表的含义：11.3d摄像头，12.数据处理单元，13.显示单元，14.3d打印单元，15.电源单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种使用3d摄像头自助拍照打印3d人像的一体设备及方法，下面结合附图和具体实施例对本发明进行详细说明。

实施例一

本实施例提供的一种使用3d摄像头自助拍照打印3d人像的一体设备，该设备分为前部拍照区域，中部显示及数据处理区域，后部打印区域；如图1所示，该设备包括：

多台3d摄像头11，用于拍摄人体彩色图像和获取人体深度信息；

显示单元13，用于显示操作命令和图像处理信息；

数据处理单元12，用于计算处理所述3d摄像头拍摄的图像信息和深度信息，并将不同视角的图像特征点融合、配准和拼接，快速创建人体三维模型；

3d打印单元14，用于打印指定目标区域的3d人像；

电源单元15，用于为多台3d摄像头11、显示单元13、数据处理单元12和3d打印单元14提供电源。

该设备将拍照、数据处理和打印的功能汇集在一个设备上，集成化程度高，设备通过3d摄像头拍摄相应区域的人体彩色图像和深度信息，并将不同视角的图像特征点融合、配准和拼接，快速创建人体三维模型，用户使用移动支付，自动打印并取出3d人像，方便快捷，操作简单。

本实施例还提供一种使用3d摄像头自助拍照打印3d人像的方法，如图2所示，包含以下步骤：

步骤s101，安装3d摄像头

目前国产3d摄像头的水平视角为58～67°，垂直视角为45～53°，检测距离0.5～5米，由于视角的限制，单台3d摄像头单次拍摄只能获取人体局部的深度信息和彩色图像，因此需要多台摄像头多视角拍摄目标区域来获取全部的深度信息和彩色图像，同时保证拍摄区域的3d摄像头在垂直方向上要有一定的重叠视角，以便于后期数据处理。

本设备在水平方向和垂直方向分别安装多台3d摄像头，使得3d摄像头拍摄范围覆盖拍摄区域内的所有空间，由于3d摄像头与物体间的距离越近，拍摄效果越精确，为达到最佳拍摄效果，本设备拍摄区域设计为圆形。

下面举一个具体实例说明如何布置3d摄像头。

1、按照3d摄像头水平方向视野角度为60°估算，如图4所示，在圆形拍照区域的外围水平安装6台3d摄像头(间隔60°)，利用6台3d摄像头从6个方向以每隔60°对位于圆形拍照区域中心处的人体进行水平方向360°图像采集。

2、在圆形拍照区域的外围每间隔60°垂直方向依次安装3台3d摄像头。

3、设3d摄像头距离人体的水平距离为d，待测人体身高为h，要求3台3d摄像头的扫描高度大于等于h，同时确保3台3d摄像头的垂直视野有重叠区域，重叠区域是三维人体数据点云配准融合的关键，重叠越多则后期点云配准融合越精确。公式如下：

d×6tan(θ/2)>h

tan(θ/2)>h/d×6

d>h/6×tan(θ/2)(1)。

4、如图3所示，按照3d摄像头垂直方向的视野角度θ最小45°估算，假设用户身高h＝2m，代入公式(1)，算出d最小应为0.8米，因此，前部拍照区域为直径不小于1.6米的圆形区域。

5、为确保最下面的3d摄像头能完全扫描到人体的双脚，其离地高度由几何关系可得：h1＝tan(θ/2)×d，则计算可得h1＝0.33m，即最下面的3d摄像头离地面0.33m。

6、最上面的3d摄像头离地高度由几何关系可得：h3＝h-tan(θ/2)×d，计算可得h3＝1.67m，即最上面的3d摄像头离地面1.67m。

7、位于中间的3d摄像头离地面的高度为h2，计算h2的公式为：h2＝(h1+h3)/2，计算可得h2＝1m，即中间的3d摄像头离地面1m。

按照此数据计算，最下面的3d摄像头可以完整地拍摄到人体的脚部，同理，最上面的摄像头可以完整地拍摄到人体的头部，可确保采集到完整的人体表面信息。

步骤s102，摄像头标定

使用工具软件，分别对3d摄像头内置的深度摄像头和rgb摄像头进行标定。使用zhang氏标定法，分别对深度摄像头和rgb摄像头进行标定，通过matlabcameracalibrationtoolbox程序，计算出深度摄像头和rgb摄像头的内参和外参矩阵。摄像头标定的目的是为了获取3d摄像头之间的姿态关系，用以将3d摄像头获取的点云调整到同一个坐标系下。标定过程只需在系统硬件平台搭建完成后执行一次。

步骤s103，选择打印区域

用户拍照前，先在显示单元上选择相应的打印区域，分别为“面部、半身、全身”，三种打印区域分别对应启动不同数量的3d摄像头。

选择面部打印时，系统启动h3高度的6台3d摄像头；

选择半身打印时，系统启动h2、h3高度的12台3d摄像头；

选择全身打印时，系统启动h1、h2、h3高度的18台3d摄像头。

步骤s104，选择支付

选定打印区域后，设备显示单元生成支付界面，根据用户选择打印区域的不同(面部、半身、全身)，用户通过移动终端扫描支付二维码完成打印费用的支付。

步骤s105，图像采集

拍摄时，设备通过语音提示用户站立在拍照区域的中心位置，并保持固定姿势5秒钟，3d摄像头启动并同步工作，从水平方向和垂直方向对人体进行图像数据采集。

首先，深度摄像头的红外光发射器发射近红外光，经过人体的反射后，红外图像传感器接收返回的近红外光，通过处理芯片计算返回光的形变情况或飞行时间，测出拍摄目标区域内的深度信息，即z坐标，z坐标代表拍摄目标距深度摄像头视角的深度，即离深度摄像头的远近，坐标单位为毫米。

rgb摄像头的rgb图像传感器启动，对目标区域拍摄彩色图像，采集二维平面的人体信息，即x坐标和y坐标，x坐标代表目标物体的水平位置，y坐标代表目标物体的高度，3个坐标的单位均为毫米。

深度信息主要用于空间坐标计算以及生成三维点云，彩色信息主要用于目标像素坐标点的提取和点云配准。3d摄像头将信息传送至数据处理单元，由计算机进行数据处理。

相邻的3d摄像头获取的深度信息要保证有一定的重叠部分，深度信息的配准就是依据两图像间的重叠区域，经过配准的深度信息才能获得完整的待拟合三维点云。

步骤s106，图像配准和三维点云生成

由于3d摄像头上的深度摄像头和rgb摄像头的位置和视角不同，需要先对深度摄像头进行坐标变换以实现深度图像和彩色图像的标定与配准，然后由深度图像的信息得到彩色图像的三维坐标，最后为深度图像中的每一个像素点附上对应的rgb颜色从而得到人体局部的三维点云。具体步骤如下：

1、建立一个世界坐标系来确定摄像机和物体的相对位置，世界坐标系由xw、yw、zw轴组成。由于深度摄像头的坐标和rgb摄像头的坐标不同，可以用一个旋转平移变换联系起来。将rgb相机坐标系作为世界坐标系，则[rrgbtrgb]＝[i0]，其中，r为摄像头的旋转矩阵，t为摄像头的平移向量，设空间点p在rgb相机坐标系(世界坐标系)和深度相机坐标系下的坐标分别为prgb和pir，对公式pir＝rirprgb+tir求逆，得到prgb＝rir^-1pir-rir^-1tir，则空间点p经过(rir^-1-rir^-1tir)的坐标变换可以得到该点对应的rgb坐标。

2、在rgb图像上分别建立以像素为单位的直角坐标系u、v和以物理单位毫米为单位的直角坐标系xy，xy坐标系以图像内某一像素点o为原点，两坐标轴x、y分别与u、v平行；其中(u、v)表示以像素为基本单位的图像坐标系的坐标，(x、y)表示以毫米为基本单位的图像坐标系的坐标，则两图像坐标系上的坐标点有如下坐标变换关系：

3、深度相机坐标系转换到rgb相机坐标系后，假设空间任意一点p的深度坐标为(u,v)，则由坐标变换关系得：

式中，xw、yw是点p在rgb相机坐标系内的空间位置，zw是由深度相机坐标系到rgb相机坐标系点p的深度值，ɑx为深度摄像头u轴上归一化焦距，ɑy为深度摄像头v轴上归一化焦距，(uo,vo)为深度摄像头图像中心的坐标，ɑx、ɑy、uo、vo与摄像头的内参有关；

根据上式，求出点p的三维坐标：

点p的坐标是一个三维向量，其x和y坐标即为该点在rgb相机坐标系中的像素坐标，取出该像素的颜色，作为深度图像中对应像素的颜色。根据公式pir＝rirprgb+tir，对深度图像中的每一个像素都做上述操作，获得深度图像上像素点的三维坐标从而得到人体局部的三维点云。

步骤s107，多视角图像拼接

经过步骤s106图像配准后的人体局部点云数据，每个点存储有3个浮点数值，3个数值分别代表人体的三维空间坐标信息，即x坐标，y坐标和z坐标的数值，同时每个点云还存储有3个字节，代表了使用rgb表示的颜色信息，3个字节分别对应r、g、b的值。由于每台3d摄像头视角有重叠部分，需拼接并配准不同视角下深度图像代表的人体局部点云，即可获得完整的三维人体点云数据。具体步骤如下：

1、使用sift算子，找出各张照片中的特征点，得到特征点的精确位置和尺度信息，进行特征点的匹配；

2、完成特征点的匹配后得出一个特征点匹配集合，然后从特征点集合中选出最近距离与次近距离比值最小的八组匹配特征点进行图像的匹配，求出两张图像间的坐标变换；

3、将不同视角的图像转换到同一坐标系中，完成点云的初始配准，并采用随机采样一致性(ransac)方法进行配准校正，得到照片中人体的完整三维点云数据。

步骤s108，构建人体三维模型

根据人体三维点云数据，数据处理单元使用icp算法等稠密匹配的方法，基于人体点云进行泊松表面重建得到人体三维模型，最后生成相应的数据文件保存。具体步骤如下：

1、原始点云采样，对原始点云数据集采样，使用icp算法从两片原始点云中提取关键点；

2、初始对应点集估计，两片点云各自对选取的所有关键点分别计算其特征描述因子，结合特征描述因子在两个数据集中的坐标的位置，以二者之间特征和位置的相似度为基础，来估算它们的对应关系，初步估计对应点对，从而确定初始对应点集；

3、错误对应点对剔除。初始对应点集中不是所有的对应关系都正确，错误的对应点对会直接影响刚体变换矩阵的估计结果，进而降低点云配准准确度。错误对应点对的剔除可以使用随机采样一致性(ransac)或其它剔除算法；为了提高变换矩阵的估计精度和配准速度，icp算法只使用去除错误对应点对后的初始对应点集的一个子集作为算法迭代的初始点集；

4、刚体变换矩阵求解，基于对应关系评估错误度量标准，估计一个初始变换矩阵，使用最小二乘法迭代计算变换矩阵，最小化误差函数，直到符合收敛性条件；

5、配准完整人体点云数据，三维模型构造结束。

步骤s109，打印3d人像

数据处理单元将待打印区域的人体3d影像数据传输给设备后部的3d打印单元，打印机开始打印3d人像。

步骤s110，取出3d人像

完成打印后，用户在显示单元点击完成按钮，前部拍照区域和后部打印区域的隔板取消锁死状态，用户可自行取出3d人像，整个打印过程完毕。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。