一种基于单个相机的三维数字化重建方法及系统的制作方法
【专利摘要】本发明涉及一种基于单个相机的三维数字化重建方法及系统，客户端获取一组二维图片发送给云端服务器；云端服务器采集二维图片的RGB三通道数据，并转换为UVW三通道数据；在UVW三通道颜色空间进行图像特征点的选取及匹配；在未知相机内参的情况下，根据三角对应关系，进行相机位置定标，得到相机位置的旋转矩阵R和平移向量t；根据图像特征点的匹配以及相机位置旋转矩阵R和平移向量t进行物体的三维重建；利用三维物体区域分析方法在物体表面上自动生成颜色贴图；本发明可实现在未知相机内参的情况下，进行相机位置定位，提高了数据采集的灵活性，在UVW三通道颜色空间对图像数据进行处理，大大降低了数据损失，提高计算结果的稳定性。
【专利说明】一种基于单个相机的三维数字化重建方法及系统
【技术领域】
[0001] 本发明涉及三维【技术领域】，尤其涉及一种基于单个相机的三维数字化重建方法及 系统。
【背景技术】
[0002] 物理世界的三维数字化建模技术在很多领域都有广泛的应用，例如三维地图，数 字化电影，数字博物馆，电子商务，3D打印等。我们正面临着一个从二维图像到三维大数据 的历史时代。但是如何高效精确的从二维数码相片中恢复三维立体信息，是至关重要的技 术问题。基于图像的三维重建是根据这些幅图片来恢复物体和场景的三维模型的方法。该 方法是一个交叉领域，涉及到计算机图像处理、计算机图形学、计算机视觉以及模式识别等 诸多学科。
[0003] 与传统的利用建模软件或者三维扫描仪得到立体模型的方法相比，基于图像三维 重建的方法成本低廉，真实感强，自动化程度高。此外，从理论上说基于图像三维重建实际 上是计算机图形学的逆问题。如何根据受干扰或者不完整的二维信息来恢复三维信息是这 项技术的一大难点，也是计算机视觉的一大难点。从图像序列获得物体的三维模型，利用机 器视觉的研究成果来快速实现图像序列的景物的重建，长期以来一直是计算机视觉领域中 的重要研究课题。
[0004] 一般说来，从图像序列获取物体三维模型的方法可以依据是否己知摄像机的内参 来划分为两大类。
[0005] ( -）、在已知摄像机内参的情况下，称为从运动恢复（校准的）结构。早期的方 法主要集中在对两幅图像的研究上，通过找出两幅图像中一系列对应点对，进而得到物体 的三维模型。后来人们把精力渐渐转移到复杂的长序列图像的研究上，因为利用长序列图 像信息的冗余性（redundancy)，可以获得更加精确的三维模型。这些方法较有代表性的是 Tomasi和Kanade提出的在仿射摄像机模型下利用因数分解来提取三维外形的方法。其优 点是能够精确地获得欧氏几何意义下的三维模型，局限性是需要已知摄像机的内参数，即 事先需要对摄像机进行校准，这在许多应用中都非常不方便。
[0006] (二）、在实际应用中，摄像机的内参常常是未知的。这就要求在未知摄像机内参 的情况下获取物体三维模型，称作从运动恢复未校准的结构。它是一个比较困难的问题，至 今为止还没有比较好的方法能够得到满意的结果。主要因为刚开始所能获得的信息非常有 限，景物的几何结构以及摄像机的位置信息都是未知。唯一所能得到的信息是一些常用的 假设如：景物是刚性的；物体表面的灰度变换是连续的；摄像机的模型是针孔模型等。
[0007] 现有技术方案存在以下缺点：
[0008] (1)需要用校正板校对相机内部参数：现有的技术产品，需要使用提前准备好的 黑白相间的校正板来校对相机的内部参数（包括相机的焦距，光学中心位置，成像偏移 等）。相机内参校对完成后，在采集数据（拍照）的过程中不能改变相机的内部参数，特别 是相机的焦距不能改变，制约了拍照的过程，这在许多应用中都非常不方便；
[0009] (2)受环境因素影响：现有的技术产品受诸多环境因素影响，场景中的诸多因素， 包括照明和光源情况、场景中物体的几何形状和物理性质（特别是表面的反射性质）、摄像 机的特性、光源与物体和摄像机之间的空间关系等，任何因素的变化都将影响图像的变化， 从而使三维数字化重建的结果很不稳定。
[0010] (3)现有技术中图像特征点的选取及特征点匹配算法都是基于但通道灰度图像 的，即使采集的数据是三通道RGB颜色图像，也要将三通道RGB模型编程单通道灰度Gray 模型，因为单通道模型每一个像素点只有一个从0到255之间的数值代表其灰度，数据简 单，方便计算，但其缺点也是显而易见的，即有用的数据大量损失，使得计算的结果不好，而 且不稳定。
【发明内容】
[0011] 本发明所要解决的技术问题是针对现有技术的不足，提供一种基于单个相机的三 维数字化重建方法及系统。
[0012] 本发明解决上述技术问题的技术方案如下：一种基于单个相机的三维数字化重建 方法，包括如下步骤：
[0013] 步骤1 :客户端获取被重建物体的一组二维图片，并发送给云端服务器；
[0014] 步骤2 :云端服务器采集二维图片的RGB三通道颜色图像数据，并转换为UVW三通 道颜色图像数据；
[0015] 步骤3 :在UVW三通道颜色空间进行图像特征点的选取及匹配；
[0016] 步骤4:在未知相机内参的情况下，根据三角对应关系，进行相机位置定标，得到 相机位置的旋转矩阵R和平移向量t ;
[0017] 步骤5 :根据图像特征点的匹配以及相机位置旋转矩阵R和平移向量t进行物体 的三维重建；
[0018] 步骤6 :利用三维物体区域分析方法在物体表面上自动生成颜色贴图。
[0019] 本发明的有益效果是：本发明可实现在未知相机内参的情况下，进行相机位置定 位，无需每次校验相机内参后再采集数据，提高了数据采集的灵活性；且在UVW三通道颜色 空间对图像数据进行处理，大大降低了数据损失，提高计算结果的稳定性。
[0020] 在上述技术方案的基础上，本发明还可以做如下改进。
[0021] 进一步，步骤2中将三通道RGB颜色图像数据转换为三通道UVW颜色图像数据的 具体实现为：
[0022] 步骤2. 1 :将非线性的RGB三通道颜色模型转换为相对线性的XYZ三通道颜色模 型，转换公式如下，
[0023]
【权利要求】
1. 一种基于单个相机的三维数字化重建方法，其特征在于，包括如下步骤： 步骤1 :客户端获取被重建物体的一组二维图片，并发送给云端服务器； 步骤2 :云端服务器采集二维图片的RGB三通道颜色图像数据，并转换为UVW三通道颜 色图像数据； 步骤3 :在UVW三通道颜色空间进行图像特征点的选取及匹配； 步骤4 :在未知相机内参的情况下，根据三角对应关系，进行相机位置定标，得到相机 位置的旋转矩阵R和平移向量t; 步骤5 :根据图像特征点的匹配以及相机位置旋转矩阵R和平移向量t进行物体的三 维重建； 步骤6 :利用三维物体区域分析方法在物体表面上自动生成颜色贴图。
2. 根据权利要求1所述一种基于单个相机的三维数字化重建方法，其特征在于，步骤2 中将三通道RGB颜色图像数据转换为三通道UVW颜色图像数据的具体实现为： 步骤2. 1 :将非线性的RGB三通道颜色模型转换为相对线性的XYZ三通道颜色模型，转 换公式如下，
其中，颜色空间的伽玛校正系数Y= 2.O; 步骤2. 2 :将相对线性的XYZ三通道颜色模型转换为有空间三维几何意义的UVW三通 道颜色模型，转换公式为
其中，F是从XYZ三通道颜色空间到UVW三通道颜色空间的函数，：代表像素点的XYZ三通道颜色空间值，A、B为常数矩阵，
3. 根据权利要求1所述一种基于单个相机的三维数字化重建方法，其特征在于，步骤3 中在UVW三通道颜色模型中进行特征点的选取和特征点的匹配的具体实现为： 步骤3. 1 :重定义UVW三通道颜色模型中邻域梯度，X、Y方向上的梯度分别为各自方向 上的向量相减，分别得到Gx和Gy，Θ为Gx和Gy的夹角； 步骤3. 2 :每个特征点由一个三角形代表，当两个三角形相同或相似，代表两个特征点 相同或相似。
4. 根据权利要求1所述一种基于单个相机的三维数字化重建方法，其特征在于，步骤4 中在未知相机内参的情况下，根据三角对应关系，进行相机位置定标的具体实现为：一个相 机在两个不同位置以不同内参状态拍照，相当于两个摄像机，第一摄像机和第二摄像机； 步骤4. 1 :利用基本矩阵关系式，根据对应点的坐标m和m'，计算基本矩阵F，其中基本 矩阵关系式为m'1Fm=O 其中，F为基本矩阵，m及m'分别为三维目标点M在两个相机位置的投影点； 步骤4. 2 :设第一摄像机坐标系与世界坐标系相同，R和t分别为第二摄像机坐标系相 对于世界坐标系的旋转矩阵和平移向量，基本矩阵F的另外表示形式如下式 F=K' ^ttjxRr1 其中，K为第一摄像机的内参，Γ为第二摄像机相机的内参，均未未知量，[t]x为t的 反对称矩阵，
步骤4. 3 :根据步骤4. 2中的基本矩阵F的关系式，计算旋转矩阵R和平移向量t。
5. 根据权利要求1所述一种基于单个相机的三维数字化重建方法，其特征在于，步骤5 根据图像特征点的匹配以及相机位置旋转矩阵R和平移向量t进行物体的三维重建的具体 实现为： 步骤5. 1 :根据图像特征点的匹配和相机位置定标重建得到构成的物体骨架的稀疏三 维点云； 步骤5. 2 :对稀疏三维点云进行扩展得到能将物体表面全部覆盖的但含有错误表面的 稠密三维点云； 步骤5. 3 :根据灰度一致性及可见性对获得的物体表面进行过滤； 步骤5. 4 :重复步骤5. 2和5. 3达到预定次数，得到无错误表面的表示物体表面的稠密 三维点云； 步骤5. 5 :在物体稠密三维点云的基础上，进行物体面重建。
6. 根据权利要求1所述一种基于单个相机的三维数字化重建方法，其特征在于，所述 步骤6的具体实现为： 步骤6. 1 :将步骤5中经过面重建获得的三维物体进行区域划分，找到颜色相对一致的 区域作为一个投影区域，把三维物体分割成若干个投影区域； 步骤6. 2 :计算每一个投影区域的法线方向同相机方向的夹角，选取最小夹角的相机 颜色为这一投影区域的颜色贴图。
7. -种基于单个相机的三维数字化重建系统，其特征在于，包括客户端和云端服务器， 所述云端服务器包括数据采集模块、特征点选取及匹配模块、相机位置方向定标模块、三维 重建模块和颜色贴图模块； 所述客户端用户获取单个相机拍摄的一组二维图片，并发送给云端服务器； 所述数据采集模块，其用于接收客户端发送的二维图片，并进行图片RGB三通道颜色 图像数据的采集，将采集的数据传递给特征点选取及匹配模块； 所述特征点选取及匹配模块，其用于在UVW三通道颜色空间进行图像特征点的选取及 匹配，将选取的特征点及匹配信息发送给相机位置方向定标模块； 相机位置方向定标模块，其用于在未知相机内参的情况下，根据三角对应关系，进行相 机位置定标，得到相机位置的旋转矩阵R和平移向量t，将相机位置方向定标信息发送给三 维重建模块； 所述三维重建模块，其用于根据图像特征点的匹配以及相机位置旋转矩阵R和平移向 量t进行物体的三维重建，并将三维重建得到的稠密三维点云发送给颜色贴图模块； 所述颜色贴图模块，其用于在稠密三维点云的基础上，利用三维物体区域分析方法在 物体表面上自动生成颜色贴图。
8. 根据权利要求7所述一种基于单个相机的三维数字化重建系统，其特征在于，所述 特征点选取及匹配模块包括空间模型转换单元、特征点选取及匹配单元； 所述空间模型转换单元，其用于将RGB三通道颜色图像数据转换为UVW三通道颜色图 像数据，并将转换后的数据发送给特征点选取及匹配单元； 所述特征点选取及匹配单元，其用于在UVW三通道颜色空间进行图像特征点的选取及 匹配，将选取的特征点及匹配信息发送给相机位置方向定标模块。
9. 根据权利要求7所述一种基于单个相机的三维数字化重建系统，其特征在于，所述 三维重建模块包括稀疏点重建单元、稠密点重建单元、表面过滤单元和面重建单元； 所述稀疏点重建单元，其用于根据图像特征点的匹配和相机位置定标重建得到构成的 物体稀疏点的稀疏三维点云； 所述稠密点重建单元，其用于对稀疏三维点云进行扩展得到能将物体表面全部覆盖的 稠密三维点云； 表面过滤单元，其用于根据灰度一致性及可见性对获得的物体表面进行过滤，最终得 到无错误表面的表示物体表面的稠密三维点云； 所述面重建单元，其用于在稠密三维点云的基础上，进行物体面重建。
10. 根据权利要求7所述一种基于单个相机的三维数字化重建系统，其特征在于，所述 颜色贴图模块包括投影划分单元和投影颜色选取单元； 所述投影划分单元，其用于将经过面重建获得的三维物体进行区域划分，找到颜色相 对一致的区域作为一个投影区域，把三维物体分割成若干个投影区域； 所述投影颜色选取单元，其用于计算每一个投影区域的法线方向同相机方向的夹角， 选取最小夹角的相机颜色为这一投影区域的颜色贴图。
【文档编号】G06T17/00GK104240289SQ201410339682
【公开日】2014年12月24日 申请日期:2014年7月16日 优先权日:2014年7月16日
【发明者】崔岩 申请人:崔岩