3d扫描以及定位系统的制作方法
【专利摘要】一种用于获得关于表面的三维信息的系统，所述系统包括：感测装置，所述感测装置具有：用于在所述表面上提供经投射图形的图形投影仪；以及用于从一个视点获取所述表面的2D图像的相机，其中，参考目标集中的至少一个目标以及所述经投射图形的至少一部分在所述2D图像上是清楚的；存储器，所述存储器用于校准数据；图像处理器，所述图像处理器用于从所述2D图像提取所述经投射图形的表面点以及目标轮廓的2D图像坐标；3D表面点计算器，所述3D表面点计算器用于根据所述表面点的所述2D图像坐标计算所述表面点的3D坐标；3D目标计算器，所述3D目标计算器用于计算所述参考目标的3D位置和/或实际定向。
【专利说明】3D扫描以及定位系统
【技术领域】
[0001] 本发明大体上涉及物体的表面几何形状的三维扫描的领域，并且更确切地说涉及 结构光立体视觉。
【背景技术】
[0002] 物体的表面几何形状的三维扫描以及数字化通常在许多工业以及服务中使用，并 且所述三维扫描以及数字化的应用众多。物体的形状使用测距传感器来扫描并且数字化， 所述测距传感器测量传感器与表面上的点集之间的距离。所述传感器从给定视点捕获物体 的表面的一个部分。为了扩展经扫描部分或为了扫描整个表面，传感器或物体移动到若干 视点中的一者并且获得在传感器与物体之间的所有相对位姿（Pose)之间的空间关系。存 在用于测量并且计算这些空间关系的若干方法。这些方法中的一者利用目标，例如逆反射 (retro-reflective)目标。美国专利第7, 912, 673号的系统在使用至少一对相机观察逆反 射目标时，同时地在投射结构光的图形之后测量物体的表面形状。所述系统在累积单一模 型坐标系中的目标的3D位置的模型时同时构建表面几何形状的模型。简化建模系统以允 许利用单一相机进行操作同时保留整个系统的最多功能性将是有用的。
【发明内容】
[0003] 根据本发明的一个广义方面，有可能使用单一相机连同投影仪，从单一视点捕获 参考目标在表面上的3D位置以及可选地捕获其定向，同时捕获在全视场中的3D表面点。
[0004] 根据本发明的另一广义方面，提供了具有相机、投影仪以及光源的系统，所述系统 同时捕获3D表面以及逆反射目标的位置。
[0005] 在一个实施例中，此系统用于通过整合每一帧中的3D点以及目标模型来获取物 体的表面的3D模型。
[0006] 在一个实施例中，实时地使用此系统，即所述系统是允许在获取期间运动的单次 对焦系统。
[0007] 根据本发明的另一广义方面，提供了用于获得与具有至少一个参考目标的参考目 标集的表面有关的三维信息的系统，所述参考目标各自在靠近物体以及在物体上两者之一 的固定位置处提供，所述系统包括：感测装置，所述感测装置具有：用于在表面上提供经投 射图形的图形投影仪，以及用于从一个视点获取表面的2D图像的相机，所述相机与所述图 形投影仪协作，其中参考目标集中的至少一个目标以及经投射图形的至少一部分在2D图 像上是清楚的；存储器，所述存储器用于校准数据，所述校准数据包含相机以及图形投影仪 的外部参数以及内部参数；图像处理器，所述图像处理器用于从2D图像提取经投射图形的 表面点以及目标轮廓的2D图像坐标；3D表面点计算器，所述3D表面点计算器用于使用校 准数据根据表面点的2D图像坐标计算表面点的3D坐标；3D目标计算器，所述3D目标计算 器用于使用表面点的3D坐标以及校准数据根据目标轮廓的2D图像坐标计算参考目标的3D 位置以及实际定向中的至少一个。
[0008] 在一个实施例中，参考目标是逆反射目标，其中感测装置进一步包括用于照亮表 面的光源，相机与所述光源协作。
[0009] 在一个实施例中，光源是围绕相机的环形光源。
[0010] 在一个实施例中，环形光源具有至少两个发光二极管（LED)。
[0011] 在一个实施例中，图形投影仪是激光图形投影仪以及宽带图形投影仪中的一个。
[0012] 在一个实施例中，图形投影仪以及相机被同步为同时提供经投射图形以及通过相 机获取2D图像。
[0013] 在一个实施例中，所述系统进一步包括目标模型存储器，所述目标模型存储器用 于存储表面的目标的模型；目标匹配器，所述目标匹配器用于将目标与目标的模型的相同 目标进行匹配并且产生刚性变换，所述刚性变换将感测装置的坐标系映射到目标模型的坐 标系。
[0014] 在一个实施例中，所述系统进一步包括目标变换器，所述目标变换器用于使用刚 性变换将参考目标的3D位置变换成参考目标的经变换3D位置；目标模型构建器，所述目标 模型构建器用于使用参考目标的经变换3D位置更新目标模型存储器中的目标的模型。
[0015] 在一个实施例中，所述系统进一步包括表面点变换器，所述表面点变换器用于使 用刚性变换将表面点的3D坐标变换成表面点的经变换3D坐标；表面重建器，所述表面重建 器用于使用表面点的经变换3D坐标产生表面的表面模型。
[0016] 在一个实施例中，所述系统进一步包括用户界面显示器，所述用户界面显示器用 于显示表面的表面模型以及目标的模型两者中的至少一者。
[0017] 在一个实施例中，感测装置适合于移位到多个不同的视点，并且其中相机在所述 多个视点中的每一视点处获取2D图像，并且其中3D表面点计算器以及3D目标计算器使用 来自2D图像中的至少两者的2D图像坐标。
[0018] 在一个实施例中，相机在所述视点处获取2D图像中的至少两者，并且其中3D表面 点计算器以及3D目标计算器使用来自2D图像中的至少两者的2D图像坐标。
[0019] 在一个实施例中，感测装置适合于移位到多个不同的视点，并且其中相机在所述 多个视点中的每一视点处获取2D图像中的至少两者，并且其中3D表面点计算器以及3D目 标计算器使用来自2D图像中的至少两者的2D图像坐标。
[0020] 在一个实施例中，相机是第一相机并且其中2D图像是第一2D图像；并且其中感测 装置进一步包括用于获取表面的第二2D图像的第二相机，第二相机与第一相机协作，第一 相机与第二相机之间的空间关系是已知的，其中校准数据包含第二相机的外部参数以及内 部参数。
[0021] 在一个实施例中，感测装置进一步包括与第一相机、第二相机以及图形投影仪通 信的同步单元，所述同步单元控制第一相机以及图形投影仪以在第一时间间隔期间捕获第 一 2D图像，并且控制第二相机以及图形投影仪以在第二时间间隔期间捕获第二2D图像；其 中所述第一时间间隔与所述第二时间间隔不同。
[0022] 在一个实施例中，同步单元控制图形投影仪以在第一时间间隔期间提供经投射图 形，并且防止图形投影仪在第二时间间隔期间提供经投射图形。
[0023] 在一个实施例中，第二相机是纹理相机，第二2D图像是表面的2D纹理图像，所述 系统进一步包括纹理提取器，所述纹理提取器用于在表面点的2D图像坐标处提取表面的 纹理以获得表面点的纹理信息。
[0024] 根据本发明的另一广义方面，提供了用于获得关于表面的三维信息的系统，所述 系统包括：感测装置，所述感测装置具有：用于在表面上提供经投射图形的图形投影仪；以 及用于从一个视点获取表面的2D图像的相机，其中参考目标集中的至少一个目标以及经 投射图形的至少一部分在2D图像上是清楚的；存储器，所述存储器用于校准数据；图像处 理器，所述图像处理器用于从2D图像提取经投射图形的表面点以及目标轮廓的2D图像坐 标；3D表面点计算器，所述3D表面点计算器用于根据表面点的2D图像坐标计算表面点的 3D坐标；3D目标计算器，所述3D目标计算器用于计算参考目标的3D位置和/或实际定向。
[0025] 根据本发明的另一广义方面，提供了一种用于提取附着在表面上的目标的3D位 置的方法，图形投射在所述表面上。所述方法包括：检索目标信息，所述目标信息包含目标 尺寸；检索校准数据，所述校准数据包含外部参数以及内部参数；提供表面的2D图像，其中 目标以及经投射图形的至少一部分在2D图像上是清楚的；从2D图像提取目标的目标轮廓 的2D图像坐标；使用目标轮廓的2D图像坐标以及校准数据计算目标的至少一个可能定向； 使用目标轮廓的2D图像坐标、校准数据以及目标尺寸估计目标的经估计3D位置；从2D图 像提取经投射图形的表面点的2D图像坐标；识别位于目标周围的相邻表面点，并且使用校 准数据以及目标轮廓的2D图像坐标根据表面点的2D图像坐标计算相邻表面点的3D坐标； 使用目标轮廓的2D图像坐标在相邻表面点的3D坐标上拟合表面部分模型；使用经拟合表 面部分模型、目标轮廓的2D图像坐标以及至少一个可能定向进行以下操作中的至少一者： 将经估计3D位置改进成经改进3D位置以及识别目标的实际定向。
[0026] 在一个实施例中，目标信息包含目标厚度；改进经估计3D位置包含将目标厚度用 于改进。
【专利附图】
【附图说明】
[0027] 经包含以提供对本发明的主要方面的更好理解并且并入本说明书中且构成本说 明书的一部分的附图图示了本发明的实例实施例，并且与描述一起用以说明本发明的原 理。附图并不意图按比例绘制。在所述图式中：
[0028] 图1 (现有技术）是包含两个相机与环形灯的立体像对的图示；
[0029] 图2是包含一个相机与环形灯以及投影仪的立体像对的图示；
[0030] 图3图示了投射到具有参考目标的物体的表面上的网格图形；
[0031] 图4图示了参考目标以及网格图形连同参考目标在3D空间中的反投射的两个解 的图像；
[0032] 图5是进一步包含2D表面点的位置的图4的图像；
[0033] 图6是实例交互式3D表面建模系统的框图；以及
[0034] 图7是用于提取在3D中的目标的实例方法的流程图。
[0035] 应注意，在整个附图中，相同的特征通过相同的参考标号来标识。
【具体实施方式】
[0036] 在以下对实施例的描述中，参考附图是为了说明实例，本发明可以通过所述实例 来实践。应理解，可以在不脱离所揭示的本发明的范围的情况下实施其它实施例。
[0037] 图1 (现有技术）图示了具有两个相机102以及两个环形灯101的立体像对100。 如果逆反射目标已经附着到场景上，那么使用现有技术立体像对1〇〇允许同时捕获场景的 两个图像并且提取逆反射目标的3D位置。在图像处理之后，在每一图像中获得这些参考目 标的2D位置以及可选地获得其定向。随后，在应用三角测量以在立体像对坐标系中提取参 考目标的3D坐标之前，人们通常利用对极几何约束（epipolar geometry constraints)来 匹配在两个图像中以2D方式提取的目标。人们可以向此现有技术立体像对添加一个或若 干个相机，以便于匹配或改进最终坐标的精度。使用单一相机来替代现有技术立体像对的 两个相机将需要将相机移动到至少一个另外视点，以在计算参考目标的3D位置之前重新 观察相同的参考目标。人们还可以向现有技术立体像对添加图形投影仪以投射包含至少一 条线的图形，以便将相同的相机用于提取场景中的3D表面点，在该场景中，图形反射在该 场景的表面上。图形可以是激光图形。此原理在美国专利第7, 912, 673号中用于交互式建 模，而所述系统同时构建参考目标模型连同所观察物体的3D表面模型。
[0038] 为了利用现有技术方法测量表面点，人们还可以使用全视场图形投影仪连同相 机。可以在其中投影仪将光投射在表面上的全部整个视野上提取3D表面点。所提取的表面 点的密度将根据投影仪的类型以及所应用的方法而变化。基于时间编码的一些熟知的方法 包括在应用三角测量之前及时投射图像集以对图像点进行解码。投影仪的作用是帮助匹配 投影仪与相机像素之间的点。格雷码以及相移方法是此类方法的实例。存在许多可能的变 化；甚至有可能利用多光谱投射到单一或几个帧中来减少捕获时间。用以减少对单一帧的 捕获时间的另一方法利用空间编码来帮助匹配。经投射图形局部地对唯一位置进行编码。 时空编码的使用是结合以下两种类型的编码的另一变体：空间编码以及时间编码。将所捕 获的图像的数目减少至单一图像允许在捕获3D表面点期间的传感器或物体运动。这些系 统被称作快照系统。
[0039] 本发明使得有可能使用单一相机连同投影仪从单一视点捕获参考目标的3D位置 以及定向，同时捕获在全视场中的3D表面点。
[0040] 实例传感器200(也称为"感测装置"）的图示在图2中描绘，其中一个相机202连 同环形灯201安装在所述装置的一个末端处，而全视场投影仪203安装在另一末端处。全 视场投影仪203可以是激光图形投影仪或宽带图形投影仪，例如白光图形投影仪。还可以 使用其它类型的投影仪，例如红外图形投影仪或蓝色LED图形投影仪。
[0041] 全视场投影仪203可以与相机202同步以在捕获图像的同时投射图形。替代地， 全视场投影仪可以经激活来连续在物体的表面上提供图形而不与相机202同步。在所有情 况下，图形的至少一部分在通过相机捕获的图像上应该是清楚的。
[0042] 图3示出了参考目标306附着在其上并且图形305投射到其上的表面部分的图示 300。在此实例中，参考目标306是逆反射目标。图形在物体的表面上以及在逆反射材料上 是可见的。在此实例中，逆反射材料被单色（例如黑色）的环限制。黑色环有助于在传感 器的图像中识别目标。该环是有用的，但可以省略。环形灯的强度（level)可以经调整以 便使图像略微饱和，这也有助于在传感器的图像中识别目标。
[0043] 如将容易理解，光源与相机同步并且被提供在其附近以确保当通过相机捕获图像 时，参考目标306的逆反射材料反射光源光，由此使得参考目标306在图像中是清楚的。
[0044] 如果在图像的捕获期间物体不在其环境中移动，那么参考目标306可以在物体的 表面上和/或在靠近物体的环境的表面上。参考目标306可以是摄影测量目标、逆反射目 标、经编码目标、圆形目标、简单反射目标、所绘制的标记以及独特的形状特征。如果参考目 标306由反射材料制成，那么物体的表面可能需要被照亮以允许对参考目标的恰当识别。
[0045] 在图4中，示出了根据单目相机计算参考目标的位置以及定向的结果400。示出了 相机的图像平面412以及投射中心411。图像平面412示出了具有经投射图形416以及参考 目标413的所观察表面的图像。如果目标是圆形的，例如在此实例中，那么在图像中提取经 投射逆反射目标的未失真轮廓之后，获得椭圆形轮廓。因为相机被校准，所以可以使用所属 领域中熟知的方法来去除失真。实例在IEEE模式分析与机器智能汇刊（IEEE transactions on Pattern analysis and machine intelligence)，2000 年 10 月第 22 卷第 10 期第 1066 页至1077页中的J ?海科拉（J. Heikkila)的"使用圆形控制点的几何相机校准（Geometric camera calibration using circular control points)，'中會泛找至lj。
[0046] 根据图像中的椭圆形轮廓的方程，有可能计算所述椭圆形轮廓在3D空间中的定 向。目标法向量的两个解414、415是可能的。射线420源自相机的投射中心411并且经过 解414、415的中心。用于计算法向量定向的这两个解的一种方法如下。人们可以参考E ?特 鲁科（E. Trucco)、A ?韦里（A. Verri)、普伦蒂斯?霍尔（Prentice Hall) 1998 年的"对 3D 计算机视觉的介绍性技术（Introductory techniques for 3_D computer vision) " 的第 11章以获得更详细的论述。因为所述圆投射到相机的投射中心，所以所述圆在3D空间中与 圆锥相交，所述圆锥的方程通过下式给出：
[0047] aX2+bXY+cY2+dXZ+eYZ+fZ2 = PTCP = 0 (1)
[0048] 其中P= [X，Y，Z]T并且C是图像椭圆的实对称矩阵。在提取轮廓点之后，人们在 图像处理步骤处获得C。这些点可以毫米为单位。
[0049] 根据C计算三个本征值入i，入2，入3以及对应的本征向量 ei, e2, e3。根据本征值， 人们可以获得定向的两个角度值9 :
[0050]
【权利要求】
1. 一种用于获得与具有至少一个参考目标的参考目标集的表面有关的三维信息的系 统，每一参考目标被设置在所述表面的环境与所述表面两者之一上的固定位置处，所述系 统包括： 感测装置，所述感测装置具有： 图形投影仪，所述图形投影仪用于在所述表面上提供经投射图形； 相机，所述相机用于从一个视点获取所述表面的2D图像，所述相机与所述图形投影仪 协作，其中，所述参考目标集中的至少一个目标以及所述经投射图形的至少一部分在所述 2D图像上是清楚的； 用于校准数据的存储器，所述校准数据包含所述相机以及所述图形投影仪的外部参数 以及内部参数； 图像处理器，所述图像处理器用于从所述2D图像提取所述经投射图形的表面点以及 目标轮廓的2D图像坐标； 3D表面点计算器，所述3D表面点计算器用于使用所述校准数据根据所述表面点的所 述2D图像坐标计算所述表面点的3D坐标； 3D目标计算器，所述3D目标计算器用于使用所述表面点的所述3D坐标以及所述校准 数据根据所述目标轮廓的所述2D图像坐标计算所述参考目标的3D位置以及实际定向中的 至少一者。
2. 根据权利要求1所述的系统，其中，所述参考目标是逆反射目标，其中，所述感测装 置进一步包括用于照亮所述表面的光源，所述相机与所述光源协作。
3. 根据权利要求2所述的系统，其中，所述光源是围绕所述相机的环形光源。
4. 根据权利要求3所述的系统，其中，所述环形光源具有至少两个发光二极管（LED)。
5. 根据权利要求1所述的系统，其中，所述图形投影仪是激光图形投影仪以及宽带图 形投影仪中的一者。
6. 根据权利要求1所述的系统，其中，所述图形投影仪以及所述相机被同步为同时提 供所述经投射图形并且通过所述相机获取所述2D图像。
7. 根据权利要求1所述的系统，其进一步包括： 目标模型存储器，所述目标模型存储器用于存储所述表面的目标的模型； 目标匹配器，所述目标匹配器用于将所述目标与所述目标的模型中的相同目标进行匹 配并且产生刚性变换，所述刚性变换将所述感测装置的坐标系映射到所述目标模型的坐标 系。
8. 根据权利要求7所述的系统，其进一步包括： 目标变换器，所述目标变换器用于使用所述刚性变换将所述参考目标的所述3D位置 变换成所述参考目标的经变换3D位置； 目标模型构建器，所述目标模型构建器用于使用所述参考目标的所述经变换3D位置 更新所述目标模型存储器中的所述目标的模型。
9. 根据权利要求7所述的系统，其进一步包括： 表面点变换器，所述表面点变换器用于使用所述刚性变换将所述表面点的所述3D坐 标变换成所述表面点的经变换3D坐标； 表面重建器，所述表面重建器用于使用所述表面点的所述经变换3D坐标产生所述表 面的表面模型。
10. 根据权利要求9所述的系统，其进一步包括： 用户界面显示器，所述用户界面显示器用于显示所述表面的所述表面模型以及所述目 标的模型两者中的至少一者。
11. 根据权利要求1所述的系统，其中，所述感测装置适用于移位到多个不同的视点， 并且其中，所述相机在所述多个视点中的每一视点处获取所述2D图像，并且其中，所述3D 表面点计算器以及所述3D目标计算器使用来自所述2D图像中的至少两个2D图像的2D图 像坐标。
12. 根据权利要求1所述的系统，其中，所述相机在所述视点处获取所述2D图像中的至 少两个2D图像，并且其中，所述3D表面点计算器以及所述3D目标计算器使用来自所述2D 图像中的至少两个2D图像的2D图像坐标。
13. 根据权利要求1所述的系统，其中，所述感测装置适用于移位到多个不同的视点， 并且其中，所述相机在所述多个视点中的每一视点处获取所述2D图像中的至少两个2D图 像，并且其中，所述3D表面点计算器以及所述3D目标计算器使用来自所述2D图像中的至 少两个2D图像的2D图像坐标。
14. 根据权利要求1所述的系统，其中，所述相机是第一相机并且其中，所述2D图像是 第一 2D图像；并且其中，所述感测装置进一步包括用于获取所述表面的第二2D图像的第二 相机，所述第二相机与所述第一相机协作，所述第一相机与所述第二相机之间的空间关系 是已知的，其中，所述校准数据包含所述第二相机的外部参数以及内部参数。
15. 根据权利要求14所述的系统，其中，所述感测装置进一步包括与所述第一相机、所 述第二相机以及所述图形投影仪通信的同步单元，所述同步单元控制所述第一相机以及所 述图形投影仪以在第一时间间隔期间捕获所述第一 2D图像，并且控制所述第二相机以及 所述图形投影仪以在第二时间间隔期间捕获所述第二2D图像；其中，所述第一时间间隔与 所述第二时间间隔不同。
16. 根据权利要求15所述的系统，其中，所述同步单元控制所述图形投影仪以在所述 第一时间间隔期间提供所述经投射图形，并且防止所述图形投影仪在所述第二时间间隔期 间提供所述经投射图形。
17. 根据权利要求14所述的系统，其中，所述第二相机是纹理相机，所述第二2D图像是 所述表面的2D纹理图像，所述系统进一步包括纹理提取器，所述纹理提取器用于在所述表 面点的2D图像坐标处提取所述表面的纹理以获得所述表面点的纹理信息。
18. -种用于提取附着在表面上的目标的3D位置的方法，图形被投射在所述表面上， 所述方法包括： 检索目标信息，所述目标信息包含目标尺寸； 检索校准数据，所述校准数据包含外部参数以及内部参数； 提供所述表面的2D图像，其中，所述目标以及所述经投射图形的至少一部分在所述2D 图像上是清楚的； 从所述2D图像提取所述目标的目标轮廓的2D图像坐标； 使用所述目标轮廓的2D图像坐标以及所述校准数据计算所述目标的至少一个可能定 向； 使用所述目标轮廓的所述2D图像坐标、所述校准数据以及所述目标尺寸估计所述目 标的经估计3D位置； 从所述2D图像提取所述经投射图形的表面点的2D图像坐标； 识别位于所述目标周围的相邻表面点，并且使用所述校准数据以及所述目标轮廓的所 述2D图像坐标根据所述表面点的所述2D图像坐标计算所述相邻表面点的3D坐标； 使用所述目标轮廓的所述2D图像坐标在所述相邻表面点的所述3D坐标上拟合表面部 分模型； 使用所述经拟合表面部分模型、所述目标轮廓的2D图像坐标以及所述至少一个可能 定向进行以下操作中的至少一个：将所述经估计3D位置改进成经改进3D位置以及识别所 述目标的实际定向。
19.根据权利要求18所述的方法，其中， 所述目标信息包含目标厚度； 对所述经估计3D位置的所述改进包含将所述目标厚度用于所述改进。
【文档编号】G01B11/245GK104335005SQ201380030000
【公开日】2015年2月4日 申请日期:2013年6月26日 优先权日:2012年7月4日
【发明者】帕特里克·赫伯特, 费利克斯·罗谢特 申请人:形创有限公司