用于提供现实世界和图像传感器对应点的方法和设备与流程

本文的实施例涉及提供现实世界和图像传感器对应点，以用于校准用于基于光三角测量(light triangulation)进行三维(3d)成像的成像系统。

背景技术：

1、用于工厂和物流自动化的工业视觉相机和系统可以基于三维(3d)机器视觉，其中场景和/或对象的3d图像被捕获。3d图像是指还包含“高度”或“深度”信息而不只包含或至少不只包含例如关于如常规图像中的仅二维(2d)像素的信息(例如，强度和/或颜色)的图像。即，图像的每个像素可以包括与像素的位置相关联并且映射到已经被成像的东西(例如，对象)的位置的信息。然后可以应用处理以从3d图像提取关于对象的特性(即，对象的3d特性)的信息，并且例如将其转换成各种3d图像格式。这种关于高度的信息可以被称为范围数据，其中范围数据因此可以对应于来自被成像的对象的高度测量(或者换句话说，来自对象的范围或距离测量)的数据。替代地或附加地，像素可以包括关于例如材料性质的信息，诸如与成像区域中的光的散射或特定波长的光的反射相关。

2、因此，像素值可以例如与像素的强度和/或范围数据和/或材料性质相关。

3、当图像的图像数据例如由具有被配置为一次一行像素地感测并提供图像数据的传感器的相机一次一行地扫描或提供时，产生行扫描图像数据。行扫描图像的特殊情况是由所谓的“光片(sheet of light)”(例如，激光线、3d三角测量)提供的图像数据。激光通常是首选，但也可以使用其它能够提供“光片”(即，光平面)的光源，例如，能够提供保持聚焦且不会散开太多的光(或者换句话说，“结构化的”光)(例如由激光或发光二极管(led)提供的光)的光源。

4、3d机器视觉系统通常基于光三角测量。在这样的系统中，存在以特定光图案(诸如作为特定光图案的光片)照亮对象的光源，例如导致对象上的光或激光的线，并且沿着该线可以捕获与对象的剖面(profile)对应的对象的3d特性。通过使用这样的线扫描对象，即，执行线扫描，包括线和/或对象的移动，可以捕获与多个剖面对应的整个对象的3d特性。

5、使用光片进行三角测量的3d机器视觉系统或设备可以称为用于基于光(或光平面)三角测量(或在使用激光时，简称为激光三角测量)进行3d成像的系统或设备。

6、通常，为了基于光三角测量产生3d图像，来自要成像的对象的反射光由相机的图像传感器捕获，并且在图像数据中检测到强度峰。峰出现在与被成像对象上具有从对象反射的入射光(例如与激光线对应)的位置对应的地方。检测到的峰在图像中的位置将映射到对象上导致峰的光被反射的位置。

7、激光三角测量相机系统(即，基于光三角测量的成像系统，其中光是激光光)将激光线投射到对象上以从目标对象的表面创建高度剖面。通过相对于所涉及的相机和光源移动对象，可以通过图像捕获来自对象的不同部分的高度剖面信息，然后将其与系统的相关几何形状的知识相结合并使用，以产生对象的三维表示，即，提供3d图像数据。这种技术可以被描述为当光(通常是激光线)投射到对象上并被对象反射时抓取光的图像，然后从图像中提取所反射的激光线的位置。这通常通过识别图像帧中的强度峰的位置来实现，例如通过使用常规的峰查找算法。通常，但不是必需，成像系统被设置为使得与反射光相关的强度峰应当是针对传感器的每列出现并预计的，并且列内的位置映射到高度或深度。

8、常规而言，执行校正光平面内包括例如透镜失真和透视效应的测量误差的图像传感器校准。当这些误差已被校正时，例如，由(一个或多个)光源的放置引入的倾斜失真也可以被校正。坐标系通常在校准期间也与某个参考对准。

9、基于光三角测量的成像系统的校准例如涉及寻找能够将图像传感器坐标中的图像传感器数据变换成现实世界坐标的关系。换句话说，校准是关于提供图像传感器坐标与现实世界坐标之间的关系。

10、每次设置或改变(一个或多个)相机和(一个或多个)光源时，例如，相对于彼此的位置改变、视野改变等，通常需要建立来自校准的关系。换句话说，校准是在成像系统的设置之后或与成像系统的设置相关并且在正常操作中使用之前完成的。

11、在校准期间，具有预定和已知性质(诸如几何形状和维度)的校准对象被成像并用来建立所述关系。然后使用所建立的关系，以例如配置成像系统，使得当成像系统在正常操作期间对对象进行成像时，诸如根据对象的实际的现实维度，实现并能提供对象的更好且更正确的3d表示。换句话说，在校准之后，在对测量对象进行成像和测量期间，有可能从对测量对象成像的图像中的图像传感器坐标获得测量对象的对应世界坐标。

12、校准可以被用于提供(例如，计算)模型或查找表，该模型或查找表可以将来自基于光三角测量的3d成像系统的具有图像传感器坐标的失真原始测量转换成经校正的现实世界坐标。另一种说法是，校准是关于找到图像传感器坐标与现实世界坐标之间的映射，即，找到从图像传感器坐标空间到现实世界坐标空间的变换。一般而言，由于透镜失真伪影以及因为光场(典型地，激光场或平面)以及该场内的相机视场与稍微扭曲的多边形对应，这种变换不是线性的。

13、准确校准的基于光三角测量(诸如激光三角测量)的3d成像系统要求校准所依据的参考测量。与确切的校准方法无关，校准的质量不会比能获得参考测量的准确性更精确，并且这些取决于校准对象以及参考测量如何被执行。常规方法是对具有预定且已知性质(例如，几何形状和维度)的校准对象进行成像，然后在图像中识别通过用已知的现实世界坐标对校准对象的某些参考特征进行成像而产生的某些参考点。此类参考特征的示例是参考对象上的点、校准对象的表面的交线、校准对象的顶点等。参考特征可以在图像中直接可识别和/或可能通过图像中线的外推(extrapolation)和/或相交来计算，例如，找到顶点。通过在图像中并因此在图像传感器坐标中识别参考特征，此后有可能提供图像传感器坐标中的参考特征与现实世界坐标中的参考特征之间的映射，如上面所述，这基本上是校准的含义。

14、现有技术的校准对象示例是锯齿形目标。锯齿的表面之间的相交(即，谷和顶点)可被识别为图像中的线相交。因此，所述谷和顶点可以被用作参考特征，并且实现了可以由此确定图像传感器坐标与现实世界坐标之间的映射。另一种类型的现有技术的校准对象具有楔形形状以提供高度变化，并用点作为楔形表面上的参考特征。

15、d.“calibration of laser triangulating cameras in smallfields of view”，论文，2013年，isrn：lith-isy-ex—13/4669—se，diva，id：diva2：630377是一篇关于激光三角测量的校准的论文并且还公开了关于其它现有技术的信息，例如所述锯齿校准对象。

16、综上所述，现有技术的光三角测量系统的校准依赖于精确制造的校准目标，并且要求对校准对象的参考特征的成像以及准确的测量以识别图像传感器坐标中与参考特征对应的参考点，诸如表面的相交、顶点、点等。

技术实现思路

1、鉴于上述，本发明的目的在于对现有技术提供一种或多种改进或替代，诸如提供关于基于光三角测量的3d成像系统的校准的一种或多种改进或替代。

2、根据本文实施例的第一方面，该目的通过一种由一个或多个设备执行的方法来实现，用于提供一对现实世界和图像传感器对应点，用于校准用于基于光三角测量进行三维成像的成像系统。所述成像系统包括具有图像传感器的相机和用于提供光平面的光源。所述光三角测量涉及通过所述相机对由所述光平面与表面相交并由此造成从表面反射导致的反射光进行成像。所述对应点是位于所述光平面中的现实世界点、以及与所述现实世界点由成像系统在图像传感器上成像的位置对应的图像传感器点。

3、所述现实世界点被提供为第一现实世界线与第二现实世界线之间的第一虚拟交点。所述第一现实世界线与第一现实表面与光平面之间的第一现实交线对应，并且其中来自所述第一现实交线的反射光被成像系统捕获在第一图像中。所述第二现实世界线与第二现实表面与光平面之间的第二现实交线对应，并且其中来自所述第二现实交线的反射光被成像系统捕获在另一个第二图像中。

4、所述图像传感器点被提供为与第一图像中所述捕获的光的强度峰的位置对应的第一图像线和与第二图像中所述捕获的光的强度峰的位置对应的第二图像线之间的第二虚拟交点。

5、根据本文实施例的第二方面，该目的通过一个或多个设备(即，(一个或多个)设备)来实现，用于提供一对现实世界与图像传感器对应点以用于校准用于基于光三角测量进行三维成像的成像系统。所述成像系统包括具有图像传感器的相机和用于提供光平面的光源。所述光三角测量涉及通过所述相机对由所述光平面与表面相交并由此造成从表面反射导致的反射光进行成像。所述对应点是位于所述光平面中的现实世界点、以及与所述现实世界点由成像系统在图像传感器上成像的位置对应的图像传感器点。

6、所述(一个或多个)设备被配置为提供所述现实世界点作为第一现实世界线和第二现实世界线之间的第一虚拟交点。所述第一现实世界线与第一现实表面与光平面之间的第一现实交线对应，并且其中来自所述第一现实交线的反射光被成像系统捕获在第一图像中。所述第二现实世界线与第二现实表面与光平面之间的第二现实交线对应，并且其中来自所述第二现实交线的反射光被成像系统捕获在另一个(第二)图像中。

7、所述(一个或多个)设备还被配置为将所述图像传感器点提供为与第一图像中所述捕获的光的强度峰的位置对应的第一图像线和与第二图像中所述捕获的光的强度峰的位置对应的第二图像线之间的第二虚拟交点。

8、根据本文实施例的第三方面，该目的通过一个或多个包括指令的计算机程序来实现，所述指令当由一个或多个处理器执行时使得一个或多个设备执行根据第一方面的方法。

9、根据本文实施例的第四方面，该目的通过包括根据第三方面的计算机程序的载体来实现。

10、因此，与图像传感器点对应的第二虚拟交点位于分开的图像(即，来自图像传感器的不同曝光)中的图像传感器线之间。这可以与关于用于基于光三角测量对对象进行3d成像的成像系统的校准的现有技术形成比较，在现有技术中，通过单个图像捕获例如来自物理相交和点的物理校准点。

11、如本文的实施例中那样，使用表面和虚拟交点的优点在于，可以避免与现有技术的校准所依赖的参考特征(诸如校准对象上的物理相交和点)相关联的负面影响。例如，诸如背景技术中所提到的现有技术中的参考特征常常与各种不想要的重建伪影或由图像获取过程产生的其它偏差相关联。例如，可能存在干扰测量的谷中反射的问题。而且，由于制造限制，诸如物理峰之类的参考特征可能无法被提供为期望的尖锐，而是例如圆形。除了提取问题之外，还常常存在透镜失真，这使得难以准确推断峰和谷。在点作为参考特征的情况下，强度信息的使用会导致点处的三角测量伪影，由此深度内容在期望测量的确切位置处变得特别不稳定。这可以通过求平均来处置，但是具有与所述外推类似的问题。

12、因此，通过本文的实施例可以避免此类问题。而且，可以使用更简单且更容易制造的校准对象。

13、因此本文的实施例提供了对现有技术的改进。