高精确度校准系统和方法与流程

本发明涉及校准系统和方法，以及用于机器视觉系统应用中的校准物体(目标)。

背景技术：

在机器视觉系统(在本文中也称为“视觉系统”)中，使用一或多个摄像机对成像场景内的物体或表面执行视觉系统进程。这些进程可能包含检查、符号解码、对准和各种其它自动化任务。更具体来说，视觉系统可以用于检查处于成像场景中的工件。场景通常由一或多个视觉系统摄像机成像，所述摄像机可以包含运行相关联视觉系统进程以产生结果的内部或外部视觉系统处理器。通常需要校准一或多个摄像机以使得其能够以足够的精确度和可靠性执行视觉任务。校准物体或目标可以用于相对于适当坐标空间和物理单位校准摄像机。举例来说，工件的图像可以由二维(2d)图像像素数据(例如x和y坐标)、三维(3d)图像数据(x、y和z坐标)或混合2.5d图像数据表征，其中多个x-y坐标面基本上平行并且由可变z高度表征。

校准物体或目标(通常呈“板”形式)通常为表面具备可见特色图案(艺术作品)的扁平结构。通常会细致精确地设计所述特色图案，使得用户可以容易地识别摄像机获取的目标的图像中的每一个可见特征。一些示例性图案包含但不限于镶嵌方形棋盘格、在整个图案中具有周期性间隔的指定特征位置的附加嵌入代码的棋盘、点网格、线网格、蜂巢图案、镶嵌三角形、其它多边形等。根据目标的设计了解每一个可见特征的特性，比如相对于参考位置的位置和/或旋转，和/或设计中含蓄界定的坐标系。

特征为镶嵌交叉线阵列的典型棋盘图案的设计在执行校准时在精确度和鲁棒性方面具有优势。更具体来说，在静止物体的二维(2d)校准中，由校准棋盘边缘确定各个棋盘块拐角的相对位置通常足以测量视觉系统的精确度，并且适当时向摄像机的处理器提供校正因数，从而考虑到这些校正因数测量运行时间对象。

作为另一背景，视觉系统摄像机的校准涉及将摄像机传感器的像素映射到预定坐标系。目标可以提供界定坐标系的特征(例如一系列棋盘的x-y轴布置)，比如嵌入特征图案中的2d代码(也称为“条码”)或以其它方式界定图案坐标系的特色基准点。通过将特征映射到摄像机像素，将系统校准到目标。在将多个摄像机用于获取校准目标整体或部分的图像的情况下，将所有摄像机映射到共同坐标系或另一(例如全局)坐标系，所述共同坐标系可以由目标的特征(例如沿目标平面的x和y、z(高度)以及x-y平面中z轴的旋转θ)来指定。一般来说，校准目标可以用于多种不同类型的校准操作中。举例来说，典型的内部和外部摄像机校准操作需要通过每一个摄像机获取目标的图像并使用处于所有摄像机的整个视野的至少一部分中的特定位置的目标的一个所获取图像，相对于校准目标本身的坐标系进行校准。视觉处理器内的校准应用程序根据每一个摄像机获取的目标的图像推断每一个摄像机的相对位置。目标上的基准点可用于使每一个摄像机相对于其相应视野内的目标部分而定向。这种校准被称为“将摄像机校准到板”。

用户可能在使用典型平面校准目标校准2d、2.5d或3d视觉系统时遇到某些麻烦。这些麻烦可能来源于两个方面。首先，含3d信息的精确校准目标要求制造微米级的校准目标，这不仅浪费时间而且费用较高。其次，校准透视或立体视觉系统要求以所有摄像机可见的多个姿态使校准目标成像。这个过程对于用户而言漫长且容易出错，尤其是当立体视觉系统较为复杂(例如涉及多个摄像机)时。举例来说，某些由四个摄像机构成的商用视觉系统可能需要校准目标的二十或更多个视图来实现充分校准。

技术实现要素：

本发明通过提供一种在至少一个(一或多个)表面上界定校准图案的校准目标来克服现有技术的缺点。确定校准目标的校准特征(例如棋盘交叉点)在校准图案上的位置关系(例如在制造目标时)并进行存储以供校准视觉系统在校准程序期间使用。了解校准目标的特征关系使得校准视觉系统能够以单一姿态对校准目标进行成像并在预定坐标空间中重新发现每一个校准特征。然后，所述校准视觉系统可以将特征之间的关系从存储的数据转换成校准视觉系统的本地坐标空间。所述位置可以编码在条码中，所述条码附于目标(并在校准期间成像/解码)、提供在单独的经编码元件(例如目标附带的卡片)中或从电子数据源(例如磁盘、拇指驱动器或与特定目标相关的网站)获得。所述目标可以在图案内包含界定相邻校准特征相对于目标的整体几何结构的特定位置的编码过的信息。在一实施例中，目标由至少两个相隔一段距离的表面组成，包含在第一表面上具有第一校准图案的较大板和附于较大板的第一表面的具有第二校准图案的较小板，所述第二校准图案与第一校准图案以一间距(例如由z轴高度界定)定位。目标可以是双侧的，使得在相对侧中的每一侧上存在具有对应图案的第一表面和较小的第二表面，从而允许相关多摄像机视觉系统对目标的360度观察和同时校准。在其它实施例中，目标可以是3d形状，比如立方体，其中的一或多个表面包含图案，且确定每一个表面上的特征之间的关系并存储以供校准视觉系统使用。

在一说明性实施例中，提供校准目标，且所述校准目标包含具有第一校准图案的第一表面。数据源界定校准特征在第一校准图案上的相对位置。数据源可由获取校准目标的图像的校准视觉系统识别，以便将相对位置变换到视觉系统的本地坐标空间中。还可以提供具有第二校准图案的第二表面，其中第二表面远离第一表面而定位。由此，数据源也界定校准特征在第二校准图案上的相对位置。

说明性地，第二表面位于粘附于第一表面上的板上，或者位于三维物体的独立面上，与第一表面不平行。在一示例性实施例中，第一校准图案和第二校准图案为棋盘。数据源包括以下中的至少一个：(a)校准目标上的代码，(b)单独的打印码，或(c)可由校准视觉系统的处理器存取的电子数据源。可以由精确视觉系统在制造校准目标期间或之后界定相对位置，以供校准视觉系统使用。精确视觉系统可以包括以下中的至少一个：(a)立体视觉系统，(b)三摄像机或多摄像机视觉系统激光位移传感器，和(c)飞行时间摄像机总成，以及其它类型的3d成像装置。说明性地，校准目标可以包含具有第三校准图案的与第一表面相对的第三表面以及具有第四校准图案的第四表面，所述第四表面可以位于第三表面上方一间距处。由此，数据源可以界定校准特征在第一校准图案、第二校准图案、第三校准图案和第四校准图案上的相对位置。说明性地，精确视觉系统和校准视觉系统分别布置成将校准目标成像在其每一个相对侧上。在实施例中，校准视觉系统是2d、2.5d和3d视觉系统中之一。说明性地，第一校准图案和第二校准图案中的至少一个包含界定相邻校准特征相对于整个表面区域的相对位置的代码。

在用于校准视觉系统的说明性方法中，提供一种具有带第一校准图案的第一表面的校准目标。获取界定校准特征在第一校准图案上的相对位置的数据源。通过由精确视觉系统获取校准目标的至少一个图像来产生数据源。随后由用户在校准操作期间通过校准视觉系统获取校准目标的图像。通过精确视觉系统将相对位置变换到校准视觉系统的本地坐标空间中。说明性地，提供具有第二校准图案的第二表面。第二表面位于远离第一表面处，且数据源界定校准特征在第二校准图案上的相对位置。

在用于制造校准目标的说明性方法中，提供至少一个具有预定第一校准图案的第一表面。获取第一表面的图像，并且将校准图案特征定位于其上。使用经定位校准特征，产生数据源，其界定校准特征在第一校准图案上的相对位置。数据源可由获取校准目标的图像的校准视觉系统识别，以便将相对位置变换到视觉系统的本地坐标空间中。说明性地，提供相对于第一表面定位的具有第二校准图案的第二表面。第二表面位于远离第一表面处，且数据源界定校准特征在第二校准图案上的相对位置。第二表面可以位于粘附于第一表面上的板上，或者位于三维物体的独立面上，与第一表面不平行。说明性地，第一校准图案和第二校准图案可以是棋盘。在一示例性实施例中，提供具有第三校准图案的与第一表面相对的第三表面。具有第四校准图案的第四表面附于第三表面。第四表面位于第三表面上方一间距处，且数据源由此界定校准特征在第一校准图案、第二校准图案、第三校准图案和第四校准图案上的相对位置。数据源可位于以下中的至少一个中：(a)校准目标上的代码，(b)单独的打印码，或(c)可由校准视觉系统的处理器存取的电子数据源。

附图说明

以下的本发明描述参考附图，其中：

图1是根据一示例性实施例的使用校准目标和相关存储校准目标特征关系数据进行校准进程的整体视觉系统布置的图；

图2是根据图1的示例性实施例的双侧多表面校准目标的侧视图；

图3是根据一示例性实施例的用于使用高度精确视觉系统分析制造的校准目标并根据其产生存储的校准目标特征关系数据的程序的流程图；

图4是根据图3的程序产生高度精确校准目标特征关系数据的三摄像机3d视觉系统的示例性实施例；

图5是根据一示例性实施例的使用校准目标和在图3程序中产生的相关存储特征关系数据校准视觉系统的程序的流程图；

图6是根据一示例性实施例读取附于图5程序中的校准目标上的代码并从其解码存储的特征关系数据的程序的更具体流程图；

图7是根据一替代性实施例的校准目标的部分透视图，所述校准目标具有至少三个堆叠表面，每个堆叠表面上都包含校准图案；以及

图8为根据另一替代性实施例的校准目标的透视图，所述校准目标界定3d形状(例如立方体)，3d形状上的校准图案附于3d形状的至少两个离散表面上。

具体实施方式

i.系统概述

图1示出根据一示例性实施例的视觉系统布置100，其由分别在校准目标120的至少两个侧面上的多个摄像机1-n(110、112)和1-m(114、116)组成。摄像机110至116布置成获取部分或整个校准目标120在整个场景中的图像。目标120可以由任何允许观察图案的可接受机制(例如杆或支架122)支撑。摄像机的数量和其相对于图像场景的定向在替代性布置中灵活可变。在这个实施例中，每一侧由至少两个摄像机且通常由至少四个摄像机组成。在其它实施例中，每一侧或仅一侧可以由单个摄像机或在适当时由四个摄像机以上成像。摄像机110至116布置成允许使用已知技术进行三角测量，以便产生三维(3d)表示或成像表面。在替代性实施例中，描绘的单光学摄像机可替换为一或多种其它类型的摄像机，包含但不限于激光位移传感器、立体摄像机、基于lidar(更一般来说，测距)摄像机、飞行时间摄像机等。

摄像机110至116各包含图像传感器s，图像传感器s将图像数据传输到一或多个内部或外部视觉系统处理器130，视觉系统处理器130使用功能模块、进程和/或处理器执行适当视觉系统进程。作为非限制性实例，模块/进程可以包含一组在图像中找寻并分析特征的视觉系统工具132，比如边缘找寻器和对比工具、blob分析器、卡尺等。视觉系统工具132与将一或多个摄像机的校准处理成至少一个共同(即全局)坐标系140的校准模块/进程134交互操作。可以根据笛卡尔坐标沿着相关正交x、y和z轴界定这个系统。绕轴x、y和z的旋转也可以分别界定为θx、θy和θz。比如极坐标等其它坐标系可以用于替代性实施例中。视觉系统进程(处理器)130还可以包含id/代码找寻与解码模块136，其使用传统或定制技术定位并解码条码和/或多种类型和标准的其它id。

处理器130可以在定制电路中实例化，或可以作为如图所示的通用计算装置150中的硬件和软件提供。所述计算装置150可以是pc、膝上型电脑、平板电脑、智能电话或任何其它可接受的布置。计算装置可以包含用户接口，例如键盘152、鼠标154和/或显示器/触摸屏156。计算装置150可以使用有线和/或无线链接驻留在适当通信网络(例如wan、lan)中。这个网络可以连接到一或多个数据处理装置160，其将由处理器130产生的视觉系统数据用于各种任务，比如质量控制、机器人控制、对准、部件验收/拒收、物流、表面检查等。

具有示例性布置的校准目标120是本文中预期的多种实施方案之一。在一替代性实施例中，目标可以由具有单一暴露与成像表面和相关艺术作品/校准图案(例如镶嵌深浅方形的棋盘)的板组成。然而，在所描绘实例中，校准目标由多个堆叠板170和172组成，每个堆叠板都具有校准图案。图案施加方法灵活可变，例如可以采用丝网印刷或光刻。一般来说，界定特征边界的线条和其交叉点足够清晰以产生可接受的分辨率等级，其取决于整个场景的大小可以用微米、毫米等单位测量。在一实施例中，且在图2中进一步绘示，校准目标120由三个堆叠板170、172和210组成。中心板170具有最大面积且延伸跨过所绘示的宽度wp1，而中心板170的各个相对表面上的两个堆叠板172、210分别具有小面积和宽度wp2与wp3。中心板的相对表面220和222由具有任何可接受值(例如1至50毫米)的厚度tp1进行分隔。如所描述，每个表面220和222可以包含示例性校准图案。因此，每个图案中的校准特征是以高度间距tp1设置的(例如z轴)。堆叠板172和210分别界定对应厚度tp2和tp3，使得其对应表面/校准图案230和240设置为距下方表面220和222对应间距。这些间距产生特征的z轴维度以及由每一个表面校准图案界定的x-y轴维度。因此，校准目标可以有效地提供其各侧上的视觉系统的3d校准的特征信息。

板170、172和210可以按各种方式组装在一起。在一基础实例中，使用适当黏合剂(氰基丙烯酸盐、环氧树脂等)将较小面积的板172、210在接近中心位置粘附到中心板的相邻表面220、222。既不用小心控制表面230、220、222与240之间的平行性，也不用将较小板放在较大板的中心。事实上，引入不对称性和偏斜可能有利于校准视觉系统(100)的校准，如下文大体描述。

显然，三维中的特征之间的关系包含于一组数据180中，所述数据可以存储在与特定校准目标120相关联的处理器中。数据可以包括多种格式。举例来说，数据180可以包括校准目标120中的所有(或所有中的子集)校准特征或特征群组。可以按各种方式获得或存取数据。如图所示，可以为校准目标120的位置(例如边缘)提供2d条码(例如datamatrixid代码)182，使得其由视觉系统的一或多个摄像机获取并由处理器130和模块136解码。用于提供和存取数据180的其它机制可以包含为目标120附带的单独的标签或卡片提供扫描过的代码，从与目标的序号(或其它识别符)相关联的网站下载数据，向磁盘、闪存(拇指驱动器)或其它电子数据存储装置提供数据等。

ii.产生校准目标特征关系数据

根据图3的程序300产生描述示例性校准目标的校准图案特征的关系的数据。一般来说，如果相关联目标坐标中的关系(例如2d或3d坐标)已知并且可用于校准视觉系统中，那么目标的制造公差可以显著降低。这些关系可以通过用高度精确视觉系统分析特征来导出。“高度精确”(或简称“精确”)意味着所述视觉系统可以递送关系数据，所述关系数据足以确保坐标到校准视觉系统的坐标系中的变换在校准视觉系统在运行时间内执行的任务的可接受公差以内。因此，作为实例，如果视觉系统需要微米级公差，那么高度精确视觉系统返回亚微米范围内的关系数据。

在程序300的步骤310中，制造的校准目标(根据本文描述的任何物理布置)定位在高度精确视觉系统的视野之内。具有一或多个立体摄像机总成的立体视觉系统是一种形式的实施方案。然而，高度精确视觉系统可以使用(例如)一或多个激光位移传感器(分析器(profiler))、飞行时间摄像机等实施。在一实施例中，图4示出用于使目标420的一侧成像的高度精确视觉系统的布置400。视觉系统布置400包含分别布置在不平行光学轴oa1、oa2和oa3处的三个摄像机430、432和434，所示光学轴定向成具有预定相对角度。这三个摄像机允许从三个角度对特征进行三角测量，因此比传统立体系统精确度更高，即每一个摄像机可以与另两个形成三角，并且可以对结果进行合并/平均。获取来自每一个摄像机430、432和434的图像信息(图3的步骤320)，并传输到校准数据产生模块视觉系统进程(处理器)450。数据由立体视觉模块/进程(处理器)452结合视觉系统工具处理，所述视觉系统工具定位并解析每一个摄像机的图像中的特征(图3中的步骤330)，并且通过三角测量(图3中的步骤340)确定其在3d坐标空间460内的相对位置(例如真实相对位置)。即，每一个摄像机产生一个平面(x-y)图像。了解每一个摄像机与另一个摄像机的相对角度允许每一个x-y图像中的所述特征具备z轴高度。将数据的3d坐标提供到校准数据模块/进程(处理器)，所述校准数据模块/进程(处理器)使所述坐标与特征相关联并且(视情况)产生特征校准数据的所存储或编码集合470(图3中的步骤350)。所述集合可以包含目标420中的每一个相关特征的坐标和/或特征与一或多个参考点的相对布置(例如线条相对于拐角、基准点等的定向)。数据集470可以打印到一或多个编码过的id标签中，所述标签附于目标420上或附带于目标420上以提供给用户(图3中的步骤360)。或者，可以将id标签下载到用户的视觉系统中或通过本领域技术人员熟悉的其它机制将id标签递送给用户。注意，在发布于2016年1月5日的gangliu的标题为“采用嵌入式2d数据代码作为自定位基准点的系统、方法和校准板”的第号共同指定的美国专利案中，示出并描述了校准板和使用方法，所述专利案的教导以引用方式并入本文中。

iii.使用目标和特征关系数据的校准进程

图5和图6分别在总体上描述根据本发明的使用校准目标和相关联特征关系数据校准视觉系统(称为“校准视觉系统)的程序500和600。在图5的步骤510中，将校准目标(根据本文预期的任何结构实例)定位于视觉系统的视野内，所述视觉系统由一或多个摄像机(根据比如传统光学、远心光学、激光位移、飞行时间等适当机制操作)组成。摄像机可以定向成从一侧或多(例如相对)侧对目标进行成像。通常在步骤520中同时获取来自相应摄像机的图像，且将所获取的图像数据传输到视觉系统进程(处理器)。在步骤530中使用视觉工具定位每一个图像中的特征(例如边缘、拐角等)并使其与摄像机的坐标系相关联。

在程序500中，在步骤540中，从存储器或通过读取目标(以及其他机制)上的id代码来获取关于特定校准目标上的校准特征的关系(例如真实相对位置)的信息。现参考图6，图6示出了用于读取含有校准目标的特征关系数据的示例性所附id代码的程序600。基于扫描id所附的已知位置或区域，或更一般而言使用(例如)传统id找寻与解码进程搜索id特征来将id代码定位在目标上(步骤610)。程序600在步骤620中解码所找到的id，并以与成像的校准目标相关联的方式将所解码信息存储在视觉系统处理器的存储器中。在各种实施例中，id可以直接编码特征位置坐标或其它关系，或可以包含允许从其它来源(比如可下载数据库)检索坐标的识别符。

在步骤630中，使在示例性程序600中检索的特征关系数据与校准目标的图像中的实际定位特征(例如测量相对位置)相关联(也参见图5的步骤530)，且根据步骤550(图5)，校准模块/进程(处理器)根据关系数据将定位特征变换成目标中的特征的已知位置，以便将相对位置变换到视觉系统(包含一或多个摄像机)的本地坐标空间中。即，校准进程确定由校准视觉系统定位于校准目标中的哪些特征对应于关系数据中的特征。这种对应关系可以通过用基准点在关系数据中的位置将所述基准点显示于目标上，然后根据其相对基准点的相对位置填充周围特征来实现。注意，在各种实施例中，校准目标可以包含嵌入艺术作品内的预定位置的基准点，每一个基准点参考整个表面的一部分。所述基准点可以包括(例如)id，比如具有关于下方特征(例如棋盘拐角的数量、大小和位置)的细节的datamatrix代码。参见例如图1中的校准目标120的表面上的id190。图6中的视情况选用的步骤640描述所述嵌入代码的找寻和读取。所述布置可能符合需要，例如，其中校准目标的部分对于一或多个摄像机而言不清楚，或摄像机的视野比目标的整个表面小，使得某些摄像机仅对整个目标的部分进行成像。嵌入式id允许视觉系统处理器在全局坐标系中对单独的视图进行定向，且(视情况)将部分视图显示到目标的单个整体图像中。

在图5的校准程序500的步骤560中，将变换后的特征以每一个摄像机的校准参数的形式存储在视觉系统(包含一或多个摄像机)中并用于后续运行时间视觉系统操作中。

iv.替代性校准目标布置

将上述校准目标描绘为单侧或双侧板结构，其中两个2d特征集合堆叠在彼此上，顶板具有比下方底板小的面积/尺寸，使得可以观察两个板的特征并对其进行成像。在替代性实施例中，可以采用具有相关联的所存储表示的单个特征层。这是用于2d(或3d)校准的理想实施方案，尤其是在视觉系统在校准期间将所有特征精确地成像于板上极具挑战性的布置中。可以使用所存储/存取的特征关系将所成像目标上的粗略识别特征变换成特征的精确表示。

其它校准目标实施例可以采用两个以上堆叠2d特征集合。图7示出示例性校准目标710的部分视图，所述校准目标710包含底板720、较小尺寸的中间板730和更小尺寸的顶板740。布置为锥形的，使得摄像机可以观察到每一个板上的特征并进行成像。注意，板堆叠不需要对称或居中。只要特征以允许沿z轴(高度)尺寸的间距的某一方式堆叠，那么目标就可以满足所需功能。一个替代性布置可以是阶梯模式。替代性实施例中可以堆叠三个以上板，并且目标可以在布置的每一个相对侧上提供多个堆叠板。注意，提供上述嵌入式id基准点750以识别相邻特征在整个表面中的位置。

在另一替代性布置中，校准目标可以包括多面体，比如图8所示的立方体810。在这个实施例中，所述3d物体的两个或两个以上正交面820和830包括校准图案。如图所示，至少一个表面820包含带有特征关系数据的id标签840，所述特征关系数据可以由视觉系统读取并解码。在一实施例中，所述侧可以布置成用于360度观察和校准。注意，在任何实施例中，id标签可以位于校准目标上的任何适当位置或位于多个位置。

v.结论

应清楚，上述校准目标以及制造和使用方法提供了一种用于校准2d和3d视觉系统的高度可靠和通用的机制。校准目标易于制造和使用，并且容忍制造和印刷过程中的误差。同样，目标允许为用户和校准视觉系统提供多种可能的用于提供特征关系的机制。目标还有效地在单个图像获取步骤中实现全面360度校准。

前述内容为本发明的说明性实施例的详细说明。可以在不脱离本发明的精神和范围的情况下作出各种修改和添加。上文所述的各种实施例中的每一个的特征可以在需要时与其它所描述实施例的特征结合，以便在相关联的新颖实施例中提供大量特征组合。此外，虽然前述内容描述了本发明的设备和方法的许多独立实施例，但本文所描述的内容仅仅是说明本发明原理的应用。举例来说，本文中使用的比如“垂直”、“水平”、“上”、“下”、“底部”、“顶部”、“侧”、“前”、“后”、“左”、“右”、“向前”、“向后”等各种方向和定向术语(以及其语法变化形式)仅以相对常用形式使用且不作为关于固定坐标系的绝对定向，比如重力作用方向。另外，在关于给定测量、值或特性使用术语“基本上”或“大致”时，其指代量处于实现所需结果的一般操作范围，但包含由于系统的允许公差(例如1％至2％)内的固有不准确性和误差所致的一些可变性。还应注意，本文所使用的术语“进程”和/或“处理器”应广泛地包含各种基于电子硬件和/或软件的功能及组件。此外，所描绘的进程或处理器可以与其它进程和/或处理器组合或划分成各种子进程或处理器。这些子进程和/或处理器可以根据本发明的实施例不同地组合。同样，明确地预期本文中的任何功能、进程和/或处理器可以使用电子硬件、由具有程序指令的非暂时性计算机可读介质组成的软件或硬件和软件的组合来实施。而且，虽然各种实施例示出了堆叠板，但表面可以使用间隔件或其它产生距离的部件组装到一起，其中板的一部分远离下方表面。因此，本说明书仅打算举例说明而不限制本发明的范围。