专利名称：信息处理设备、信息处理方法和程序的制作方法
技术领域：
本发明涉及一种将测量对象与测量对象的模型进行比较的信息处理设备。
背景技术：
近年来，用于使机器人进行诸如工厂等中所进行的组装等的任务的需求正日益增大。在这些需求中，在机器人应对位置和姿势总不恒定的作业对象(工件)的情况下，需要用于测量作业对象的位置和姿势的单元，并且通常使用视觉传感器作为该单元。然而，在作业对象的位置/姿势处于三维不确定的情况下，普通照相机在信息方面不足，因此进行在该设备中添加用于获取三维信息的传感器的尝试。另外，在工厂自动化 (FA)领域，存在以更高精度和更快速度测量作业对象的位置/姿势的要求，因此三维精确测量技术变得重要。三维测量技术包括光切方法、立体方法和飞行时间(TOF)方法等。光切方法是用于通过利用照相机和狭缝光(slit light)投射器的组合进行三角测量来获得物体的三维信息的技术。该技术使得用户能够容易地获得与无定形物体有关的三维信息，并且也开始应用于工业机器人。立体方法是用于通过准备两组以上的照相机并使用根据图像之间的视差的三角测量的原理来获得三维信息的技术。TOF方法是飞行时间的缩写，并且是如下的技术利用来自发光二极管(LED)光源的光照射目标物体，并且利用传感器(光接收单元)接收其反射光并测量时间，从而测量距离。此外，当利用机器人应对作业对象时，由于通常已知作业对象的数据(维数和计算机辅助设计(CAD)数据)，因而存在用于通过在利用视觉传感器所获得的信息和数据之间进行比较和匹配来进行位置测量的方法。为了进行更高精度的位置/姿势测量，还利用了用于组合使用以下两种技术的技术上述三维测量技术；以及使用CAD数据等的三维模型拟合。日本特开平09-212643号公报讨论了一种使用从测量对象的拍摄图像所提取的特征部分在测量对象和测量对象的模型之间进行的三维模型拟合。该三维模型拟合是用于通过将从拍摄图像所获取的测量对象的特征部分与模拟测量对象的三维模型的特征部分进行匹配来获取测量对象的位置和/或姿势的技术。该三维模型拟合广泛用作用于从拍摄图像获得测量对象的位置和/或姿势的技术。然而，特征部分之间进行匹配时的三维模型的位置和/或姿势的可设置范围宽，因此计算机进行该三维模型拟合通常需要大量计算时间。
发明内容
本发明涉及一种信息处理设备，该信息处理设备可以缩短计算机在将测量对象的位置和/或姿势与测量对象的模型的位置和/或姿势进行比较时所使用的计算时间。根据本发明的一个方面，一种信息处理设备，用于使测量对象的位置和/或姿势与所述测量对象的模型的位置和/或姿势相匹配，所述信息处理设备包括获取单元，用于获取所述测量对象的拍摄图像；计算单元，用于基于所述拍摄图像，计算表示所述测量对象的表面形状的信息；以及限定单元，用于基于表示所述表面形状的信息，限定所述模型的位置和/或姿势。通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将变得明
Mo
包含在说明书中并构成说明书一部分的附图示出了本发明的典型实施例、特征和方面，并与说明书一起用来解释本发明的原理。图1示出根据本发明第一典型实施例的信息处理设备的结构。图2示出与图1所示的设备的各个组件相对应的第一典型实施例中的功能结构图。图3示出第一典型实施例中的处理流程。图4示出在正进行测量对象的三维测量时的场景。图5示出参数空间限定的场景。图6示出第一典型实施例中要定义的坐标系。图7示出基于边缘的三维模型拟合的场景。图8示出用于利用线段的信息来计算三维模型的位置/姿势参数的方法。图9示出根据本发明第二典型实施例的信息处理设备的结构。图10示出本发明第三典型实施例中的处理流程。图11示出在第三典型实施例中无法进行充分参数约束的情况。图12示出根据本发明第四典型实施例的信息处理设备的结构。图13示出第四典型实施例中的处理流程。图14示出根据第四典型实施例的信息处理设备的结构。图15示出第四典型实施例中的照射位置/姿势设置步骤的处理流程。图16示出根据本发明第五典型实施例的信息处理设备的结构。图17示出第五典型实施例中的处理流程。图18示出本发明第六典型实施例中的三维模型和照射曲面。图19示出根据本发明第七典型实施例的信息处理设备的功能结构。图20示出根据本发明第七典型实施例的信息处理设备的结构。图21示出第七典型实施例中的用于计算测量对象面的方法。
具体实施例方式下面将参考附图详细说明本发明的各种典型实施例、特征和方面。图1示出根据本发明第一典型实施例的信息处理设备的结构。狭缝激光投射器10利用作为图案光(pattern light)的激光投射狭缝光束。将光扫描部11配置在狭缝激光投射器10的前面。光扫描部11包括可移动式检电镜或多棱镜，并且设计成根据来自外部的控制命令改变激光狭缝光的光投射角度。照相机20能够拍摄预定作业区域的图像。获得利用照相机20所获得的拍摄图像作为利用众所周知的校准技术消除了镜头像差的图像。测量对象30被配置在预定作业区域中，并且成为照相机20的摄像对象。测量对象30例如是工厂内的机器人的作业对象，并且为了利用机器人进行作业，需要计算测量对象30的位置/姿势。计算机40与光扫描部11和照相机20连接，并且进行各种控制操作和图像处理。 计算机40具有与通用计算机相同的结构，包括中央处理单元(CPU)、诸如随机存取存储器 (RAM)等的临时存储单元和诸如ROM(只读存储器)等的存储单元。在存储单元中，存储有包括用于控制光扫描部11的扫描控制程序、用于控制照相机20的摄像的摄像控制程序以及用于对照相机20所获取的拍摄图像进行图像处理的图像处理程序的计算机程序。图像处理程序包括用于从拍摄图像检测图案光的校准程序、用于计算测量对象30的位置和/或姿势的三维模型、以及用于限定三维模型的可移动范围的限定程序。此外，将照相机20所获取的拍摄图像等存储在临时存储单元中。当操作该信息处理设备时，狭缝激光投射器10将狭缝光100投射至测量对象30 上，并且如果测量对象30位于狭缝光100的光投射方向上，则在测量对象30的表面上生成光切线101。照相机20在计算机40的控制下拍摄测量对象30的图像，并且计算机40使用拍摄图像中的光切线101来计算测量对象30的位置和/或姿势。图2是与图1所示的设备的各个组件相对应的本典型实施例中的功能结构图。下面将参考图2说明本典型实施例中的功能结构。光投射单元AlOO将图案光投射至测量对象30上。光投射单元AlOO对应于狭缝光投射器10。摄像单元A200获取测量对象30的图像数据，并且与光投射单元AlOO相互独立或相结合地进行安装。摄像单元A200对应于照相机20。计算单元A300进行各种计算，并且控制光投射单元AlOO和摄像单元A200。计算单元A300对应于计算机40。计算单元A300包括如下多个单元。作为计算单元A300的结构的一部分的测量控制单元A350用作用于控制光投射单元AlOO的光投射方向和光投射强度等的光投射控制单元，并且用作用于控制摄像单元 A200的摄像操作的摄像控制单元。作为计算单元A300的结构的一部分的图像数据存储单元A301用作用于从摄像单元A200获取拍摄图像的获取单元，并且用作用于将拍摄图像作为数据进行存储的存储单兀。作为计算单元A300的结构的一部分的校准值计算单元A310从存储在图像数据存储单元A301中的拍摄图像提取图案光的区域(光切线101)。作为计算单元A300的结构的一部分的校准值存储单元A302用作用于存储与通过校准值计算单元A310所计算出的图案光的区域有关的信息的存储单元。作为计算单元A300的结构的一部分的三维测量值计算单元A320使用存储在校准值存储单元A302中的图案光的区域，计算图案光的坐标(光切线上的各个亮点位置的坐标值)。此外，三维测量值计算单元A320用作用于使用三维测量值来计算表示测量对象30的表面形状的信息(例如，平面方程)的计算单元。作为计算单元A300的结构的一部分的三维模型数据存储单元A303用作用于存储计算测量对象30的位置和/或姿势所要使用的测量对象30的三维模型数据的存储单元。 三维模型数据包括诸如计算机图形等的数据，并且可以通过进行与测量对象30的三维模型拟合，来判断测量对象30的位置和/或姿势。
6
作为计算单元A300的结构的一部分的对象位置/姿势计算单元A340用作用于通过使用三维模型数据进行三维模型拟合来计算测量对象30的位置和/或姿势的位置/姿势计算单元。作为计算单元A300的结构的一部分的参数空间限定单元A330用作用于使用表示测量对象30的表面形状的信息来限定进行三维模型拟合时的三维模型的可移动范围的限定单元。接着将参考图3中的处理流程来说明本典型实施例中的信息处理设备的处理流程。步骤SlOO是信息处理设备的处理的开始步骤。步骤SllO是图像数据获取步骤， 在该步骤中，光投射单元AlOO将图案光投射至测量对象30上，并且摄像单元A200获取测量对象30的拍摄图像。测量控制单元A350通过向光投射单元AlOO和摄像单元A200发送控制信号来进行如上所述的本步骤的处理。将摄像单元A200所获取的拍摄图像的数据发送并存储至图像数据存储单元A301。步骤S120是三维测量步骤，用于从存储在图像数据存储单元A301中的拍摄图像提取图案光的区域，并且根据所提取的图案光的区域来计算光切线上的各个亮点的坐标值。通过校准值计算单元A310和三维测量值计算单元A320进行如上所述的本步骤的处理。步骤S130是测量对象面估计步骤，用于使用步骤S120所计算出的坐标值来确定表示被图案光照射的测量对象的表面形状的信息(平面方程或者曲面方程)。更具体地，测量对象面估计步骤用于对三维测量步骤S120所获得的三维信息进行聚类或分割，并且估计被照射的测量对象30的表面部分的平面方程(法线矢量和照射平面)。通过使用三维测量步骤S120所获得的三维信息相互比较相邻信息并进行扩展处理，可以实现聚类和分割用的方法，或者通过对图像数据获取步骤SllO所获得的图像预先进行聚类，也可以实现聚类和分割用的方法。具体地，通过哈弗(Hough)变换等进行直线检测，并且预先检测具有相同斜率或亮度梯度的光切线或者光切线上的亮点位置。然后，通过仅使用属于相同类的光切线上的亮点位置，使用最小二乘法等来估计平面方程。在图5的情况下，测量对象面102 变成光切线101以及测量对象的边缘从已获得的估计平面所切割出的范围。通过三维测量值计算单元A320进行如上所述的本步骤的处理。步骤S140是参数空间限定步骤，用于使用步骤S130所计算出的表示表面形状的信息，来限定对象位置/姿势计算单元A340进行三维模型拟合时的三维模型的可移动范围。更具体地，在世界坐标上形成测量对象面估计步骤S130所获得的平面，并且改变存储在三维模型数据存储单元A303中的三维模型的位置/姿势。然后，绘制使得该平面和三维模型的平面相互匹配的三维模型的位置/姿势，作为参数空间内的参数搜索范围(约束条件)(参考图5)。通过使与三维模型上的照射部分相对应的表面匹配于照射表面，并且利用平面约束改变三维模型的位置，来计算照射平面的轮廓线(光切线)上的点存在于与三维模型相匹配的表面内的范围。通常，基于六个自由度来确定三维模型的位置/姿势。然而，在根据本步骤将三维模型的移动范围限定在平面上的情况下，变成可以基于三个自由度来确定该移动范围，这三个自由度包括平面上的两个方向的平行移动以及转动。也就是说，根据本步骤，通过限定三维模型的可移动范围，可以明显缩短计算机在进行三维模型拟合时所使用的计算时间。通过参数空间限定单元A330进行如上所述的本步骤的处理。步骤S150是对象位置/姿势计算步骤，用于基于存储在三维模型数据存储单元 A303中的三维模型数据来进行三维模型拟合。更具体地，对象位置/姿势计算步骤用于在参数空间限定步骤S140所获得的参数空间中进行最优化计算(为使得位置/姿势参数的均方误差变成最小所进行的参数提取)，并且计算最终的三维模型的位置/姿势参数。在参数空间限定步骤S140所获得的参数空间内存在多个搜索范围的情况下，在所有部分空间中都进行最优化计算。然后，最终将图像坐标上的三维模型和被投射至图像的测量对象的位置/姿势参数之间的误差中最小的误差假定为正解值。在图5的情况下，由于三维模型受到通过测量对象面估计步骤S130所获得的平面的平面约束，因而按照如下求出平面约束下的图像雅克比矩阵(Jacobian)。在限定的参数空间内选择三维模型的位置/姿势参数各自的初始值。通过对象位置/姿势计算单元A340进行如上所述的本步骤的处理。步骤S160是信息处理设备的处理的终止步骤。接着说明本典型实施例中的校准方法。假定通过经由投影矩阵α的坐标变换将世界坐标系中的任意点X= [Χ，Υ，Ζ]Τ变换成标准化图像坐标系上的点χ = [X，Y，Ζ]τ。此时，按照如下表示图像坐标系中的X的相应点 U = [U, ν]τ。[数学式1]
1 _ 1“ =-Χ = _ Λ
ζ ζ(1)其中，u'和X'是假定u和X的比例因子为1的齐次坐标，并且各自表示为U' =[u，v，l]T、X' = [X，Y，Z，1]T。投影矩阵α是3X4矩阵，并且可以通过拍摄世界坐标已知的六个以上点并测量这些点的投影位置，根据作为线性方程的方程(1)来确定投影矩阵 α ο此外，可以通过将狭缝光照射至预先已知世界坐标系中的坐标值的夹具上、在图像上测量其照射位置、并且使用投影矩阵α计算三维位置，来确定狭缝光平面的方程。在本典型实施例中，由于设计成通过光扫描部11改变狭缝光的照射角度，因而需要在各照射角度确定狭缝光平面的方程。利用K个光切线实现一次扫描，并且假定用于获得第k个光切线的从光扫描部11的原点位置开始的狭缝光照射角度为Φ 。K和Φ1 ΦΚ是预先定义的固定值，并且假定在校准时和在实际作业时使用相同的值。按照如下表示狭缝光平面的方程。[数学式2]AkX+BkY+CkZ+Dk = 0 (k=l，2，...，K)(2)在实际三维测量中，通过利用狭缝光束照射测量对象，在图像坐标上获得第k个光切线。根据光切线上的亮点位置U" = [u"，V"，1]τ，按照如下表示世界坐标系中的光切线上的亮点位置X' i=[X' i，Y' i，Z' i，l]T。[数学式3]X' i = Z(CItCI)W(3)通过将方程( 代入相应方程(3)的狭缝光平面方程中，可以确定出世界坐标系中的照射位置X' i。
接着，以下将说明本典型实施例中的三维模型拟合的具体处理。首先，如图6所示定义坐标系。坐标系包括三维模型坐标系70、假定约束平面为XY平面并且平面的法线矢量为Z轴的平面坐标系71、世界坐标系72、以及照相机坐标系73。尽管图6没有示出，但是还存在图像坐标系。三维空间中的任意平面可以通过与该平面垂直的矢量(法线矢量)和从世界坐标系的原点到该平面的带符号的距离进行定义。根据长度1标准化的法线矢量的自由度为2， 并且带符号的距离的自由度为1，基于三个自由度来表示该平面。在该处理中，相对于世界坐标轴来定义平面的法线矢量。世界坐标系是围绕世界坐标系的y轴而转动的θ，并且是围绕转动之后的世界坐标轴的χ轴而转动的φ。假定平面的法线矢量是此时的转动之后的ζ轴，表示平面的姿势的转动矩阵Rwp如方程(4)那样进行表不。[数学式4]
权利要求
1.一种信息处理设备，用于使测量对象的位置和/或姿势与所述测量对象的模型的位置和/或姿势相匹配，所述信息处理设备包括获取单元，用于获取所述测量对象的拍摄图像；计算单元，用于基于所述拍摄图像，计算表示所述测量对象的表面形状的信息；以及限定单元，用于基于表示所述表面形状的信息，限定所述模型的位置和/或姿势。
2.根据权利要求1所述的信息处理设备，其特征在于，还包括光投射控制单元，所述光投射控制单元用于使光投射单元将图案光投射至所述测量对象上，其中，所述计算单元从所述拍摄图像中提取所述图案光的区域，并且基于所提取出的图案光的区域和所述光投射单元的投射方向，计算表示所述表面形状的信息。
3.根据权利要求2所述的信息处理设备，其特征在于，所述光投射控制单元使所述光投射单元从第一方向投射第一图案光，并且从不同于所述第一方向的第二方向投射第二图案光，所述获取单元获取利用所述第一图案光所拍摄的第一拍摄图像和利用所述第二图案光所拍摄的第二拍摄图像，所述计算单元从所述第一拍摄图像中提取所述第一图案光的区域，基于所提取出的第一图案光的区域和所述第一方向来计算表示所述测量对象的第一表面形状的信息，从所述第二拍摄图像中提取所述第二图案光的区域，并且基于所提取出的第二图案光的区域和所述第二方向来计算表示所述测量对象的第二表面形状的信息，以及所述限定单元基于表示所述第一表面形状的信息和表示所述第二表面形状的信息，限定对所述模型的位置和/或姿势的设置。
4.根据权利要求2所述的信息处理设备，其特征在于，由所述光投射单元所投射的图案光是多狭缝照明光。
5.根据权利要求1所述的信息处理设备，其特征在于，还包括位置/姿势计算单元，所述位置/姿势计算单元用于通过使所述测量对象的位置和/或姿势与所述模型的位置和/ 或姿势相匹配来计算所述测量对象的位置和/或姿势。
6.根据权利要求1所述的信息处理设备，其特征在于，表示所述表面形状的信息是表示所述测量对象的表面的平面方程，以及所述限定单元将所述模型的位置和/或姿势限定至使所述模型在由所述平面方程所表示的平面上转动和/或平行移动时的可移动范围。
7.根据权利要求1所述的信息处理设备，其特征在于，表示所述表面形状的信息是表示所述测量对象的表面的曲面方程。
8.根据权利要求1所述的信息处理设备，其特征在于，所述拍摄图像是由立体照相机所拍摄的立体拍摄图像，以及所述计算单元基于所述立体拍摄图像和所述立体照相机的视差，计算表示所述测量对象的表面形状的信息。
9.一种信息处理方法，用于使测量对象的位置和/或姿势与所述测量对象的模型的位置和/或姿势相匹配，所述信息处理方法包括以下步骤获取所述测量对象的拍摄图像；基于所述拍摄图像，计算表示所述测量对象的表面形状的信息；以及基于表示所述表面形状的信息，限定所述模型的位置和/或姿势。
10.一种用于使计算机用作信息处理设备的计算机程序，所述信息处理设备用于使测量对象的位置和/或姿势与所述测量对象的模型的位置和/或姿势相匹配，所述信息处理设备包括获取单元，用于获取所述测量对象的拍摄图像；计算单元，用于基于所述拍摄图像，计算表示所述测量对象的表面形状的信息；以及限定单元，用于基于表示所述表面形状的信息，限定所述模型的位置和/或姿势。
11.一种信息处理设备，包括获取单元，用于获取测量对象的拍摄图像； 分辨率降低单元，用于降低所述拍摄图像的分辨率；以及光投射控制单元，用于基于分辨率降低的拍摄图像，使光投射单元将图案光投射至所述测量对象上。
全文摘要
一种信息处理设备，用于使测量对象的位置和/或姿势与所述测量对象的模型的位置和/或姿势相匹配，所述信息处理设备包括获取单元，用于获取所述测量对象的拍摄图像；计算单元，用于基于所述拍摄图像，计算表示所述测量对象的表面形状的信息；以及限定单元，用于基于表示所述表面形状的信息，限定所述模型的位置和/或姿势。
文档编号G01B11/24GK102460065SQ201080028670
公开日2012年5月16日 申请日期2010年6月21日 优先权日2009年6月25日
发明者猿田贵之, 真继优和, 青叶雅人 申请人:佳能株式会社