探测设备、探测方法和操纵器的制造方法
【技术领域】
[0001] 本发明涉及一种探测设备和一种用于实时控制包括探测设备的操纵器的操作的 方法，所述探测设备包括安装到机器人等的操纵器的光束辐射设备和单眼成像摄像机，所 述探测设备探测由摄像机所拍摄的物体的三维位置。
【背景技术】
[0002] 近年来，使用由摄像机等成像的用于机器人的工作的图像变得越来越流行。通过 使用被成像的图像，工作对象被识别到，或者工作物体的位置和姿势信息被获得以控制机 器人的操作。
[0003] 然而，一般使用复眼摄像机获得物体的三维位置。有时围绕机械手安装摄像机。 然而，多数时候，摄像机被安装在机器人外部，安装在机器人主体上或者安装在机器人头部 上。
[0004] 由复眼摄像机所成像的图像能够被制作成伪三维图像。通过选择和固定立体帧以 增加图像的深度感来实现上述目的。同时，只要从摄像机到目标平面的距离已知，即使是自 前方得到的图像也能够被做成三维图像。通过处理这些图像，执行诸如快速拾取的工作。
[0005] 工业机器人旨在提高生产率。为此，期望利用工业机器人提高操作速度和精确地 重复操作。为了使得机器人工作，需要以固定的方式配送和接收工作物体。然而，有时由于 增大的成本，很难把握机械准备位置和物体的姿势以配送给机器人。在此情况下，通过使用 被成像的图像而获得诸如物体的姿势和位置的信息以解决该问题。
[0006] 由摄像机所成像的图像是连续图像。然而，在以上描述的现有技术中，通过分割连 续图像中的一个可执行机器人的操作控制。这不能很好地利用作为连续图像的一个特征的 时间变化。
[0007] 连续图像的时间变化与机器人的工作质量有关，包括探测工作物体的拾取失误或 者监视工作的完成。工业机器人今后应该解决这些问题。
[0008] 当使用复眼摄像机时，需要一些复杂的处理，并且需要相当多的分析时间（大约 0.4秒）以从二维成像图像中获得三维信息。这是使用连续图像中的一个的原因。然而，通 过使用复眼摄像机，通过固定成像框架（摄像机）和识别从摄像机到目标拍摄平面的距离 而获得二维?目息。
[0009] 当使用复眼摄像机时，虽然成像框架中存在柔韧性，但是还是需要时间处理。一方 面，当使用单眼摄像机时，成像框架被固定，但是需要较少的时间进行处理。这与用于探测 至目标拍摄平面的距离的时间有关。
[0010] 日本专利申请特开No. 2011-257267公开了一种用于实时探测从目标拍摄平面到 摄像机的焦点的距离以及目标拍摄平面的方向的方法。通过使用安装到机械手的单眼摄像 机和三条光束来探测上述距离和方向。然而，很难探测多个装置的布置方式和调整该布置 方式以与数学表达式相适应。此外，工作物体的探测和机械手的操作控制是在将来待解决 的问题。
【发明内容】
[0011] 根据本发明的一个方面，在待连接到成像单元的探测设备中，所述成像单元被设 置在具有光束辐射单元的操纵器上，其中，水平成像平面被定义为包括所述成像单元的光 轴和定义在所述成像单元的成像平面中的水平X轴线的平面，竖直平面被定义为包括所述 光轴和定义在所述成像平面中的竖直y轴线的平面，其中1)来自所述光束辐射单元的光束 在所述水平成像平面上的投影以及2)来自所述光束辐射单元的光束在所述竖直成像平面 上的投影分别与所述成像单元的光轴形成一个夹角，所述探测设备包括：计算单元，所述计 算单元设置为：通过从由所述成像单元所成像的图像中获得光束辐射点在目标拍摄平面的 所述成像平面上的位置以及获得光束辐射点在物体上的目标拍摄平面上的位置，计算所述 光束辐射单元和与光束辐射方向正交的所述目标拍摄平面之间的距离L，其中，所述计算单 元设置为：参考预先形成的关系表达式，获得用于所获得的所述光束辐射点在所述成像平 面上的位置的相应的距离L，关系表达式基于如下的数据而形成：3)所述光束辐射点在所 述成像平面上的位置（xi，yi) (i = 〇，1，2,…N) ;4)所述目标拍摄平面和所述光束辐射单 元之间的用于所述光束辐射点在所述成像平面上的相应位置（xi，yi)的距离Li的实际测 量值，其中，所述计算单元被构造为基于所获得的相应距离L而探测被成像物体的三维位 置。
[0012] 根据本发明的另一方面，一种用于定义投影到目标拍摄平面上或者参照目标拍 摄平面上的工作物体的方法，所述方法包括：利用由包括所述物体的被成像图像的矩形局 域中的亮度差所提取的元件（或点）来重构所述物体；通过将所述元件组（或点组）的 周围分成相等的角度而定义第一轮廓数据（或剖面数据），所述第一轮廓数据是具有角度 和尺寸或者半径的形状数据；为了单位化，计算来自亮度差元件（或亮度差的点）的形状 中心的半径的平方和[例如，在以下的实施方式中的sumr Θ j =Σ (xai2+yai2) (i = I to ΝΘ j，θ = j)]，并且元件（点）的半径的平方和的平方根[在以下的实施方式中的r θρ j =V (sumr θ」_)/Σ ( V sumr Θ j)];并且当被成像时基于从设备安装基面到所述光束福射 点的距离、亮度差的阈值、亮度差元件组（点组）的纵向和横向尺寸、形状中心的位置以及 亮度差元件（点）的数量而定义轮廓。
[0013] 根据本发明的另一方面，一种用于在被成像的图像中探测所述工作物体的方法包 括：使用根据本发明的探测单元计算从设备安装基面到光束辐射点的距离；基于所述距离 在被记录物体的轮廓中选择最靠近的距离的轮廓和第一轮廓数据；通过执行被记录轮廓的 纵向和横向尺寸的距离内插或外插计算而确定搜索单元的尺寸；并且在所选择的被记录第 一轮廓数据位于布置在整个图像屏幕上的搜索单元中产生的第一轮廓数据中的情况下，选 择具有最小的绝对差总和的搜索单元，其中，通过将物体的中心定义为搜索单元的亮度差 元件组（点组）的图片（形状）的中心，指定所述成像平面上的点，并且使用本发明的探测 单元，基于由所述操纵器的操作方向定义的在目标拍摄平面上的方向分量以及基于光束辐 射方向分量，确定具有光束辐射点为原点的物体的中心的位置。
[0014] 根据本发明的另一方面，一种用于通过机器人控制器实时地操作操纵器的操作控 制方法，其中，根据权利要求1、2或3所述的探测单元被设置在操纵器的端部，并且其中，计 算装置和机器人控制器通过LAN被连接，所述方法包括：通过通信从机器人控制器向计算 装置输出指令以设置和搜索工作物体；通过计算装置选择工作物体的轮廓和被记录第一轮 廓数据以根据权利要求6中所述的方法从被成像图像中探测工作物体的位置；并且通过计 算装置向机器人控制器反馈从设备安装基面到工作物体的距离、目标拍摄平面上的位置以 及物体的方向。
[0015] 根据本发明的另一方面，一种用于探测被成像图像中的物体和被记录物体之间的 不同的方法，所述方法包括：利用由被成像图像所生成的区域固定轮廓数据以及被记录的 区域固定轮廓数据计算绝对差的总和以数字化矩形区域中的改变，这通过固定矩形区域而 实现，该矩形区域提取用于产生工作物体的被记录轮廓数据的亮度差元件（或亮度差的 点）；并且将被记录轮廓的形状中心固定作为从被成像图像中提取出的亮度差元件（点） 的形状中心；并且探测与确定工作质量是否能够接受有关的事务，所述工作质量包括工作 之前的工作质量条件、工作进展、工作结束、工作失误的存在与否。
[0016] 根据本发明的另一方面，一种操作控制方法，在此方法中，带有区域固定轮廓数据 的绝对差总和表示矩形区域中的物体的改变量，所述方法包括：通过将物体的改变量定义 为物体的位置改变量而探测位置以控制端部感受器的驱动力；并且通过控制动力由机器人 控制器来执行工作。
[0017] 从以下的（参考附图）对示例性实施方式的说明中，本发明的其他特征将变得显 而易见。
【附图说明】
[0018] 图1是从前方斜着观察到的光学系统的构造图，其中示出了用于探测物体的三维 位置的三维位置探测设备的构造。
[0019] 图2是几何上解释在虚拟成像平面上拍摄到的光束辐射点的位置以及从探测设 备安装基面到光束辐射点的距离的图。
[0020] 图3A是示出物体成像平面上的成像平面，虚拟成像平面和光束辐射点（点S)的 几何空间以用于解释已确定的表述。
[0021] 图3B和3C是用于说明与刻度尺和ALi有关的角度α和角度β的图。
[0022] 图3D是用于说明角度α和角度β之间的关系的图。
[0023] 图4是用于几何地示出数学处理的图，通过该数学处理物体的图片的中心在参照 被拍摄平面上的位置被投影到光束的正交平面。
[0024] 图5是示出使用本发明的图像处理装置而从被成像图像中产生的工作物体的轮 廓数据的示例的图。
[0025] 图6示出了注册轮廓的距离、元件宽度和元件高度。
[0026] 图7示出了注册轮廓数据和距离之间的关系。
[0027] 图8是解释快速操作的图，通过将成像平面分成块并且搜索用于各个物体搜索单 元的物体而完成该快速操作。
[0028] 图9示出了作为本发明的原理的光束辐射装置的立体剖面结构的示例。
[0029] 图10示出了作为一个实施方式的工作机器人的立体图，该工作机器人在可移动 类型的机械臂的臂部的端部处包括本发明的探测设备。
[0030] 图11示出了作为一个实施方式的工作机器人的立体图，其中，机械臂的一部分被 移除，并且安装了探测设备。
【具体实施方式】
[0031] 现在，将说明本发明的实施方式。
[0032] 在本说明书中，使用安装到操纵器的单眼摄像机和与摄像机的光轴成一角度的光 束。基于光束辐射点在成像平面上的位置计算从辐射点到设备安装基面的距离。
[0033] 光束辐射点组在成像平面上的坐标和从设备安装基面到光束辐射点组的距离被 预先测量。连接虚拟成像平面上的光束辐射点组的直线在虚拟成像空间中被视为光束，虚 拟成像空间定型为四角锥。
[0034] 光束辐射点和辐射方向被确定为生成表述目标的目标拍摄平面的表达式，该目标 拍摄平面包括光束辐射点并且与光束正交。通过计算该表达式得到被投影到目标拍摄平面 的成像点的位置。
[0035] 光束辐射点是成像平面上的一条直线上的成像点，该成像平面与到设备安装基面 的距离相关。光束辐射点容易被探测到。通过使用适当的表达式，能够高速地计算距离，这 样实现了实时的图像处理。
[0036] 工作物体被做成轮廓数据或剖面数据（profile data)。通过如下的操作来实现 上述的目的：提取以所成像图像的亮度差作为特征的亮度差元件；通过亮度差元件定义轮 廓；将元件组的图片的中心的周围分为相等的角度；并且利用角度区域中的元件（或点） 的半径平方之和（sumr Θ j)的平方根除以所有角度区域之和（Xsumr Θ j)而进行单位化。
[0037] 通过压缩原始图像数据形成轮廓数据。轮廓数据允许容易地执行实时处理。同时， 通过使用亮度差，轮廓数据不会轻易被环境的亮度所影响。为了获得光束辐射点的亮度差， 有时期望环境的亮度较低。按如下方式搜索工作物体。
[0038] 首先，通过划分整个成像图像和重新组合这些被划分的成像图像而形成搜索单 元。然后，创建轮廓数据。将该轮廓数据与待被搜索的工作物体的之前被创建和记录的轮 廓数据做比较。在所有搜索单元中选择具有最小的差距并且在允许值之内的轮廓数据。如 上所述，搜索到工作物体。工作物体的位置被设定成搜索单元的轮廓的中心。
[0039] 应指出，通过具有最小的绝对角度之差的角度定义工作物体的方向（旋转），通过 移动被注册工作物体的轮廓数据和将被注册工作物体的轮廓数据与工作物体对比而获得 该绝对角度。如果实时处理处于优先地位，那么其精度被限定，这是因为被划分的角度的大 小与计算速度反相关。
[0040] 通过使得搜索的工作物体的轮廓的中心（图片的中心）与成像平面上的成像点的 位置相匹配，计算来自光束辐射点的平面位置，从而获得工作物体的三维位置。