生成三维点位置信息的三维测定装置的制作方法

1.本发明涉及生成三维点的位置信息的三维测定装置。


背景技术：

2.已知有利用视觉传感器对图像进行拍摄，并基于所得到的图像来检测对象物的三维的位置的测定装置。作为检测三维的位置的测定装置，已知有在规定的范围扫描激光测距仪而检测位置的装置及利用2台摄像机拍摄图像并基于三角测量的原理来检测位置的装置等(例如，参照日本特开2008-264947号公报及日本特开2006-258486号公报)。
3.另外，作为检测三维的位置的测定装置，已知有在从光源发出光之后利用受光元件接收在对象物的表面反射的光的距离摄像机(例如，参照国际公开第2018/042801号)。距离摄像机按照受光元件的每个像素，基于光的飞行时间和光的速度来检测到对象物的距离。
4.例如，距离摄像机向对象物照射以规定的周期调制了强度的光。距离摄像机基于从光源发出的光与反射光的相位差，计算从距离摄像机到对象物的距离。该测定方式被称为光飞行时间方式。距离摄像机能够根据按每个像素取得的距离，生成颜色或浓度变化的距离图像。
5.现有技术文献
6.专利文献
7.专利文献1：日本特开2008-264947号公报
8.专利文献2：日本特开2006-258486号公报
9.专利文献3：国际公开第2018/042801号


技术实现要素：

10.发明所要解决的课题
11.在以光转移时间方式拍摄图像的距离摄像机中，针对每个像素计算从距离摄像机到对象物的距离。其结果是，能够在对象物的表面设定与像素对应的三维点。三维点的位置与对象物的表面的位置对应。
12.距离摄像机的受光元件优选接收在对象物的表面反射的以1个路径行进的光。然而，根据对象物的形状，存在从光源发出的光在多个位置反射而返回到距离摄像机的情况。例如，光有时在与所希望的位置不同的位置反射后，在所希望的位置反射而返回到距离摄像机。受光元件有时会接收由多个路径反射的光。这样的多个路径被称为多路径。
13.若受光元件接收在多个路径中行进的光，则到由距离摄像机检测出的对象物的距离变长。在各个像素中检测到的到对象物为止的距离根据光的反射的形态而变化。其结果是，距离摄像机有时无法将设定在对象物的表面的三维点设定为正确的位置。例如，由于利用一部分像素检测出的到对象物为止的距离变长，所以尽管对象物的表面为平面，有时也会在表面凹陷的形状上进行检测。这样，若在多路径接收反射光，则距离摄像机无法准确地
检测对象物的表面上的三维点的位置，因此优选降低多路径的影响。
14.用于解决课题的手段
15.本公开的三维测定装置具备：距离摄像机，其基于光的飞行时间取得物体的表面的三维点的位置信息；以及处理装置，其对由距离摄像机取得的三维点的位置信息进行处理。距离摄像机在距离摄像机相对于物体的多个相对位置以及姿势下，取得三维点的位置信息。处理装置包含：设定部，其对物体设定用于评价与物体的表面对应的三维点的位置的多个评价区域。处理装置包含：确定部，其在各个评价区域中，确定在评价区域内检测出的三维点中的、与预先确定的基准平面、基准点或者基准线最近的三维点。处理装置包含：生成部，其基于由确定部按评价区域确定出的多个三维点，生成对由距离摄像机取得的多个三维点的位置信息进行合成而得到的三维点的位置信息。
16.发明效果
17.根据本公开的方式，能够提供降低多路径的影响的三维测定装置。
附图说明
18.图1是实施方式中的第一机器人装置的侧视图。
19.图2是第一机器人装置的框图。
20.图3是实施方式中的第一工件的立体图。
21.图4是通过多路径接收反射光时的摄像机和工件的局部剖视图。
22.图5是说明在摄像机的受光元件的像素中所接收的光的相位的概略图。
23.图6是在不发生基于多路径的受光时得到的工件的距离图像。
24.图7是产生了基于多路径的受光时的距离图像。
25.图8是说明第一机器人装置的控制的流程图。
26.图9是在摄像机的第一位置拍摄第一距离图像时的摄像机及工件的局部剖视图。
27.图10是在摄像机的第二位置拍摄第二距离图像时的摄像机以及工件的局部剖视图。
28.图11是对将第一距离图像中的三维点和第二距离图像中的三维点组合时的三维点的位置进行说明的工件的剖视图。
29.图12是对配置有评价区域的评价范围进行说明的摄像机及工件的立体图。
30.图13是第一机器人装置中的评价区域的立体图。
31.图14是对由确定部确定的三维点进行说明的工件的剖视图。
32.图15是对评价区域的大小进行说明的摄像机的受光元件和光学中心的立体图。
33.图16是说明拍摄距离图像时的摄像机的位置的图。
34.图17是实施方式中的第二工件的立体图。
35.图18是实施方式中的第三工件以及工作台的立体图。
36.图19是实施方式中的第二机器人装置的侧视图。
37.图20是对将第一距离图像中的三维点和第二距离图像中的三维点组合时的三维点的位置进行说明的摄像机及工件的局部剖视图。
38.图21是实施方式中的检查装置的侧视图。
39.图22是实施方式中的检查装置的框图。
40.图23是在实施方式的第三机器人装置中拍摄第一距离图像时的工件以及摄像机的局部剖视图。
41.图24是在第三机器人装置中拍摄第二距离图像时的工件以及摄像机的局部剖视图。
42.图25是对将第一距离图像中的三维点和第二距离图像中的三维点组合时的三维点的位置进行说明的摄像机及工件的局部剖视图。
43.图26是在第三机器人装置中对配置有评价区域的评价范围进行说明的摄像机以及工件的立体图。
44.图27是第三机器人装置中的评价区域的立体图。
45.图28是对在第三机器人装置中由确定部确定的三维点进行说明的工件的剖视图。
46.图29是对在第三机器人装置中评价区域的大小进行说明的受光元件以及光学中心的立体图。
47.图30是对在第三机器人装置中拍摄多个距离图像时的摄像机的朝向进行说明的立体图。
48.图31是实施方式中的第四机器人装置的摄像机及工件的侧视图。
49.图32是实施方式中的第五机器人装置的摄像机及工件的局部剖视图。
50.图33是对在第五机器人装置中配置有评价区域的评价范围进行说明的摄像机以及工件的立体图。
51.图34是第五机器人装置中的评价区域的立体图。
具体实施方式
52.参照图1至图34，对实施方式的三维测定装置进行说明。本实施方式的三维测定装置具备基于光的飞行时间取得物体的表面的三维点的位置信息的距离摄像机。三维测定装置基于在多个位置及姿势下取得的三维点的位置信息，生成与工件的表面对应的三维点的位置信息。在本实施方式中，各个机器人装置以及检查装置作为三维测定装置发挥功能。
53.图1是本实施方式的第一机器人装置的侧视图。图2是本实施方式中的第一机器人装置的框图。参照图1和图2，机器人装置3具备握持工件62的机械手5和使机械手5移动的机器人1。机器人装置3具备控制机器人装置3的控制装置2。另外，机器人装置3具备载置工件62的架台61。
54.机械手5是握持或释放工件62的末端执行器。本实施方式的机械手5是通过吸附的方式来握持工件62的表面63a的吸附手。作为安装于机器人1的末端执行器，不限于该方式，能够采用与机器人装置3进行的作业相应的任意的作业工具。例如，作为末端执行器，能够采用实施焊接的作业工具或将密封材料涂布于工件的表面的作业工具等。即，本实施方式的三维测定装置能够应用于进行任意作业的机器人装置。或者，也可以不在机器人1上安装作业工具，而将摄像机31安装于机器人1。
55.本实施方式的机器人1是包含多个关节部18的多关节机器人。机器人1包含上部臂11和下部臂12。下部臂12支承于旋转基座13。旋转基座13被基座14支承。机器人1包含与上部臂11的端部连结的腕部15。腕部15包含固定机械手5的凸缘16。机器人1的构成部件形成为绕预定的驱动轴旋转。作为机器人，不限于该方式，可以采用能够使作业工具或者工件移
动的任意的机器人。
56.机器人装置3具备摄像机31作为取得与作为物体的工件62的表面对应的三维点的位置信息的距离摄像机。本实施方式的摄像机31是基于光的飞行时间取得三维点的位置信息的tof(time of flight：飞行时间)摄像机。tof摄像机包含具有二维排列的多个像素的受光元件。受光元件例如包含ccd(charge-coupled device：电荷耦合器件)或cmos(complementary metal oxide semiconductor：互补金属氧化物半导体)等。
57.在第一机器人装置3中，摄像机31由机器人1支承。摄像机31经由支承部件35固定于凸缘16。摄像机31与机械手5一起移动。摄像机31配置为能够拍摄工件62上由机械手5握持的部分。
58.摄像机31能够以距离图像或三维地图的形式取得与物体的表面对应的三维点的位置信息。距离图像是指通过图像来表现三维点的位置信息的图像。在距离图像中，根据各个像素的浓度或颜色，表示物体的表面的位置或与摄像机31的距离。另一方面，三维地图将三维信息表现为所测定的三维点的坐标值(x，y，z)的集合。在本实施方式的方式中，作为三维点的位置信息，以距离图像为例进行说明。
59.本实施方式的机器人1包含驱动上部臂11等构成部件的机器人驱动装置21。机器人驱动装置21包含用于驱动上部臂11、下部臂12、旋转基座13以及腕部15的多个驱动马达。机械手5包含驱动机械手5的机械手驱动装置22。本实施方式的机械手驱动装置22通过气压驱动机械手5。机械手驱动装置22包含用于对吸盘的内部的空间进行减压的泵以及电磁阀等。
60.控制装置2控制机器人1及机械手5。控制装置2具备包含作为处理器的cpu(central processing unit：中央处理器)的运算处理装置(计算机)。运算处理装置具有经由总线与cpu相互连接的ram(random access memory：随机存取存储器)以及rom(read only memory：只读存储器)等。本实施方式的机器人1基于动作程序41自动地输送工件62。机器人驱动装置21以及机械手驱动装置22由控制装置2控制。
61.控制装置2包含存储与机器人装置3的控制相关的信息的存储部42。存储部42可以由易失性存储器、非易失性存储器或硬盘等能够存储信息的存储介质构成。向控制装置2中输入了为了进行机器人1的动作而预先生成的动作程序41。动作程序41被存储于存储部42。
62.控制装置2包含发送动作指令的动作控制部43。动作控制部43基于动作程序41向机器人驱动部44送出用于驱动机器人1的动作指令。机器人驱动部44包含驱动驱动马达的电路，基于动作指令向机器人驱动装置21供电。另外，动作控制部43将驱动机械手驱动装置22的动作指令发送到机械手驱动部45。机械手驱动部45包含驱动泵等的电路，基于动作指令向泵等供电。动作控制部43相当于按照动作程序41进行驱动的处理器。处理器读入动作程序41，实施在动作程序41中规定的控制，由此作为动作控制部43发挥功能。
63.机器人1包含用于检测机器人1的位置以及姿势的状态检测器。本实施方式中的状态检测器包含安装于机器人驱动装置21的各驱动轴的驱动马达的位置检测器23。通过位置检测器23的输出，检测机器人1的位置以及姿势。作为状态检测器，不限于安装于驱动马达的位置检测器，可以采用能够检测机器人1的位置以及姿势的任意的检测器。
64.在本实施方式的机器人装置3中，设定有在机器人1的位置以及姿势变化时不动的世界坐标系71。在图1所示的例子中，在机器人1的基座14配置有世界坐标系71的原点。世界
坐标系71也被称为基准坐标系。在世界坐标系71中，原点的位置被固定，进而，坐标轴的朝向被固定。即使机器人1的位置以及姿势变化，世界坐标系71的位置以及姿势也不变化。作为坐标轴，世界坐标系71具有相互正交的x轴、y轴以及z轴。另外，设定w轴为绕x轴的坐标轴。设定p轴为绕y轴的坐标轴。设定r轴为绕z轴的坐标轴。
65.另外，在机器人装置3中设定有工具坐标系72，其具有设定在作业工具的任意位置的原点。工具坐标系72是位置以及姿势与机械手5一起变化的坐标系。在本实施方式中，工具坐标系72的原点被设定为工具前端点。工具坐标系72的原点配置在凸缘16的旋转轴上。工具坐标系72具有相互正交的x轴、y轴以及z轴。工具坐标系72具有绕x轴的w轴、绕y轴的p轴、以及绕z轴的r轴。
66.若机器人1的位置以及姿势发生变化，则工具坐标系72的原点的位置以及姿势发生变化。例如，机器人1的位置与工具前端点的位置(工具坐标系72的原点的位置)对应。另外，机器人1的姿势与工具坐标系72相对于世界坐标系71的姿势对应。
67.并且，在机器人装置3中，对摄像机31设定摄像机坐标系73。摄像机坐标系73是位置和姿势与摄像机31一起变化的坐标系。本实施方式的摄像机坐标系73的原点被设定在摄像机31的光学中心。摄像机坐标系73具有相互正交的x轴、y轴以及z轴。本实施方式的摄像机坐标系73被设定为z轴与摄像机31的光轴重合。
68.本实施方式的机器人装置3作为检测工件62的三维测定装置发挥功能。三维测定装置包含摄像机31和对由摄像机31取得的三维点的位置信息进行处理的处理装置。控制装置2包含对三维点的位置信息进行处理的处理部51。处理部51作为处理装置发挥功能。处理部51包含：位置取得部52，其从摄像机31取得三维点的位置信息。处理部51包含：转换部53，其将三维点相对于摄像机31的位置信息转换为三维点相对于工件62的位置信息。处理部51包含：设定部56，其对工件62设定用于评价与工件62的表面对应的三维点的位置的多个评价区域。处理部51包含：确定部54，其在评价三维点的位置的评价区域中，确定与成为基准的基准平面、基准点、或者基准线最近的三维点。处理部51包含：生成部55，其生成对由摄像机31取得的多个三维点的位置信息进行合成而得到的三维点的位置信息。
69.处理部51包含：动作指令部58，其基于合成后的三维点的位置信息来生成驱动机器人1的动作指令。另外，处理部51包含：拍摄控制部57，其向摄像机31发送拍摄图像的指令。
70.上述的处理部51相当于按照动作程序41进行驱动的处理器。特别是，位置取得部52、转换部53、设定部56、确定部54以及生成部55各个单元相当于按照动作程序41进行驱动的处理器。另外，动作指令部58和摄像控制部57相当于按照动作程序41进行驱动的处理器。处理器读入动作程序41，实施在动作程序41中规定的控制，由此作为各个单元发挥功能。
71.机器人装置3具备：移动装置，其使工件62以及摄像机31中的一方移动，来变更摄像机31相对于工件62的相对的位置。在第一机器人装置3中，机器人1作为使摄像机31移动的移动装置而发挥功能。
72.图3表示本实施方式中的第一工件的立体图。本实施方式的第一工件62包含形成为板状的板状部63和从板状部63竖立设置的壁部64。板状部63具有平面状的表面63a。壁部64配置于表面63a的端部。工件62的表面63a由机械手5来握持。
73.参照图1至图3，第一机器人装置3在机械手5握持工件62之前，利用摄像机31拍摄
工件62的距离图像。拍摄控制部57向摄像机31发送拍摄图像的指令。机器人装置3在摄像机31的多个位置拍摄图像。处理部51基于由摄像机31拍摄到的多个图像，检测工件62的表面63a的位置。
74.动作指令部58基于工件62的表面63a的位置，生成机器人1的动作指令以便能够用机械手5握持表面63a。动作指令部58向动作控制部43发送动作指令。动作控制部43在基于动作指令变更了机器人1的位置以及姿势之后，利用机械手5握持工件62。然后，机器人1基于动作程序41，将工件62搬送至目标位置。
75.接着，对摄像机31通过多路径接收反射光的情况下的影响进行说明。图4是说明多路径的影响的摄像机及工件的局部剖视图。摄像机31检测工件62的表面63a的位置。摄像机31具有能够拍摄距离图像的拍摄区域31a。如箭头101所示，从摄像机31的光源射出光。在工件62的表面63a反射的光如箭头102所示那样朝向摄像机31的受光元件返回。在受光元件仅接收由箭头101以及箭头102所示的路径反射的光的情况下，能够检测工件62的表面63a的准确的位置。
76.但是，从光源射出的光有时如箭头103所示那样由壁部64反射而朝向表面63a。之后，光如箭头102所示返回到受光元件。这样，光源的光在包含箭头101所示的路径以及箭头103所示的路径的多个路径中行进并返回到受光元件。即，受光元件接收通过多路径返回的光。如果包含多次反射的光，则由受光元件检测出的光的飞行时间被检测到变长。此外，在图4中，为了说明而示出了2个路径，但实际上，由于在壁部64的各种位置反射的光朝向表面63a，因此受光元件有时会接收在较多的路径上行进的光。
77.图5表示测定从摄像机到工件的距离的方法的说明图。参照图4及图5，第一路径相当于箭头101、102所示的路径。第二路径相当于由箭头103和102指示的路径。
78.参照第一路径的图，本实施方式的摄像机31作为测定光的飞行时间的方法，检测反射光相对于从光源射出的光的相位的延迟。摄像机31在相位相互不同的多个定时对从光源射出的光进行拍摄。在图5所示的例子中，在4种摄像定时(0
°
、90
°
、180
°
以及270
°
)反复进行摄像。在图5中，示出了受光元件的1个像素中的受光量q1、q2、q3、q4。与此时的像素对应的到物体的距离l例如能够由以下的式(1)算出。在式(1)中，c为光速，f为从光源射出的光的调制频率。
79.[数学式1]
[0080][0081]
参照第二路径的图，如果光的路径变长，则接收从光源射出的光的时期比接收第一路径中的光的时期慢。在4种摄像定时接收的受光量q1、q2、q3、q4与第一路径不同。例如，在摄像定时为0
°
时，第二路径中的受光量q1小于第一路径中的受光量q1。当通过上述式(1)计算距离l时，与各个像素对应的距离l比第一路径中的距离l长。
[0082]
在受光元件接收以多路径反射的光的情况下，例如，受光元件同时接收在第一路径行进的光和在第二路径行进的光。即，受光元件检测将第一路径中的受光量与第二路径中的受光量相加而得到的受光量。其结果是，在对多路径反射的光受光的情况下，距离l比与第一路径对应的距离长。特别是，距离成为与在第一路径行进的光对应的距离和与在第
二路径行进的光对应的距离之间的距离。与1个像素对应地检测出的三维点81在远离表面63a的位置被检测。对每个像素检测三维点81。包含多个三维点81的检测面76成为与实际的表面63a不同的形状。
[0083]
图6示出没有多路径的影响时的距离图像的例子。图7示出发生多路径的影响时的距离图像的例子。在图6及图7中，为了参考，用虚线表示工件62的形状。在本实施方式的距离图像中，颜色越浓，与摄像机31的距离越远。参照图6，在距离图像86中，在工件62的板状部63的整个表面形成大致相同的浓度。在壁部64的表面，越靠近摄像机31则颜色越淡。参照图7，距离图像87通过多路径接收光。在板状部63的表面，在壁部64的附近产生颜色变深的区域。基于这样的距离图像，即使检测板状部63的表面的位置，也存在无法检测出准确的位置的情况。其结果是，机器人装置3产生握持工件62的控制失败的情况。本实施方式中的三维测定装置实施降低这样的多路径带来的影响的控制。
[0084]
图8表示说明作为三维测定装置的第一机器人装置的控制的流程图。在第一机器人装置3中，一边变更摄像机31的位置一边拍摄多个距离图像。通过对在多个位置得到的距离图像进行合成，生成减少了多路径的距离图像。
[0085]
在步骤111中，在控制装置2将摄像机31配置于预定的第一位置之后，摄像控制部57利用摄像机31拍摄第一距离图像。图9表示将摄像机配置在第一位置时的摄像机及工件的局部剖视图。摄像机31相对于工件62的相对位置被预先确定。在第一机器人装置3中，摄像机31以沿着预定的移动平面78平行移动的方式，变更机器人1的位置以及姿势。例如，摄像机31以摄像机31的光学中心配置于移动平面78的方式移动。摄像机31配置在沿着移动平面78的位置。在第一机器人装置3中，摄像机31的姿势被维持为固定。
[0086]
机器人1将摄像机31配置于第一位置p31a。优选以在摄像机31的拍摄区域31a的内部配置工件62的检测的部分的至少一部分的方式配置摄像机31。即，优选在由摄像机31拍摄的图像中包含工件62的检测的部分。
[0087]
摄像机31针对各个像素检测三维点81的位置信息。在图9中，示出了相对于在1个面切断工件62时的截面形状的三维点81。从摄像机31输出的三维点81的位置信息被表现在摄像机坐标系73中。例如，三维点81的位置信息由摄像机坐标系73中的x轴的坐标值、y轴的坐标值以及z轴的坐标值来表示。由于对由摄像机31接收的光产生多路径的影响，因此存在三维点81的位置远离板状部63的表面63a的情况。
[0088]
参照图2，处理部51的位置取得部52从摄像机31取得工件62的第一距离图像。另外，位置取得部52从位置检测器23取得拍摄了第一距离图像时的机器人1的位置以及姿势。位置取得部52将第一距离图像与机器人1的位置以及姿势一起存储于存储部42。
[0089]
参照图8，在步骤112中，控制装置2变更机器人1的位置以及姿势而移动摄像机31。图10表示将摄像机配置于第二位置时的摄像机及工件的局部剖视图。机器人1如箭头104所示那样沿着移动平面78移动摄像机31。机器人1沿着移动平面78二维地移动摄像机31。摄像机31配置于第二位置p31b。
[0090]
参照图8，在步骤113中，摄像控制部57利用摄像机31拍摄工件62的第二距离图像。参照图2，位置取得部52从摄像机31取得工件62的第二距离图像。另外，位置取得部52从位置检测器23取得拍摄了第二距离图像时的机器人1的位置以及姿势。位置取得部52将第二距离图像与机器人1的位置以及姿势一起存储于存储部42。
[0091]
参照图10，摄像机31通过在第二位置p31b进行拍摄来检测三维点82。受光元件除了接收在箭头101、102所示的路径中行进的光之外，还接收在箭头103、102所示的路径中行进的光。对于三维点82的位置，也产生多路径的影响。然而，摄像区域31a中包含的壁部64的区域变小。因此，三维点82的位置与由配置于第一位置p31a的摄像机31取得的三维点81的位置相比，多路径的影响变小。得到靠近板状部63的表面63a的三维点82。
[0092]
参照图8，在步骤114中，处理部51判定是否在预先确定的摄像机31的全部位置进行了拍摄。在步骤114中，在摄像机31中残留有进行摄像的位置的情况下，控制转移到步骤112。然后，重复从步骤112到步骤114的控制。
[0093]
在步骤114中，在摄像机31的全部位置进行拍摄的情况下，控制转移到步骤115。在此的例子中，摄像机31在2处位置进行拍摄。由于在摄像机31的所有位置进行拍摄，因此控制转移到步骤115。此外，在本实施方式中，摄像机在2处位置拍摄，但不限于该方式。摄像机也可以在3处以上的位置进行拍摄。
[0094]
参照图2和图8，在步骤115中，处理部51的转换部53对由摄像机31在多个位置p31a、p31b拍摄到的距离图像进行转换。转换部53将三维点相对于摄像机31的位置信息转换为相对于工件62的位置信息。转换部53将由摄像机坐标系73表现的三维点的位置信息转换为由世界坐标系71表现的三维点的位置信息。此时，转换部53基于机器人1的位置以及姿势对由各个位置p31a、p31b拍摄到的距离图像进行转换。各个第一距离图像以及第二距离图像中的三维点81、82的位置由世界坐标系71的坐标值来表现。
[0095]
接下来，在步骤116中，处理部51的确定部54确定第一距离图像以及第二距离图像所包含的三维点中靠近工件62的表面63a的三维点。
[0096]
图11表示将第一距离图像中的三维点及第二距离图像中的三维点组合时的工件的局部剖视图。确定部54对1个工件62的表面配置包含在全部距离图像中的三维点。在此的例子中，确定部54对工件62的表面配置第一距离图像中的三维点81以及第二距离图像中的三维点82。配置有与工件62的表面63a对应的多个三维点81、82。
[0097]
图12示出说明在第一机器人装置中配置评价区域的评价范围的摄像机以及工件的立体图。图13表示第一机器人装置中的评价区域的立体图。参照图12及图13，在工件62的表面63a及表面63a的附近配置有多个三维点81、82。处理部51的设定部56设定进行三维点81、82的评价的范围即评价范围91。设定部56为了评价与工件62的表面63a对应的三维点81、82的位置，对工件62设定多个评价区域92。评价范围91包含多个评价区域92。
[0098]
在本实施方式中，预先设定评价区域92以及评价范围91，并存储于存储部42。设定部56从存储部42取得评价区域92以及评价范围91，对工件62设定评价区域92以及评价范围91。评价范围91优选形成为包含进行工件62的评价的部分。在本实施方式中，设定评价范围91包含进行工件62的评价的表面63a。另外，在本实施方式中，设定评价范围91包含工件62。
[0099]
本实施方式的评价区域92是将评价范围91划分为多个的区域。另外，为了评价三维点81、82的位置，设定有基准平面。基准平面可以采用任意的平面。基准平面优选为与移动平面78或移动平面78平行的面。在第一机器人装置3中，移动平面78被设定为基准平面。
[0100]
本实施方式的评价区域采用从基准平面等基准延伸的区域。评价区域92形成为在与移动平面78垂直的方向上延伸。本实施方式的评价区域92形成为长方体状。评价区域不限于该方式，也可以在相对于基准平面倾斜的方向上延伸。另外，评价区域可以采用任意的
形状。例如，评价区域可以具有任意的多边形的形状。
[0101]
确定部54基于三维点81、82的位置，检测各个评价区域92所包含的三维点81、82。在此，如上述那样产生多路径的影响时，从摄像机31到三维点的距离变长。因此，能够判断为从作为基准平面的移动平面78到三维点的距离越短，则多路径的影响越小。
[0102]
确定部54确定配置在评价区域92的内部的多个三维点81、82中与移动平面78最近的三维点。确定部54计算从移动平面78到各个三维点81、82的距离。在图13所示的例子中，1个三维点82比2个三维点81更靠近移动平面78。因此，确定部54确定三维点82。然后，确定部54实施将2个三维点81从三维点的集合中排除的控制。这样，确定部54针对每个评价区域92实施确定与1个基准平面最近的三维点的控制。
[0103]
图14中示出表示由确定部确定后的三维点的位置的工件的剖视图。从图11所示的多个三维点81、82提取在各个评价区域92中与移动平面78最近的三维点81、82。这样，通过由确定部54确定三维点81、82，能够留下靠近表面63a的三维点。即，能够留下多路径的影响小的三维点。
[0104]
在此，在壁部64的表面残存的三维点81与对应于表面63a的三维点不同。因此，确定部54也可以进行删除壁部64中的三维点的控制。例如，能够预先决定表面63a的大致的位置。确定部54能够进行从表面63a的位置删除偏离预先设定的范围的三维点的控制。
[0105]
参照图8，在步骤117中，处理部51的生成部55基于由确定部54确定的多个三维点81、82，生成合成了多个三维点的位置信息的三维点的位置信息。例如，生成部55能够通过由确定部54确定出的全部的三维点生成距离图像。或者，生成部55也可以以三维地图的形式生成三维点的位置信息。这样，处理部51能够基于摄像机31在多个位置拍摄到的三维点的位置信息，生成多路径的影响少的三维点的位置信息。
[0106]
参照图2，处理部51的动作指令部58能够基于三维点的位置信息来检测工件62的表面63a的形状以及位置。然后，动作指令部58基于表面63a的位置及形状，将应配置机械手5的位置及姿势发送给动作控制部43。动作控制部43控制机器人1和机械手5的位置以及姿势。这样，能够检测工件62的位置，利用机器人装置3输送工件62。
[0107]
图15表示说明本实施方式中的评价区域的大小的受光元件及光学中心的立体图。评价区域92能够以任意的大小设定。但是，优选在评价区域92的内部包含至少1个三维点。另外，如果评价区域92过大，则由确定部54确定的三维点的数量变少。
[0108]
在图15所示的例子中，对受光元件96设定虚拟面97。虚拟面97是与受光元件96平行的平面。另外，虚拟面97是从摄像机31的光学中心31c远离距离d的距离。距离d是从摄像机31到工件62的表面63a的距离。距离d只要是大致的距离，也可以不是准确的距离。在虚拟面97中，从受光元件96所包含的1个像素99计算相对于光学中心31c点对称的区域97a。能够将区域97a的大小设定为评价区域92的大小。即，在工件62的表面63a，能够以与1个像素对应的大小设定评价区域92。
[0109]
此外，本实施方式的处理部51的设定部56设定了预先确定的评价区域，但不限于该方式。设定部也可以形成为能够变更评价区域的大小或形状。例如，设定部能够检测工件的形状，设定与工件的形状对应的形状以及大小的评价区域。另外，设定部也可以基于工件的形状，对1个工件设定形状及大小相互不同的多个种类的设定区域。
[0110]
图16表示说明对工件配置摄像机时的摄像机的位置的摄像区域的立体图及俯视
图。在利用摄像机31拍摄距离图像时，摄像机31能够以包含工件62的成为对象的部分的至少一部分的方式配置于任意的位置。箭头108表示将摄像机31配置于位置p31a时的摄像机31的光轴。在此的例子中，位置p31a配置在工件62的表面63a的中央部的正上方。
[0111]
在图16所示的例子中，设定有从移动平面78远离距离d的虚拟面97。计算虚拟面97上的拍摄区域31a。在虚拟面97上，摄像区域31a具有四边形的形状。另外，设定对摄像区域31a的四边形的宽度w和高度h乘以预定的常数而得到的区域97b。在此的例子中，设定了对宽度w和高度h乘以0.6而得到的区域97b。并且，能够以在与区域97b的角对应的位置配置箭头109所示的光轴的方式设定摄像机31的位置p31c。即，能够以相对于摄像机的视场角在预先决定的比例的视场角的顶点配置光轴的方式配置摄像机31。摄像机31沿着移动平面78配置于多个位置p31a、p31c。
[0112]
或者，作为配置摄像机的位置，能够采用在配置工件的区域的端部配置光轴的位置。或者，也可以以在将预先确定的区域等分后的位置配置光轴的方式配置摄像机。
[0113]
在上述的实施方式中，以具有竖立设置于板状部的表面的壁部的工件为例进行了说明，但不限于该方式。本实施方式中的三维测定装置能够应用于产生多路径的受光的任意的物体的测定。
[0114]
图17表示本实施方式的第二工件的立体图。在第二工件66的上表面形成有槽部66a。在检测槽部66a的底面的情况下，存在光在槽部66a的侧面反射而产生多路径的受光的情况。在检测具有这样的凹部的工件的表面时，能够采用本实施方式的三维测定装置。
[0115]
此外，在工件66具有槽部66a时，优选以在槽部66a的壁面的位置配置光轴的方式配置摄像机来拍摄距离图像。或者，优选在移动平面中，以与槽部66a的宽度wg对应的间隔来设定摄像机的多个拍摄位置。通过进行该控制，能够更可靠地降低在检测槽部的底面时产生的多路径的影响。
[0116]
图18表示本实施方式中的第三工件以及工作台的立体图。在第三工件67中，表面67a的截面形状形成为波形。在这样的检测具有凹部以及凸部的表面67a的情况下，也存在产生多路径的受光的情况。
[0117]
进而，多路径的受光有时因配置于工件的周围的物体而产生。在图18所示的例子中，工件67载置于工作台68。在工作台68上固定有成为柱的棒状部件69。工件67配置在棒状部件69的附近。在利用摄像机31检测表面67a的情况下，有时由于在棒状部件69的表面反射的光朝向表面67a而产生基于多路径的受光。在使用包含该工作台68的装置来检测工件67的表面67a的情况下，也能够通过利用本实施方式中的三维测定装置进行测量来取得降低了多路径的影响的三维点的位置信息。本实施方式的三维测定装置即使在不知道多路径如何产生的情况下，也能够生成减少了多路径的三维点的位置信息。
[0118]
图19表示本实施方式的第二机器人装置的侧视图。在第二机器人装置4中，机器人1经由机械手5支承工件62。摄像机31被固定在架台65上。在第二机器人装置4中，机器人1作为使工件62移动的移动装置而发挥功能。通过机器人1移动工件62，摄像机31相对于工件62的相对位置发生变化。在第二机器人装置4中，也检测工件62的表面63a。
[0119]
第二机器人装置4作为三维测定装置发挥功能。三维测定装置例如能够检测工件62相对于机械手5的位置。三维测定装置能够检测工件62的握持的偏差。或者，三维测定装置例如能够检测工件62的表面63a的形状。或者，三维测定装置能够实施工件62的尺寸的检
查。
[0120]
机器人1将工件62沿着预定的移动平面78移动。机器人1一边将工件62的姿势维持为固定一边将工件62平行移动。移动平面78例如是沿水平方向延伸的面。控制装置2变更机器人1的位置以及姿势，以使工具坐标系72的原点在移动平面78上移动。另外，控制装置2控制机器人1的姿势，以使工具坐标系72的z轴朝向预先确定的方向。
[0121]
摄像机31在工件62的多个位置拍摄距离图像。在图19所示的例子中，在工件62配置于第一位置p62a的状态下，摄像机31拍摄第一距离图像。另外，在工件62配置于第二位置p62b的状态下，摄像机31拍摄第二距离图像。在各个第一距离图像以及第二距离图像中，与工件62的表面63a对应的三维点的位置由摄像机坐标系73来表现。
[0122]
参照图2以及图19，处理部51的位置取得部52取得距离图像，并且取得拍摄距离图像时的机器人1的位置以及姿势。位置取得部52将距离图像与机器人1的位置以及姿势组合而存储于存储部42。
[0123]
在工件62的多个位置p62a、p62b拍摄结束之后，处理部51生成合成了多个距离图像后的三维的位置信息。转换部53基于机器人1的位置以及姿势，将由摄像机坐标系73表现的三维点的位置信息转换为由工具坐标系72表现的三维点的位置信息。
[0124]
图20表示将与多个位置对应的距离图像所包含的多个三维点配置于工件时的工件以及摄像机的局部剖视图。确定部54将第一距离图像以及第二距离图像所包含的三维点配置于工件62。在工件62的表面63a以及表面63a的附近，示出了第一距离图像所包含的三维点81和第二距离图像所包含的三维点82。各个三维点81、82由工具坐标系72表现。
[0125]
参照图2和图20，确定部54计算将工件62配置在一个位置时的三维点81、82的位置。例如，计算将工件62配置在第一位置p62a时的三维点81、82的位置。进而，确定部54基于机器人1的位置以及姿势，将由工具坐标系72表现的三维点的位置信息转换为由世界坐标系71表现的三维点的位置信息。确定部54预先确定用于确定三维点81、82的基准平面79。在第二机器人装置4中，确定通过摄像机31的光学中心31c的基准平面79。在此的例子中，基准平面79是与移动平面78平行的面。
[0126]
另外，与第一机器人装置3同样地，以包含工件62的表面63a的方式预先确定评价范围。在评价范围的内部，预先确定从基准平面79向垂直的方向延伸的多个评价区域(参照图12和图13)。而且，确定部54在各个评价区域中确定与基准平面79最近的三维点。生成部55能够基于由确定部54确定的三维点来生成合成后的三维点的位置信息。
[0127]
关于其他的第二机器人装置的结构、作用以及效果，由于与第一机器人装置相同，因此在此不再重复说明。
[0128]
在第一机器人装置以及第二机器人装置中，使摄像机或者工件平行移动，但并不限定于该方式。也可以使摄像机和工件双方平行移动。例如，也可以使摄像机和工件在沿着移动平面的方向上相互向相反的方向平行移动。另外，摄像机和工件的移动不限于沿着移动平面的平行移动，也可以在偏离移动平面的位置进行拍摄。例如，在移动平面上存在障碍物的情况下，也可以在远离移动平面的位置配置摄像机或者工件进行拍摄。
[0129]
作为移动摄像机或者工件的移动装置，不限于机器人，能够采用能够移动摄像机或者工件的任意的装置。例如，能够采用具备输送工件的输送机的装置、使工件或摄像机在相互正交的x轴、y轴及z轴的方向上移动的装置、或者具备使工件或摄像机向一个方向移动
的缸的装置等作为移动装置。
[0130]
图21表示本实施方式中的检查装置的侧视图。图22表示本实施方式中的检查装置的框图。检查装置7作为三维测定装置发挥功能。三维测定装置也可以不具备所述的机器人1等移动装置。参照图21以及图22，检查装置7具备第一摄像机31以及第二摄像机32作为多个距离摄像机。各个摄像机31、32是tof摄像机。
[0131]
摄像机31、32由支承部件35支承。摄像机31、32沿着配置平面75固定在相互分离的位置。摄像机31、32的位置是预先确定的。摄像机31、32被配置为从相互不同的位置拍摄工件62。各个摄像机31、32的光学中心31c、32c被配置在配置平面75上。另外，各个摄像机31、32以使光轴朝向预先确定的方向的方式配置。即，摄像机31、32的姿势彼此相同。工件62载置于架台61。这样，工件62和摄像机31、32双方被固定在预先决定的位置。
[0132]
在检查装置7中，设定有作为基准坐标系的世界坐标系71。在图21所示的例子中，以在架台61的表面配置原点的方式设定世界坐标系71。另外，在各个摄像机31、32上设定有摄像机坐标系。各个摄像机坐标系被设定为，摄像机31、32的光学中心成为原点，z轴与光轴重合。
[0133]
检查装置7具备由包含cpu的运算处理装置构成的控制装置8。控制装置8包含与第一机器人装置3的控制装置2同样的存储部42和处理部51(参照图2)。处理部51包含控制摄像机31、32的摄像控制部57。为了处理由摄像机31、32取得的距离图像，处理部51包含位置取得部52、转换部53、设定部56、确定部54以及生成部55。
[0134]
图21以及图22所示的三维测定装置在本实施方式的第一机器人装置3中，代替机器人1变更摄像机31的拍摄位置，而配置有多个摄像机31、32。然后，由位置相互不同的多个摄像机31、32拍摄多个距离图像。例如，第一摄像机31拍摄第一距离图像，第二摄像机32拍摄第二距离图像。
[0135]
在存储部42中预先存储有摄像机31、32的位置。存储部42存储由摄像机31和摄像机32拍摄到的距离图像。转换部53将三维点相对于摄像机31、32的位置信息转换为相对于工件62的位置信息。在此的例子中，转换部53将在各个摄像机31、32的摄像机坐标系中检测出的三维点的位置信息转换为世界坐标系71中的三维点的位置信息。
[0136]
在检查装置7中，基准平面被预先确定。在此的例子中，基准平面采用与配置平面75相同的平面。此外，基准平面可以采用任意的平面。例如，基准平面也可以是与配置平面75平行的面。
[0137]
设定部56设定评价范围和评价区域。在此的例子中，对三维点的位置进行评价的评价范围以及评价区域被预先确定。例如，设定评价范围包含进行评价的工件62的表面63a。评价区域通过将评价范围划分为多个来设定。评价区域与第一机器人装置3同样地，能够由在与成为基准平面的配置平面75垂直的方向上延伸的长方体状的区域构成。确定部54能够在各个评价区域中确定与配置平面75距离最小的三维点。生成部55能够基于由确定部54确定的三维点来生成合成后的三维点的位置信息。
[0138]
控制装置8能够基于合成后的三维点的位置信息，进行工件62的表面的检查。例如，控制装置8能够基于预先设定的判定值来实施工件的外缘的尺寸的检查。或者，在工件的表面形成有凹部或凸部的情况下，能够实施凹部或凸部的形状的检查。
[0139]
在图21和图22所示的例子中，配置有2个摄像机，但不限于该方式。三维测定装置
也可以具备3个以上的摄像机。三维测定装置能够对由多个摄像机拍摄到的距离图像进行合成。关于检查装置的其他结构、作用以及效果，与本实施方式中的第一机器人装置以及第二机器人装置相同，因此在此不重复说明。
[0140]
图23表示本实施方式的第三机器人装置中的摄像机及工件的局部剖视图。第三机器人装置的结构与第一机器人装置相同(参照图1)。第三机器人装置具备变更摄像机31相对于工件62的相对姿势的旋转装置。机器人1作为旋转装置发挥功能。
[0141]
在第三机器人装置中，变更摄像机31相对于工件62的相对姿势，摄像机31取得三维点的位置信息。机器人1使摄像机31绕作为预定的中心点的摄像机31的光学中心31c旋转。摄像机31在预定的多个相对姿势下拍摄距离图像。
[0142]
参照图2和图23，摄像机31在第一姿势r31a中拍摄第一距离图像。取得与工件62的表面63a以及壁部64的表面对应的三维点81的位置信息。位置取得部52与第一距离图像一起取得拍摄第一距离图像时的机器人1的位置以及姿势。存储部42与第一距离图像组合而存储机器人1的位置以及姿势。此时的三维点的位置信息由摄像机坐标系表现。
[0143]
图24表示摄像机被配置为第二姿势时的摄像机以及工件的局部剖视图。通过机器人1变更位置以及姿势，摄像机31以光学中心31c为旋转中心进行旋转。摄像机31在第二姿势r31b中取得第二距离图像。在此的例子中，壁部64被配置于摄像机31的拍摄区域31a的外侧。因此，在第二距离图像中，取得了配置于工件62的表面63a的三维点82的位置信息。存储部42将第二距离图像与拍摄第二距离图像时的机器人1的位置以及姿势组合起来进行存储。此时的三维点的位置信息由摄像机坐标系表现。
[0144]
在本实施方式中，以摄像机31的2个姿势r31a、r31b来拍摄距离图像，但不限于该方式。也可以以摄像机31的3个以上的姿势拍摄距离图像。在摄像机31的全部姿势下拍摄结束后，转换部53将三维点81、82的位置从摄像机坐标系73转换为世界坐标系71。
[0145]
图25表示将以摄像机的多个姿势取得的三维点配置于工件时的摄像机以及工件的局部剖视图。确定部54将第一距离图像以及第二距离图像所包含的三维点81、82配置于工件62。
[0146]
图26表示用于评价三维点的位置的评价范围的立体图。图27表示评价三维点的位置的评价区域的立体图。参照图26以及图27，设定部56设定评价范围以及评价区域。在第三机器人装置中，针对工件62预先确定用于对与工件62的表面63a对应的三维点的位置进行评价的评价区域94。在评价范围93的内部设定有多个评价区域94。各个评价区域94是相对于工件62从预先设定的基准点呈放射状延伸的区域。评价区域94具有锥体的形状。
[0147]
在此的例子中，采用摄像机31的光学中心31c作为基准点。即，基准点是使摄像机31旋转的中心点。按照以基准点为原点的球坐标系的角度θ及角度来设定评价区域94。基准点不限于该方式，能够相对于工件配置在与配置有摄像机的旋转中心点的一侧相同的一侧。即，也可以设定远离摄像机31旋转的中心点的基准点。
[0148]
评价区域94通过将评价范围93划分为多个来设定。评价范围93是以光学中心31c为中心呈放射状延伸的范围。评价范围93优选包含有在评价范围93的内部被评价的部分。在此的例子中，以在评价范围93的内部包含工件62的表面63a的方式设定评价范围93。
[0149]
参照图2以及图27，确定部54在各个评价区域94中，确定在评价区域94的内部检测出的三维点81、82中与作为基准点的光学中心31c最近的三维点。在图27所示的例子中，由
于1个三维点82比2个三维点81更靠近光学中心31c，因此确定部54确定三维点82。确定部54对所有的评价区域94实施确定最靠近基准点的三维点的控制。
[0150]
图28表示由确定部确定的三维点所示的工件的剖视图。在图25所示的多个三维点81、82中的各自评价区域94中，提取出与基准点距离最小的三维点。从工件62的表面远离的三维点被排除。在第三机器人装置中，也在壁部64的表面残存有三维点81。确定部54能够通过任意的方法排除与壁部64的表面对应地检测出的三维点81。例如，能够排除超过预定的位置的范围的三维点81。
[0151]
参照图2以及图28，生成部55基于由确定部54确定出的多个三维点，生成对由摄像机31取得的多个三维点的位置信息进行合成而得到的三维点的位置信息。生成部55能够基于与工件62的板状部63的表面63a对应地配置的三维点82来生成距离图像。
[0152]
图29表示说明第三机器人装置中的评价区域的大小的立体图。评价区域94能够以任意的大小设定。在本实施方式中，确定摄像机31的受光元件96中的1个像素99。并且，通过从像素99的顶点延伸到光学中心31c的直线，能够设定球坐标中的角度θ以及角度能够将基于角度θ以及角度的锥体的区域设定于评价区域94。这样，能够将与1个像素对应的角度设定为评价区域的锥体的角度。
[0153]
图30表示说明旋转摄像机时的姿势的拍摄区域的立体图及俯视图。旋转摄像机31时的角度能够设定任意的角度。在此的例子中，设定有从摄像机31远离的虚拟面97。虚拟面97是在摄像机31配置于第一姿势r31a时与箭头108所示的光轴垂直的平面。在虚拟面97上的摄像区域31a中，能够对摄像机31的视场角设定预定比例的视场角的点。并且，能够以在该点配置摄像机31的光轴的方式设定摄像机31的姿势。例如，能够针对虚拟面97上的摄像区域31a，计算对视场角乘以规定的比例而得到的区域98。如箭头109所示，能够以在区域98的顶点100a的位置配置光轴的方式设定摄像机31的姿势r31c。或者，能够以在将区域98等分的点100b配置光轴的方式设定摄像机31的姿势r31c。
[0154]
在第三机器人装置中，也能够基于旋转摄像机31而取得的三维点的位置信息来生成合成后的三维点的位置信息。因此，能够取得降低了多路径的影响的三维点的位置信息。
[0155]
关于其他的第三机器人装置的结构、作用以及效果，由于与本实施方式的第一机器人装置相同，因此在此不重复说明。
[0156]
图31表示本实施方式中的第四机器人装置的摄像机及工件的侧视图。第四机器人装置的结构与第二机器人装置的结构相同(参照图19)。在第四机器人装置中，摄像机31的位置被固定。另一方面，通过变更工件62的姿势，变更摄像机31相对于工件62的相对姿势。在第四机器人装置中，机器人1作为变更摄像机31相对于工件62的相对姿势的旋转装置发挥功能。机器人1绕作为旋转中心点的光学中心31c旋转工件62。摄像机31在工件62相对于摄像机31的多个预定的相对姿势下拍摄距离图像。
[0157]
控制装置2变更机器人1的位置以及姿势，以使作为工具前端点的工具坐标系72的原点配置在以光学中心31c为中心的球面80上。另外，控制装置2以工具坐标系72的z轴朝向光学中心31c的方式变更机器人1的位置以及姿势。
[0158]
参照图2和图31，摄像机31在工件62的第一姿势r62a下拍摄第一距离图像。从摄像机31输出的三维点的位置信息由摄像机坐标系73表现。位置取得部52将第一距离图像与第一姿势r62a中的机器人1的位置以及姿势组合而存储于存储部42。
[0159]
接着，控制装置2变更机器人1的位置以及姿势，将工件62配置在第二姿势r62b。摄像机31拍摄第二距离图像。位置取得部52将第二距离图像与第二姿势r62b中的机器人1的位置以及姿势组合而存储于存储部42。
[0160]
在本实施方式中，在工件62的2个姿势下拍摄距离图像，但不限于该方式。也可以以3个以上的姿势拍摄距离图像。摄像机31在工件62的所有姿势下拍摄距离图像。
[0161]
转换部53将在各个工件62的姿势r62a、r62b中取得，由摄像机坐标系73表现的三维点的位置信息转换为由工具坐标系72表现的三维点的位置信息。转换部53基于机器人1的位置以及姿势转换三维点的位置信息。
[0162]
接着，确定部54将第一距离图像中的三维点的位置信息及第二距离图像中的三维点的位置信息配置在1个工件62的表面上。在此，确定部54选择任意的工件62的姿势。例如，确定部54在使工件62移动的范围内选择1个工件62的姿势。在本实施方式中，确定部54选择工具坐标系72的z轴与铅垂方向平行地配置的姿势r62a。
[0163]
接着，确定部54基于与所选择的工件62的姿势对应的机器人1的位置以及姿势，将由工具坐标系72表现的三维点的位置信息转换为由世界坐标系71表现的三维点的位置信息。通过实施该控制，成为与第二机器人装置4中的图20所示的状态相同的状态。
[0164]
设定部56设定评价范围和评价区域。在第四机器人装置中，采用与第三机器人装置同样的评价范围以及锥体的评价区域(参照图26以及图27)。确定评价区域的基准点能够相对于工件62设定在任意的位置。在此的例子中，基准点被设定为光学中心31c。即，基准点被设定为使工件62旋转的中心点。然后，确定部54在各个评价区域的内部确定与基准点最近的三维点。生成部55能够基于由确定部54确定的三维点来生成合成后的三维点的位置信息。
[0165]
关于其他的第四机器人装置的结构、作用以及效果，由于与第一机器人装置至第三机器人装置相同，因此在此不再重复说明。
[0166]
在第三机器人装置以及第四机器人装置中，作为使摄像机或者工件旋转的旋转装置而采用了机器人，但并不限定于该方式。旋转装置能够采用能够使摄像机或者工件绕预定的中心点旋转的任意的装置。另外，也可以采用使摄像机和工件双方旋转的旋转装置。
[0167]
图32表示本实施方式中的第五机器人装置中的摄像机及工件的局部剖视图。第五机器人装置的结构与第一机器人装置相同(参照图1)。第五机器人装置具备变更摄像机31相对于工件62的相对位置的移动装置。机器人1作为移动装置发挥功能。
[0168]
在第一机器人装置中，摄像机31沿着预定的移动平面78平行移动。与此相对，参照图2以及图32，在第五机器人装置中，机器人1以摄像机31沿着预先确定的移动线83平行移动的方式变更位置以及姿势。摄像机31配置在沿着移动线83的位置。例如，摄像机31的光学中心配置在移动线83上。此时，摄像机31的姿势被维持为固定。
[0169]
摄像机31在配置于第一位置p31d之后拍摄第一距离图像。检测与工件62的表面对应的三维点81。位置取得部52将第一距离图像与机器人1的位置以及姿势一起存储于存储部42。接着，通过机器人1进行驱动，摄像机31配置于位置p31e。摄像机31拍摄第二距离图像。检测与工件62的表面对应的三维点82。位置取得部52将第一距离图像与机器人1的位置以及姿势一起存储于存储部42。
[0170]
处理部51的转换部53将由摄像机坐标系73表现的三维点的位置信息转换为由世
界坐标系71表现的三维点的位置信息。确定部54确定第一距离图像及第二距离图像所包含的三维点81、82中与基准线最近的三维点。
[0171]
图33示出在第五机器人装置中说明配置评价区域的评价范围的摄像机以及工件的立体图。图34表示第五机器人装置中的评价区域的立体图。参照图33以及图34，在第五机器人装置中，为了评价三维点81、82的位置而设定基准线。基准线可以采用任意的线。基准线优选为与移动线83或移动线83平行的线。在第五机器人装置中，移动线83被设定为基准线。
[0172]
设定部56设定评价范围121以及评价区域122。评价区域122是将评价范围121划分为多个的区域。评价区域122具有沿着作为基准线的移动线83预先确定的宽度。评价区域122形成为从移动线83相对于工件62呈放射状延伸。评价区域122的宽度w能够与第一机器人装置中的评价区域92的一边的长度同样地设定。宽度w能够基于从摄像机31到工件62的表面63a的距离d以及受光元件的像素的大小来设定(参照图15)。另外，评价区域122的角度θ能够与第三机器人装置中的评价区域94的角度θ同样地设定。角度θ能够基于通过像素99的顶点和摄像机31的光学中心的直线来设定(参照图29)。
[0173]
确定部54计算从移动线83到各个三维点81、82的距离。在图34所示的例子中，1个三维点82比2个三维点81更靠近移动线83。因此，确定部54确定三维点82。确定部54实施将2个三维点81从三维点的集合中排除的控制。这样，确定部54针对各个评价区域122，实施确定与基准线最近的三维点的控制。处理部51的生成部55基于由确定部54确定的多个三维点81、82，生成合成了多个三维点的位置信息后的三维点的位置信息。
[0174]
这样，即使在沿着移动线移动摄像机来拍摄多个距离图像的情况下，也能够生成降低了多路径的影响的三维点的位置信息。另外，拍摄多个距离图像时的摄像机31的位置能够通过与第一机器人装置中的摄像机31的间隔相同的方法来设定(参照图16)。
[0175]
关于其他的第五机器人装置的结构、作用以及效果，由于与第一机器人装置相同，因此在此不再重复说明。
[0176]
接下来，对本实施方式的第六机器人装置进行说明。第六机器人装置与本实施方式的第二机器人装置4相同(参照图19以及图20)。参照图19以及图20，在第二机器人装置4中，使工件62沿着移动平面78进行二维移动。与此相对，在第六机器人装置中，使工件62沿着代替移动平面78的移动线移动。移动线是在预先确定的方向上延伸的线。例如，移动线是沿水平方向延伸的线。机器人1一边将工件62的姿势维持为固定一边使工件62平行移动。
[0177]
为了确定部54确定三维点81、82，在第二机器人装置4中设定基准平面79。与此相对，在第六机器人装置中，代替基准平面79而预先确定基准线。基准线例如是穿过摄像机31的光学中心的线。在本实施方式中，基准线被设定为与移动线平行。
[0178]
摄像机31在工件62的多个位置拍摄距离图像。另外，与第五机器人装置同样地，设定部56设定从基准线延伸的评价范围以及评价范围(参照图33以及图34)。而且，确定部54在各个评价区域中确定与基准线最近的三维点。生成部55能够基于由确定部54确定的三维点来生成合成后的三维点的位置信息。
[0179]
关于其他的第六机器人装置的结构、作用以及效果，由于与第二机器人装置以及第五机器人装置相同，因此在此不重复说明。
[0180]
在上述的第一机器人装置中，实施使摄像机31沿着移动平面移动来拍摄距离图
像，并确定靠近基准平面的三维点的控制。在第二机器人装置中，实施使工件62沿着移动平面移动来拍摄距离图像，并确定靠近基准平面的三维点的控制。在第三机器人装置中，实施使摄像机31绕中心点旋转来拍摄距离图像，并确定靠近基准点的三维点的控制。在第四机器人装置中，实施使工件62绕中心点旋转来拍摄距离图像，并确定靠近基准点的三维点的控制。在第五机器人装置中，实施使摄像机31沿着移动线移动来拍摄距离图像，并确定靠近基准线的三维点的控制。在第六机器人装置中，实施使工件62沿着移动线移动来拍摄距离图像，并确定靠近基准线的三维点的控制。对这些距离图像进行摄像的控制和确定在三维点的位置信息中残留的三维点的控制能够任意地组合。
[0181]
例如，能够实施使摄像机31或者工件62沿着移动平面移动来拍摄距离图像，并确定靠近预定的基准点的三维点的控制。另外，能够实施使摄像机31或者工件62沿着移动线移动来拍摄距离图像，并确定靠近预定的基准点的三维点的控制。能够实施使摄像机31或者工件62沿着移动平面移动来拍摄距离图像，并确定靠近预定的基准线的三维点的控制。能够实施使摄像机31或者工件62沿着移动线移动来拍摄距离图像，并确定靠近预定的基准平面的三维点的控制。另外，能够实施使摄像机31或者工件62绕中心点旋转来拍摄距离图像，并确定靠近预定的基准平面或者基准线的三维点的控制。
[0182]
并且，本实施方式的机器人1作为变更摄像机31相对于工件62的相对位置以及姿势的变更装置发挥功能。机器人1也可以将摄像机31以及工件62中的至少一方沿着一个移动平面或者一个移动线移动的动作、和使摄像机31以及工件62中的至少一方绕预先决定的中心点旋转的动作组合来实施。例如，机器人装置使摄像机31沿着移动平面移动来拍摄距离图像，进而，在沿着移动平面移动的期间中停止摄像机31的移动。并且，能够使摄像机31绕预定的中心点旋转来拍摄距离图像。或者，机器人装置能够以工件62始终成为中心的方式在实施使摄像机31平行移动的动作和使摄像机31旋转的动作的期间中，拍摄距离图像。在该情况下，确定部能够实施确定靠近预定的基准点的三维点的控制、确定靠近预先设定的基准平面的三维点的控制、或者确定靠近预定的基准线的三维点的控制中的任意一个控制。
[0183]
在上述的各个控制中，能够在不变更功能以及作用的范围内适当地变更步骤的顺序。
[0184]
上述实施方式能够适当组合。在上述的各图中，对相同或相等的部分标注相同的附图标记。此外，上述的实施方式是例示，并不限定发明。另外，在实施方式中，包含请求专利保护的范围所示的实施方式的变更。
[0185]
附图标记说明
[0186]
1 机器人
[0187]
2、8 控制装置
[0188]
3、4 机器人装置
[0189]
7 检查装置
[0190]
23 位置检测器
[0191]
31、32 摄像机
[0192]
31c、32c 光学中心
[0193]
p31a、p31b、p31c、p31d、p31e 位置
[0194]
r31a、r31b 姿势
[0195]
51 处理部
[0196]
52 位置取得部
[0197]
53 转换部
[0198]
54 确定部
[0199]
55 生成部
[0200]
56 设定部
[0201]
62、66、67 工件
[0202]
p62a、p62b 位置
[0203]
r62a、r62b 姿势
[0204]
71 世界坐标系
[0205]
72 工具坐标系
[0206]
73 摄像机坐标系
[0207]
75 配置平面
[0208]
78 移动平面
[0209]
79 基准平面
[0210]
81、82 三维点
[0211]
83 移动线
[0212]
86、87 距离图像
[0213]
91、93、121 评价范围
[0214]
92、94、122 评价区域
[0215]
96 受光元件。