专利名称：工件形状推定装置及工件形状推定方法
技术领域：
本发明涉及工件形状推定装置及工件形状推定方法。尤其，本发明具有以下特征 在对散装状态的多个同样的工件进行识别的情况下，不使用工件的CAD(CompUter Aided Design)数据，而根据通过摄像机获得的图像对工件的形状进行统计性的处理，并能够自动地生成形状模型。本申请基于2008年10月8日在日本提出申请的特愿2008-262034号主张优先权， 在此援引其内容。
背景技术：
以往已知一种对位装置，用于对根据CAD数据制作的物体是否正按照CAD数据进行制作的情况进行确认。专利文献1中公开了一种技术，在对位时，使作为基准的CAD数据的对位面和与非接触计测数据的对位面相对应的对象点组对应地进行对位。另外，在将难以定位的工件装载在货盘(pallet)上并通过机器人等将该工件自动地供给至加工机械的情况下，需要对工件的位置和姿势进行检测。因此，在专利文献2 中，公开了一种匹配方法，预先制成作为对象的工件的模型，并将模型适用于对象物体即工件，判断其一致程度。在先技术文献专利文献专利文献1 日本特开2001-82951号公报专利文献2 日本特开平9-53915号公报但是，在任一相关技术中，都需要预先将与物体或工件的形状相关的CAD数据存储在数据库中。因此，在需处理的物体或工件的种类较多的情况下，针对各物体或每个工件需要CAD数据。其结果为，存在数据量变多的问题。另外，在后者的相关技术中，还存在以下问题散装的工件重合的情况较多，在仅一部分可视的状态下，与CAD数据的匹配困难。而且，还存在以下问题重合的工件的部分在进行了边缘检测的情况下被截断，因此，难以识别哪个部分相连成一个零件。
发明内容
本发明是鉴于上述课题而做出的，其目的在于提供一种工件形状推定装置，即使在无CAD模型的情况下，该工件形状推定装置也能够根据图像信息并根据重合的工件的零件形状推定其相连或重合并将其识别为一个工件。本发明为解决上述课题而采用以下的手段。(1)本发明的工件形状推定装置，具有对散装状态的多个相同工件进行感测并取得图像信息的图像信息取得部；对通过所述图像信息取得部而得到的图像信息进行边缘检测的边缘检测部；根据通过所述边缘检测部而得到的图像信息将所述工件分离成部分图像的分离部；对被分离的工件的部分图像进行分类的工件分类部；对通过所述工件分类部进行了分类的所述工件的部分图像的信息进行补全，由此生成所述工件的推定形状的工件推定形状生成部。(2)在上述(1)的工件形状推定装置中，所述工件分类部可以以通过所述分离部而被分离的部分图像的特征形状相同的图像为基准进行分类。(3)在上述(1)的工件形状推定装置中，所述工件分类部可以以通过所述分离部而被分离的部分图像中的、面积大的图像为基准进行分类。(4)本发明的工件形状推定方法具有对多个相同形状的工件进行感测并取得图像信息的工序；根据所述图像信息对所述工件的边界部分K进行检测的工序；根据检测出的边界部分K将所述工件分离成部分图像的工序；对被分离的所述部分图像进行分类的工序；对分类后的所述工件的部分图像的信息进行补全的工序。(5)在上述(4)记载的工件形状推定方法中，所述进行分类的工序可以以被分离的所述部分图像的特征形状相同的图像为基准进行分类。(6)在上述(4)记载的工件形状推定方法中，所述进行分类的工序可以以被分离的所述部分图像中的、面积大的图像为基准进行分类。发明的效果根据上述(1)的发明，通过边缘检测部根据通过图像信息取得部而得到的图像信息检测边缘，通过分离部根据通过边缘检测得到的图像信息分离出重合的多个工件的部分图像，通过工件分类部根据分离得到的工件的部分图像对工件的部分图像进行分类，并通过工件推定形状生成部根据已分类的工件的部分图像生成工件的推定形状，因此，即使不存在工件的CAD数据，也能够容易地对散装且未排列整齐的工件进行识别。另外，即使是存在重合而看不见的部分的工件，也能够以使根据图像信息得到的工件的部分图像的数据重合，并对欠缺部分进行补全的方式进行推定。另外，根据上述(2) (3)的发明，在上述(1)的发明的效果的基础上，由于将特征部分、面积考虑进去来进行工件分类部所进行的部分图像的分类，因此能够更迅速地进行工件形状的推定。
图1是本发明的实施方式的框图。图2是表示本发明的实施方式的工件的装载状况的俯视图。图3是表示本发明的实施方式的边缘部分的俯视图。图4是表示在本发明的实施方式的边缘部分切分图像的状态的俯视图。图5是表示本发明的实施方式的部分图像的分类状况的图。图6是表示本发明的实施方式的面积比和优先次序的图。
具体实施例方式下面，根据附图对本发明的实施方式进行说明。图1是工件形状推定装置的框图。摄像机1感测(摄影)并取得从上侧观察装载在铲斗2中的多个相同工件的情况的二维的图像信息。将通过摄像机1取得的图像信息存储在图像信息存储部3中。这里，“图像信息”是指例如作为亮度信息的各像素的RGB值。此外，还可以按所对应的各像素获得亮度的图像信息以及距离的图像信息。该情况下，需要使用还能够取得距离的信息的三维摄影用的摄像机。 在图像信息存储部3上连接有边缘检测部4，该边缘检测部4用于根据存储的图像信息进行图像的边缘检测。在该边缘检测部4上连接有图像分离部5，该图像分离部5以通过边缘检测而得到的边缘部分即边界部分K为界，截出各部分图像。将通过图像分离部 5而被截出的部分图像存储在图像信息存储部3中。存储在图像信息存储部3中的部分图像，在通过部分图像分类部6统计性地进行了分类的状态下存储在图像信息存储部3中。存储在该图像信息存储部3中的部分图像按每一相同分类重合。而且，最终，在工件推定形状生成部7中，确定重合的图像的外缘部并得到推定的工件的形状。图2表示作为工件的相同形状的螺栓B在铲斗2中装载有多个的状态。这里，为简化说明，装载在铲斗2中的螺栓B仅以沿螺栓B的轴向的方向和与螺栓B的轴向呈直角的方向这两个姿势重合地装载。如图2所示，多个螺栓B以在俯视图中重合的方式装载。通过摄像机1对该多个螺栓B进行摄影。然后，取得各像素的亮度的图像信息即亮度的值(RGB)并根据需要取得各像素的距离的图像信息即距离的值(mm、cm)，并存储在图像信息存储部3中。如图3所示，根据图像信息存储部3中取得的亮度的图像信息以及根据需要取得的距离的图像信息，通过边缘检测部4检测图像中的边界部分K。边缘检测部4所进行的边缘检测，能够将在图像信息中亮度的值的变化率大的部分判定为边界部分K。但是，在无法进行这样仅基于亮度的边缘检测的情况下，使摄像机1 移动或使用立体摄像机(Stereo camera)等，将距离的图像信息的距离固定在规定的范围内，仅抽出该范围内的图像。由此，能够仅利用与该图像相对应的亮度的图像信息进行边缘检测。此外，在图3中，粗线表示边界部分K。而且，如图4所示，部分图像分类部6在图3所示的边界部分K将图像切分分离成部分图像a q并抽出。被抽出的螺栓B的部分图像a q，包含有大量被装载在上侧的螺栓B遮挡因而仅部分可见的部分。因此，各种形状的图像被抽出并存储在图像信息存储部 3中。这里，在将部分图像a q存储在图像信息存储部3中的情况下，对最初取出的部分图像进行存储。这里，在接下来取出的部分图像与最初取出的部分一致的情况下，对最初取出的部分图像的个数进行加法运算。另一方面，在接下来取出的部分图像与最初取出的部分不一致的情况下，将其作为不同的部分图像存储在图像信息存储部3中，将全部的部分图像a q存储在图像信息存储部3中。另外，被存储的部分图像以还含有面积信息的方式存储在图像信息存储部3中。这里，在部分图像的数量过多的情况下，还可以从大的图像开始依次减少数量进行存储。此外，通过模式匹配来判断是否一致。然后，部分图像分类部6对各部分图像进行模式匹配并汇总特征形状相同的图像，由此，部分图像被统计性地分类(参照图5)。另外，分类时，由于部分图像的面积大的图像更接近推定形状，因此，以其为基准进行分类。也就是说，在图5中，由于第一层中存在螺栓B的头部部分的部分图像a h的面积比第二层以后的面积大，所以，在横向上将其作为相同分类进行分类。而且，在第二层中，将螺栓B的轴部分的轴向长度表现得比径向的长度长的部分图像i k在横向上作为相同分类进行分类。而且，在第三层 第五层中，将螺栓 B的轴部分的轴向长度表现得比其他的部分短的部分图像1、m、η分别分类。另外，在第六层中，将部分地存在螺栓B的头部即六边形的外缘的部分图像o、p、q分类。此外，为了易于理解存储在图像信息存储部3中的图像，将该分类表记载成以表形式表示的图5 (通过形状特征而统计性地进行了分类的零件部分)。而且，通过工件推定形状生成部7使相同分类中的部分图像、尤其是具有面积大的部分图像的相同分类的各图像依次重合，由此能够得到螺栓B的推定形状。该推定形状与部分图像一同存储在图像信息存储部3中。这里，使包含与其他分类相比面积最大的部分图像a的、属于图5的第一层的分类的相同分类的部分图像a h以大小的顺序重合。由此，能够得到螺栓B的推定图像Tl (第一层的右端)。这样得到的推定图像Tl的外缘部成为所推定的工件即螺栓B的形状(的大部分)，即部分图像a。另外，同样对于第二层、第六层的部分图像，也能够使其分别重合而得到推定图像 T2、T3。这里，在使之重合的情况下，在同分类的部分图像中，能够以面积大的图像为主并使其他的同分类的部分图像重合来补全欠缺部分，能够使第二层的推定图像Τ2重合在第一层的推定图像Tl上。另外，对于第六层的推定图像Τ3，虽不能使其重合在图5的第一层或第二层的推定图像上，但能够将其推定为从其他的角度观察到的工件即螺栓B的从其他角度观察到的推定形状。此外，对于第三层 第五层，由于部分图像只有一个，所以不生成推定图像。然后，求出图5所示的被分类的部分图像a q相对于推定形状(还有面积最大的部分图像a)的面积比率，按照该面积比率的大小依次标注螺栓B的取出的次序，并设定优先取出的计划。而且，根据该计划，通过机器人按顺序从铲斗2取出各螺栓B。图6示出了图5的第一层的部分图像的相对于推定形状的面积比率和取出优先次序。具体地，部分图像a的面积比率为100%为优先次序1位，部分图像b的面积比率为66%为优先次序5位，部分图像c的面积比率为82%为优先次序3位，部分图像d的面积比率为77%为优先次序4位，部分图像e的面积比率为96%为优先次序2位，部分图像 f的面积比率为47%，部分图像g的面积比率为43%，部分图像h的面积比率为36%。其中，部分图像f、g、h由于面积较小(50%以下)，因此不对其标注次序，将1位至5位的螺栓 B取出后，能够例如通过再次分类等进行面积比率的求出和次序标注。这里，面积比率和优先次序都存储在图像信息存储部3中。此外，对于部分图像， 存在由多个部分图像表示一个螺栓的情况。因此，能够从图5的第一层的分类中的螺栓B 开始依次进行取出，当该取出结束后，对第二层以下进行取出。另外，在第一层的取出已结束的阶段，能够再次通过摄像机1取得图像并进行与前述的处理相同的处理，并进行取出。因此，根据上述实施方式，通过摄像机1从上方感测装载在铲斗2中的多个螺栓B， 并根据由此得到的二维的图像信息通过边缘检测部4检测作为边缘部分的边界部分K，并通过图像分离部5从边缘检测而得到的图像信息中分离出重合的多个螺栓B的部分图像， 再根据分离的螺栓B的部分图像，通过部分图像分类部6对螺栓B的部分图像进行分类，从而能够通过工件推定形状生成部7根据已分类的螺栓B的部分图像生成螺栓B的推定形状，因此，即使预先没有螺栓B的CAD数据，也能够容易地识别散装且未排列整齐的螺栓B。因此，不需要螺栓B的数据库。这里，作为基于部分图像分类部6的部分图像的分类，可以将特征部分和面积考虑进去由此进行更迅速的处理。另外，即使是存在重合而看不见的部分的铲斗2上的螺栓B，由于能够使根据图像信息得到的螺栓B的部分图像重合，并补全欠缺部分地进行推定，因此，即使是无规则地装载且相互重合的螺栓B等的工件，即使不存在CAD信息，也能够识别工件的形状。此外，本发明不限于上述实施方式，例如，图像信息取得部不限于摄像机，还可以是通常的摄像机。另外，还可以是利用能够获得距离的图像信息的激光的感测装置或图像传感器。另外，虽然以面积比为基准进行分类，但还能够以长度为基准，将长度的要素考虑进去进行分类。工业实用性根据本申请，通过边缘检测部根据通过图像信息取得部而得到的图像信息检测边缘，通过分离部根据通过边缘检测得到的图像信息分离出重合的多个工件的部分图像，通过工件分类部根据分离得到的工件的部分图像对工件的部分图像进行分类，并通过工件推定形状生成部根据已分类的工件的部分图像生成工件的推定形状，因此，即使不存在工件的CAD数据，也能够容易地对散装且未排列整齐的工件进行识别。另外，即使是存在重合而看不见的部分的工件，也能够以使根据图像信息得到的工件的部分图像的数据重合，并对欠缺部分进行补全的方式进行推定。由于将特征部分、面积考虑进去来进行工件分类部所进行的部分图像的分类，因此能够更迅速地进行处理。附图标记的说明1 摄像机(图像信息取得部)4 边缘检测部(边缘检测部)5 图像分离部(分离部)6 部分图像分类部(工件分类部)7 工件推定形状生成部(工件推定形状生成部)a q部分图像B 螺栓(工件)
权利要求
1.一种工件形状推定装置，其特征在于，具有对散装状态的多个相同工件进行感测并取得图像信息的图像信息取得部； 对通过所述图像信息取得部而得到的图像信息进行边缘检测的边缘检测部； 根据通过所述边缘检测部而得到的图像信息将所述工件分离成部分图像的分离部； 对被分离的工件的部分图像进行分类的工件分类部；对通过所述工件分类部进行了分类的所述工件的部分图像的信息进行补全，由此生成所述工件的推定形状的工件推定形状生成部。
2.如权利要求1所述的工件形状推定装置，其特征在于所述工件分类部以通过所述分离部而被分离的部分图像的特征形状相同的图像为基准进行分类。
3.如权利要求1所述的工件形状推定装置，其特征在于所述工件分类部以通过所述分离部而被分离的部分图像中的、面积大的图像为基准进行分类。
4.一种工件形状推定方法，其特征在于，具有对多个相同形状的工件进行感测并取得图像信息的工序； 根据所述图像信息对所述工件的边界部分(K)进行检测的工序； 根据检测出的边界部分(K)将所述工件分离成部分图像的工序； 对被分离的所述部分图像进行分类的工序； 对分类后的所述工件的部分图像的信息进行补全的工序。
5.如权利要求4所述的工件形状推定方法，其特征在于所述进行分类的工序以被分离的所述部分图像的特征形状相同的图像为基准进行分类。
6.如权利要求4所述的工件形状推定方法，其特征在于所述进行分类的工序以被分离的所述部分图像中的、面积大的图像为基准进行分类。
全文摘要
本发明提供一种工件形状推定装置及工件形状推定方法，工件形状推定装置具有对散装状态的多个相同工件进行感测并取得图像信息的图像信息取得部；对通过所述图像信息取得部而得到的图像信息进行边缘检测的边缘检测部；根据通过所述边缘检测部而得到的图像信息将所述工件分离成部分图像的分离部；对分离得到的工件的部分图像进行分类的工件分类部；对通过所述工件分类部进行了分类的所述工件的部分图像的信息进行补全，由此生成所述工件的推定形状的工件推定形状生成部。
文档编号B25J13/08GK102171531SQ200980139379
公开日2011年8月31日 申请日期2009年9月4日 优先权日2008年10月8日
发明者古川诚 申请人:本田技研工业株式会社