机器人I的臂角度生成机器人模型M时，第一时点从第二时点偏离，当机器人I在从第一时点至第二时点期间姿势变化时，有可能无法进行摄像图像8与标准图像SM的良好的标准匹配。考虑这一点的方框图是图10。图10所示的图像处理装置5除了图像识别部51与显示部控制部52之外，具有模型修正部54。另外，也还能具有位置姿势特定部53 (图8)。
[0060]机器人控制装置3与摄像机2分别内置计时器，各计时器的时刻预先同步。模型修正部54在由摄像机2摄像的第一时点与生成机器人模型M的第二时点偏离的情况下，如图11所示，获得第一时点tl的前后两个时点t2、t3的机器人I的关节位置。使用这些不同的时点t2、t3的关节位置，例如利用下式(I)计算第一时点tl的机器人I的关节位置。
[0061]时点tl的关节位置=(tl-t2)/(t3-t2)X(时点t3的关节位置)
[0062]+(t3-tl)/(t3_t2)X(时点 t2 的关节位置)…(I)
[0063]另外，使用计算出的关节位置生成机器人模型M。由此，修正由模型生成部31生成的时点t2、t3的机器人模型M，能生成与摄像机2的摄像时点tl相同时点的机器人模型Mo图像识别部51使用由模型修正部54修正后的机器人模型M，进行与摄像图像8的标准匹配。或者，求出机器人模型M的特征点，进行与摄像图像8的图案匹配。由此，即使是由摄像机I摄像的第一时点与由机器人生成部31生成机器人模型M的第二时点偏离的情况下，也能进行良好的图案匹配，正确地识别摄像图像8中的机器人图像81。
[0064]另外，在上式(I)中，由线形插补计算第一时点tl的机器人I的关节位置，但也能够应用样条插补等多种插补方法推断第一时点tl的关节位置。使用第一时点tl的前后两个时点t2、t3的机器人I的关节位置，推断第一时点tl的关节位置，但两个时点t2、t3也可以均比第一时点tl靠前或比第一时点tl靠后。
[0065]在上述实施方式中，利用单一的摄像机2对机器人I进行摄像，但摄像装置的结构未限定于此。例如，可以利用具有一对摄像透镜的立体摄像机等构成摄像装置。因此，作为与机器人模型M比较的图像，除了二次元的彩色图像以外，也能使用距离(深度)图像、立体图像等多种图像。在使用距离图像的情况下，例如使用称为ICP算法的周知的方法，通过对距离图像与三次元的机器人模型进行比较，能识别图像中的机器人图像。在使用立体图像的情况下，通过比较立体图像与三次元的机器人模型，能识别图像中的机器人图像。或者，也能够根据立体图像生成距离图像，使用ICP算法的方法。
[0066]这样，本发明不仅是比较二次元的机器人模型与图像识别机器人图像的场合，还包括比较三次元的机器人模型与图像识别机器人图像的场合。因此，只要基于由角度检测器检测的转动角度生成表示机器人的形态的机器人模型，则模型生成部的结构是任意的，只要比较由摄像装置得到的图像与由模型生成部生成的机器人模型，识别图像中的机器人图像，则图像识别部的结构是任意的。另外，摄像装置不仅由用户把持，也可以安装于台架等。检测臂10的转动角度的角度检测部的结构可以考虑多种结构，未限于上述的角度检测器14。
[0067]在上述实施方式中，模型生成部31基于臂10的转动角度生成机器人模型M，但可以进一步考虑安装于臂前端部的工具13的三次元形状或安装位置的信息、机器人I的颜色信息等生成机器人模型M。由此，能明确地区别不同的机器人I的模型而生成。在上述实施方式中，在机器人控制装置3上设置模型生成部31，但也能够在图像处理装置5、其他装置上设置模型生成部。
[0068]在上述实施方式中，在图像处理装置5上设有图像识别部51，但也能在机器人控制装置3或其他装置上设置图像识别部。在上述实施方式中，使用标准匹配比较摄像图像8与标准图像SM，但图像处理的方式根据所摄的图像的种类不同，可以使用标准匹配以外。具有能转动的臂10的机器人I的结构未限定于上述。当在摄像区域4配置三台以上的机器人I的场合也能同样地应用本发明。
[0069]以上的说明只不过是一个例子，只要不损坏本发明的特征，则本发明并不被上述实施方式及变形例限定。上述实施方式及变形例的结构要素中包括维持发明的同一性、能转换且置换自明的结构要素。即，即使在本发明的即使思想的范围内考虑的其他方式，也包含于本发明的范围内。另外，也能任意地组合上述实施方式与变形例的一个或多个。
【主权项】
1.一种机器人识别系统，其特征在于， 具备: 具有能转动的臂(10)的机器人⑴； 对上述机器人(I)进行摄像的摄像装置(2); 检测上述臂(10)的转动角度的角度检测部(14); 基于由上述角度检测部(14)检测出的转动角度，生成表示上述机器人(I)的形态的机器人模型(M)的模型生成部(31);以及 对由上述摄像装置(2)得到的图像(8)与由上述模型生成部(31)生成的上述机器人模型(M)进行比较，识别上述图像⑶中的机器人图像(81)的图像识别部(51)。2.根据权利要求1所述的机器人识别系统，其特征在于， 上述模型生成部(31)基于由上述角度检测部(14)检测出的转动角度，生成表示从多处观察机器人时的机器人的形态的多个机器人模型(M)， 上述图像识别部(51)对由上述摄像装置(2)得到的图像(8)与由上述模型生成部(31)生成的上述多个机器人模型(M)进行比较，识别上述图像⑶中的机器人图像(81)。3.根据权利要求1或2所述的机器人识别系统，其特征在于， 上述机器人(I)具有:具有能转动的臂(10)的第一机器人(IA);以及具有能转动的臂(10)的第二机器人(IB)， 上述角度检测部(14)具有检测上述第一机器人(IA)的臂的转动角度的第一角度检测部和检测上述第二机器人(IB)的臂的转动角度的第二角度检测部， 上述模型生成部(31)基于由上述第一角度检测部检测出的上述第一机器人(IA)的臂的转动角度，生成表示上述第一机器人的形态的第一机器人模型(MA)，并且，基于由上述第二角度检测部检测出的上述第二机器人(IB)的臂的转动角度，生成表示上述第二机器人的形态的第二机器人模型(MB)， 上述图像识别部(51)对由上述摄像装置(2)得到的图像(8)与由上述模型生成部(31)生成的上述第一机器人模型(MA)及上述第二机器人模型(MB)进行比较，识别表示上述图像⑶中的第一机器人的第一机器人图像(81A)及表示第二机器人的第二机器人图像(81B)ο4.根据权利要求1?3任一项所述的机器人识别系统，其特征在于， 还具备位置姿势特定部(53)，其基于与由上述图像识别部(51)识别的上述机器人图像(81)对应的上述机器人模型(M)，特定上述机器人(I)相对于上述摄像装置(2)的相对的位置及姿势。5.根据权利要求1?4任一项所述的机器人识别系统，其特征在于， 还具备模型修正部(54)，其在由上述摄像装置(2)对上述机器人(I)进行摄像的时点与由上述模型生成部(31)生成上述多个机器人模型(M)的时点偏离时，根据其偏离时间，修正由上述模型生成部(31)生成的上述多个机器人模型(M)。
【专利摘要】本发明提供一种机器人识别系统。机器人识别系统具备：具有能转动的臂的机器人；对机器人进行摄像的摄像装置；检测臂的转动角度的角度检测部；基于由角度检测部检测出的转动角度，生成表示机器人的形态的机器人模型的模型生成部；以及对由摄像装置得到的图像与由模型生成部生成的多个机器人模型进行比较，识别图像中的机器人图像的图像识别部。
【IPC分类】B25J9/16
【公开号】CN105729466
【申请号】CN201510702226
【发明人】天方康裕
【申请人】发那科株式会社
【公开日】2016年7月6日
【申请日】2015年10月26日
【公告号】DE102015016530A1, US20160184998