机器人识别系统的制作方法
【技术领域】
[0001]本发明涉及对由摄像装置所摄的图像所包含的机器人图像进行识别的机器人识别系统。
【背景技术】
[0002]近年来，涉及在由摄像装置所摄的图像中附加由计算机生成的信息而显示的扩张现实的技术普及开来。作为将该扩张现实应用于机器人图像的例子，已知在日本特开2014-180707号公报中所记载的装置。
[0003]顺便地。例如在由摄像装置对多台机器人所处的作业环境进行摄像，在图像上附加与各个机器人对应的信息的情况下，需要识别与图像所含的各个机器人对应的机器人图像。但是，机器人伴随姿势变化，因此，难以识别图像所含的机器人图像。
【发明内容】
[0004]根据本发明的第一方案，提供一种机器人识别系统，其具备:具有能转动的臂的机器人；对机器人进行摄像的摄像装置；检测臂的转动角度的角度检测部；基于由角度检测部检测出的转动角度，生成表示机器人的形态的机器人模型的模型生成部；以及对由摄像装置得到的图像与由模型生成部生成的多个机器人模型进行比较，识别图像中的机器人图像的图像识别部。
[0005]根据本发明的第二方案，提供一种第一方案的机器人识别系统，
[0006]模型生成部基于由角度检测部检测出的转动角度，生成表示从多处观察机器人时的机器人的形态的多个机器人模型，
[0007]图像识别部对由摄像装置得到的图像与由模型生成部生成的多个机器人模型进行比较，识别图像中的机器人图像。
[0008]根据本发明的第三方案，提供一种第一或第二方案的机器人识别系统，
[0009]机器人具有:具有能转动的臂的第一机器人；以及具有能转动的臂的第二机器人，
[0010]角度检测部具有检测第一机器人的臂的转动角度的第一角度检测部和检测第二机器人的臂的转动角度的第二角度检测部，
[0011]模型生成部基于由第一角度检测部检测出的第一机器人的臂的转动角度，生成表示第一机器人的形态的第一机器人模型，并且，基于由第二角度检测部检测出的第二机器人的臂的转动角度，生成表示第二机器人的形态的第二机器人模型，
[0012]图像识别部对由摄像装置得到的图像与由模型生成部生成的第一机器人模型及第二机器人模型进行比较，识别表示图像中的第一机器人的第一机器人图像及表示第二机器人的第二机器人图像。
[0013]根据本发明的第四方案，提供一种第一至第三方案中的任一种机器人识别系统，
[0014]还具备位置姿势特定部，其基于与由图像识别部识别的机器人图像对应的上述机器人模型，特定机器人相对于摄像装置的相对的位置及姿势。
[0015]根据本发明的第五方案，提供一种第一至第四任一方案中的机器人识别系统，
[0016]还具备模型修正部，其在由摄像装置对机器人进行摄像的时点与由模型生成部生成多个机器人模型的时点偏离时，根据其偏离时间，修正由模型生成部生成的多个机器人模型。
[0017]本发明的效果如下。
[0018]本发明的机器人识别系统比较由摄像装置得到的图像与机器人模型，识别图像中的机器人图像。因此，不论机器人的姿势如何，都能容易地识别图像中的机器人图像。
[0019]通过附图所示的本发明的优选的实施方式的详细说明，本发明的这些目的、特征及优点及其他目的、特征及优点更明确。
【附图说明】
[0020]图1是概略地表示本发明的实施方式的机器人识别系统的结构的图。
[0021]图2是表示构成图1的机器人识别系统的机器人的结构的立体图。
[0022]图3是表示本发明的实施方式的机器人识别系统的控制结构的方框图。
[0023]图4是表示由图3的模型生成部生成的机器人模型的一例的图。
[0024]图5是表示由图3的图像处理装置执行的处理的一例的流程图。
[0025]图6A是表示由图3的摄像机所摄的摄像图像的一例的图。
[0026]图6B是表示与图6A的摄像图像一致的标准图像的图。
[0027]图7是表示机器人模型的变形例的图。
[0028]图8是表示图3的变形例的方框图。
[0029]图9是表示图1的变形例的图。
[0030]图10是表示图3的另一变形例的方框图。
[0031]图11是说明由摄像机所摄的时点与生成机器人模型的时点不同的场合的机器人模型的生成方法的图。
【具体实施方式】
[0032]下面，参照图1?图6B说明本发明的实施方式的机器人识别系统。本发明的实施方式的机器人识别系统适用于在由摄像装置对现实空间进行摄像而得到的图像上附加由计算机生成的信息并显示的、所谓的扩张现实的显示装置。这种显示装置对在机器人的生产现场对实际的机器人进行摄像而得到的图像上重叠与该机器人相关的信息并显示。在该情况下，当在生产现场存在多台机器人时，需要对在所摄的图像中是否存在机器人图像、当存在机器人图像时是与哪个机器人对应的机器人图像进行识别。
[0033]关于这一点，具有通过在各机器人上安装固体设别用记号，由摄像装置对记号进行摄像，对机器人图像进行识别的方法。但是，机器人伴随姿势变化，因此，根据机器人的姿势，有时无法对记号进行摄像。另外，即使能对记号进行摄像，当从摄像装置到机器人的距离长时，记号的图像小，难以识别机器人图像。当想要通过使摄像装置的数量增加来应对这些问题时，成本增加。在各机器人上安装记号也会导致成本增加。因此，在本实施方式中，如下那样构成机器人识别系统。
[0034]图1是概略地表示本发明的实施方式的机器人识别系统的结构的图。该机器人识别系统具有机器人1、对机器人I进行摄像的摄像机2、控制机器人I的机器人控制装置3。机器人I包括互相邻接地配置的第一机器人IA及第二机器人1B。机器人控制装置3包括控制第一机器人IA的第一机器人控制装置3A、控制第二机器人IB的第二机器人控制装置3B。第一机器人IA与第二机器人IB的结构及第一机器人控制装置3A与第二机器人控制装置3B的结构互相相同。另外，它们的结构也可以互相不同。
[0035]图2是表示机器人I的结构的立体图。如图2所示，机器人I是具有能通过关节部11转动地设置的臂10的垂直多关节机器人，在臂10的前端部安装工具13。在关节部11上设有伺服马达12，通过伺服马达12的驱动，臂10转动。在关节部11上设有检测距基准位置的臂10的转动角度(臂角度)的角度检测器14。角度检测器14能由例如内置于伺服马达12的旋转编码器构成。另外，将设于第一机器人IA的角度检测器14称为第一角度检测器，将设于第二机器人IB的角度检测器14称为第二角度检测器。
[0036]图1所示的摄像机2例如是具有CCD等摄像元件的电子摄像机，是具有通过摄像并在摄像面(CCD阵列面)上检测二次元图像的功能的周知的受光装置。摄像机2由用户保持，从任意的位置对摄像区域4所含的机器人I进行摄像，获得摄像区域4的动画(摄像图像)。与由摄像机2获得的摄像图像对应的图像信号输出至图像处理装置5(图3)。
[0037]机器人控制装置3根据预定的动作程序向伺服马达12输出控制信号，使机器人I进行动作。另外，也能通过未图示的示教操作盘以手动向伺服马达12输出控制信号。向机器人控制装置3输入来自角度检测器14的信号。
[0038]图3是表示本发明的实施方式的机器人识别系统的控制结构的方框图。如图3所示，各机器人控制装置3(3A、3B)分别具有生成与各机器人1A、IB对应的机器人模型的模型生成部31。图像处理装置5包括通过包括具有CPU、ROM、RAM、其他周边电路等的运算处理装置构成的计算机。在图像处理装置5上连结模型生成部31、摄像机2及显示部6。图像处理装置5具有识别摄像图像中的机器人图像的图像识别部51及控制显示部6的显示控制部52。图像处理装置5基