分光检查方法、图像处理装置以及机器人系统与流程

本发明涉及分光检查方法、图像处理装置以及机器人系统。

背景技术：

以往，在通过机器人视觉进行的颜色的检测中，有时在生产装置之中使用彩色相机进行基于颜色的物体检测或基于颜色的检查。能用相机区分红色与蓝色的零件并由机器人划分，或者能通过在零件中是否可靠地装配有蓝色的零件的检查而仅将合格品传递到下一工序。

另外，分光相机是能在二维的面中捕捉分光亮度的相机。若使用分光相机，则能进行利用使用了rgb的区域传感器的普通相机无法进行的、区分微妙的颜色差异的颜色不匀检查。

例如，作为以检测包含检查对象物所包含的差异产品等的不合格品为目的的检查装置，正在研究针对用分光相机拍摄检查对象物而得到的光谱图像进行分析的方法(例如，参照专利文献1)。

但是，针对拍摄检查对象物而得到的光谱图像进行分析的方法会在拍摄和检查中分别花费时间，因此使下一工序等待直至出现检查结果为止。由此，检查装置的节拍时间有可能变长。

专利文献1：日本特开2015-203586号公报

技术实现要素：

本申请的分光检查方法使用由分光相机拍摄到的物体的光谱图像进行检查，并具有：拍摄步骤，由上述分光相机拍摄位于上述分光相机的拍摄范围的上述物体，获取上述光谱图像；检查步骤，对上述光谱图像执行图像处理，将上述图像处理的结果作为检查结果而输出；信号发送步骤，基于上述检查结果发送进行针对上述物体的操作的信号；以及设定步骤，设定上述拍摄步骤、上述检查步骤以及上述信号发送步骤的作业顺序，在上述设定步骤中设定上述作业顺序，使得在上述拍摄步骤结束后执行上述检查步骤，在上述拍摄步骤结束后且上述检查步骤结束之前执行上述信号发送步骤。

优选在上述的分光检查方法中，具有预先受理在上述图像处理中使用的基准分光数据的示教的示教步骤，在上述检查步骤中，将上述光谱图像与上述基准分光数据的差异作为上述检查结果而输出。

优选在上述的分光检查方法中，上述基准分光数据包含上述光谱图像所包含的每一波长的阈值，上述检查步骤将基于上述光谱图像所包含的每一波长的分光亮度与上述阈值的差值之和判定出的结果作为上述检查结果而输出。

优选在上述的分光检查方法中，上述基准分光数据由可见光的波段所包含的多个波长构成。

优选在上述的分光检查方法中，上述图像处理包含根据上述光谱图像生成灰度图像而设定为代表图像的处理。

优选在上述的分光检查方法中，在上述图像处理中，在上述代表图像中设定规定的坐标系，将基于上述坐标系的位置的像素的光谱与上述基准分光数据的差异作为上述检查结果而输出。

优选在上述的分光检查方法中，上述基准分光数据包含上述光谱图像所包含的每一波长的阈值，在上述图像处理中，提取上述像素的光谱比上述阈值小的像素作为提取区域，将基于上述代表图像的上述坐标系的上述提取区域作为上述检查结果而输出。

优选在上述的分光检查方法中，在上述图像处理中，将上述提取区域的形状信息作为上述检查结果而输出。

本申请的图像处理装置使用由分光相机拍摄到的物体的光谱图像进行检查，并具有：拍摄部控制部，执行由上述分光相机拍摄位于上述分光相机的拍摄范围的上述物体而获取上述光谱图像的拍摄处理；检查部，执行对上述光谱图像执行图像处理而将上述图像处理的结果作为检查结果而输出的检查处理；通信部，执行基于上述检查结果发送进行针对上述物体的操作的信号的发送处理；以及设定部，设定上述拍摄处理、上述检查处理以及上述发送处理的作业顺序，上述设定部设定上述作业顺序，使得在上述拍摄处理结束后执行上述检查处理，在上述拍摄处理结束后且上述检查处理结束之前执行上述发送处理。

本申请的机器人系统具有：机器人；上述中记载的图像处理装置；以及控制装置，其基于上述图像处理装置的上述检查结果来控制上述机器人。

附图说明

图1是表示本实施方式的机器人视觉系统的系统构成图。

图2是表示机器人视觉系统的设定画面和图像处理序列、图像处理对象的例子的图。

图3是表示图像处理序列与图像处理对象的协作的图。

图4是表示光谱匹配对象的分光光谱图像检查的图。

图5是表示机器人视觉系统的设定画面和图像处理序列、图像处理对象的例子的图。

图6是表示图像处理序列与图像处理对象的协作的图。

图7是表示imageop对象的动作的图。

图8是表示根据图像处理的执行结果使机器人动作的程序的例子的图。

图9是表示执行程序时的时序图的图。

图10是表示将工件分为合格品和不合格品的系统的配置图。

图11是表示与供料托盘并排的工件的图。

图12是表示工件的表面和背面的图。

图13是表示图像处理序列的执行结果的图。

图14是表示其它品种的背面的图。

图15是表示其它品种的执行结果的图。

附图标记说明

2…机器人视觉系统；4…控制系统；10…机器人；12a…分光相机；12b…机器人相机；14…显示装置；16…输入装置；18…计算机；20…机器人控制装置(控制装置)；22…图像处理装置；24…机器人手臂；26…控制部；28…主存储器；30…存储部；32…显示控制部；34…输入控制部；36…通信部；38…控制程序编辑部；40…图像处理序列编辑部；42…控制部；44…主存储器；46…存储部；48…通信部；50…控制程序执行部；52…机器人控制部；54…控制部；56…主存储器；58…存储部；60…通信部(信号发送部)；62…图像处理序列执行部(检查部)；64…图像处理部；66…拍摄部控制部(拍摄部)；70…设定部；100…窗口；102…工具栏；104…图像影像显示部；106…执行组；108…流程图显示部；110…图标；112…属性设定窗口；152…合格品除料托盘；154…不合格品除料箱；156…吸附手；158…供料托盘；164…小部件；166…标识；w…工件。

具体实施方式

以下，根据附图说明将本发明具体化的实施方式。此外，使用的附图以成为能识别所说明部分的状态的方式适当地放大或者缩小后显示。

机器人视觉系统

图1是表示本实施方式的机器人视觉系统的系统构成图。

作为本实施方式的机器人系统的机器人视觉系统2例如是在作为电子部件和电子设备等物体的工件w的保持、搬运、组装以及检查等作业中使用的装置。

如图1所示，机器人视觉系统2具备控制系统4、机器人10、分光相机12a、机器人相机12b、显示装置14以及输入装置16。

控制系统4具备计算机18、机器人控制装置20以及图像处理装置22。

计算机18、机器人控制装置20以及图像处理装置22相互通过有线或者无线通信连接(以下也简称为“连接”)。另外，计算机18通过有线或者无线通信分别连接着显示装置14和输入装置16。另外，机器人控制装置20通过有线或者无线通信连接着机器人10。另外，图像处理装置22通过有线或者无线通信分别连接着分光相机12a和机器人相机12b。此外，分光相机12a、机器人相机12b、显示装置14以及输入装置16也可以分别连接到图像处理装置22。

该机器人视觉系统2例如在控制系统4的控制下，分光相机12a和机器人相机12b拍摄工件w等，机器人10以由分光相机12a和机器人相机12b拍摄到的拍摄图像为基础对工件w等进行作业。另外，机器人视觉系统2为了使机器人10能进行适当的作业，而在控制系统4的控制下，例如为了用分光相机12a和机器人相机12b识别工件w而进行图像处理序列的创建等，或者进行将拍摄坐标系与机器人坐标系相对应的校准。

以下，说明构成机器人视觉系统2的各部。

机器人

机器人10连接到机器人控制装置20。能连接到机器人控制装置20的机器人10的种类没有特别限定。例如也可以是垂直多关节机器人、水平多关节机器人。在此，“水平多关节机器人”是指手臂向水平方向动作的机器人。另外，“垂直多关节机器人”是指轴数为3个以上、并且3个轴中的2个轴相互交叉的机器人。

相机

分光相机12a和机器人相机12b分别连接到图像处理装置22。在本实施方式中，如后述的图10所示，机器人视觉系统2具备：分光相机12a，其配置于机器人10的周边；以及机器人相机12b，其固定到机器人10所具备的机器人手臂24。此外，机器人相机12b装配到机器人手臂24的顶端部。

显示装置

显示装置14具备例如由液晶显示器等构成的监视器，具备显示例如由分光相机12a和机器人相机12b拍摄到的拍摄图像或各种画面等的功能。各种图像例如是操作窗口或与处理结果有关的画面。因而，用户能掌握拍摄图像或机器人10的作业等。

输入装置

输入装置16包括例如鼠标或键盘等。因而，用户能通过操作输入装置16来对控制系统4进行各种处理等指示。

此外，在本实施方式中，也可以设置同时具备显示装置14和输入装置16的显示输入装置来替代显示装置14和输入装置16。作为显示输入装置，例如能使用作为触摸面板的静电式触摸面板或感压式触摸面板等。另外，输入装置16也可以是识别包含声音的音响的构成。

控制系统

如上所述，控制系统4具备计算机18、机器人控制装置20以及图像处理装置22。该控制系统4控制机器人10、分光相机12a、机器人相机12b以及显示装置14的驱动。

以下，依次说明控制系统4的计算机18和机器人控制装置20。

计算机

计算机18例如包括安装有程序(os：operatingsystem：操作系统)的计算机(例如pc(personalcomputer：个人计算机)或plc(programmablelogiccontroller：可编程逻辑控制器)等)。该计算机18例如具备：作为处理器的cpu(centralprocessingunit：中央处理单元)及gpu(graphicsprocessingunit：图形处理单元)、ram(randomaccessmemory：随机存取存储器)以及存储有程序的rom(readonlymemory：只读存储器)。

以下，说明计算机18所具备的各功能。

计算机18具备控制部26、主存储器28、存储部30、显示控制部32、输入控制部34以及通信部36，构成为能在它们之间相互进行数据的交换。

控制部26的功能例如能通过由cpu和gpu执行在主存储器28或存储部30中存储的各种程序来实现。该控制部26例如具备控制程序编辑部38和图像处理序列编辑部40。此外，控制部26所具备的功能部不限于此。也可以省略这些功能部中的任意一者或者追加其它功能部。

控制程序编辑部38创建或者编辑包含机器人10进行各种作业的作业程序的驱动机器人10的控制程序。另外，例如控制程序编辑部38能在控制程序之中指定具备规定的引数的各种命令。

图像处理序列编辑部40创建或者编辑与用于由分光相机12a和机器人相机12b识别工件w的图像处理序列有关的图像处理程序。即，图像处理序列编辑部40具备编辑与图像处理序列有关的设定内容的功能。

除此以外，控制部26根据用输入控制部34接收到的用户的指示，进行各种运算、判断、向计算机18所具备的各功能部的指示、向机器人控制装置20的指示以及向图像处理装置22的指示等。

主存储器28是控制部26的作业区域。主存储器28的功能例如能通过ram来实现。

存储部30具备记录包含程序的各种数据的功能。存储部30的功能能够通过rom等或所谓的外部存储装置来实现。存储部30存储有软件、例如机器人控制程序开发软件，上述软件包含例如与用于由分光相机12a和机器人相机12b识别工件w的图像处理序列有关的图像处理程序等。换句话说，在计算机18中安装有上述的软件。另外，该软件包含：与工具设定有关的程序、与本地设定有关的程序、通过各种命令执行使各种机器人10驱动的各种处理和图像处理序列创建/执行等的程序、以及设定基于来自未图示的力检测部的输出的力控制中的各种参数的程序。另外，上述的软件例如既可以是在cd-rom等记录介质中保存、从该记录介质提供的软件，也可以是经由网络提供的软件。

显示控制部32连接到显示装置14，具备使显示装置14的监视器显示拍摄图像或各种画面的功能。各种画面例如是与操作窗口或处理结果有关的画面。即，显示控制部32控制显示装置14的驱动。该显示控制部32的功能例如能通过gpu实现。例如，显示控制部32使显示装置14以与用户对话的形式依次显示与图像处理序列有关的多个引导画面。另外，显示控制部32使显示装置14以与用户对话的形式依次显示与校准有关的多个校准创建画面、与工具设定有关的多个工具设定画面以及与本地坐标系的设定有关的多个本地设定画面的每一个画面。

输入控制部34连接到输入装置16，具备受理来自输入装置16的输入的功能。该输入控制部34的功能能够通过例如接口电路来实现。此外，例如在使用触摸面板的情况下，输入控制部34具备作为探测用户的手指向触摸面板的接触等的输入探测部的功能。

通信部36具备与机器人控制装置20和图像处理装置22等外部进行数据的交换的功能。通信部36的功能例如能通过接口电路等实现。

机器人控制装置

机器人控制装置20例如基于来自计算机18的指示控制机器人10的驱动。机器人控制装置20是安装有包含os等的程序的计算机。该机器人控制装置20例如具备作为处理器的cpu、ram以及存储有程序的rom。

以下，说明机器人控制装置20所具备的各功能。

机器人控制装置20具备控制部42、主存储器44、存储部46以及通信部48，构成为能在它们之间相互进行数据的交换。

控制部42的功能例如能通过由cpu执行在主存储器44或存储部46中存储的各种程序来实现。该控制部42具备例如控制程序执行部50和机器人控制部52。此外，控制部42所具备的功能部不限于此。也可以省略这些功能部中的任意一者或者追加其它功能部。

控制程序执行部50基于来自计算机18的指示来执行驱动机器人10的控制程序。例如，控制程序执行部50通过各种命令使机器人10执行各种处理。各种处理例如执行工具设定、本地设定、校准处理以及图像处理序列执行指示等。

机器人控制部52控制各驱动部的驱动，使机器人手臂24驱动或者停止。例如，控制部42以从未图示的位置传感器或力检测部输出的信息为基础，为了使手移动到目标位置而导出各驱动部所具备的电动机的目标值。除此以外，控制部42具备进行各种运算和判断等处理的功能或进行机器人控制装置20所具备的指示的功能等。

主存储器44是控制部42的作业区域。主存储器44的功能例如能通过ram来实现。

存储部46具备记录包含程序的各种数据的功能。存储部46例如记录控制程序等。存储部46的功能能够通过rom等或所谓的外部存储装置来实现。

通信部48具备与机器人10、计算机18以及图像处理装置22等外部进行数据的交换的功能。通信部48的功能例如能通过接口电路等来实现。

图像处理装置

本实施方式的图像处理装置22是进行用分光相机12a拍摄到的光谱图像所包含的工件w的检查的图像处理装置。图像处理装置22例如基于来自计算机18的指示来控制分光相机12a和机器人相机12b的驱动或者进行用分光相机12a和机器人相机12b拍摄到的拍摄图像的处理。图像处理装置22例如是安装有包含os等的程序的计算机。该图像处理装置22例如具备作为处理器的cpu及gpu、ram以及存储有程序的rom。

以下，说明图像处理装置22所具备的各功能。

图像处理装置22具备控制部54、主存储器56、存储部58以及作为信号发送部的通信部60，构成为能在它们之间相互进行数据的交换。

控制部54的功能例如能通过由cpu和gpu执行在主存储器56或存储部58中存储的各种程序来实现。该控制部54具备作为检查部的图像处理序列执行部62、设定部70、图像处理部64以及拍摄部控制部66。此外，控制部54所具备的功能部不限于这些内容。也可以省略这些功能部中的任意一者或者追加其它功能部。

图像处理序列执行部62具备基于来自计算机18的指示来执行图像处理序列的功能。另外，图像处理序列执行部62具备作为拍摄光谱图像、执行针对该图像的图像处理、将图像处理的结果作为检查结果而输出的检查部的功能。

设定部70将分光相机12a的执行和图像处理序列执行部62的执行设定为一个作业顺序。设定部70设定作业顺序，使得在分光相机12a结束后，与图像处理序列执行部62的执行同时地执行通信部60。设定部70设定作业顺序，使得在用分光相机12a进行光谱图像的获取结束后，与通过图像处理序列执行部62执行针对光谱图像的图像处理同时地，使通信部60执行发送进行针对工件w的操作的信号。

图像处理部64具备例如进行根据拍摄图像取出各种信息等的图像处理的功能。具体地说，图像处理部64例如以来自分光相机12a和机器人相机12b等的拍摄图像为基础进行各种运算或各种判断等处理。例如，图像处理部64以拍摄图像为基础运算图像坐标系中的拍摄对象的坐标。另外，例如图像处理部64将图像坐标系的坐标转换为机器人10的顶端坐标系的坐标或者机器人10的基本坐标系的坐标。在该转换中使用的校正参数例如是计算机18或者机器人控制装置20求出的。此外，也可以是图像处理装置22求出在上述转换中使用的校正参数。

另外，拍摄部控制部66在工件w位于分光相机12a的拍摄范围时，用分光相机12a进行工件w的拍摄后获取光谱图像。拍摄部控制部66例如具备控制分光相机12a和机器人相机12b的驱动或者从分光相机12a和机器人相机12b获取拍摄图像的功能。

除此以外，控制部54具备接受来自计算机18的指示来进行各种运算和判断等处理的功能、或者向图像处理装置22所具备的各功能部进行指示的功能等。

主存储器56是控制部54的作业区域。主存储器56的功能例如能通过ram来实现。

存储部58具备记录包含程序的各种数据的功能。存储部58例如记录与图像处理序列有关的程序等。存储部58的功能能够通过rom等或所谓的外部存储装置来实现。

通信部60具备与分光相机12a、机器人相机12b、机器人控制装置20以及计算机18等外部进行数据的交换的功能。通信部60发送针对工件w进行操作的信号。通信部60的功能例如能通过接口电路等来实现。

以上，说明了控制系统4的构成和功能。此外，上述的计算机18、机器人控制装置20以及图像处理装置22分别具备的各功能也可以是计算机18、机器人控制装置20以及图像处理装置22中的任意一者所具备的。另外，计算机18、机器人控制装置20以及图像处理装置22也可以是一体的。例如，图像处理装置22所具备的图像处理序列执行部62、图像处理部64、拍摄部控制部66也可以是计算机18的控制部26具备的。另外，计算机18所具备的显示控制部32和输入控制部34也可以是图像处理装置22具备的。另外，控制系统4也可以不具备图像处理装置22，在该情况下，计算机18能够具备图像处理装置22所具备的各功能。

以上，简单地说明了机器人视觉系统2的基本的构成。

以下，说明图像处理装置22进行的处理的具体例。

实施例1

机器人控制程序开发软件

在此，说明图像处理用的窗口。

图2是表示机器人视觉系统的设定画面和图像处理序列、图像处理对象的例子的图。

如图2所示，图像处理用的窗口100具备工具栏102、图像影像显示部104、执行组106以及流程图显示部108。该图像处理用的窗口100通过用户对位于未图示的主窗口的图标进行操作指示来显示。

工具栏102具备为了显示图像处理序列的创建用的画面组而使用的图标110。图像影像显示部104显示用分光相机12a和机器人相机12b拍摄到的拍摄图像、图像处理结果。执行组106具备接受由用户执行图像处理序列的操作指示的各种按钮。流程图显示部108显示图像处理序列的图像处理顺序或校准的示教顺序等。

另外，窗口100具备校准设定、图像处理序列设定、进行显示、编辑的属性设定窗口112。

如以上说明的，显示控制部32能在控制部26的控制下与1个主窗口同时将多种子窗口重叠或者排列显示，因此，用户能高效地进行多种作业。

接下来，说明上述的作业程序的图像处理序列和图像处理对象。

图像处理序列通常追加一个或者多个图像处理对象后使用。图像处理序列能进行分光相机12a的指定或拍摄的设定。既能指定通常的单色相机，也能指定分光相机12a。在分光相机12a的情况下，设定代表图像，针对以灰度图像为对象的图像处理使用该代表图像。

图像处理对象是进行图像转换或者针对图像检测工件w或者进行图像的检查的各个功能。图像处理对象能准备多个进行图像转换的imageop对象、用轮廓形状检测工件w的几何(geometric)对象、用明暗图案检测工件w的关联(correlation)对象、检测搜索线上的亮度变化点的边(edge)对象、进行分光检查的光谱匹配(spectrummatch)对象等，用户能自由地选择。

图像处理序列或图像处理对象具有包含图像处理的参数或检查的判定阈值等多个属性和包含处理结果的多个结果(结论)。分光相机12a的设定或代表图像的设定是图像处理序列的属性。

几何对象是以轮廓为基础检索与预先登录的模型相同形状的模型的图像处理对象。在设定模型区域后按压示教按钮时，能进行模型登录。

光谱匹配对象是基于与被示教的基准分光数据的差异进行检查的图像处理对象。在属性中具有差异的阈值，在结果中具有判定结果。

在本实施例中，检查基于几何对象和帧(frame)对象的位置。

帧对象是用于基于通过上一个图像处理对象发现的位置来配置相对地靠后的图像处理对象的框架。在该例中，作为frame01对象的原点和y轴方向的设定，分别指定geom01对象和geom02对象。而且，spectrummatch01对象和spectrummatch02对象是指进行传递到frame01对象的设定。由此，在执行时，在相对于geom01对象和geom02对象的位置相对地始终为相同的位置执行spectrummatch01对象和spectrummatch02对象。

图3是表示图像处理序列与图像处理对象的协作的图。

图像处理对象是几何对象、帧对象、光谱匹配对象。图像处理序列针对分光光谱图像的代表图像执行geom01对象、geom02对象、frame01对象、spectrummatch01对象、spectrummatch02对象，若所有对象是通过(passed)，则返回全部通过(allpassed)。

图4是表示光谱匹配对象的分光光谱图像检查的图。

如图4所示，分光光谱图像将各个波长的分光亮度的差值之和与阈值进行比较。分光光谱图像将示教时和执行时各个波长的分光亮度的差值之和与阈值进行比较。分光光谱图像是改变波长后对同一对象物进行拍摄后的分光图像的组合。

实施例2

图5是表示机器人视觉系统的设定画面和图像处理序列、图像处理对象的例子的图。

在本实施例中，如图5所示，基于用imageop对象和blob对象提取到的区域的形状进行检查。

imageop对象进行各种图像转换。具备平滑化或尖锐化、二值化处理等基本图像处理。分光相机12a作为光谱图案滤波器具备如下功能：提取具备与被示教的基准分光数据的差异比预先被示教的阈值小的光谱的像素的区域，复印代表图像所对应的区域，将除此以外的区域作为背景色去除。

blob对象提取处于被设定的范围的亮度的区域的集合。在有多个区域的集合的情况下，设定的方法例如是选择1个面积最大的区域的集合。

图6是表示图像处理序列与图像处理对象的协作的图。

图像处理对象是imageop对象、blob对象。如图6所示，图像处理序列针对分光光谱图像的灰色图像执行imageop01对象、blob01对象，若所有对象是通过，则返回全部通过。

图7是表示imageop对象的动作的图。

如图7所示，imageop对象从执行时的输入画面之中，根据代表图像对与示教时登录的光谱的差值为阈值以下的部分进行区域提取，生成结果图像。

实施例3

本实施例示出并说明机器人控制装置20与机器人10的联动。

程序和执行

图8是表示根据图像处理的执行结果使机器人10动作的程序的例子的图。

首先，机器人控制装置20使工件w移动到分光相机12a的位置。

接下来，图像处理装置22执行图像处理。

接下来，机器人控制装置20使工件w移动到合格品除料托盘152。

接下来，机器人控制装置20从图像处理装置22获取检查结果，在合格的情况下，使工件w移动到合格品除料托盘152。在不合格的情况下，使工件w移动到不合格品除料箱154。

执行程序与图像处理序列的内容一起由计算机18创建，被发送到机器人控制装置20。机器人控制装置20内的控制部42接受开始命令后执行程序，按程序所示执行机器人10、图像处理装置22、分光相机12a的控制。

图9是表示执行程序时的时序图的图。

由机器人控制装置20使机器人10执行go命令。机器人10开始动作。从机器人10向机器人控制装置20返回动作结果。

由机器人控制装置20使图像处理装置22执行vrun命令。由图像处理装置22使分光相机12a开始拍摄，当需要波长的图像、例如400nm、420nm、…、700nm的16个图像的拍摄结束时，从图像处理装置22向机器人控制装置20返回处理结果。控制迅速地返回机器人控制装置20。继续进行由图像处理装置22进行的图像处理。

由机器人控制装置20使机器人10执行go命令。机器人10开始动作。由机器人10将动作结果返回机器人控制装置20。

由机器人控制装置20使图像处理装置22执行vget命令。vget命令等待直至图像处理装置22的图像处理结束为止，由图像处理装置22将处理结果返回机器人控制装置20。若图像处理装置22的图像处理结束，则控制立刻返回机器人控制装置20。

由机器人控制装置20使机器人10执行go命令。机器人10开始动作。由机器人10将动作结果返回机器人控制装置20。

以下，说明机器人视觉系统2所进行的分光检查方法。

本实施方式的分光检查方法是进行由分光相机12a拍摄到的光谱图像所包含的工件w的检查的方法。分光检查方法具备未图示的设定步骤、拍摄步骤s10、信号发送步骤s20以及检查步骤s30。

用户在设定步骤中预先将拍摄步骤s10和检查步骤s30设定为一个作业顺序。另外，在设定步骤中，设定部70设定作业顺序，使得在拍摄步骤s10结束后与检查步骤s30的执行同时地执行发送进行针对工件w的操作的信号的信号发送步骤s20。

首先，在拍摄步骤s10中，拍摄部控制部66当工件w位于分光相机12a的拍摄范围时，用分光相机12a进行工件w的拍摄后获取光谱图像。

接下来，在信号发送步骤s20中，通信部60在拍摄步骤s10结束后与检查步骤s30的执行同时地发送进行针对工件w的操作的信号。

另外，在检查步骤s30中，图像处理序列执行部62执行针对光谱图像的图像处理，将图像处理的结果作为检查结果而输出。

在检查步骤s30中，图像处理序列执行部62也可以将光谱图像与基准分光数据的差异作为检查结果而输出。由此，将光谱图像与基准分光数据的差异作为检查结果而输出，因此能够容易地进行针对光谱图像的图像处理。

分光检查方法也可以具备未图示的示教步骤。在示教步骤中，预先受理在图像处理中使用的基准分光数据的示教。

基准分光数据也可以包含光谱图像所包含的每一波长的阈值。检查步骤s30也可以基于光谱图像所包含的每一波长的分光亮度与阈值的差值之和进行判定，将判定结果作为检查结果而输出。由此，基于光谱图像所包含的每一波长的分光亮度与阈值的差值之和进行判定，将判定结果作为检查结果而输出，因此能够容易地进行针对光谱图像的图像处理。

基准分光数据也可以包括可见光的波段所包含的多个波长。多个波长例如也可以是将可见光的波段进行16分割后的各个波长。由此，基准分光数据是可见光的波段所包含的多个波长，因此能进行针对光谱图像的正确的图像处理。

基准分光数据也可以包含光谱图像所包含的每一波长的阈值。图像处理也可以将像素的光谱比阈值小的像素作为提取区域提取，基于代表图像的坐标系将提取区域作为检查结果而输出。由此，将像素的光谱比阈值小的像素作为提取区域提取，将基于代表图像的坐标系的提取区域作为检查结果而输出，因此能进行正确的图像处理。

图像处理也可以包含根据光谱图像生成灰度图像后将其设定为代表图像的处理。由此，包含根据光谱图像生成灰度图像后将其设定为代表图像的处理，因此能根据灰度图像算出优选的边缘量。因而，基于优选的边缘量进行边缘强调处理，由此能提高文字或线条的清晰性。

图像处理也可以在代表图像中设定规定的坐标系，将基于坐标系的位置的像素的光谱与基准分光数据的差异作为检查结果而输出。由此，将基于坐标系的位置的像素的光谱与基准分光数据的差异作为检查结果而输出，因此能进行正确的图像处理。

图像处理也可以将提取区域的形状信息作为检查结果而输出。由此，将提取区域的形状信息作为检查结果而输出，因此能进行正确的图像处理。

用户应用程序的例子

图10是表示将工件w分为合格品和不合格品的系统的配置图。

如图10所示，机器人视觉系统2是如下系统：具备机器人10、合格品除料托盘152、不合格品除料箱154、机器人相机12b、吸附手156以及分光相机12a。机器人视觉系统2用机器人10的吸附手156将与供料托盘158并排的工件w逐一取出，进行装载于工件w的背面的小部件164的颜色检查，将其分为合格品和不合格品。

图11是表示与供料托盘158并排的工件w的图。

如图11所示，工件w与供料托盘158并排。能从机器人相机12b看到工件w的表面。无法从机器人相机12b看到工件w的背面。按照供料托盘158的网格细分的工件w相对于网格的载置位置存在差异。机器人10在吸附手156不吸附工件w的表面的中心时，有可能在移送中脱落。

图12是表示工件w的表面和背面的图。

如图12所示，工件w具备表面和背面。检查对象是设置于工件w的背面的2个小部件164。机器人10即使使用机器人相机12b拍摄工件w的表面，也不知道工件w的背面的小部件164朝向哪一方向。

用户能实现的流程

机器人相机12b预先设定成具有比供料托盘158的1个网格稍大的视野。另外，预先校准吸附手156的位置与图像的坐标的关系。

供料

首先，机器人10移动使得下一工件w进入机器人相机12b的视野，发现圆形的工件w，用吸附手156吸附工件w的中心。

接下来，机器人10使工件w移动到进入分光相机12a的视野的位置。在此机器人10在吸附着工件w的状态下停止。

检查

接下来，图像处理装置22针对工件w的背面的小部件164以标识166为线索来确定位置，进行分光检查。图像处理装置22拍摄包含小部件164的工件w的背面，用其图像进行基于分光图像的检查处理，判断工件w的合格/不合格。

除料

接下来，机器人10在分光相机12a的拍摄已结束的定时将正在吸附的工件w向合格品除料托盘152的放置于下一个的网格的上空移动。在移送中，图像处理装置22进行检查处理，进行合格/不合格的判断，若不合格，则机器人10将正在吸附的工件w的移送目的地变更为不合格品除料箱154的上空，将正在吸附的工件w放入不合格品除料箱154。若是合格品，则不变更正在吸附的工件w的移送目的地，将正在吸附的工件w配置于合格品除料托盘152。

重复进行以上操作直至在供料托盘158中没有工件w为止。

用户程序的开发

首先，在调出频谱检验(spectruminsp)对象的一侧在供料托盘158的网格与合格品除料托盘152的网格的位置上逐个移动，预先创建反复的程序。

接下来，对机器人点的供料托盘158的开始点、分光相机12a的位置、合格品除料托盘152的开始点、不合格品除料箱154的位置进行登录。

接下来，创建2个图像处理序列。第1序列是使用装配于机器人10的机器人相机12b执行具有表面的圆形模型的一个几何对象的序列。几何对象返回圆的中心坐标。第2序列是使用向上的分光相机12a进行分光检查的序列。是上述的例子。

接下来，执行相机校准。由此，进行第1序列的相机坐标与机器人10的吸附手156的位置的对应。

用户程序的执行

图13是表示图像处理序列的执行结果的图。

在创建并执行程序时，平行地进行图像处理和机器人10的动作。图像处理序列的执行结果根据情况的不同而如下所示变化。不合格品例如用红色显示。

根据其结果，上段的2个合格工件被放置于合格品除料托盘152，下段的不合格工件被分配到不合格品除料箱154。

改变检查程序的情况

图14是表示其它品种的背面的图。图15是表示其它品种的执行结果的图。

在如图14所示品种发生变化、背面成为如下的布局、检查部位仅成为四角的有无的情况下，若更换图像处理序列则能在短时间内应对。将这种情况下的执行结果在图15中示出。示出上侧为合格品，下侧为不合格品。

根据本实施例，能防止当独立地示教拍摄和检查、机器人动作时程序变得繁琐。

根据本实施方式，能针对图像处理序列执行部62的执行不等待图像处理序列执行部62的结束地按照拍摄部控制部66的结束定时执行通信部60。由此，能提供缩短节拍时间的图像处理装置22。

另外，能针对检查步骤s30的执行不等待检查步骤s30的结束地按照拍摄步骤s10的结束定时执行信号发送步骤s20。由此，能提供缩短节拍时间的分光检查方法。

以下，记载从实施方式导出的内容。

分光检查方法使用由分光相机拍摄到的物体的光谱图像进行检查，并具有：拍摄步骤，由上述分光相机拍摄位于上述分光相机的拍摄范围的上述物体，获取上述光谱图像；检查步骤，对上述光谱图像执行图像处理，将上述图像处理的结果作为检查结果而输出；信号发送步骤，基于上述检查结果发送进行针对上述物体的操作的信号；以及设定步骤，设定上述拍摄步骤、上述检查步骤以及上述信号发送步骤的作业顺序，在上述设定步骤中设定上述作业顺序，使得在上述拍摄步骤结束后执行上述检查步骤，在上述拍摄步骤结束后且上述检查步骤结束之前执行上述信号发送步骤。

由此，能针对检查步骤的执行不等待检查步骤的结束而按照拍摄步骤的结束的定时执行信号发送步骤。由此，能够提供缩短节拍时间的分光检查方法。

优选在上述的分光检查方法中，具有预先受理在上述图像处理中使用的基准分光数据的示教的示教步骤，在上述检查步骤中，将上述光谱图像与上述基准分光数据的差异作为上述检查结果而输出。

由此，将光谱图像与基准分光数据的差异作为检查结果而输出，因此能够容易地进行针对光谱图像的图像处理。

优选在上述的分光检查方法中，上述基准分光数据包含上述光谱图像所包含的每一波长的阈值，上述检查步骤将基于上述光谱图像所包含的每一波长的分光亮度与上述阈值的差值之和判定出的结果作为上述检查结果而输出。

由此，基于光谱图像所包含的每一波长的分光亮度与阈值的差值之和进行判定，将判定结果作为检查结果而输出，因此能够容易地进行针对光谱图像的图像处理。

优选在上述的分光检查方法中，上述基准分光数据由可见光的波段所包含的多个波长构成。

由此，基准分光数据是可见光的波段所包含的多个波长，因此能进行针对光谱图像的正确的图像处理。

优选在上述的分光检查方法中，上述图像处理包括根据上述光谱图像生成灰度图像而设定为代表图像的处理。

由此，包含根据光谱图像生成灰度图像后将其设定为代表图像的处理，因此能根据灰度图像算出优选的边缘量。因而，基于优选的边缘量进行边缘强调处理，由此能提高文字或线条的清晰性。

优选在上述的分光检查方法中，在上述图像处理中，在上述代表图像中设定规定的坐标系，将基于上述坐标系的位置的像素的光谱与上述基准分光数据的差异作为上述检查结果而输出。

由此，将基于坐标系的位置的像素的光谱与基准分光数据的差异作为检查结果而输出，因此能进行正确的图像处理。

优选在上述的分光检查方法中，上述基准分光数据包含上述光谱图像所包含的每一波长的阈值，在上述图像处理中，提取上述像素的光谱比上述阈值小的像素作为提取区域，将基于上述代表图像的上述坐标系的上述提取区域作为上述检查结果而输出。

由此，将像素的光谱比阈值小的像素作为提取区域提取，将基于代表图像的坐标系的提取区域作为检查结果而输出，因此能进行正确的图像处理。

优选在上述的分光检查方法中，在上述图像处理中，将上述提取区域的形状信息作为上述检查结果而输出。

由此，将提取区域的形状信息作为检查结果而输出，因此能进行正确的图像处理。

图像处理装置使用由分光相机拍摄到的物体的光谱图像进行检查，并具有：拍摄部控制部，执行由上述分光相机拍摄位于上述分光相机的拍摄范围的上述物体而获取上述光谱图像的拍摄处理；检查部，执行对上述光谱图像执行图像处理而将上述图像处理的结果作为检查结果而输出的检查处理；通信部，执行基于上述检查结果发送进行针对上述物体的操作的信号的发送处理；以及设定部，设定上述拍摄处理、上述检查处理以及上述发送处理的作业顺序，上述设定部设定上述作业顺序，使得在上述拍摄处理结束后执行上述检查处理，在上述拍摄处理结束后且上述检查处理结束之前执行上述发送处理。

由此，能针对检查部的执行不等待检查部的结束而按照拍摄部的结束定时执行信号发送部。由此，能提供缩短节拍时间的图像处理装置。

本申请的机器人系统具有：机器人；上述所记载的图像处理装置；以及控制装置，其基于上述图像处理装置的上述检查结果控制上述机器人。

由此，在图像处理装置中，能针对检查部的执行不等待检查部的结束地按照拍摄部的结束的定时执行信号发送部。由此，能提供缩短节拍时间的机器人系统。