1.本发明的一个方面涉及行驶车、行驶车系统以及行驶车检测方法。
背景技术:2.公知有多个输送车在预先决定的路径行驶的输送车系统。例如,在专利文献1公开了通过传感器监视输送车(行驶车),比较到行驶车的距离与剩余行驶距离,在剩余行驶距离比到行驶车的距离短的情况下,以低速继续行驶的输送车系统(行驶车系统)。
3.专利文献1:日本特开平11-202940号公报
4.在上述现有的行驶车系统中,除了在直线区间设置有计测到前方的台车的距离的直线车间传感器以外,还在曲线区间设置有计测到前方的台车的距离的曲线车间传感器。具备这样的多个传感器成为成本高的一个因素。
技术实现要素:5.因此,本发明的一个方面的目的在于提供一种能够实现成本的减少的行驶车、行驶车系统以及行驶车检测方法。
6.本发明的一个方面的行驶车是沿着预先决定的行驶路径行驶的行驶车,其具备:主体部,其设置有能够从位于自身的行驶车的后方的后方行驶车辨认的符号;拍摄部,其以拍摄范围成为自身的行驶车的前方的方式设置于主体部;以及辨别部,其尝试从由拍摄部取得的拍摄图像抽出符号,并且基于抽出符号的有无来辨别位于自身的行驶车的前方的前方行驶车的有无,在主体部设置有作为符号的大符号、和面积比大符号小的小符号,大符号形成为整体未容纳在位于距自身的行驶车小于规定距离的后方行驶车所具备的拍摄部的拍摄范围的尺寸,小符号形成为即使距自身的行驶车的距离小于规定距离但整体也容纳在后方行驶车所具备的拍摄部的拍摄范围的尺寸,辨别部在从拍摄图像中抽出了大符号的整体以及小符号的整体中的至少一个时,判定为存在前方行驶车。
7.本发明的一个方面的行驶车检测方法是基于以拍摄范围成为自身的行驶车的前方的方式设置的拍摄部取得的拍摄图像,检测位于自身的前方的前方行驶车的行驶车检测方法,其包含以下工序:在能够从位于自身的行驶车的后方的后方行驶车辨认的行驶车的部位,设置形成为整体未容纳在位于距自身的行驶车小于规定距离的后方行驶车所具备的拍摄部的拍摄范围的尺寸的大符号、以及形成为即使距自身的行驶车的距离小于规定距离但整体也容纳在后方行驶车所具备的拍摄部的拍摄范围的尺寸的小符号的设置工序;通过拍摄部取得前方行驶车的拍摄图像的拍摄工序;尝试从拍摄图像中抽出大符号的整体以及小符号的整体的抽出工序;以及在抽出工序中,在抽出了大符号的整体以及小符号的整体中的至少一个时,判定为存在前方行驶车的判定工序。
8.这里所说的“符号的整体容纳在拍摄范围”不仅包含以被辨别部抽出的尺寸进行拍摄的情况,也包含以不被辨别部抽出那样的尺寸进行拍摄的情况。在上述行驶车以及行驶车检测方法中,具备将比以与直线区间以及曲线区间各自的区间对应的方式设置的传感
器捕捉前方的行驶车的范围广的范围作为拍摄范围的拍摄部。因此,没有如现有那样在直线区间以及曲线区间各自的区间设置拍摄部,而能够通过一个拍摄部捕捉位于两个区间的前方行驶车。另一方面,在上述行驶车以及行驶车检测方法中,拍摄部本身虽不具有计测距离的功能,但基于由拍摄部拍摄的前方行驶车的符号的拍摄图像判定与前方行驶车的距离的辨别部判定与前方行驶车的距离。由此,能够通过一个拍摄部实现与以与直线区间以及曲线区间各自的区间对应的方式设置的现有的距离传感器相同的作用。这样的结果是能够实现成本的减少。
9.在本发明的一个方面的行驶车中,辨别部也可以在仅能够抽出大符号的情况下判定为处于第一状态,在能够抽出小符号以及大符号双方的情况下判定为处于第二状态,在仅能够抽出小符号的情况下判定为处于第三状态,并且判定为在判定为第二状态时的从自身的行驶车到前方行驶车的距离比判定为第一状态时近,判定为在判定为第三状态时的从自身的行驶车到前方行驶车的距离比判定为第二状态时近。在该结构中,即使在使用不具有测定到拍摄物的距离的功能的拍摄部的情况下,也能够以三个阶段(远距离、中距离、近距离)取得到前方行驶车的距离。
10.在本发明的一个方面的行驶车中,小符号也可以是由两种颜色构成的图形。在该结构中,辨别部容易从拍摄图像抽出作为小符号的符号。
11.在本发明的一个方面的行驶车中,小符号也可以是二维码。在该结构中,能够向行驶车提供更多的信息,所以能够更细致地控制行驶车。
12.在本发明的一个方面的行驶车中,小符号也可以是能够将到拍摄部的距离向辨别部提供的ar标记。在该情况下,辨别部能够取得与前方行驶车的相对距离,所以能够更细致地控制行驶车。
13.在本发明的一个方面的行驶车中,大符号也可以是由两种颜色构成的图形。在该结构中,辨别部容易从拍摄图像抽出作为大符号的符号。
14.在本发明的一个方面的行驶车中,大符号也可以是二维码。在该结构中,能够向行驶车提供更多的信息,所以能够更细致地控制行驶车。
15.在本发明的一个方面的行驶车中,大符号也可以是能够将到拍摄部的距离向辨别部提供的ar标记。在该情况下,辨别部能够取得与前方行驶车的相对距离,所以能够更细致地控制行驶车。
16.在本发明的一个方面的行驶车中,大符号也可以在主体部设置有多个。在该结构中,能够具有冗余,所以辨别部能够更正确地从大符号取得信息。
17.在本发明的一个方面的行驶车中,主体部在行驶车的行驶方向的前后具有前面部以及后面部,大符号是后面部的外观,辨别部基于识别后面部的外观图像的图像识别装置的识别结果,抽出大符号,图像识别装置具有:存储器,其将从后面部的外观图像检测出的多个图像特征的各个作为成分预先存储;特征检测部,其从输入图像检测多个图像特征;复原部,其从存储器选出与由特征检测部检测出的多个该图像特征的各个对应的成分,使用选出的多个成分生成复原图像;以及判定部,其通过匹配处理判定由复原部生成的复原图像是否与输入图像一致,在判定为复原图像与输入图像一致的情况下,识别为输入图像是后面部的外观图像。
18.在该结构中,在生成复原图像时,使用了从后面部的图像检测出的成分。因此,在
后面部的外观图像以外作为输入图像而被输入的情况下,无法作为复原图像正确地生成输入图像。因此,判定输入图像是否与复原图像一致,从而能够以高准确度判定输入图像与后面部的外观图像的一致或不一致(输入图像是后面部的外观图像还是其以外)。即、能够以高准确度识别后面部的外观图像。
19.在本发明的一个方面的行驶车中,拍摄部也可以是从lidar(light detectionand ranging:光检测和测距)、立体照相机、tof照相机以及毫米波雷达中选择的一个。在该结构中,辨别部能够更正确地计算到小符号以及大符号的距离。其结果是,能够更细致地控制行驶车。
20.在本发明的一个方面的行驶车系统中,也可以具备多个上述行驶车。该结构的行驶车系统各自的行驶车具备将比与直线区间以及曲线区间各自的区间对应的方式设置的传感器捕捉前方的行驶车的范围广的范围作为拍摄范围的拍摄部,所以不需要如现有那样在直线区间以及曲线区间各自的区间设置拍摄部。没有如现有那样在直线区间以及曲线区间各自的区间设置拍摄部,而能够捕捉位于两个区间的前方行驶车。另一方面,在该结构中,拍摄部本身虽不具有计测距离的功能,但基于由拍摄部拍摄的前方行驶车的符号的拍摄图像判定与前方行驶车的距离的辨别部取得与前方行驶车的距离。由此,能够通过一个拍摄部实现与以与直线区间以及曲线区间各自的区间对应的方式设置的传感器相同的作用。其结果是,能够实现一台行驶车的成本的减少,进而能够实现行驶车系统整体的成本的减少。
21.根据本发明的一个方面,能够实现成本的减少。
附图说明
22.图1是表示第一实施方式的行驶车系统的结构简图。
23.图2是表示第一实施方式的行驶车的侧视图。
24.图3是从行驶方向后方观察图1的行驶车的主体部的后视图。
25.图4是表示图1的行驶车的功能结构的框图。
26.图5是表示第一实施方式的行驶车检测方法的流程图。
27.图6是表示第二实施方式的行驶车的功能结构的框图。
28.图7是说明通过图6的图像识别装置的特征检测部从输入图像检测多个图像特征的一个例子的图。
29.图8是说明通过图6的图像识别装置的复原部生成复原图像的一个例子的图。
30.图9(a)是表示拍摄图像的一个例子的图。图9(b)是表示进深距离数据的一个例子的图。
31.图10(a)是表示输入图像的一个例子的图。图10(b)是表示从图9(a)的输入图像复原的复原图像的图。
32.图11(a)是表示输入图像的一个例子的图。图11(b)是表示从图11(a)的输入图像复原的复原图像的图。
33.图12(a)是表示输入图像的一个例子的图。图12(b)是表示从图12(a)的输入图像复原的复原图像的图。图12(c)是表示输入图像的一个例子的图。图12(d)是表示从图12(c)的输入图像复原的复原图像的图。图12(e)是表示输入图像的一个例子的图。图12(f)是表
示从图12(e)的输入图像复原的复原图像的图。图12(g)是表示输入图像的一个例子的图。图12(h)是表示从图12(g)的输入图像复原的复原图像的图。图12(i)是表示输入图像的一个例子的图。图12(j)是表示从图12(i)的输入图像复原的复原图像的图。
34.图13是从行驶方向后方观察变形例的行驶车的主体部的后视图。
具体实施方式
35.以下,参照附图详细地说明本发明的一个方面的优选的一实施方式。在附图的说明中,对相同要素标注相同的附图标记,并省略重复的说明。
36.(第一实施方式)
37.主要使用图1~图5对第一实施方式进行说明。行驶车系统1是用于使用能够沿着轨道(预先决定的行驶路径)4移动的桥式吊车6,在载置部9、9间输送物品10的系统。物品10例如包含收纳多个半导体晶片的foup(front opening unified pod:前开式联合吊舱)以及收纳玻璃基板的划线器盒等那样的容器、以及一般部件等。这里例如以桥式吊车6(以下,仅称为“行驶车6”。)沿着敷设在工厂的天花板等的单行道的轨道4行驶的行驶车系统1为例来进行说明。如图1所示,行驶车系统1具备轨道4、多个载置部9以及多个行驶车6。
38.如图2所示,轨道4例如敷设在作业者的头上空间亦即天花板附近。轨道4例如从天花板悬挂。轨道4是用于使行驶车6行驶的预先决定的行驶路。
39.如图1以及图2所示,载置部9沿着轨道4而配置,并设置于能够在其与行驶车6之间进行物品10的交接的位置。载置部9包含缓冲器以及交接端口。缓冲器是临时载置物品10的载置部。缓冲器是例如在由于在作为目的交接端口载置有其它物品10的理由等,无法将行驶车6输送的物品10载置在该交接端口的情况下,临时放置物品10的载置部。交接端口是用于对例如以清洗装置、成膜装置、光刻装置、蚀刻装置、热处理装置、平坦化装置为代表的半导体的处理装置(未图示)进行物品10的交接的载置部。此外,处理装置没有被特别限定,也可以是各种装置。
40.例如,载置部9配置于轨道4的侧方。在该情况下,行驶车6利用横向输送部24对升降驱动部28等进行横向输送,使升降台30稍微升降,由此在与载置部9之间交接物品10。此外,虽没有图示,但载置部9也可以配置于轨道4的正下方。在该情况下,行驶车6使升降台30升降,由此在与载置部9之间交接物品10。
41.如图2所示,行驶车6沿着轨道4行驶,输送物品10。行驶车6构成为能够移载物品10。行驶车6是顶棚行驶式无人输送车。行驶车系统1具备的行驶车6的台数没有被特别限定,是多个。如图2以及图3所示,行驶车6具有行驶部18、主体部7、拍摄部8、符号70以及控制部50。
42.行驶部18包含马达等而构成,使行驶车6沿着轨道4行驶。主体部7具有:主体框架22、横向输送部24、θ驱动器26、升降驱动部28、升降台30以及防止落下罩33、33。
43.主体框架22支承横向输送部24、θ驱动器26、升降驱动部28以及升降台30。横向输送部24将θ驱动器26、升降驱动部28以及升降台30统一地沿与轨道4的行进方向垂直的方向横向输送。θ驱动器26使升降驱动部28以及升降台30中的至少任一个在水平面内在规定的角度范围内转动。升降驱动部28通过卷绕或放出钢丝绳、绳索以及带等吊持材料使升降台30升降。在升降台30设置有卡盘,能够进行物品10的把持或者释放。防止落下罩33使未图示
的爪等伸缩,而防止在输送中物品10的落下。防止落下罩33具有设置于行驶车6的行驶方向的前后的前面罩体33a以及后面罩33b。
44.拍摄部8以拍摄范围是自身的行驶车6的前方的方式设置于主体部7的前面罩体33a。拍摄部8是包含透镜以及将从该透镜进入的光转换为电信号的拍摄元件等的装置。由拍摄部8取得的拍摄图像被在后面详述的控制部50取得。
45.如图3所示,符号70以能够从位于自身的行驶车6的后方的后方行驶车6辨认的方式设置于后面罩33b。符号70具有一对大面积符号(大符号)71、71;以及面积比一对大面积符号71、71的各个小的小面积符号(小符号)73。
46.一对大面积符号71、71的各个形成为整体没有容纳在位于距自身的行驶车6小于规定距离(例如0.5m)的后方行驶车6所具备的拍摄部8的拍摄范围的尺寸。一对大面积符号71、71在后面罩33b的上方沿左右方向排列。大面积符号71是由两种颜色构成的(黑白)图形。
47.小面积符号73形成为即使距自身的行驶车6的距离小于上述规定距离但整体也容纳在后方行驶车6所具备的拍摄部8的拍摄范围的尺寸。小面积符号73设置于在后面罩33b的上方所设置的一对大面积符号71、71的下方。小面积符号73是由两种颜色构成的(黑白)图形。小面积符号73可以直接描绘在后面罩33b,也可以将描绘了小面积符号73的板等固定于后面罩33b。另外,小面积符号71并不限于设置于大面积符号71、71的下方的情况,例如也可以设置于上方。
48.此外,这里所说的“小面积符号73的整体容纳在拍摄范围”不仅包含以被在后面详述的辨别部51抽出(识别)的尺寸进行拍摄的情况,还包含以不被辨别部51抽出(识别)那样的尺寸进行拍摄的情况。即、只要在拍摄范围内包含设置有小面积符号73的位置即可。另外,不管焦点的一致与否。而且,这里所说的“距离小于上述规定距离”是前后的行驶车6、6彼此能够相互接近的距离能够成为下限值的情况。
49.控制部50是由cpu(central processingunit:中央处理器)、rom(read only memory:只读存储器)以及ram(randomaccess memory:随机存取存储器)等构成的电子控制单元。具体而言,如图4所示,控制部50控制行驶部18、横向输送部24、θ驱动器26、升降驱动部28以及升降台30。控制部50例如能够构成为将存储于rom的程序加载在ram上并由cpu执行的软件。控制部50也可以构成为基于电子电路等的硬件(计算机)。在控制部50中,cpu、ram以及rom等硬件、与程序等软件配合,由此形成下述所示的辨别部51和行驶控制部53。控制部50利用轨道4的通信线(馈电线)等,与控制器60进行通信。
50.辨别部51从由拍摄部8取得的拍摄图像尝试符号70的抽出,并且基于符号70的抽出的有无来辨别前方行驶车6的有无。辨别部51在从拍摄图像中抽出了大面积符号71、71各自的整体以及小面积符号73的整体中的至少一个时,判定为存在前方行驶车6。
51.更详细而言,辨别部51在仅能够抽出大面积符号71、71的至少一个的情况下判定为处于第一状态,在能够抽出小面积符号73以及大面积符号71、71中的至少一个的情况下判定为处于第二状态,在仅能够抽出小面积符号73的情况下判定为处于第三状态。而且,辨别部51判定为在判定为第二状态时的从自身的行驶车6到前方行驶车6的距离比判定为第一状态时近,判定为在判定为第三状态时的从自身的行驶车6到前方行驶车6的距离比判定为第二状态时近。
52.行驶控制部53例如若判定处于第一状态,则控制行驶部18以便以比通常的移动速度慢的第一速度行驶。另外,行驶控制部53若判定处于第二状态,则控制行驶部18,以便减速到比第一速度慢且能够随时停止的速度亦即第二速度。另外,行驶控制部53若判定处于第三状态,则以完全停止的方式控制行驶部18。该控制是一个例子,本发明的一个方面并不限于上述方式。
53.控制器60是由cpu、rom以及ram等构成的电子控制单元。控制器60例如能够构成为将存储于rom的程序加载到ram上并由cpu执行的软件。控制器60也可以构成为基于电子电路等的硬件。控制器60向行驶车6发送输送物品10的输送指令。
54.接下来,对由控制部50实施的行驶车检测方法进行说明。
55.行驶车检测方法是基于设置为拍摄范围是自身的行驶车6的前方的拍摄部8取得的拍摄图像,对位于自身的前方的前方行驶车6进行检测判定的方法。如图5所示,在能够从位于自身的行驶车6的后方的后方行驶车6辨认的行驶车6的部位亦即后面罩33b设置大面积符号71、和小面积符号73(步骤s1:设置工序)。
56.大面积符号71形成为整体没有容纳在位于距自身的行驶车6小于规定距离(例如0.5m)的后方行驶车6所具备的拍摄部8的拍摄范围的尺寸。小面积符号73形成为即使距自身的行驶车6的距离小于上述规定距离但整体也容纳在后方行驶车6所具备的拍摄部8的拍摄范围的尺寸。在设置工序s1中,排列配置两个大面积符号71、71,将小面积符号73配置于大面积符号71、71的下方。大面积符号71也可以通过直接描绘在后面罩33b而设置,也可以通过将描绘有大面积符号71的板等固定于后面罩33b而设置。另外,也可以在后面罩33b设置led(light emitting diode:发光二极管)、lcd(liquid crystal display:液晶显示器)等显示器,通过显示在该显示器上的映像来表示大面积符号71以及小面积符号73。
57.接下来,拍摄部8拍摄前方的行驶车6(步骤s2:拍摄工序)。由拍摄部8进行的拍摄例如也可以以规定的间隔(控制周期)执行。接下来,控制部50尝试从拍摄图像中抽出大面积符号71、71的整体以及小面积符号73的整体。具体而言,控制部50基于由公知的图案匹配等方法计算的一致率,执行大面积符号71、71的整体以及小面积符号73的整体的抽出。
58.接下来,控制部50在抽出工序s2中,在抽出了大面积符号71、71的整体以及小面积符号73的整体中的至少一个时,判定为存在前方行驶车6(步骤s4:判定工序)。
59.接下来,对上述第一实施方式的行驶车系统1的作用效果进行说明。一般,拍摄部8的拍摄范围比距离传感器的检测范围广。在上述第一实施方式的行驶车6中,具备将比以与直线区间以及曲线区间各自的区间对应的方式设置的现有的传感器捕捉前方的行驶车6的范围广的范围作为拍摄范围的拍摄部8。因此,没有如现有那样分别设置与直线区间以及曲线区间各自的区间对应的距离传感器,而能够通过一个拍摄部8捕捉位于两个区间的前方行驶车6。另一方面,在上述第一实施方式的结构中,拍摄部8本身虽没有具有计测距离的功能,但基于由拍摄部8拍摄的前方行驶车6的大面积符号71、71以及小面积符号73的拍摄图像来判定与前方行驶车6的距离的辨别部51取得与前方行驶车6的距离。由此,能够通过一个拍摄部8实现与以与直线区间以及曲线区间各自的区间对应的方式设置的现有的距离传感器相同的作用。其结果,能够实现成本的减少。
60.也可以在上述第一实施方式的行驶车系统1中,辨别部51在仅能够抽出大面积符号71的情况下判定为处于第一状态,在能够抽出小面积符号73以及大面积符号71双方的情
况下判定为处于第二状态,以及在仅能够抽出小面积符号73的情况下判定为处于第三状态,并且判定为在判定为第一状态时的从自身的行驶车6到前方行驶车6的距离比判定为第二状态时近,判定为在判定为第二状态时的从自身的行驶车6到前方行驶车6的距离比判定为第三状态时近。在该结构中,即使在使用不具有测定距离的功能的拍摄部8的情况下,也能够在三个阶段(远距离、中距离、近距离)的范围内取得到前方行驶车6的距离。
61.在上述第一实施方式的行驶车系统1中,小面积符号73采用了由两种颜色构成的图形,所以辨别部51容易从拍摄图像抽出作为小面积符号73的符号。
62.在上述第一实施方式的行驶车系统1中,大面积符号71、71采用了由两种颜色构成的图形,所以辨别部51容易从拍摄图像抽出作为大面积符号71、71的符号。
63.在上述第一实施方式的行驶车系统1中,大面积符号71、71在后面罩33b设置有两个,所以能够使从大面积符号71、71得到的信息具有冗余。由此,辨别部51能够从大面积符号71、71更正确地取得信息。
64.(第二实施方式)
65.接下来,主要使用图1、2、6~11对第二实施方式进行说明。此外,在第二实施方式中,仅详细地说明与第一实施方式不同的部分,省略相同部分的说明。在第二实施方式的行驶车106中,与第一实施方式的行驶车6相比存在三个较大的不同点。第一点是拍摄部8取得距离图像这一点。第二点是相对于在第一实施方式中将由两种颜色构成的图形作为大面积符号71、71,而在第二实施方式中将后面罩33b的外观作为大面积符号71a(参照图9(a))这一点。第三点是第二实施方式的控制部150除了具有第一实施方式的控制部50的功能之外,还具有识别行驶车106的后面罩33b的外观图像的功能这一点。以下,对于第一实施方式不同的控制部150进行说明。
66.如上所述,拍摄部8取得距离图像。这样的拍摄部8的例子包含lidar(light detection and ranging:光探测和测距)、立体照相机、tof照相机以及毫米波雷达等具有距离计测功能的装置。从这样的装置取得的图像也被称为距离图像、三维距离图像、具有三维信息的图像。
67.控制部150是由cpu、rom以及ram等构成的电子控制单元。控制部150控制行驶车106的各种动作。具体而言,如图6所示,控制部150控制行驶部18、横向输送部24、θ驱动器26、升降驱动部28以及升降台30。控制部150例如构成为将存储于rom的程序加载在ram上并由cpu执行的软件。控制部150也可以构成为基于电子电路等的硬件。在控制部150中,cpu、ram以及rom等硬件、与程序等软件配合,由此形成上述的辨别部51以及行驶控制部53。
68.控制部150除了辨别部51以及行驶控制部53之外,还构成识别行驶车106的后面罩33b的外观图像的图像识别装置100。详细而言,控制部150使cpu、ram以及rom等硬件、与程序等软件配合,由此由下述所示的图像提取部61、特征检测部62、复原部63、判定部64以及存储器m构成图像识别装置100。
69.存储器m将从后面罩33b的外观图像检测(抽出)的多个图像特征的各个作为成分预先存储。作为从特定图像检测多个图像特征的方法没有被特别限定,能够采用各种公知方法。例如,也可以使后面罩33b的外观图像通过图像滤波器,从而检测多个图像特征。存储器m将赋予给多个成分的各个的标签作为成分标签与成分一起预先存储。成分如后所述,作为由复原部63进行的图像复原的种子发挥功能。
70.图像特征构成图像的特征,也被称为图像的特征量或者特征点。多个成分的取得也可以利用由深度学习得到的学习完毕模型(ai;人工知能)来进行。标签表示用于识别赋予对象的信息。作为标签没有被特别限定,例如是编号。
71.图像提取部61从由拍摄部8取得的拍摄图像提取输入图像。具体而言,图像提取部61将拍摄图像中的进深距离在规定范围内的点群(具有相似距离的点的块)作为对象(物体候补)。图像提取部61将拍摄图像中的该对象的图像作为输入图像而提取。规定范围没有被特别限定,能够预先设定。从拍摄图像的输入图像的提取也可以利用由深度学习得到的学习完毕模型(ai;人工知能)、例如yolov3等来进行。
72.特征检测部62从输入图像检测多个图像特征。作为从输入图像检测多个图像特征的方法没有被特别限定,能够采用各种公知方法。例如,特征检测部62也可以使输入图像通过图像滤波器,从而检测多个图像特征。特征检测部62作为标签对多个图像特征的各个赋予选出用标签。特征检测部62检测多个图像特征各自的特征强度。特征强度是表示该图像特征与输入图像相关的强度的指标。特征强度能够表示在输入图像中图像特征所贡献的程度。
73.复原部63从存储器m选出与由特征检测部62检测出的多个图像特征的各个对应的成分。复原部63从存储器m选出与由特征检测部62检测出的多个图像特征的选出用标签一致的成分标签的成分。复原部63使用选出的多个成分生成复原图像。复原部63还使用由特征检测部62检测出的多个图像特征的特征强度生成复原图像。作为使用多个成分生成复原图像的方法没有被特别限定,能够使用各种公知方法、例如由深度神经网络构成的自动编码器等。
74.判定部64通过匹配处理判定由复原部63生成的复原图像是否与输入图像一致。判定部64在判定为复原图像与输入图像一致的情况下,识别为输入图像是后面罩33b的外观图像。作为匹配处理没有被特别限定,能够使用各种公知方法、例如l2范数等。判定部64也可以计算复原图像相对于输入图像的类似度,在该类似度大于阈值的情况下,判定为复原图像与输入图像一致。
75.接下来,参照图7对通过特征检测部62从输入图像检测多个图像特征的一个例子进行说明。
76.如图7所示,在这里的说明中,方便起见,作为输入图像使用了“数字的7”的图像。由特征检测部62从输入图像i1检测多个图像特征。在图示的例子中,检测出选出用标签ls为“20”的图像特征g1、选出用标签ls为“27”的图像特征g2、选出用标签ls为“51”的图像特征g3以及选出用标签ls为“58”的图像特征g4。而且,将它们作为图像特征的检测结果h而取得。在图像特征的检测结果h中,图像特征g1~g4各个的特征强度表示为明度。这样,能够从输入图像i1机械地检测多个图像特征g1~g4。
77.接下来,参照图8对通过复原部63基于多个图像特征g1~g4复原图像的一个例子进行说明。
78.如图8所示,通过复原部63,基于图像特征的检测结果h,从存储器m选出与多个图像特征g1~g4(参照图7)的选出用标签ls一致的成分标签lp的成分p1~p4。通过复原部63,使用所选出的多个成分p1~p4生成复原图像o1。这样,能够从多个图像特征g1~g4对复原图像o1进行复原。
79.接下来,对通过由上述的图像识别装置100实施的图像识别方法识别特定图像的情况下的一个例子进行说明。以下,例示了将行驶车106的后面罩33b的外观识别为特定图像的情况。
80.如图9(a)所示,通过拍摄部8取得包含位于自身的行驶车106的前方的行驶车106的拍摄图像k1。如图9(b)所示,通过图像提取部61,计算拍摄图像k1中的进深距离数据k2,将该进深距离在规定范围内的点群作为对象ob。如图9(a)以及图10(a)所示,将拍摄图像k1中的该对象ob的图像作为输入图像i2而提取。
81.如图10(b)所示,通过特征检测部62从输入图像i2检测多个图像特征,通过复原部63生成复原图像o2。由判定部64通过匹配处理判定图10(b)的复原图像o2是否与图10(a)的输入图像i2一致。在图10(a)以及图10(b)所示的例子中,判定为复原图像o2与输入图像i2一致(类似度是阈值以上),识别为输入图像i2是特定图像(行驶车106的后面罩33b的外观图像)。
82.另一方面,如图11(a)所示,在将行驶车106的后面罩33b的外观以外的图像(例如用户的身体等图像)作为输入图像i3而输入的情况下,如图11(b)所示,由复原部63生成的复原图像o3并不是复原输入图像i3的图像,具有显著的图像的损坏以及模糊。因此在该例中,判定为复原图像o2与输入图像i2不一致(类似度小于阈值),不识别为输入图像i3是特定图像(行驶车106的后面罩33b的外观图像)。
83.图12(a)~图12(j)是说明特征检测部62以及复原部63相对于噪声的鲁棒性的各图。根据图像识别装置100以及其图像识别方法,能够通过特征检测部62从输入图像i4(参照图12(a))检测多个图像特征,能够通过复原部63生成复原图像o4(参照图12(b))。能够通过特征检测部62从输入图像i5(参照图12(c))检测多个图像特征,能够通过复原部63生成复原图像o5(参照图12(d))。能够通过特征检测部62从输入图像i6(参照图12(e))检测多个图像特征,能够通过复原部63生成复原图像o6(参照图12(f))。能够通过特征检测部62从输入图像i7(参照图12(g))检测多个图像特征,能够通过复原部63生成复原图像o7(参照图12(h))。能够通过特征检测部62从输入图像i8(参照图12(i))检测多个图像特征,能够通过复原部63生成复原图像o8(参照图12(j))。基于上述结果,根据图像识别装置100以及其图像识别方法,即使输入图像i4~i8具有噪声,也能够确认具有捕捉特征的能力,且高精度地生成复原图像o4~o8。
84.以上,在图像识别装置100中,在生成复原图像时,使用从特定图像检测出的成分。因此,以以下的(i)、(ii)以及(iii)所示的图案进行图像的复原。
85.(i)在特定图像为输入图像的情况下,输入图像作为复原图像被高精度地复原。
86.(ii)在输入了特定图像以外的输入图像的情况下,输入图像与复原图像不一致。
87.(iii)特别是,在虽具有特定图像的图像特征但并不是特定图像的不正确图像作为输入图像而被输入的情况下,输入图像与复原图像不一致,作为复原图像复原特定图像。
88.因此,根据图像识别装置100,判定输入图像i1~i8是否与复原图像o1~o8一致,从而能够以高准确度判定输入图像i1~i8与特定图像一致或不一致(输入图像i1~i8是特定图像还是其以外)。即、能够以高准确度识别特定图像。在对于输入图像i1~i8,若满足特定图像的图像特征则仅判定为是特定图像时,在上述(iii)的情况下,虽进行了误识别,但在图像识别装置100以及其图像识别方法中,能够避免那样的误识别。
89.辨别部51在从拍摄图像中抽出了大面积符号71a的整体以及小面积符号73的整体中的至少一个时,判定为存在前方行驶车106。大面积符号71a的识别由上述图像识别装置100来进行,辨别部51基于识别后面罩33b的外观图像的图像识别装置100的识别结果来抽出大面积符号71a。关于小面积符号73的抽出方法与上述第一实施方式相同,所以省略说明。基于大面积符号71a以及小面积符号73的抽出结果,判定第一状态、第二状态以及第三状态的辨别部51中的控制,基于该判定结果控制行驶部18的行驶控制部53的控制也与上述实施方式相同,所以省略说明。
90.在上述第二实施方式的行驶车106的结构中,也能够实现与上述第一实施方式的行驶车6相同的效果。而且,在第二实施方式中,能够作为符号利用前方行驶台车的背面以及侧面像整体,所以与第一实施方式相比,能够进行更长距离且稳健的检测。
91.以上,虽对本发明的一个方面的一实施方式进行了说明,但本发明的一个方面并不限于上述实施方式,在不脱离发明的宗旨的范围内能够进行各种改变。
92.(变形例1)
93.在上述第一实施方式的行驶车6以及行驶车系统1中,举出具备包含透镜以及将从该透镜进入的光转换为电信号的拍摄元件等的拍摄部8且不具有计测与对象物的距离的功能的拍摄部8的例子进行了说明,但并不限于此。拍摄部8也可以应用在第二实施方式中应用那样的、例如lidar(light detection and ranging:光探测和测距)、立体照相机、tof照相机以及毫米波雷达等具有距离计测功能的装置。
94.在这种情况下,也能够正确地取得到没有设置上述那样的大面积符号71以及小面积符号73的障碍物的距离。由此,能够兼作一般设置于行驶车6的障碍物传感器的作用。其结果是,能够由一个拍摄部8兼作现有的直线车间传感器、曲线车间传感器以及障碍物传感器,所以能够实现成本进一步的减少。
95.(变形例2)
96.在上述实施方式中,虽从作为距离图像的拍摄图像提取输入图像,但也可以没有这样的图像提取工序以及图像提取部61。作为拍摄部8例如也可以使用一般的单眼照相机。输入图像可以是距离图像,也可以是二维图像。
97.(变形例3)
98.在上述实施方式以及变形例3的行驶车6以及行驶车系统1中,虽举出将大面积符号71、71以及小面积符号73中的至少一个形成为两种颜色的图形的例子进行了说明,但例如也可以是二维码。二维码的例子包含qr码(注册商标)。在这种情况下,能够从大面积符号71、71以及小面积符号73取得更多的信息,所以辨别部51能够更细致地控制行驶车6。作为一个例子,通过使qr码包含唯一编号而能够确定前方行驶车6,所以能够将前方行驶车的行驶状态或者位置向控制器60传递。因此,即使在前方行驶车6因通信不良等理由而控制器60不响应的情况下,控制器60也能够根据从后方行驶车6提供的信息而知道前方行驶车6的状态。
99.而且,大面积符号71、71以及小面积符号73也可以是作为二维码的一种的ar标记。在该情况下,辨别部51能够计算到前方行驶车6的相对距离。即、与上述实施方式那样,在处于远距离范围(第一状态)、处于中距离范围(第二状态)或者处于近距离范围(第三状态)这样的范围内取得到前方行驶车6的距离的情况相比,能够计算更正确的距离。在该变形例的
行驶车6以及行驶车系统1中,辨别部51能够取得与前方行驶车6的相对距离,所以能够更细致地控制行驶车6。
100.(其它的变形例)
101.在上述实施方式、变形例的行驶车6以及行驶车系统1中,虽举出将大面积符号71、71设置为两个的例子进行了说明,但如图13所示,也可以仅设置有一个。
102.在上述实施方式以及变形例中,虽举出将控制行驶车6(106)的控制部50设置于各个行驶车6(106)的主体部7的例子进行了说明,但也可以配置于从主体部7分离、且能够通过有线或者无线进行通信的位置(例如控制器60)。在这样的情况下,控制部50也可以不按多个行驶车6(106)的每一个设置,作为统一控制多个行驶车6那样的控制部而设置。
103.在上述实施方式、变形例的行驶车6(106)以及行驶车系统1中,虽作为行驶车的一个例子举例说明了桥式吊车,但在行驶车的其它的例子中包含在配设于地上或者架台的轨道上行驶的无人行驶车以及塔式起重机等。
104.上述实施方式以及变形例的行驶车6,虽举出将大面积符号71以及小面积符号73设置于后面罩33b的例子进行了说明,但只要是能够从后方行驶车6(106)视觉辨认的位置,则设置位置不限。
105.附图标记的说明
[0106]1…
行驶车系统,4
…
轨道,6、106
…
桥式吊车(行驶车),7
…
主体部,8
…
拍摄部,18
…
行驶部,33a
…
前面罩体,33b
…
后面罩,50、150
…
控制部,51
…
辨别部,53
…
行驶控制部,60
…
控制器,61
…
图像提取部,62
…
特征检测部,63
…
复原部,64
…
判定部,70
…
符号,71、71a
…
大面积符号,73
…
小面积符号,100
…
图像识别装置。