示教数据的生成方法、示教数据的生成装置、图像处理装置与流程

1.本发明涉及示教数据的生成方法、示教数据的生成装置、图像处理装置。


背景技术：

2.近年来，伴随机器学习的技术的发展，进行该机器学习中所用的注解(图像的示教数据)的生成。例如，作为指定用作示教数据的对象物的特定部分的图像的作业的一例，有基于手动操作的医用图像的注解作业(例如特开2020-35095号公报)。
3.但在上述的技术中，示教数据的生成所需的图像的挑选多依赖于作业者的手动操作，花费工夫。


技术实现要素：

4.本发明的一实施例的示教数据的生成方法中，由计算机执行：从摄像图像决定包含用于取得移动体的识别信息的第1图像区域的第2图像区域，生成与所决定的所述第2图像区域对应的数据，作为机器学习用的示教数据。
5.本发明的一优点在于，能效率良好地进行用作示教数据的图像的登记。
附图说明
6.图1是表示本发明的实施方式所涉及的可见光通信系统的结构的一例的图。
7.图2是表示该实施方式所涉及的叉车的结构的一例的图。
8.图3是表示该实施方式所涉及的摄像机、服务器和数据库的结构的一例的图。
9.图4是表示该实施方式所涉及的摄像图像数据的一例的图。
10.图5a是表示该实施方式所涉及的标志的图像区域和叉车的图像区域的一例的图，图5b是与图5a相比标志的图像区域小的情况的图。
11.图6是表示该实施方式所涉及的区域数据的一例的图。
12.图7是表示该实施方式所涉及的示教数据的一例的图。
13.图8a是表示该实施方式所涉及的叉车的图像区域的一例的图，图8b是表示在图8a中变更了标志的图像区域的颜色的叉车的图像区域的一例的图。
14.图9是表示该实施方式所涉及的示教数据生成处理的一例的流程图。
15.图10是表示该实施方式所涉及的标志的图像区域的颜色变更处理的一例的流程图。
16.图11是表示本发明的其他实施方式所涉及的示教数据生成处理的一例的流程图。
17.图12是表示该实施方式所涉及的警报通知处理的一例的流程图。
18.图13a是表示叉车的图像区域的其他示例的图，图13b是与图13a相比叉车的图像区域小的情况的图。
19.图14a是表示叉车的图像区域的其他示例的图，图14b是与图14a相比标志的图像区域位于图像上的情况的图。
具体实施方式
20.以下参考附图来本发明的实施方式所涉及的可见光通信系统。
21.图1是表示可见光通信系统的结构的一例的图。如图1所示那样，在运用可见光通信系统1的空间s中，设置货架400a、400b，包含叉车100a、100b(以下，在不各自限定叉车100a、100b的情况下适宜称作“叉车100”或“移动体”)、摄像机200a、200b、200c、200d(以下在不各自限定摄像机200a、200b、200c、200d的情况下适宜称作“摄像机200”)、集线器210、服务器300和数据库500。
22.叉车100a包含led(light emitting diode，发光二极管)的标志(发光体)102a，叉车100b包含标志102b(以下，在不各自限定标志102a、102b的情况下适宜称作“标志102”)。服务器300经由集线器210连接摄像机200。另外，经由未图示的网络lan(local area network，局域网)与数据库500连接。
23.在本实施方式中，安装于叉车100的标志102，与包含作为发送对象的信息的叉车100的识别信息的通信数据对应地使发光色在时间序列上变化，通过可见光通信来发送。本实施方式中，识别信息是表示叉车100是叉车的分类id。另外，识别信息除了分类id以外，也可以包含唯一确定叉车100的信息的车辆编号等。
24.另一方面，摄像机200进行空间s整体的摄像。服务器300从通过摄像机200的摄像得到的空间s整体的图像通过可见光通信取得图像中的标志102的位置(二维位置)、空间s中的标志102的位置(三维位置)，进而将标志102的时间序列上变化的发光的内容进行解调，从而从叉车100取得通信数据。另外，在本实施方式中，服务器300生成在机器学习中识别图像内的叉车100的图像区域时所用的示教数据。
25.图2是表示叉车100的结构的一例的图。如图2所示那样，叉车100包含标志102、控制部103、存储器104、通信部110、驱动部112以及电池150。
26.控制部103，例如由cpu(central processing unit，中央处理器)构成。控制部103通过遵循存储于存储器104的程序执行软件处理，来控制叉车100所具备的各种功能。
27.存储器104例如是ram(random access memory，随机存取存储器)、rom(read only memory，只读存储器)。存储器104存储用在叉车100中的控制等的各种信息(程序等)。
28.通信部110例如是lan卡。通信部110在与服务器300等之间进行无线通信。电池150对各部提供叉车100的工作所需的电力。
29.控制部103将存储于存储器104的叉车100的识别信息读出。
30.控在制部103内构成发光控制部124。发光控制部124，与作为通信数据的识别信息对应地决定使发光色在时间序列上变化的发光图案。
31.进而，发光控制部124将发光图案的信息向驱动部112输出。驱动部112对应于来自发光控制部124的发光图案的信息来生成用于使标志102所发出的光的色相在时间上变化的驱动信号。标志102对应于从驱动部112输出的驱动信号来发出色相在时间上变化的光。例如发光色是3原色，是可见光通信中的色调制中所用的波长带的颜色即红(r)、绿(g)、蓝(b)的任一者。
32.图3是表示摄像机200、服务器300和数据库500的结构的一例的图。如图3所示那样，摄像机200和服务器300经由集线器210连接，和数据库500经由网络lan连接。摄像机200包含摄像部202以及透镜203。服务器300包含控制部302、图像处理部304、存储器305、操作
部306、显示部307以及通信部308。数据库500具备摄像数据存储部501、区域数据存储部502以及示教数据存储部503。
33.摄像机200内的透镜203由变焦透镜等构成。透镜203通过来自服务器300内的操作部306的变焦控制操作以及控制部302所进行的对焦控制而移动。通过透镜203的移动来控制摄像部202所摄像的摄像视角、光学像。
34.摄像部202，由规则地二维排列的多个受光元件构成包含摄像面的受光面。受光元件例如是ccd(charge coupled device，电荷耦合器件)、cmos(complementary metal oxide semiconductor，互补金属氧化物半导体)等摄像器件。摄像部202基于来自服务器300内的控制部302的控制信号，来以给定范围的摄像视角对经由透镜203而入光的光学像进行摄像(受光)，将该摄像视角内的图像信号变换成数字数据来生成帧。另外，摄像部202，在时间上连续地进行摄像和帧的生成，将连续的帧的数字数据输出到图像处理部304。
35.图像处理部304，基于来自控制部302的控制信号，来对从摄像部202输出的帧的数字数据进行失真补正、颜色搭配调整以及噪声除去，并向控制部302输出。
36.控制部302例如由cpu等处理器构成。控制部302通过遵循存储于存储器305的程序执行软件处理，来控制进行后述的图9～图12所示的处理等服务器300所具备的各种功能。
37.存储器305例如是ram、rom。存储器305存储用在服务器300中的控制等中的各种信息(程序等)。
38.操作部306由数字键盘、功能键等构成，是为了输入用户的操作内容而用的接口。显示部307例如由lcd(liquid crystal display，液晶显示器)、pdp(plasma display panel，等离子显示面板)、el(electro luminescence，电致发光)显示器等构成。显示部307按照从控制部302输出的图像信号来显示图像。通信部308例如是lan卡。通信部308在与外部的通信装置之间进行通信。
39.在控制部302中构成登记部332、图像区域范围确定部334、移动检测部336、颜色变更部338、图像区域比较部340以及通知部342。
40.登记部332，对摄像机200内的摄像部202所输出的多个帧的数字数据(图像数据)，分别附加该图像数据的识别信息即图像id，来生成摄像图像数据。
41.图4是表示摄像图像数据的一例的图。图像id由输出对应的图像数据的摄像机200、换言之拍摄到对应的图像的摄像机的识别信息即摄像机id、和摄像机200的摄像日期时间构成。
42.另外，图像id、摄像机id以及摄影日期时间的各信息和摄影图像数据的图像数据一起作为个人资料数据来存放，但也可以作为与图像数据建立对应的独立的数据来设定。
43.再度回到图3来进行说明。登记部332将生成的摄像图像数据登记到数据库500内的摄像图像数据存储部501。
44.图像区域范围确定部334，分别对摄像部202所输出的多个帧的数字数据取得构成该帧的各像素的亮度值。接下来，图像区域范围确定部334在帧中将亮度值为给定值以上的像素的位置视作是标志102的位置。进而，图像区域范围确定部334进行帧内的标志102的位置处的发光色的变化的解码处理，取得标志102所发送的通信数据中所含的分类id。以下的处理按每个分类id分别进行。
45.图像区域范围确定部334，从摄像图像数据存储部501将摄像图像数据读出，判定
在与该摄像图像数据中所含的图像数据对应的摄像图像内中是否包含标志102的图像区域。具体地，在摄像图像内存在亮度值为给定值以上的像素的情况下，图像区域范围确定部334判定为包含标志102的图像区域。
46.在包含标志102的图像区域的情况下，图像区域范围确定部334在与摄像图像数据中所含的图像数据对应的摄像图像中，确定判定为存在叉车100的图像的图像区域的范围。具体地，图像区域范围确定部334，将预先设定的范围确定为叉车100的图像区域的范围，使得以摄像图像内的标志102的图像区域的位置为中心，在上下方向上，标志102的像稍微靠上，在左右方向上，标志102的像来到中心，另外，使得其大小与标志102的图像区域的大小成正比地变大，并且叉车100的图像大致收在该范围内。
47.这时，图像区域范围确定部334判别标志102的图像区域的大小。图像区域范围确定部334，确定叉车100的图像区域的范围，使得标志102的图像区域越大，则摄像图像内的叉车100的图像区域越大。另外，不进行来自摄像图像的叉车100的图像的检测处理、图像认识地确定该叉车100的图像区域。即，基于标志102的摄像图像中的位置和大小来估计具备该标志102的叉车100图像的摄像图像内的位置、范围，基于该估计结果来确定。
48.图5a以及图5b是表示标志102的图像区域和叉车100的图像区域的一例的图。若比较图5a的摄像图像600a和图5b的摄像图像600b，图5a中的标志102a的图像区域602a(第1图像区域)比图5b中的标志102a的图像区域602b(第1图像区域)大。为此，图5a中的叉车100a的图像区域604a(第2图像区域)比图5b中的叉车100b的图像区域604b(第2图像区域)大。
49.移动体的识别信息能从第1图像区域取得。第1图像区域含在第2图像区域中。在本发明的一实施例中，处理器302从摄像图像决定第2图像区域。
50.如此地，图像区域范围确定部334进行控制，使得与识别信息即标志102的像的大小成正比地改变所确定的图像区域的大小。
51.即，处理器302，基于第1图像区域的尺寸来决定第2图像区域的尺寸。
52.再度回到图3来进行说明。在确定叉车100的图像区域的范围后，图像区域范围确定部334，生成确定叉车100的图像区域的信息即区域数据。
53.图6是表示区域数据的一例的图。图6所示的区域数据512包含：包含对应的叉车100的图像区域的摄像图像的图像id；和用于确定叉车100的图像区域的图像区域数据。图像区域数据表示摄像图像中的叉车100的图像区域的左上的坐标、水平方向即x方向的长度以及垂直方向即y方向的长度。另外，图6所示的图像区域数据表示叉车100的图像区域为矩形的情况的示例。对应于叉车100的图像区域的形状，图像区域数据的形式不同。
54.再度回到图3来进行说明。登记部332将由图像区域范围确定部334生成的区域数据与摄影图像数据建立对应登记到数据库500内的区域数据存储部502。
55.接下来，图像区域范围确定部334，生成与生成的区域数据对应的示教数据。图7是表示示教数据的一例的图。如图7所示那样，示教数据513由分类id和与叉车100的图像区域对应的图像数据(叉车区域图像数据)构成。
56.在生成示教数据时，图像区域范围确定部334，取得通过上述的处理取得的通信数据中所含的分类id。接下来，图像区域范围确定部334，将包含与分类id对应的区域数据内的图像id的摄像图像数据从摄像图像数据存储部501读出。进而，图像区域范围确定部334，从读出的摄像图像数据内的图像数据将由生成的区域数据内的图像区域数据确定的范围
裁出，作为叉车区域图像数据而附加到分类id。
57.再度回到图3来进行说明。登记部332将由图像区域范围确定部334生成的示教数据登记到数据库500内的示教数据存储部503。
58.在将示教数据生成、登记后，控制部302内的颜色变更部338在与示教数据内的叉车区域图像数据对应的图像中将标志102的图像区域的颜色变更为该标志102的周边的颜色。颜色变更部338能与上述同样，将亮度值为给定值以上的像素确定为标志102的图像区域。通过变更标志102的图像区域的颜色，例如图8a所示的叉车100的图像区域604a通过变更标志102a的图像区域的颜色而成为图8b所示的叉车100的图像区域614a。如此地，通过消去标志102的像，来生成通用性高的叉车100的图像区域的数据，作为示教数据。
59.以下参考流程图来说明服务器300所进行的处理。
60.图9是表示示教数据生成处理的一例的流程图。服务器300的控制部302内的图像区域范围确定部334判定在摄像图像数据存储部501中是否登记有示教数据的生成处理为未执行的摄像图像数据(步骤s101)。在未登记示教数据的生成处理为未执行的摄像图像数据、即在判定为从登记于摄像图像数据存储部501的全部摄像图像数据生成了示教数据的情况下(步骤s101“否”)，示教数据生成处理所涉及的一系列动作结束。
61.另一方面，在判定为登记有示教数据的生成处理为未执行的摄像图像数据的情况下(步骤s101“是”)，图像区域范围确定部334将该示教数据的生成处理为未执行的摄像图像数据从摄像图像数据存储部501读出(步骤s102)。接下来，图像区域范围确定部334判定在与读出的摄像图像数据中所含的图像数据对应的摄像图像内是否包含标志102的图像区域(第1图像区域)(步骤s103)。在判定为在摄像图像内不含标志102的图像区域的情况下(步骤s103“否”)，判定为在该摄像图像数据中不含成为示教数据的对象的图像区域，再度重复步骤s101以后的动作。
62.另一方面，在判定为在摄像图像内包含标志102的图像区域的情况下(步骤s103“是”)，图像区域范围确定部334在摄像图像中确定用作示教数据的叉车100的图像区域(第2图像区域)的范围(步骤s104)。接下来，图像区域范围确定部334生成在摄像图像内确定叉车100的图像区域的信息即区域数据。登记部332将由图像区域范围确定部334从摄像图像提取并生成的区域数据登记到数据库500内的区域数据存储部502(步骤s105)。
63.接下来，图像区域范围确定部334，生成与所生成的区域数据对应的示教数据(与第2图像区域对应的数据)。登记部332，将由图像区域范围确定部334生成的示教数据登记到数据库500内的示教数据存储部503(步骤s106)。
64.另外，摄像图像是时间序列上连续拍摄而得到多个图像，处理器302检测所述多个图像中的所述第1图像区域的移动，对应于所述第1图像区域的移动来决定所述第2图像区域。
65.图10是表示标志的图像区域的颜色变更处理的一例的流程图。服务器300的控制部302内的颜色变更部338，判定在登记于示教数据存储部503的示教数据中是否登记了存在标志的图像区域的示教数据(步骤s201)。在判定为在示教数据存储部503中未登记有存在标志的图像区域的示教数据的情况下(步骤s201“否”)，一系列动作结束。
66.另一方面，在判定为在示教数据存储部503中登记有存在标志的图像区域的示教数据的情况下(步骤s201“是”)，颜色变更部338在与示教数据内的叉车区域图像数据对应
的图像中，将标志102的图像区域的颜色变更为该标志102的周边的颜色(步骤s202)。
67.即，处理器302，变更第2图像区域内的所述第1图像区域内的颜色，生成与变更了第1图像区域内的颜色的第2图像区域对应的数据，作为示教数据。
68.如此地，在本实施方式中，服务器300确定与通过摄像机200的摄像得到的图像数据对应的摄像图像中的标志102的图像区域，不进行从摄像图像的检测处理、图像认识地确定叉车100的位置、范围。即，基于标志102的摄像图像中的位置和大小，来估计具备该标志102的叉车100图像的摄像图像内的位置、范围，基于其估计结果来进行确定。进而，服务器300生成确定叉车100的图像区域的信息，作为示教数据，并进行登记。由此，防止了示教数据的生成时缘于摄影环境、作业者的偏差，另外，不需要依赖手动操作来进行图像的挑选，能效率良好地进行用作示教数据的图像的登记。
69.另外，服务器300确定叉车100的图像区域的范围，使得标志102的图像区域越大，叉车100的图像区域越大。由此，能利用标志102的图像区域越大叉车100的图像区域能视作越大这一情况，来进行准确的叉车100的图像区域的范围的确定。
70.另外，服务器300在与示教数据中的叉车区域图像数据对应的图像中，将标志102的图像区域的颜色变更为该标志102的周边的颜色。由此，考虑通常不对叉车100安装标志102，能生成拟制没有标志102的状态的通用性高的示教数据。
71.另外，服务器300按每个分类id将图像数据汇总生成，作为示教数据。为此，在机器学习中，能以分类id为单位容易地确定对象物。
72.接下来说明其他实施方式。在本实施方式中，图3所示的服务器300的控制部302内的登记部332与上述同样，对摄像机200内的摄像部202所输出的多个帧的数字数据(图像数据)分别附加该图像数据的识别信息即图像id来生成摄像图像数据，并将其登记到数据库500内的摄像图像数据存储部501。
73.图像区域范围确定部334与上述同样，通过解析与分别来自多个摄像机200的摄像图像对应的图像数据，来将各图像数据中亮度值为给定值以上的像素的位置视作是标志102的位置。进而，图像区域范围确定部334进行帧内的标志102的位置处的发光色的变化的解码处理，取得标志102所发送的通信数据中所含的分类id。以下的处理，按每个分类id进行。
74.接下来，图像区域范围确定部334，基于与至少2个摄像机200内的摄像部202输出的帧的数字数据(图像数据)对应的摄像图像数据，来确定叉车100的空间s中的三维位置。
75.具体地，图像区域范围确定部334将与由至少2个摄像机200的摄像得到的相同摄像日期时间对应的摄像图像数据从摄像图像数据存储部501读出。接下来，图像区域范围确定部334，对读出的摄像图像数据内的图像数据进行解析，将亮度值为给定值以上且表示相同发光方式的图像数据确定为标志102。
76.进而，图像区域范围确定部334，使用与读出的各摄像图像数据内的图像数据对应的图像内的标志102的位置(二维位置)、各摄像机200的设置位置、以及各摄像机200的摄像范围等信息，通过例如特开2020-95005号公报记载的技术来确定标志102的空间s中的三维位置。
77.接下来，控制部302内的移动检测部336，确定时间上连续的标志102的空间s中的三维位置的变化的方式，例如，根据该确定的变化的方式来判定在具备标志102的叉车100
的行为中是否进行了从遵循给定的日程的动作偏离的例如急减速或急停止。例如，移动检测部336以给定的时间周期确定标志102的空间s中的三维位置，在该三维位置的变化急剧变小的情况下，判定为在叉车100的行为中进行了急减速或急停止。
78.在叉车100的行为中进行了急减速或急停止的情况下，移动检测部336确定发生该急减速或急停止的时间。发生急减速或急停止的时间能通过对应的摄像图像数据内的摄像日期时间来确定。
79.接下来，图像区域范围确定部334，从摄像图像数据存储部501读出：包括包含发生急减速或急停止的时间的给定时间内作为摄像日期时间且用在上述的标志102的空间s中的三维位置的确定中的摄像图像数据；和包含相同摄像机id的摄像图像数据。
80.即，处理器302，检测移动体的急减速或急停止，基于拍摄到所述移动体的与进行所述急减速或急停止的时间相应的摄像图像，来生成所述示教数据。
81.进而，图像区域范围确定部334，对读出的摄像图像数据内的图像数据进行解析，将亮度值为给定值以上、且表示相同发光方式的图像数据确定为标志102的图像区域。
82.在包含标志102的图像区域的情况下，图像区域范围确定部334，在与摄像图像数据中所含的图像数据对应的摄像图像中，确定用作示教数据的叉车100的图像区域的范围。具体地，图像区域范围确定部334，与上述同样，判别摄像图像内中的标志102的图像区域的大小。进而，图像区域范围确定部334，是标志102的图像区域越大，视作摄像图像内中的叉车100的图像区域越大，确定叉车100的图像区域的范围，使得标志102的图像区域越大，则叉车100的图像区域越大。
83.在确定了叉车100的图像区域的范围后，图像区域范围确定部334与上述同样，生成包含发生急减速或急停止的时间的给定时间内的、确定叉车100的图像区域的信息即区域数据。登记部332，将由图像区域范围确定部334生成的包含发生急减速或急停止的时间的给定时间内的区域数据，登记到数据库500内的区域数据存储部502。
84.接下来，图像区域范围确定部334与上述同样，生成包含发生急减速或急停止的时间的给定时间内的示教数据。登记部332，将由图像区域范围确定部334生成的包含发生急减速或急停止的时间的给定时间内的示教数据登记到数据库500内的示教数据存储部503。
85.在生成、登记示教数据后，或与示教数据的生成、登记并行地，进行叉车100发生急减速或急停止时的警报通知的处理。
86.具体地，控制部302内的图像区域比较部340，对来自摄像机200的图像数据进行取得、解析，将亮度值为给定值以上的像素确定为标志102的图像区域。接下来，图像区域比较部340，确定所确定的标志102的图像区域的周边的图像区域。
87.进而，图像区域比较部340，将所确定的标志102的图像区域的周边的图像区域的图像、和示教数据存储部503中所登记的与包含发生急减速或急停止的时间的给定时间内的示教数据内的叉车区域图像数据对应的图像进行比较，判定双方的图像是否相同或近似。在双方的图像相同或近似的情况下，控制部302内的通知部342在显示部307进行警报的显示等报知处理。
88.即，处理器302，基于摄像图像来取得移动体的识别信息，基于所述摄像图像、和基于与所述移动体过去进行急减速或急停止的时间相应的摄像图像生成的示教数据，来决定所述移动体的移动是否是给定的行为，在决定为是所述给定的行为的情况下，对所述移动
体进行报知。
89.以下参考流程图来说明服务器300所进行的处理。
90.图11是表示本实施方式中的示教数据生成处理的一例的流程图。服务器300的控制部302内的图像区域范围确定部334，基于与至少2个摄像机200内的摄像部202所输出的帧的数字数据(图像数据)对应的摄像图像数据，来确定叉车100的空间s中的三维位置(步骤s301)。
91.接下来，移动检测部336，确定时间序列上连续的标志102的空间s中的三维位置的变化的方式，判定在叉车100的行为是否发生过急减速或急停止(步骤s302)。在判定为未发生急减速以及急停止的任一者的情况下(步骤s302“否”)，重复叉车100的空间s中的三维位置的确定(步骤s301)以后的动作。
92.另一方面，在判定为发生过叉车100的急减速或急停止的情况下(步骤s302“是”)，移动检测部336确定该发生急减速或急停止的时间(步骤s303)。
93.接下来，图像区域范围确定部334确定包含发生急减速或急停止的时间的给定时间内的摄像图像中的叉车100的图像区域的范围(步骤s304)。
94.接下来，图像区域范围确定部334，生成包含发生急减速或急停止的时间的给定时间内的、在空间s内确定发生过急减速或急停止的区域的区域数据。登记部332将包含发生急减速或急停止的时间的给定时间内的区域数据登记到数据库500内的区域数据存储部502(步骤s305)。
95.接下来，图像区域范围确定部334，生成包含发生急减速或急停止的时间的给定时间内的示教数据。登记部332将包含发生急减速或急停止的时间的给定时间内的示教数据登记到数据库500内的示教数据存储部503(步骤s306)。之后，直到系统停止为止，都重复叉车100的空间s中的三维位置的确定(步骤s301)以后的动作。
96.图12是表示警报通知处理的一例的流程图。控制部302内的图像区域比较部340取得来自摄像机200的图像数据(步骤s401)。
97.接下来，图像区域比较部340，确定标志102的图像区域的周边的图像区域(步骤s402)。
98.进而，图像区域比较部340，将所确定的标志102的图像区域的周边的图像区域的图像、和登记于示教数据存储部503的与包含发生急减速或急停止的时间的给定时间内的示教数据内的叉车区域图像数据对应的图像进行比较，判定双方的图像是否相同或近似(步骤s403)。在判定为双方的图像既不相同也不近似的情况下(步骤s403“否”)，重复图像数据的取得(步骤s401)以后的动作。
99.另一方面，在判定为双方的图像相同或近似的情况下(步骤s403“是”)，通知部342进行报知处理(步骤s404)。之后，直到系统停止为止，重复图像数据的取得(步骤s401)以后的动作。
100.如此地，在本实施方式中，服务器300检测标志102的移动，在发生了叉车100的急减速或急停止的情况下，确定包含发生急减速或急停止的时间的给定时间内的叉车100的图像区域的范围，生成示教数据。进而，服务器300将新的摄像图像、和与包含发生急减速或急停止的时间的给定时间内的示教数据内的图像数据对应的图像进行比较，在判定为一致或近似的情况下进行给定的报知处理。由此，能进行利用了对发生叉车100的急减速或急停
止这样的异常的情况进行过特殊化的示教数据的报知。
101.另外，本发明并不由上述实施方式的说明以及附图限定，能在上述实施方式以及附图中适宜加进变更等。
102.在上述的实施方式中，如图5a以及图5b所示那样确定叉车100的图像区域的范围，使得标志102的图像区域越大，则叉车100的图像区域越大。但叉车100的图像区域的范围的确定并不限定于此。
103.例如也可以，在对1台叉车100以预先确定的间隔安装多个标志102的情况下，图像上的标志102之间的距离越长，视作叉车100存在得越靠近摄像机200，从而加大叉车100的图像区域的范围。
104.例如，以图13a以及图13b进行说明，设为对叉车100以距离l(未图示)安装2个标志102a、102c。在图13a的摄像图像600c中，由于标志102a、102c的图像上的距离是l1，因此设定叉车100的图像区域621a。与此进行比较，在图13b的摄像图像600d中，由于标志102a、102c的图像上的距离是比图13a的l1距离短的l2，因此叉车100的图像区域621b设定得比图像区域621a小。
105.即，处理器302，在摄像图像中所含的第1图像区域有多个的情况下，基于第1图像区域间的距离来决定第2图像区域。
106.另外，例如，摄像机200通常安装在高的位置，也可以考虑摄像方向是下方这点，图像上的标志102的位置越靠下，叉车100视作越靠近摄像机200，从而加大叉车100的图像区域的范围。
107.例如在图14a的摄像图像600e中，基于标志102a的图像中的位置来设定叉车100的图像区域631a。与此进行比较，在图14b的摄像图像600d中，由于标志102a的图像的位置位于比图14a中的标志102a的图像的位置更靠上，叉车100的图像区域631b设定得比图像区域631a小。
108.即，处理器302基于摄像图像中的第1图像区域的位置来决定第2图像区域。
109.另外，在上述的实施方式中，分类id设为表示是叉车的信息，但并不限定于此，在分类id中，也可以是确定制造商的信息、确定货品的有无、货品的信息。在该情况下，按每个分类id进行处理，按每个分类id生成示教数据。
110.另外，也可以将上述的实施方式中的摄像图像数据和区域数据建立关联作为示教数据。
111.另外，在预先在发生叉车100的急减速或急停止的情况下生成示教数据后，在再度发生叉车100的急减速或急停止的情况下，在与该示教数据相同或近似的情况下，进行报知处理。但并不限定于此，也可以还生成在该位置通常発不会发生的叉车的行为、例如急起动、急加速、急转弯等这样的三维位置的方式的变化，作为示教数据。另外，也可以之后，在与叉车100的摄像图像相同或近似的情况下，设为示出异常，进行报知处理。
112.另外，在上述的实施方式中，说明了将可见光的红、绿、蓝的光用在通信中的情况，但也可以使用其他颜色的可见光。另外，在仅通过亮度的时间方向的变化来调制信息的可见光通信中，也能运用本发明。
113.另外，用作用于确定叉车100的图像区域的范围的识别信息的结构，并不限定于标志102。例如也可以在构成显示装置的lcd、pdp、el显示器等的一部分构成光源。进而，也可
以取代标志102，在叉车100中的能从摄像机200视觉辨识/摄影的位置(例如顶部、侧方部分)设置以颜色或形状、或条形码这样的几何纹样确定叉车100的图像区域的范围的物件(纸介质、签条、图板等)。
114.另外，服务器300可以内置摄像机200。
115.另外，在上述实施方式中，所执行的程序存放到能拆下携带的硬盘、软盘、cd-rom(compact disc-read only memory，光盘只读存储器)、dvd(digital versatile disc，数字多功能盘)、mo(magneto-optical disc，光磁盘)等计算机可读的记录介质并进行分发，安装该程序，由此构成执行上述的处理的系统。
116.另外，也可以将将程序存放到互连网等网络上的给定的服务器所具有的盘装置等，例如叠加到载波来进行下载等。
117.另外，在将上述的功能由os(operating system，操作系统)分担实现的情况下或通过os与应用的协作来实现的情况下等，也可以仅将os以外的部分存放到介质进行分发，另外，也可以进行下载等。
118.以上虽然说明了本发明的优选的实施方式，但本发明并不限定于相关的特定的实施方式，在本发明中，包含记载于权利要求书的发明和其等同的范围。