控制系统、信息处理装置、以及信息处理方法与流程

1.本发明涉及一种控制系统等，其进行搬运垃圾的起重机的动作控制。


背景技术：

2.当前在垃圾焚烧设备等的设备中使用起重机进行垃圾的搬运。并且也在开发对这种起重机进行自动控制的技术。例如下述的专利文献1公开了一种技术，其为了获得良好的燃烧状态而对起重机抓斗的垃圾抓取量进行调整。现有技术文献专利文献
3.专利文献1：日本公开专利公报“特开2002-295821号公报”

技术实现要素：

(一)要解决的技术问题
4.上述现有技术的目的在于获得良好的燃烧状态，从减少起重机的自动控制时的时间损失的观点来看有改善的余地。具体而言，上述现有技术难以使在用抓斗抓取垃圾后卷起该抓斗的时刻优化。此外，这样的时刻一般是由起重机的操作员一边目视确认抓斗和垃圾的状况一边确定。
5.在此，上述专利文献1记载了按照计时器的测量时间来进行抓斗的开闭控制。但是，当构成为以采用计时器的控制来进行从开始抓取垃圾的动作起经过规定时间后卷起抓斗的控制时，为了避免在成为能够卷起的状态之前进行卷起而不得不将规定时间设定为较长。并且在这种结构中存在如下问题：从能够卷起抓斗起到进行抓斗的卷起为止产生时间损失。
6.本发明一方式的目的在于，实现一种控制系统等，其与以采用计时器的控制进行卷起的情况相比，能够减少从能够卷起开始到进行卷起为止的时间损失。(二)技术方案
7.为了解决上述技术问题，本发明一方式的控制系统包含：摄影装置，其拍摄搬运垃圾的起重机在用抓斗抓取垃圾后到以抓取了垃圾的状态卷起该抓斗为止的一系列状态；信息处理装置，其根据向状态判定模型输入通过上述拍摄所得图像而得到的输出值来检测成为能够卷起上述抓斗的状态的情况，其中，所述状态判定模型是通过将成为抓取了垃圾并能够卷起的状态的抓斗的图像作为教师数据的机器学习而构建的；以及控制装置，其当上述信息处理装置检出成为能够卷起上述抓斗的状态的情况时，使上述起重机进行上述抓斗的卷起动作。
8.另外，为了解决上述技术问题，本发明一方式的信息处理装置具备：图像获取部，其获取拍摄了在搬运垃圾的起重机在用抓斗抓取垃圾后到以抓取了垃圾的状态卷起该抓斗为止的一系列状态的图像；以及检测部，其根据向状态判定模型输入上述图像而得到的输出值来检测成为能够卷起上述抓斗的状态的情况，其中，所述状态判定模型是通过将成
为抓取了垃圾并能够卷起的状态的抓斗的图像作为教师数据的机器学习而构建的。
9.并且，为了解决上述技术问题，本发明一方式的信息处理方法利用信息处理装置进行信息处理，且包含：图像获取步骤，获取拍摄了搬运垃圾的起重机在用抓斗抓取垃圾后到以抓取了垃圾的状态卷起该抓斗为止的一系列状态的图像；以及检测步骤，其根据向状态判定模型输入上述图像而得到的输出值来检测成为能够卷起上述抓斗的状态的情况，其中所述状态判定模型是通过将成为抓取了垃圾并能够卷起的状态的抓斗的图像作为教师数据的机器学习而构建的。(三)有益效果
10.根据本发明一方式，与以采用计时器等的控制进行卷起的情况相比，能够减少从能够卷起开始到进行卷起为止的时间损失。
附图说明
11.图1是表示本发明一实施方式的控制系统的概要的图。图2是表示上述控制系统中包含的信息处理装置的主要部位结构一例的框图。图3是表示上述控制系统中包含的控制装置的主要部位结构一例的框图。图4是表示上述控制系统中包含的学习装置的主要部位结构一例的框图。图5是表示通过手动控制进行的抓斗的卷起的控制履历的图。图6是表示能够作为构建状态判定模型的教师数据利用的图像的例子的图。图7是表示利用进行了机器学习的模型来判定抓斗的状态(水平/倾斜、开/半开、空中)的例子的图。图8是表示利用进行了机器学习的模型来判定抓斗的状态(水平、开/闭、空中/接地)的例子的图。图9是表示上述学习装置构建状态判定模型的处理一例的流程图。图10是表示上述信息处理装置执行的处理一例的流程图。图11是表示在通过上述控制装置的自动控制并利用起重机将垃圾抓取位置的垃圾向投下位置投下时执行的处理一例的流程图。图12是表示针对起重机的控制履历、和利用上述信息处理装置进行的状态判定的结果的转变的图。
具体实施方式
12.(系统概要)基于图1对本发明一实施方式的控制系统100的概要进行说明。图1是表示控制系统100的概要的图。另外，在图1中也一并示出了垃圾焚烧设备的概要，该垃圾焚烧设备具备用于垃圾搬运的起重机93，该起重机93是控制系统100的控制对象。
13.如图1所示，垃圾焚烧设备包含：将收集车p运入的垃圾暂时地贮存的垃圾坑91、和垃圾的焚烧炉92。垃圾坑91与焚烧炉92利用料斗连接，垃圾坑91内的垃圾通过料斗被送入焚烧炉92进行焚烧。
14.垃圾坑91的底部成为垃圾的贮存部，收集车p从运入门向贮存部倒入垃圾，该垃圾贮存于贮存部(图示的垃圾g)。另外，在垃圾坑91的天顶部分设置有起重机93。该起重机93
具备主梁931、横移天车932、钢丝绳933、以及抓斗934。
15.在垃圾坑91的建筑物的对置的壁面上分别设有导轨(在该图的进深方向上延伸)，主梁931以架设于所述导轨之间的方式配置。主梁931能够沿着该导轨在该图的进深方向上移动。另外，横移天车932设置于主梁931上。横移天车932能够在主梁931上沿着该图的左右方向(与主梁931的移动方向正交的方向)移动。在该横移天车932上载置有卷扬机(例如绞车)。在从卷扬机延伸的钢丝绳933的前端设置有抓取垃圾g的抓斗934。该抓斗934能够进行开闭动作。
16.这样，主梁931能够在该图的进深方向上移动，横移天车932能够在该图的左右方向上移动，因此能够利用这些移动的组合，使抓斗934向贮存部内的任意位置移动。另外，能够使钢丝绳933从卷扬机延伸，使抓斗934下降，并用抓斗934来抓取贮存部内的垃圾g。并且，通过对主梁931、横移天车932、抓斗934、以及卷扬机的动作进行控制，从而能够将抓取的垃圾g移载到贮存部内的其它位置或者投入料斗。
17.这样对起重机93的动作控制能够从操作室94来进行，该操作室94以能够对贮存部内进行监视的方式设置于建筑物的侧壁部。在操作室94配备有控制系统100。在控制系统100中包含：信息处理装置1、控制装置3、学习装置5、摄影装置7。
18.当利用控制系统100进行控制时，摄影装置7拍摄搬运垃圾的起重机93在用抓斗934抓取垃圾后到以抓取了垃圾的状态卷起抓斗934为止的一系列状态。例如可以是，摄影装置7在抓取垃圾后到以抓取了垃圾的状态卷起抓斗934为止的期间中，拍摄抓斗934及其周围的动态图像，从而拍摄上述“一系列状态”。另外也可以是，摄影装置7在上述期间中以规定周期来拍摄抓斗934与其周围的静止图像，从而拍摄上述“一系列状态”。
19.此外，在上述“一系列状态”中包含：不能卷起的状态、和能够卷起的状态。不能卷起的状态是用抓斗934抓取的垃圾与周围堆积的其它垃圾不能分离而相连的状态。由于在该状态下不能进行卷起，因此通过进行后面说明的垃圾抓取动作等，使被抓斗934抓取的垃圾与其它垃圾分离，由此成为能够卷起的状态。在上述“一系列状态”中也可以包含进行垃圾抓取动作的状态。
20.也可以说，上述“到卷起抓斗为止”的期间是到抓斗934离地的时刻为止的期间。离地是指抓取的垃圾从垃圾层分离并能够卷起抓斗934的状态。当然，摄影装置7只要至少在从抓斗934抓取垃圾起到离地为止的期间进行拍摄即可，可以从抓取垃圾之前进行拍摄，也可以在离地后也继续拍摄。
21.信息处理装置1根据向状态判定模型输入通过上述拍摄所得图像而得到的输出值来检测成为能够卷起抓斗934的状态的情况，其中，该状态判定模型是通过机器学习而构建的。上述机器学习是由学习装置5将成为抓取了垃圾并能够卷起的状态的抓斗的图像作为教师数据进行的，后面会详细说明。
22.并且，控制装置3在信息处理装置1检出成为能够卷起抓斗934的状态的情况时，使起重机93进行抓斗934的卷起动作。
23.此外，抓斗934的卷起动作是指：将抓斗934卷起到能够沿水平方向移动的高度的动作。为了在用抓斗934抓取垃圾后成为能够卷起该抓斗934的状态，有时以低速使抓斗934卷起到抓斗934略微悬在空中的程度，但是这种卷起并非信息处理装置1的检测对象。
24.根据上述的结构，从拍摄了在用抓斗934抓取垃圾后到卷起抓取了垃圾的抓斗934
为止的一系列状态的图像自动地检出抓斗934成为能够卷起的状态的情况并进行卷起。因此，与以采用计时器等的控制进行卷起的情况相比，能够减少从能够卷起开始到进行卷起为止的时间损失。
25.此外，在图1中示出了信息处理装置1、控制装置3、学习装置5、摄影装置7配置于操作室94的例子，除了也用于起重机93的手动控制的控制装置3之外，该配置没有特别限定。例如，也可以在垃圾焚烧设备的外部远程监视设施等中配置信息处理装置1和学习装置5。
26.(信息处理装置的结构)基于图2对信息处理装置1的结构进行说明。图2是表示信息处理装置1的主要部位结构的一例的框图。如图示那样，信息处理装置1具备：控制部10，其对信息处理装置1的各部进行综合控制；存储部11，其存储信息处理装置1使用的各种信息；输入部12，其接受用户的指示输入；以及通信部13，其用于与其它装置进行无线通信。另外，在控制部10中包含：图像获取部101、倾斜状态判定部102、倾斜检测部103、起重机状态判定部104、离地检测部(检测部)105、开闭状态判定部106、以及不完全保持检测部107。
27.图像获取部101获取摄影装置7拍摄的图像、即拍摄了起重机93在用抓斗934抓取垃圾后到以抓取了垃圾的状态卷起抓斗934为止的一系列状态的图像。此外，在摄影装置7拍摄动态图像的情况下，可以是图像获取部101以规定时间间隔从该动态图像中获取帧图像。
28.倾斜状态判定部102根据图像获取部101获取的图像来判定在该图像中拍摄的抓斗934的倾斜状态。例如，倾斜状态判定部102可以使用通过机器学习构建的倾斜判定模型来判定倾斜状态。对于倾斜判定模型的构建，后面将基于图7等进行说明。
29.倾斜检测部103基于倾斜状态判定部102的判定结果来检测位于垃圾表面上的抓斗934倾斜的情况。并且，倾斜检测部103将该检测结果通知给控制装置3。
30.这样，信息处理装置1具备倾斜状态判定部102和倾斜检测部103，因此能够基于摄影装置7拍摄的抓斗934的图像来检测位于垃圾表面上的抓斗934倾斜的情况。并且，控制装置3当信息处理装置1检出抓斗934倾斜的情况时，进行变更起重机93的垃圾抓取位置的控制。根据该结构，当检出了抓斗934倾斜的情况时变更垃圾的抓取位置，因此能够防止由于在倾斜的状态下进行垃圾抓取动作所引起的抓斗934的翻倒、垃圾的抓取损失等。
31.起重机状态判定部104根据图像获取部101获取的图像判定在该图像中拍摄的抓斗934的状态。具体而言，起重机状态判定部104通过向学习装置5构建的状态判定模型514输入图像获取部101获取的图像，从而计算出表示抓斗934的状态的输出值。此外，状态判定模型514是通过将成为抓取了垃圾并能够卷起的状态的抓斗934的图像作为教师数据513的机器学习而构建的，后面会详细说明。
32.离地检测部105基于来自状态判定模型514的上述输出值来检测成为能够卷起抓斗934的状态的情况。并且，离地检测部105将该检测结果通知给控制装置3。此外，也将抓取了垃圾的抓斗934能够卷起的状态称为离地状态。
33.这样，信息处理装置1具备图像获取部101，该图像获取部101获取拍摄了起重机93在用抓斗934抓取垃圾后到以抓取了垃圾的状态卷起抓斗934为止的一系列状态的图像。另外，信息处理装置1具备离地检测部105，该离地检测部105根据向状态判定模型514输入上述图像而得到的输出值来检测成为能够卷起抓斗934的状态的情况。上述状态判定模型514
是通过将成为抓取了垃圾并能够卷起的状态的抓斗934的图像作为教师数据的机器学习而构建的。
34.根据上述的结构，从拍摄了在用抓斗934抓取垃圾后到卷起抓取了垃圾的抓斗934为止的一系列状态的图像自动地检出卷起抓斗934成为能够卷起的状态的情况。因此，能够将该检出作为契机使控制装置3进行卷起，由此，与采用计时器的控制进行卷起的情况相比，能够减少从能够卷起开始到进行卷起为止的时间损失。
35.开闭状态判定部106根据图像获取部101获取的图像来判定在该图像中拍摄的抓斗934的开闭状态。例如，开闭状态判定部106可以使用通过机器学习构建的开闭判定模型来判定开闭状态。对于开闭判定模型的构建，后面将基于图7等进行说明。
36.不完全保持检测部107基于开闭状态判定部106的判定结果来检测抓取垃圾时的抓斗934的闭合度不充分的情况。并且，不完全保持检测部107将该检测结果通知给控制装置3。
37.这样，信息处理装置1具备开闭状态判定部106和不完全保持检测部107，因此能够基于图像获取部101获取的图像来检测抓斗934为对垃圾的保持不充分的闭合度的情况。并且，当信息处理装置1检出抓斗934为对垃圾的保持不充分的闭合度的情况时，控制装置3进行关闭抓斗934的控制。
38.在此，抓斗934的开度能够通过开闭抓斗934时的液压来测量，并能够按照该测量值来调整抓斗934的开度。但是，由于垃圾被抓斗934的爪等夹持等原因，可能会导致抓斗934相对于测量值而言为打开的状态。因此，根据上述的结构，当检出抓斗934为对垃圾的保持不充分的闭合度的情况时，进行关闭抓斗934的控制。由此，能够防止垃圾的抓取损失或者垃圾落下到不希望的位置。
39.(控制装置的结构)基于图3对控制装置3的结构进行说明。图3是表示控制装置3的主要部位结构一例的框图。如图示那样，控制装置3具备：控制部30、存储部31、输入部32、输出部33、通信部34。控制部30综合控制控制装置3的各部。存储部31存储控制装置3使用的各种信息。输入部32接受用户的指示输入。输出部33用于控制装置3输出信息。通信部34用于与其它的装置进行无线通信。另外，在控制部30中包含：起重机控制部301、抓斗移动控制部302、抓斗开闭控制部303、以及抓斗升降控制部304。
40.起重机控制部301控制起重机93的动作。具体而言，起重机控制部301确定起重机93抓取的垃圾的抓取位置、以及抓取的垃圾的投下位置。并且，起重机控制部301通过对抓斗移动控制部302、抓斗开闭控制部303、以及抓斗升降控制部304进行控制，从而使起重机93在上述抓取位置进行抓取垃圾的动作并在上述投下位置投下垃圾。垃圾的抓取位置和投下位置的确定方法没有特别限定，例如可以基于垃圾坑内各位置的垃圾的搅拌状态、堆积高度等来确定，也可以按照预先设定的日程表来确定。
41.抓斗移动控制部302按照起重机控制部301的控制使主梁931和横移天车932移动，使抓斗934移动到垃圾抓取位置或者投下位置的正上方。
42.抓斗开闭控制部303按照起重机控制部301的控制变更抓斗934的开度。在本实施方式中，抓斗开闭控制部303通过向起重机93发送正值的开闭指令而使抓斗934成为打开状态，并通过发送负值的开闭指令而使抓斗934成为关闭状态。另外，通过使对起重机93的开
闭指令的值为中位(0)，从而将抓斗934的开关闭状态维持于当前的状态。当然，这些控制仅为例示，为了进行抓斗934的开闭而可以进行任意的控制。
43.抓斗升降控制部304按照起重机控制部301的控制使抓斗934升降。另外，当使抓斗934升降时，抓斗升降控制部304以起重机控制部301指定的升降速度使抓斗934升降。
44.(学习装置的结构)基于图4对学习装置5的结构进行说明。图4是表示学习装置5的主要部位结构一例的框图。如图示那样，学习装置5具备：控制部50，其综合控制学习装置5的各部；存储部51，其存储学习装置5使用的各种信息；输入部52，其接受用户的指示输入；以及输出部53，其用于学习装置5输出信息。另外，在控制部50中包含：履历提取部501、时刻确定部502、图像提取部503、教师数据生成部504、以及学习部505。并且，在存储部51中存储有操作履历db(数据库)511及坑图像512。并且存储教师数据513及状态判定模型514。
45.操作履历db511是记录了起重机93的控制履历的数据库。更具体而言，在操作履历db511中记录有表示对起重机93进行了的控制的内容、以及进行该控制的时刻的控制履历数据。另外，在操作履历db511中也记录了各控制是手动进行的还是自动进行的。
46.坑图像512是摄影装置7在垃圾焚烧设备的操作期间中拍摄的垃圾坑内的图像。在坑图像512中包含表示起重机93在用抓斗934抓取垃圾后到以抓取了垃圾的状态卷起抓斗934为止的一系列状态的图像。
47.教师数据513是在用于构建状态判定模型514的机器学习中使用的教师数据。状态判定模型514只要至少能够判定离地状态即可，因此教师数据513只要是至少能够学习离地状态的数据即可。此外，对于教师数据513的详情，在后面基于图6进行说明。
48.状态判定模型514是在判定抓斗934是否成为抓取了垃圾并能够卷起的状态(离地状态)时使用的模型。对于状态判定模型514的详情，也在后面与教师数据513的详情一并基于图6进行说明。
49.履历提取部501从操作履历db511中提取手动进行的卷起控制的控制履历数据。如上所述，在操作履历db511中记录了各控制是手动进行的还是自动进行的，因此履历提取部501能够基于该记录来提取手动进行的卷起控制的控制履历数据。
50.时刻确定部502根据履历提取部501提取的控制履历数据来确定手动进行了卷起控制的时刻。后面基于图5对确定手动进行了卷起控制的时刻的方法进行说明。
51.图像提取部503从坑图像512中提取在由时刻确定部502确定的时刻拍摄的图像。例如，在坑图像512由连续拍摄的时序的静止图像组构成的情况下，图像提取部503从该静止图像组中提取在由时刻确定部502确定的时刻拍摄的图像。另一方面，在坑图像512是动态图像的情况下，图像提取部503从该动态图像中提取由时刻确定部502确定的时刻的帧图像。
52.教师数据生成部504在图像提取部503提取的图像上关联正确数据的标签而做成在构建状态判定模型514时使用的教师数据513。后面基于图6对教师数据513的具体生成方法进行说明。
53.学习部505使用教师数据生成部504生成的教师数据513来进行机器学习并构建状态判定模型514。此外，机器学习的方法以及构建的模型的种类等只要采用能够根据图像来进行物体检测和物体的状态判定的即可，没有特别限定。例如，可以利用卷积神经网络来构
建状态判定模型514。对于倾斜判定模型和开闭判定模型而言也同样如此。
54.如上所述，学习装置5具备时刻确定部502，该时刻确定部502参照起重机93的控制履历数据来确定：操作员手动操作起重机93而利用抓斗934抓取垃圾并进行了卷起的时刻。另外，学习装置5具备教师数据生成部504。教师数据生成部504将在时刻确定部502确定的时刻拍摄的抓斗934的图像作为教师数据513，该教师数据513在构建用于检测抓斗934的能够卷起的状态的状态判定模型514时使用。
55.根据上述的结构，将在操作员手动操作起重机93抓取垃圾并进行了卷起的时刻拍摄的抓斗934的图像作为教师数据513。因此，通过使用该教师数据513进行机器学习并构建状态判定模型514，从而能够在与操作员进行操作时同等的时刻检出抓斗934能够卷起的状态。
56.(卷起时刻的确定方法)基于图5对时刻确定部502确定卷起时刻的方法进行说明。图5是表示通过手动控制进行的抓斗934的卷起的控制履历的图。图5的横轴是时刻，纵轴是抓斗934的卷起档位。卷起档位是0、1、2、3的四个阶段，0时不进行卷起，1～3时进行卷起，卷起档位的值越大卷起速度越快。
57.在图5的控制履历中，在14：06：50，卷起档位设定为1，该状态持续到14：06：53。也就是说，在该期间进行低速的卷起。并且，从14：06：53到14：06：54，卷起档位从1转换到3，之后卷起档位维持3的状态。也就是说，在该期间进行高速的卷起。
58.在此，一般在起重机的操作员进行垃圾的抓取提起时，以使卷起档位处于低速的方式进行离地，在判断为完成离地的阶段，则使卷起档位成为高速来卷起抓斗934。
59.据此可以认为，在图5所示的控制履历的手动控制中，在卷起档位是1的期间进行离地，在卷起档位从1转换到3的时刻14：06：54(点p1)的时刻开始卷起。因此，时刻确定部502可以将卷起档位转换到3的时刻、即在进行了设定为在卷起时通常适用的规定的速度的手动控制的时刻确定为卷起时刻。
60.因此，只要在操作履历db511中包含如下的数据即可，该数据能够确定进行了设定为规定的卷起速度的手动控制的时刻。该数据可以是图5那样的数据，也可以是将进行了手动控制的时刻和手动控制的内容关联而成的数据。
61.(对于用于机器学习的图像)时刻确定部502以上述方式确定的时刻是刚刚完成离地后的时刻，因此在该时刻拍摄的抓斗934的图像是表示完成了离地的状态、即离地状态的图像。因此，图像提取部503从坑图像512中提取在时刻确定部502确定的时刻拍摄的图像作为离地状态的图像。
62.例如，在时刻确定部502基于图5的控制履历确定了是14：06：54的时刻的情况下，图像提取部503提取在该时刻拍摄的图像作为离地状态的图像。
63.并且，教师数据生成部504将在时刻确定部502确定的时刻拍摄且由图像提取部503以上述方式提取的图像作为教师数据513，该教师数据513在构建状态判定模型514时使用，该状态判定模型514用于检出抓斗934的能够卷起的状态。具体而言，教师数据生成部504在图像提取部503作为离地状态的图像提取的图像中作为正确数据关联表示是离地状态的标签而做成教师数据513。
64.另外，在时刻确定部502确定的时刻紧邻之前的期间拍摄的图像是表示抓斗934与
在垃圾坑内堆积的垃圾层的表面接触的接地状态的图像。因此，图像提取部503可以从坑图像512中提取在时刻确定部502确定的时刻紧邻之前的规定期间拍摄的图像，作为表示接地状态的图像。此外，规定期间的起始例如可以设定为判定为抓斗934接地的时刻。抓斗934的接地例如可以根据在悬吊抓斗934的钢丝绳933与抓斗934的连接部设置的重量传感器的输出值等来判定。
65.例如，在由时刻确定部502基于图5的控制履历确定了是14：06：54的时刻的情况下，图像提取部503可以提取在该时刻紧邻之前拍摄的图像(例如14：06：53的图像)，作为接地状态的图像。在这种情况下，教师数据生成部504在图像提取部503作为接地状态的图像提取的图像上作为正确数据关联表示是接地状态的标签而做成教师数据513。
66.图6是表示能够作为构建状态判定模型514的教师数据513使用的图像的例子的图。更具体而言，图6所示图像中的、img1是用于学习接地状态的图像的例子，img2是用于学习离地状态的图像的例子。
67.在img1及2的左上方记录有各图像的拍摄时刻。从该时刻可知，img1拍摄于2018年10月9日的14：06：53，img2拍摄于同日的14：06：54。
68.另外，在img1及2中，以包围抓斗934的方式设定了区域a1和a2。在将状态判定模型514设定为从拍摄了垃圾坑内的图像中检出抓斗934并判定检出的抓斗934的状态的模型的情况下，只要将表示这样的区域a1、a2的信息作为正确数据包含于教师数据513即可。在这种情况下，表示区域a1、a2的信息可以通过图像解析等来生成，也可以由学习装置5的用户通过输入部52输入。
69.并且，img1是拍摄了接地状态的抓斗934的图像，因此能够关联表示是接地状态的标签而做成教师数据513。另外，img2是拍摄了离地状态的抓斗934的图像，因此能够关联表示是离地状态的标签而做成教师数据513。
70.同样，能够根据抓斗934的各种状态的图像来生成教师数据，通过使用该教师数据进行机器学习，从而能够判定抓斗934的各种状态。图7及图8是表示使用进行了机器学习的模型来判定抓斗934的状态的例子的图。
71.对于图7所示的img3的图像，检出拍摄有抓斗934的区域a3，并且判定为是抓斗934的倾斜为水平、抓取垃圾的爪打开且位于空中(不接地)的状态。
72.另外，对于img4的图像，检出拍摄有抓斗934的区域a4，并且判定为抓斗934不是水平而是倾斜，抓取垃圾的爪是半开状态。
73.并且，对于图8所示的img5的图像，检出拍摄有抓斗934的区域a5，并且判定为是抓斗934的倾斜为水平、抓取垃圾的爪关闭且抓斗934接地的状态。
74.另外，对于img6的图像，检出拍摄有抓斗934的区域a6，并且判定为是抓斗934为水平、抓取垃圾的爪打开且位于空中(不接地)的状态。
75.对于如图7的img3及图8的img6那样拍摄有空中状态的抓斗934的图像，能够关联表示是空中状态的标签而做成教师数据513。通过使用上述那样的教师数据513，从而能够判定抓斗934为三种状态中的哪一种。也就是说，上述教师数据513是：(1)关联了表示是离地状态的标签的教师数据513；(2)关联了表示是接地状态的标签的教师数据513；(3)关联了表示是空中状态的标签的教师数据513。
76.此外，状态判定模型514只要使得离地检测部105能够根据该状态判定模型514的
输出值来检出成为能够卷起抓斗934的状态的情况即可。例如，状态判定模型514可以仅输出是离地状态的概率。在这种情况下，只要使得离地检测部105当是离地状态的概率为阈值以上时检出成为能够卷起抓斗934的状态的情况即可。
77.另外，例如状态判定模型514可以输出抓斗934是接地状态的概率和是空中状态的概率。在这种情况下，只要使得离地检测部105当是接地状态的概率和是空中状态的概率都小于阈值时、即难以说是接地状态或空中状态时检出成为能够卷起抓斗934的状态的情况即可。
78.并且，例如状态判定模型514可以仅输出抓斗934是接地状态的概率。在这种情况下，只要使得离地检测部105当从是接地状态的概率为阈值以上的状态变化到小于阈值的状态时、即难以说是从接地状态成为接地状态的状态时检出成为能够卷起抓斗934的状态的情况即可。
79.另外，对于如图7的img3和图8的img5、6那样拍摄有水平状态的抓斗934的图像，能够关联表示是水平状态的标签而做成教师数据。另外，对于如图7的img4那样拍摄有倾斜状态的抓斗934的图像，能够关联表示是倾斜状态的标签而做成教师数据。
80.并且，通过使用这样的教师数据进行机器学习，从而能够构建倾斜判定模型。通过向这样构建的倾斜判定模型中输入拍摄有抓斗934的图像，从而能够输出在该图像中拍摄的抓斗934是倾斜状态的概率以及是水平状态的概率。
81.此外，倾斜判定模型只要使得倾斜检测部103能够根据该倾斜判定模型的输出值检出抓斗934倾斜到了认为抓不住垃圾的可能性较高的程度、例如是对于熟练的操作员而言不能进行垃圾抓取动作的程度的情况即可。
82.例如，倾斜判定模型可以将抓斗934倾斜到了认为抓不住垃圾的可能性较高的程度的抓斗934的图像作为教师数据来进行构建。在这种情况下，倾斜检测部103只要当从倾斜判定模型输出的、是倾斜状态的概率值为阈值以上时检测为抓斗934倾斜即可。
83.另外，例如倾斜判定模型可以将水平状态的抓斗934的图像作为教师数据来进行构建。此外，在这种情况下，对于倾斜到了认为抓不住垃圾的可能性较低的程度、换言之若是熟练的操作员则能够进行垃圾抓取动作的程度的抓斗934的图像，也可以视为水平状态进行学习。在进行了这样的学习的情况下，倾斜检测部103只要当从倾斜判定模型输出的是水平状态的概率值小于阈值时、即难以说是水平状态时检测为抓斗934倾斜即可。
84.另外，对于如图7的img3及图8的img6那样拍摄有打开状态的抓斗934的图像，能够关联表示是打开状态的标签而做成教师数据。另外，对于如图8的img5那样的拍摄有关闭状态的抓斗934的图像，能够关联表示是关闭状态的标签而做成教师数据。同样地，对于如图7的img4那样拍摄有半开状态的抓斗934的图像，能够关联表示是半开状态的标签而做成教师数据。
85.并且，通过使用这样的教师数据进行机器学习，从而能够构建开闭判定模型。通过向这样构建的开闭判定模型中输入拍摄有抓斗934的图像，从而能够输出在该图像中拍摄的抓斗934是打开状态的概率、是关闭状态的概率、以及是半开状态的概率。
86.此外，开闭判定模型只要使得不完全保持检测部107能够根据该开闭判定模型的输出值来检出抓斗934为对垃圾的保持不充分的闭合度的情况即可。例如，开闭判定模型可以仅输出是半开状态的概率。在这种情况下，不完全保持检测部107只要当是半开状态的概
率为阈值以上时检测为是不充分的闭合度即可。
87.另外，例如，开闭判定模型可以输出抓斗934是打开状态的概率和是关闭状态的概率。在这种情况下，不完全保持检测部107只要当是打开状态的概率和是关闭状态的概率都小于阈值时、即难以说是打开状态或关闭状态时检测为是不充分的闭合度即可。
88.此外，状态判定模型514、倾斜判定模型、以及开闭判定模型也可以构建为各自独立的进行了学习的模型。另外，也能够这些模型合并作为一个进行了学习的模型。例如，可以将这三个模型合并作为一个进行了学习的模型。在这种情况下，能够从拍摄了抓斗934的图像中检出拍摄有抓斗934的区域，并且对于该抓斗934，能够使该模型输出对应于于倾斜/水平、打开/关闭/半开、空中/接地/离地各状态的概率值。在使用这样的模型的情况下，图2的框图中的倾斜状态判定部102、起重机状态判定部104、以及开关闭状态判定部106统合为一个模块。
89.(处理的流程(状态判定模型的构建))基于图9来说明学习装置5构建状态判定模型514的处理(学习方法)的流程。图9是表示学习装置5构建状态判定模型514的处理一例的流程图。此外，设定为在开始图9的处理之前，在操作履历db511中记录有规定期间的起重机93的控制履历数据，并将拍摄了该规定期间的垃圾坑内的状况的动态图像记录为坑图像512。
90.在s1中，履历提取部501从记录于操作履历db511的控制履历数据中提取手动进行的卷起控制的控制履历数据。接着，在s2中，时刻确定部502对在s1中提取的控制履历数据确定进行了该卷起控制的时刻。
91.在s3中，图像提取部503从坑图像512中提取在s2中确定的时刻拍摄的图像。在该图像中如图6的img2的例子那样拍摄有离地状态的抓斗934。
92.在s4中，教师数据生成部504在s3中提取的图像上作为正确数据关联表示是离地状态的标签而做成教师数据513，该教师数据513在构建状态判定模型514时使用，该状态判定模型514是用于检出能够卷起的状态的模型。
93.在s5中，学习部505使用在s4中生成的教师数据513来进行机器学习，并构建状态判定模型514。并且，在s6中，学习部505将在s5中构建的状态判定模型514记录在存储部51中，由此结束图9的处理。
94.此外，在s2中，如果是确定进行了卷起控制的时刻紧邻之前的时刻的结构，则在s3中提取拍摄有接地状态的抓斗934的图像。在这种情况下，在s4中，教师数据生成部504在s3中提取的图像上作为正确数据关联表示是接地状态的标签而做成教师数据513，该教师数据513在构建状态判定模型514时使用。
95.另外，在s2中，如果是对抓斗934确定一时刻(例如是在进行抓斗934的卷起控制后到进行使抓斗934下降的控制为止的期间内的时刻)的结构，则在s3中提取拍摄有空中状态的抓斗934的图像。在这种情况下，在s4中，教师数据生成部504在s3中提取的图像上作为正确数据关联表示是空中状态的标签而做成，该教师数据513在构建状态判定模型514时使用。
96.此外，在上述流程图中，在s1中提取了手动进行的卷起控制的控制履历数据，但是若在适当的时刻进行卷起控制，则也可以提取自动进行的卷起控制的控制履历数据。也就是说，履历提取部501在s1中只要从记录于操作履历db511的控制履历数据中提取在适当的
时刻进行了的卷起控制的控制履历数据即可。
97.(处理的流程(状态判定及通知))基于图10来说明信息处理装置1执行的处理(信息处理方法)的流程。图10是表示信息处理装置1执行的处理一例的流程图。此外，在起重机93的运转期间中，与信息处理装置1执行图10的处理平行地，控制装置3执行后面说明的图11的处理。
98.在s11(图像获取步骤)中，图像获取部101获取摄影装置7拍摄的起重机93的图像。获取的图像是静止图像或者从动态图像中提取的帧图像。此外，s11～s16的处理至少在起重机93的自动控制期间中重复进行。因此，s11的处理也重复进行，以获取拍摄了起重机93在用抓斗934抓取垃圾后到以抓取了垃圾的状态卷起抓斗934为止的一系列状态的图像。
99.在s12中，倾斜状态判定部102将在s11中获取的图像向倾斜判定模型输入，从而判定抓斗934的倾斜状态。并且，倾斜检测部103当倾斜判定模型的输出值表示抓斗934是倾斜状态的可能性为阈值以上时，在控制装置3中检测为抓斗934是倾斜状态。
100.在s13(检测步骤)中，起重机状态判定部104将在s11中获取的图像向状态判定模型514输入，从而判定起重机93的状态。并且，离地检测部105当状态判定模型514的输出值表示是离地状态的可能性为阈值以上时，检出成为能够卷起抓斗934的状态的情况。
101.在s14中，开关闭状态判定部106将在s11中获取的图像向开关闭状态判定模型输入，从而判定抓斗934的开闭状态。并且，不完全保持检测部107当开闭状态判定模型的输出值表示抓斗934是半开状态的可能性为阈值以上时，检测为是不完全保持状态。此外，s12～s14的处理的执行顺序是任意的。另外，也可以成为使这些处理平行进行的结构。
102.在s15中，向控制装置3通知s12～s14的判定结果中的、需要向控制装置3通知的内容。具体而言，倾斜检测部103在s12中检测为抓斗934是倾斜状态的情况下，将该意思通知给控制装置3。另外，离地检测部105在s13中检测为是能够卷起抓斗934的状态的情况下，将该意思通知给控制装置3。另外，不完全保持检测部107在s14中检测为是不完全保持状态的情况下，将该意思通知给控制装置3。
103.在s16中，图像获取部101判定起重机93的自动控制是否结束。是否结束自动控制的判定基准没有特别限定，例如，可以在对输入部12进行指示结束自动控制的意思的操作时判定为结束自动控制。此外，s12～s14的判定结果可以成为手动控制时的参考，因此可以在起重机93的工作期间中持续进行图10的处理。在这种情况下，在s16中，只要是判定是否结束起重机93的动作的结构即可。
104.当在s16中判定为结束时(在s16中为是)，结束图10的处理。另一方面，当判定为不结束时(在s16中为否)，处理返回s11，图像获取部101获取新的图像(在上次的s11中获取的图像的就时序顺序而言的下一个图像)。
105.如上所述，信息处理装置1的信息处理方法包含图像获取步骤(s11)，在该图像获取步骤(s11)中，获取拍摄了起重机93在用抓斗934抓取垃圾后到以抓取了垃圾的状态卷起抓斗934为止的一系列状态的图像。另外，该信息处理方法包含检测步骤(s13)，在该检测步骤(s13)中，根据向状态判定模型514输入上述图像而得到的输出值来检出成为能够卷起抓斗934的状态的情况。
106.因此，能够以基于s13的检测结果的s15中的该检测结果的通知为契机使控制装置3进行卷起。由此，与以采用计时器等的控制进行卷起的情况相比，能够减少从能够卷起开
始到进行卷起为止的时间损失。
107.(处理的流程(起重机控制))基于图11对控制装置3自动进行起重机93的动作控制时执行的处理(控制方法)的流程进行说明。图11是表示通过控制装置3的自动控制并利用起重机93将垃圾抓取位置的垃圾投下到投下位置时执行的处理一例的流程图。
108.在s21中，起重机控制部301确定垃圾抓取位置。并且，起重机控制部301指示抓斗移动控制部302使抓斗934移动到所确定的上述位置。之后，起重机控制部301指示抓斗开闭控制部303使抓斗934成为打开状态，并指示抓斗升降控制部304使抓斗934下降。由此，成为抓斗934与垃圾表面接触的状态。
109.在此，在起重机93按照s21中的控制进行动作的期间中，摄影装置7拍摄其状况。并且，摄影装置7拍摄的图像被发送到信息处理装置1，信息处理装置1使用该图像来进行图10的处理，并随时向控制装置3通知判定结果。基于这样的通知来进行以下的控制装置3的处理。
110.在s22中，起重机控制部301判定是否变更垃圾抓取位置。具体而言，起重机控制部301当从信息处理装置1接收了抓斗934是倾斜状态的检测结果时，判定为变更垃圾抓取位置(在s22中为是)，处理进入s23。另一方面，起重机控制部301在未接收那样的检测结果时，判定为不变更垃圾抓取位置(在s22中为否)，处理进入s24。
111.在s23中，起重机控制部301变更垃圾抓取位置，处理返回s21。垃圾抓取位置的变更方法没有特别限定。例如，起重机控制部301可以将垃圾抓取位置变更为从之前的垃圾抓取位置偏移了规定距离的位置。
112.在s24中，起重机控制部301使抓斗开闭控制部303开始垃圾抓取动作。垃圾抓取动作的内容只要预先确定即可。例如，垃圾抓取动作可以是通过将针对抓斗934的打开指令和关闭指令按照规定时间进行规定次数而实现的动作。
113.在s25中，起重机控制部301判定是否执行抓斗934的卷起。在此，起重机控制部301当在垃圾抓取动作开始后经过规定的下限期间且利用信息处理装置1检出抓斗934成为能够卷起的状态的情况时，判定为执行卷起(在s25中为是)。此外，规定的下限期间只要参考例如一般离地所需的时间等适当确定即可。也就是说，对于规定的下限期间，如果考虑一般离地所需的时间，只要是难以认为能够离地那样的期间即可。
114.在s25中，即使利用信息处理装置1检出抓斗934成为能够卷起的状态的情况，并向控制装置3通知了该意思，如果该通知时刻是在经过规定的下限时间之前，则不判定为执行卷起。由此，例如即使当因信息处理装置1的误检测而导致尽管未成为能够卷起的状态却检测为能够卷起的状态时，也不会进行该状态下的卷起。由此，能够防止因抓不住垃圾等而造成的较大的时间损失。
115.起重机控制部301当在s25中判定为执行卷起时(在s25为是)，进入s27的处理，使抓斗升降控制部304进行抓斗934的卷起。
116.另一方面，起重机控制部301当在s24中开始的垃圾抓取动作的结束时刻之前没有从信息处理装置1通知抓斗934成为能够卷起的状态的情况时，判定为不执行基于该通知的卷起(在s25中为否)。在这种情况下，起重机控制部301待机到在s24中开始的垃圾抓取动作结束(s26)，之后，使抓斗升降控制部304进行抓斗934的卷起(s27)。
117.这样，起重机控制部301当在抓取垃圾的动作开始后的规定期间内未检出成为能够卷起的状态的情况时，以经过该规定期间为契机进行抓斗934的卷起动作。由此，即使当信息处理装置1不能检出成为能够卷起的状态的情况时，也能够在经过规定期间后进行卷起动作，从而防止产生时间损失。
118.上述规定期间只要设定为从利用起重机93开始规定的垃圾抓取动作起到结束为止的期间即可。这是因为，垃圾抓取动作是为了能够卷起抓斗934而规定的起重机93的一系列动作，在该动作结束的时刻，抓斗934成为能够卷起的状态的可能性较高。例如，当垃圾抓取动作的控制是将针对抓斗934的打开指令和关闭指令按照规定时间执行规定次数的控制时，可以在抓斗934完成了基于规定次数的关闭指令的关闭动作的时刻，判定为经过了上述规定期间。
119.另外，上述规定期间也可以基于起重机93的过去的控制履历等进行设定。在这种情况下，可以根据过去的控制履历等来确定在抓取垃圾的动作开始后抓斗934成为能够卷起的状态的可能性较高的时刻，并以该时刻为基准来设定上述规定期间。例如，可以提取在卷起中未发生掉落垃圾等错误而进行了适当的卷起的控制履历，并根据这些控制履历中的卷起的开始时刻，来确定成为能够卷起的状态的可能性较高的时刻。并且，也可以基于确定的时刻来设定上述规定时间。例如，也可以将使进行了适当的卷起的控制履历中的、从开始抓取垃圾的动作起到卷起开始为止的平均时间与规定的余量相加而得到的值作为上述规定时间。
120.在s28中，起重机控制部301判定抓斗934的闭合度是否不充分。在此，如果从信息处理装置1通知了抓斗934是半开状态的意思，则起重机控制部301判定为抓斗934的闭合度不充分(在s28中为是)，进入s29的处理。另一方面，如果未从信息处理装置1通知抓斗934是半开状态的意思，则起重机控制部301在s28中判定为否，并进入s30的处理。
121.在s29中，起重机控制部301使抓斗开闭控制部303进行提高抓斗934的闭合度的控制。由此，抓斗934成为更紧地保持垃圾的状态，因此能够降低使保持的垃圾下落到不希望的位置的可能性。
122.在s30中，起重机控制部301确定垃圾的投下位置。并且，指示抓斗移动控制部302使抓斗934移动到上述投下位置，之后，指示抓斗开闭控制部303使抓斗934成为打开状态。由此，将在垃圾抓取位置抓取的垃圾投下到投下位置，并结束图11的处理。此外，投下位置可以是垃圾坑内的位置，也可以是料斗的位置。
123.(用于效果验证的实验)进行实验来验证：通过在信息处理装置1检出离地状态的时刻进行抓斗934的卷起，从而能够减少从能够卷起开始到进行卷起为止的时间损失。在该实验中，对信息处理装置1检出离地状态的时刻、和规定的垃圾抓取动作结束的时刻进行了比较。
124.在图12中示出了上述实验的结果。图12是表示针对起重机93的控制履历、和利用信息处理装置1进行的状态判定的结果的转变的图。更具体而言，在图12的上侧的曲线图中示出了抓斗934的卷起指令和开闭指令的控制履历。另外，在图12的下侧的曲线图中示出抓斗934的状态判定的结果的转变和抓斗934抓取的垃圾的重量的测量结果的转变。此外，在抓斗934的状态判定中，判定是空中状态、接地状态、以及离地状态这三种状态中的哪一种。并且，在曲线图中，将空中状态用数值3表示，将接地状态用数值1表示，将离地状态用数值2
表示，不能判定状态时(各判定结果都小于阈值)则设定为0。
125.在刚开始实验后的21：53：45的时刻，抓斗934以未抓取垃圾的状态位于空中。之后，暂时关闭抓斗934再打开，在21：54：02附近，执行负的卷起指令、即放下抓斗934的控制。在图12的下侧的曲线图中示出的抓取重量反映了该控制结果，在抓斗934位于空中的期间为0，在抓斗934接地的时刻为负的值。
126.接着，从放下了抓斗934后的21：54：15到21：54：35左右的约20秒期间，进行了垃圾抓取动作。具体而言，在21：54：15执行负的开闭指令、即关闭抓斗934的控制，之后，使抓斗934的闭合度返回中位(0)并以低速重复了两次进行短时间的卷起的控制。通过该卷起，使抓斗934成为从垃圾的表面略微悬起的状态，如图12的下侧的曲线图所示，测量结果准确反映了抓斗934抓取的垃圾的抓取重量。此外，这些控制是用于使抓斗934成为离地状态的控制。
127.并且，在进行了垃圾抓取动作的21：54：35开始抓斗934的卷起。此外，该时刻的卷起进行到抓斗934成为能够沿水平方向移动的高度为止，且卷起速度比垃圾抓取动作时的卷起快，卷起距离也较长。
128.进行了以上的控制的期间的抓斗934的状态判定的结果如图12的下侧的曲线图所示那样，在21：53：55～21：54：00附近存在误判定及不能判定的状态。但是，该状态判定的结果作为整体而言能够准确判定抓斗934的状态。尤其是能够准确判定21：54：12附近的从空中状态向接地状态的转变、以及21：54：30附近的从接地状态向离地状态的转变的时刻。
129.在此，检出从接地状态向离地状态的转变的21：54：30的时刻是比垃圾抓取动作结束并开始卷起的21：54：35早5秒左右的时刻。换言之，在图12所示的自动控制中，尽管在21：54：30成为能够卷起的状态，但是由于之后也继续进行垃圾抓取动作，从而在进行卷起之前产生了5秒左右的时间损失。
130.该实验结果表明：信息处理装置1通过以检出向离地状态的转变的情况为契机开始卷起，从而能够减少从能够卷起开始到进行卷起为止的时间损失。
131.(变形例)在上述实施方式中说明的各处理的执行主体是一例，能够适当变更。例如，也能够使多个计算机分别执行图9所示的学习方法、图10所示的信息处理方法、以及图11所示的控制方法。
132.例如，利用包含执行图9的s1～s4的处理的计算机、和执行s5及s6的处理的计算机的学习系统也能够实现图9的s1～s6的处理。另外，例如，可以使单独的计算机执行图10的s12～s14的各处理，也可以是控制装置3进行这些处理。
133.另外，控制系统100的构成要素也不限于上述实施方式的例子。例如，如上所述，在控制装置3进行图10的s12～s14的各处理的情况下，从控制系统100的构成要素中省略信息处理装置1。另外，状态判定模型等模型的构建也可以在控制系统100外进行，在这种情况下，从控制系统100的构成要素中省略学习装置5。另外，摄影装置7由于是提供用于控制的图像的，与控制自身无关，因此可以从控制系统100的构成要素中排除。在这种情况下，获取控制系统100外的摄影装置7拍摄的图像并进行控制。此外，利用控制系统100进行动作控制的起重机93、以及具备起重机93的垃圾焚烧设备也包含于本发明的范畴。
134.另外，如上所述，信息处理装置1的判定及检测的结果能够用于自动控制，并且也
能够作为手动控制的参考信息使用。在后者的情况下，只要例如使显示装置等输出装置输出信息处理装置1的判定及检测的结果并提示给起重机93的操作员即可。由此，起重机93的操作员能够将该输出结果作为参考进行起重机93的手动控制。
135.(基于软件的实现例)信息处理装置1、控制装置3、以及学习装置5的控制块(包含于控制部10、30、50的各部)可以通过形成于集成电路(ic芯片)等的逻辑电路(硬件)来实现，也可以通过软件来实现。
136.在后者的情况下，信息处理装置1、控制装置3、以及学习装置5具备执行实现各功能的软件即程序的命令的计算机。该计算机具备例如一个以上的处理器，并且具备存储上述程序的计算机可读取的存储介质。并且，在上述计算机中，上述处理器从上述存储介质读取上述程序并执行，从而实现本发明的目的。作为上述处理器，例如可以使用cpu(central processing unit：中央处理单元)。作为上述存储介质，可以使用“非暂时性的有形的介质”，例如除了rom(read only memory：只读存储器)等之外，还可以使用磁带、光盘、卡、半导体存储器、可编程的逻辑电路等。另外，也可以具备展开上述程序的ram(random access memory：随机访问存储器)等。另外，上述程序也可以经由能够传输该程序的任意的传输介质(通信网络、无线电波等)向上述计算机提供。此外，本发明一方式也可以采用通过对上述程序进行电子传输而具体化的、嵌入载波的数据信号的方式来实现。
137.本发明不限于上述的各实施方式，可以在权利要求所示的范围内进行各种变更，对于通过适当组合分别公开于不同的实施方式的技术方案而得到的实施方式也包含于本发明的技术范围内。附图标记说明
138.1-信息处理装置；101-图像获取部；105-离地检测部(检测部)；3-控制装置；7-摄影装置；100-控制系统；93-起重机；934-抓斗。