检测系统以及检测方法与流程

1.本公开涉及检测系统以及检测方法。
2.本技术针对2020年3月31日在日本技术的特愿2020-065033号主张优先权，并将其内容援引于此。


背景技术：

3.在专利文献1中公开了与检知作业机械的周边的人的周边监视系统有关的技术。根据专利文献1所记载的技术，周边监视系统检知周围的障碍物。
4.在先技术文献
5.专利文献
6.专利文献1：日本特开2016-035791号公报


技术实现要素：

7.发明要解决的课题
8.在作业机械运转的现场，为了作业者的安全，避免不穿戴安全帽、安全背心等保护用具、一边操作智能手机一边步行等危险行为是重要的。因此，监督者需要始终注意在现场是否进行了危险行为，监督者的负担较大。
9.本公开的目的在于，提供一种能够容易地检测有无危险行为的检测系统以及检测方法。
10.用于解决课题的手段
11.根据第一方式，检测系统具备：取得部，其从对现场进行拍摄的拍摄装置取得拍摄数据；以及危险行为判断部，其基于所述拍摄数据，判断在所述现场中是否存在正进行危险行为的人。
12.发明效果
13.根据上述方式，通过使用检测系统能够容易地检测有无危险行为。
附图说明
14.图1是示出第一实施方式的作业机械的结构的概要图。
15.图2是示出第一实施方式的作业机械所具备的多个相机的拍摄范围的图。
16.图3是示出第一实施方式的驾驶室的内部的结构的图。
17.图4是示出第一实施方式的控制装置的结构的概要框图。
18.图5是示出第一实施方式的危险行为词典数据所存储的信息的例子的图。
19.图6是示出第一实施方式的控制装置的动作的流程图。
20.图7是示出由第一实施方式的相机拍摄的拍摄图像的例子的图。
具体实施方式
21.《第一实施方式》
22.以下，参照附图对实施方式进行详细说明。
23.第一实施方式的检测系统由配置于现场的作业机械100实现。
24.《作业机械100的结构》
25.图1是示出第一实施方式的作业机械100的结构的概要图。
26.作业机械100在施工现场运转，对砂土等施工对象进行施工。第一实施方式的作业机械100例如是液压挖掘机。作业机械100具备行驶体110、回转体120、工作装置130以及驾驶室140。需要说明的是，作业机械100也可以是将现场设为矿山、在矿山上运转的开采挖掘机等面向矿山的作业机械。
27.行驶体110将作业机械100支承为能够行驶。行驶体110例如为左右一对履带。
28.回转体120以能够绕回转中心回转的方式支承于行驶体110。
29.工作装置130由液压驱动。工作装置130以能够在上下方向上驱动的方式支承于回转体120的前部。驾驶室140是用于供操作员搭乘并进行作业机械100的操作的空间。驾驶室140设置于回转体120的左前部。
30.在此，将回转体120中的安装工作装置130的部分称作前部。另外，关于回转体120，以前部为基准，将相反侧的部分称作后部，将左侧的部分称作左部，将右侧的部分称作右部。
31.《回转体120的结构》
32.在回转体120设置有拍摄作业机械100的周围的多个相机121、以及朝向作业机械100的外部输出声音的扬声器122。作为扬声器122的例子，可举出喇叭扬声器。图2是示出第一实施方式的作业机械100所具备的多个相机121的拍摄范围的图。
33.具体而言，在回转体120设置有拍摄回转体120的周围中的左后方区域ra的左后方相机121a、拍摄回转体120的周围中的后方区域rb的后方相机121b、拍摄回转体120的周围中的右后方区域rc的右后方相机121c、拍摄回转体120的周围的右前方区域rd的右前方相机121d。需要说明的是，多个相机121的拍摄范围的一部分也可以相互重复。
34.多个相机121的拍摄范围覆盖作业机械100的整周中的、除了从驾驶室140能够目视确认的左前方区域re以外的范围。需要说明的是，第一实施方式的相机121对回转体120的左后方、后方、右后方、以及右前方进行拍摄，但在其他实施方式中并不局限于此。例如，其他实施方式的相机121的数量以及拍摄范围也可以与图1以及图2所示的例子不同。
35.需要说明的是，左后方相机121a如图2的后方范围rb所示的那样，拍摄回转体120的左侧方区域、以及左后方区域的范围，但也可以拍摄其中任一方的区域。同样地，右后方相机121c如图2的右后方范围rc所示那样，拍摄回转体120的右侧方区域、以及右后方区域的范围，但也可以拍摄其中任一方的区域。同样地，右前方相机121d如图2的右前方范围rd所示那样，拍摄回转体120的右前方区域、以及右侧方区域的范围，但也可以拍摄其中任一方的区域。另外，在其他实施方式中，也可以使用多个相机121，并将作业机械100的整个周围作为拍摄范围。例如，也可以具备拍摄左前方范围re的左前方相机，从而将作业机械100的整个周围作为拍摄范围。
36.《工作装置130的结构》
37.工作装置130具备动臂131、斗杆132、铲斗133、动臂缸131c、斗杆缸132c、以及铲斗缸133c。
38.动臂131的基端部经由动臂销131p安装于回转体120。
39.斗杆132将动臂131与铲斗133连结。斗杆132的基端部经由斗杆销132p安装于动臂131的前端部。
40.铲斗133具备用于挖掘砂土等的铲斗以及用于收容所挖掘的砂土的收容部。铲斗133的基端部经由铲斗销133p安装于斗杆132的前端部。
41.动臂缸131c是用于使动臂131工作的液压缸。动臂缸131c的基端部安装于回转体120。动臂缸131c的前端部安装于动臂131。
42.斗杆缸132c是用于驱动斗杆132的液压缸。斗杆缸132c的基端部安装于动臂131。斗杆缸132c的前端部安装于斗杆132。
43.铲斗缸133c是用于驱动铲斗133的液压缸。铲斗缸133c的基端部安装于斗杆132。铲斗缸133c的前端部安装于与铲斗133连接的连杆构件。
44.《驾驶室140的结构》
45.图3是示出第一实施方式的驾驶室140的内部的结构的图。
46.在驾驶室140内设置有驾驶席141、操作装置142以及控制装置143。
47.操作装置142是用于通过操作员的手动操作使行驶体110、回转体120以及工作装置130进行驱动的装置。操作装置142具备左操作杆142lo、右操作杆142ro、左脚踏板142lf、右脚踏板142rf、左行驶杆142lt、右行驶杆142rt。
48.左操作杆142lo设置于驾驶席141的左侧。右操作杆142ro设置于驾驶席141的右侧。
49.左操作杆142lo是用于进行回转体120的回转动作、以及斗杆132的牵引/推动动作的操作机构。具体而言，在作业机械100的操作员将左操作杆142lo倒向前方时，斗杆132进行推动动作。另外，在作业机械100的操作员将左操作杆142lo倒向后方时，斗杆132进行牵引动作。另外，在作业机械100的操作员将左操作杆142lo倒向右方向时，回转体120右回转。另外，在作业机械100的操作员将左操作杆142lo倒向左方向时，回转体120左回转。需要说明的是，在其他实施方式中，也可以在将左操作杆142lo倒向前后方向的情况下回转体120右回转或者左回转，在左操作杆142lo倒向左右方向的情况下斗杆132进行牵引动作或者推动动作。
50.右操作杆142ro是用于进行铲斗133的挖掘/卸料动作、以及动臂131的抬起/降下动作的操作机构。具体而言，在作业机械100的操作员将右操作杆142ro倒向前方时，执行动臂131的降下动作。另外，在作业机械100的操作员将右操作杆142ro倒向后方时，执行动臂131的抬起动作。另外，在作业机械100的操作员将右操作杆142ro倒向右方向时，进行铲斗133的卸料动作。另外，在作业机械100的操作员将右操作杆142ro倒向左方向时，进行铲斗133的挖掘动作。需要说明的是，在其他实施方式中，也可以在将右操作杆142ro倒向前后方向的情况下，铲斗133进行卸料动作或者挖掘动作，在将右操作杆142ro倒向左右方向的情况下，动臂131进行抬起动作或者降下动作。
51.左脚踏板142lf配置于驾驶席141的前方的底板面的左侧。右脚踏板142rf配置于驾驶席141的前方的底板面的右侧。左行驶杆142lt枢轴支承于左脚踏板142lf，构成为左行
驶杆142lt的倾斜与左脚踏板142lf的下压联动。右行驶杆142rt枢轴支承于右脚踏板142rf，构成为右行驶杆142rt的倾斜与右脚踏板142rf的下压联动。
52.左脚踏板142lf以及左行驶杆142lt对应于行驶体110的左侧履带的旋转驱动。具体而言，在作业机械100的操作员将左脚踏板142lf或者左行驶杆142lt倒向前方时，左侧履带向前进方向旋转。另外，在作业机械100的操作员将左脚踏板142lf或者左行驶杆142lt倒向后方时，左侧履带向后退方向旋转。
53.右脚踏板142rf以及右行驶杆142rt对应于行驶体110的右侧履带的旋转驱动。具体而言，在作业机械100的操作员将右脚踏板142rf或者右行驶杆142rt倒向前方时，右侧履带向前进方向旋转。另外，在作业机械100的操作员将右脚踏板142rf或者右行驶杆142rt倒向后方时，右侧履带向后退方向旋转。
54.控制装置143具备显示与作业机械100所具有的多个功能有关的信息的显示器143d。控制装置143是显示系统的一例。另外，显示器143d是显示部的一例。第一实施方式的控制装置143的输入单元是硬键。需要说明的是，在其他实施方式中，也可以使用触摸面板、鼠标、或者键盘等作为输入单元。另外，第一实施方式的控制装置143与显示器143d一体设置，但在其他实施方式中，显示器143d也可以与控制装置143分开设置。需要说明的是，在显示器143d与控制装置143分开设置的情况下，显示器143d也可以设置于驾驶室140外。在该情况下，显示器143d也可以是移动显示器。另外，在作业机械100通过远程操作来进行驱动的情况下，显示器143d也可以设置于与作业机械100远程设置的远程操作室。
55.需要说明的是，控制装置143可以由单独的计算机构成，也可以将控制装置143的结构分开配置于多个计算机，并通过多个计算机相互配合来作为检测系统发挥功能。即，作业机械100也可以具备作为控制装置143发挥功能的多个计算机。需要说明的是，上述的1台控制装置143也是检测系统的一例。
56.《控制装置143的结构》
57.图4是示出第一实施方式的控制装置143的结构的概要框图。
58.控制装置143是具备处理器210、主存储器230、储存器250、接口270的计算机。
59.相机121以及扬声器122经由接口270与处理器210连接。
60.作为储存器250的例子，可举出光盘、磁盘、磁光盘、半导体存储器等。储存器250可以是与控制装置143的总线直接连接的内部介质，也可以是经由接口270或者通信线路与控制装置143连接的外部介质。储存器250存储用于实现作业机械100的周围监视的程序。另外，在储存器250中预先存储有包含用于显示于显示器143d的图标的多个图像。
61.程序可以是用于实现使控制装置143发挥的功能的一部分的程序。例如，程序可以是通过与已存储于储存器250的其他程序组合、或者与安装于其他装置的其他程序组合来发挥功能的程序。需要说明的是，在其他实施方式中，控制装置143也可以除了上述结构之外或者取代上述结构而具备pld(programmable logic device)等定制lsi(large scale integrated circuit)。作为pld的例子，可举出pal(programmable array logic)、gal(generic array logic)、cpld(complex programmable logic device)、fpga(field programmable gate array)。在该情况下，由处理器210实现的功能的一部分或者全部也可以由该集成电路实现。
62.另外，储存器250存储用于检测人的人词典数据d1、以及用于检测危险行为的危险
行为词典数据d2。
63.人词典数据d1例如可以是从拍到人的多个已知的图像分别提取出的特征量的词典数据。作为特征量的例子，可举出hog(histograms of oriented gradients)、cohog(co-occurrence hog)等。
64.图5是示出第一实施方式的危险行为词典数据d2所存储的信息的例子的图。
65.危险行为词典数据d2针对每种应检测的危险行为的种类，存储表示正进行危险行为的人的特征的特征数据、以及警告数据。作为危险行为的例子，可举出不穿戴安全帽、不穿戴安全背心、在作业机械100的升降时不实施三点支承、一边操作智能手机一边步行、跑动、一边将手放入口袋一边步行等。需要说明的是，三点支承是指将单脚放在作业机械100的脚踏部、用双手握住作业机械100的把手部，由此来支承身体。正进行危险行为的人的特征数据例如可以通过图像的特征量来表示，也可以通过示出人的骨格姿态的骨架(skeleton)数据来表示。需要说明的是，安全背心是指提高目视确认性以防止接触事故等的为了安全的作业衣，例如是安装有反射板的作业衣。另外，也可以取代安全背心而使用安装有反射板的安全裤。
66.另外，危险行为词典数据d2也可以与正进行危险行为的人的特征数据相关联地进一步存储追加条件。在对特征数据关联有追加条件的情况下，在检测到与特征数据匹配的特征、并且满足该追加条件时，判断为存在正进行危险行为的人。在未对特征数据关联有追加条件的情况下，在检测到与特征数据匹配的特征时，判断为存在正进行危险行为的人。
67.例如，表示与不穿戴安全帽、安全背心、安全裤等保护用具有关的特征的数据也可以通过未穿戴保护用具的人的图像的特征量来表示。需要说明的是，该特征量也可以不通过人的全身的图像、而通过保护用具的穿着位置的图像的特征量来表示。例如，示出与不穿戴安全帽有关的特征的数据可以通过人的头部的图像而特征量来表示，示出与不穿戴安全背心有关的特征的数据可以通过人的躯体部的图像的特征量来表示。
68.再例如，与不实施三点支承有关的特征数据可以通过朝向作业机械100的外侧的人的头部的图像的特征量来表示。该特征数据与表示人存在于作业机械100的驾驶室140的附近的追加条件相关联。这是为了检测从作业机械100跳下的人。
69.再例如，示出与一边操作智能手机一边步行有关的特征的数据可以通过表示操作智能手机的人的姿态的骨架数据来表示。即，可以通过表示头部下垂、手位于胸部的前方的姿态的骨架数据来表示。该特征数据与表示人正以第一速度以上的速度移动的追加条件相关联。
70.再例如，示出与跑动有关的特征的数据可以通过表示正跑动的人的姿态的骨架数据来表示。该特征数据与表示人正以第二速度以上的速度移动的追加条件相关联。第二速度比第一速度快。
71.再例如，表示与一边将手放入口袋一边步行有关的特征的数据可以通过表示正在一边将手放入口袋一边步行的人的姿态的骨架数据来表示。即，可以通过表示手臂在腰部的附近固定的姿态的骨架数据来表示。该特征数据与表示人正以第一速度以上的速度移动的追加条件相关联。
72.需要说明的是，在其他实施方式中，表示与一边操作智能手机一边步行有关的特征的数据、表示与跑动有关的特征的数据、表示与一边将手放入口袋一边步行有关的特征
的数据也可以不通过骨架数据来表示。例如，在使用图像、并使用基于图案匹配、机器学习的判别器等来检测一边操作智能手机一边步行、跑动、一边将手放入口袋一边步行等的情况下，也可以将图像的特征量作为表示特征的数据储存于危险行为词典数据d2。
73.警告数据根据危险行为的种类而不同。警告数据可以是预先对规定的声音进行录音而得的声音数据。另外，警告数据也可以是显示于显示器的表示警告的图像、文本数据。另外，警告数据也可以是警告灯那样的光。需要说明的是，在图5所示的例子中，警告数据根据危险行为的种类而不同，但并不局限于此。在其他实施方式中，警告数据也可以是共通的警告数据。例如，也可以是“请不要进行危险行为”、“请遵循安全规则”、表示注意的图标、表示危险的图标、画面的闪烁显示等与危险行为的种类无关而共通地提醒注意的方式。
74.需要说明的是，储存于危险行为词典数据d2的危险行为的种类、特征数据、以及追加条件也可以根据现场而不同。例如，也可以是在一个现场一边操作智能手机一边步行被禁止、而站着操作智能手机的行为未被禁止的情况下，在其他现场操作智能手机的行为本身被禁止。危险行为也可以在现场被规定为规则。
75.处理器210通过执行程序而具备取得部211、提取部212、危险行为判断部213、警告部214、记录部215、发送部216。
76.取得部211从多个相机121取得拍摄图像。
77.提取部212基于人词典数据d1，从取得部211所取得的拍摄图像提取拍到人的部分图像。作为人的检测方法的例子，可举出基于图案匹配、机器学习的物体检测处理等。
78.需要说明的是，在第一实施方式中，提取部212使用图像的特征量来提取人，但并不局限于此。例如，在其他实施方式中，提取部212也可以基于lidar(light detection and ranging)的计测值等来提取人。
79.危险行为判断部213基于作为拍摄数据的危险行为词典数据d2以及提取部212所提取的部分图像，判断提取部212所提取的人是否正进行危险行为。危险行为判断部213在判断为人正进行危险行为的情况下，确定该危险行为的种类。
80.警告部214在通过危险行为判断部213判断为人正进行危险行为的情况下，从扬声器122输出警告声音。
81.记录部215在通过危险行为判断部213判断为人正进行危险行为的情况下，储存器250存储将取得部211所取得的拍摄图像、拍摄时刻、拍摄位置、以及危险行为的种类相关联而成的危险行为历史数据。需要说明的是，危险行为历史数据也可以不一定是将拍摄图像、拍摄时刻、拍摄位置、以及危险行为的种类中的全部相关联而成的数据，而可以是对拍摄图像关联拍摄时刻、拍摄位置、危险行为的种类、以及其他与危险行为有关的数据中的至少一个而成的数据。另外，也可以存储拍摄时刻、拍摄位置、危险行为的种类、以及其他与危险行为有关的数据中的至少一个。另外，也可以存储危险行为的次数，例如针对每个危险行为的种类存储危险行为的次数。
82.发送部216将记录部215存储的危险行为历史数据向未图示的服务器装置发送。另外，发送部216也可以不一定发送拍摄图像、拍摄时刻、拍摄位置、以及危险行为的种类中的全部，而可以发送危险行为历史数据中的一部分。例如，也可以发送表示危险行为的次数、每个危险行为的种类的次数的信息。
83.《危险行为的检测方法》
84.图6是示出第一实施方式的控制装置143的动作的流程图。
85.在控制装置143开始周围监视处理时，反复执行图6所示的处理。
86.取得部211从多个相机121取得拍摄图像(步骤s1)。接下来，提取部212针对在步骤s1中取得的各拍摄图像，使用人词典数据d1执行拍到人的部分图像的提取处理，并判断是否提取到一个以上的部分图像(步骤s2)。在未提取到拍到人的部分图像的情况下(步骤s2：否)，由于不存在进行危险行为的人，因此控制装置143结束处理。
87.在提取到拍到人的部分图像的情况下(步骤s2：是)，危险行为判断部213逐个选择在步骤s2中提取到的一个以上的部分图像，执行以下的步骤s4至步骤s14的处理(步骤s3)。
88.危险行为判断部213逐个选择危险行为词典数据d2存储的危险行为的种类，执行以下的步骤s5至步骤s14的处理(步骤s4)。
89.危险行为判断部213确定与在步骤s4中选择的种类相关联的特征数据，从在步骤s3中选择的部分图像生成相同种类的特征数据(步骤s5)。危险行为判断部213计算与在步骤s4中选择的种类相关联的特征数据与在步骤s5中生成的部分图像的特征数据的相似度(步骤s6)。危险行为判断部213判断特征数据的相似度是否为规定的阈值以上(步骤s7)。
90.危险行为判断部213判断特征数据的相似度是否为规定的阈值以上(步骤s7)。在特征数据的相似度为阈值以上的情况下(步骤s7：是)，危险行为判断部213判断是否存在与该特征数据相关联的追加条件(步骤s8)。在存在追加条件的情况下(步骤s8：是)，危险行为判断部213判断在步骤s3中选择的部分图像是否满足该追加条件(步骤s9)。需要说明的是，在追加条件为与速度有关的条件的情况下，危险行为判断部213例如判断在前次的拍摄图像中提取到的部分图像的位置与在步骤s3中选择的部分图像的位置之间的距离是否为规定距离以上。
91.在满足追加条件的情况下(步骤s9：是)、或者在匹配的特征数据不存在追加条件的情况下(步骤s8：否)，危险行为判断部213判断为与在步骤s3中选择的部分图像有关的人正进行在步骤s4中选择的种类的危险行为(步骤s10)。警告部214基于与在步骤s4中选择的种类的危险行为相关联的警告数据，从扬声器122输出警告声音(步骤s11)。
92.记录部215开始动态图像的记录(步骤s12)。即，记录部215在从在步骤s10中判断为正进行危险行为起的一定时间的期间内记录相机121的拍摄图像，从而生成动态图像。在该动态图像中拍到正进行危险行为的人。接着，使储存器250存储将在步骤s11中生成的动态图像、拍摄时刻、拍摄位置、以及在步骤s10中确定的危险行为的种类相关联而成的危险行为历史数据(步骤s13)。需要说明的是，记录于储存器250的危险行为历史数据之后由发送部216向服务器装置发送。需要说明的是，拍摄位置例如通过在拍摄时由作业机械100的未图示的gnss测位装置取得的位置数据来表示。
93.另一方面，在不满足追加条件的情况下(步骤s9：否)、或者在特征数据的相似度小于阈值的情况下(步骤s7：否)，危险行为判断部213判断为与在步骤s3中选择的部分图像有关的人未进行在步骤s4中选择的种类的危险行为(步骤s14)。
94.需要说明的是，图6所示的处理仅是一例，在其他实施方式中，控制装置143也可以进行与图6不同的处理。例如，其他实施方式的危险行为词典数据d2也可以不具有追加条件。在该情况下，控制装置143也可以不进行步骤s8以及s9的判断。另外，在其他实施方式中，控制装置143也可以不进行步骤s11的警告声音的输出以及步骤s13的动态图像的记录
中的至少一方。另外，在其他实施方式中，警告也可以是向显示器143d的显示、警告灯的发光等不基于声音的方式。另外，步骤s3以及步骤s4中的至少一方的循环处理也可以通过并行处理来实现。
95.《作用
·
效果》
96.这样，控制装置143在拍摄图像中拍到的人正进行危险行为情况下，能够判断该危险行为。由此，控制装置143能够减轻监督者在现场对危险行为施加注意的负担。另外，控制装置143在判断出危险行为的情况下，能够输出警告。例如，能够向作业机械100外输出警告声音。由此，在作业机械100的附近正进行危险行为的作业者能够注意到自身的危险行为，另外对于其他作业者也能够唤起对危险行为的注意。例如，能够将警告图像显示于显示器143d。由此，能够唤起作业机械100的操作员注意。
97.另外，控制装置143能够将与危险行为有关的数据记录于储存器250。例如，能过将拍到危险行为的场面的动态图像记录于储存器250。由此，能够存储存在危险行为的场面。另外，控制装置143能够将与危险行为有关的数据向服务器装置发送。例如，能够将拍到危险行为的场面的动态图像向服务器装置发送。由此，之后现场的监督者通过确认动态图像而能够确认实际上是否存在过危险行为。
98.《动作例》
99.图7是示出由第一实施方式的相机121拍摄的拍摄图像的例子图。
100.在相机121得到图6所示那样的拍摄图像时，控制装置143的提取部212在步骤s2中提取两个部分图像g1、g2。首先，危险行为判断部213关于部分图像g1，针对各危险行为的种类执行步骤s5至步骤s14的处理。此时，危险行为判断部213在步骤s5至步骤s7中对与“不穿戴安全背心”有关的特征数据与部分图像g1的躯体部g11的特征数据进行比较，判断为相似度高。与“不穿戴安全背心”有关的特征数据未关联追加条件，因此危险行为判断部213在步骤s10中判断为与部分图像g1有关的人正进行危险行为。因此，警告部214从扬声器122输出“请穿戴安全背心。”这样的警告声音。另外，记录部215将包含图6所示的图像的动态图像记录于储存器250。
101.另外，危险行为判断部213关于部分图像g2，针对各危险行为的种类执行步骤s5至步骤s14的处理。危险行为判断部213对与“不穿戴安全背心”有关的特征数据与部分图像g1的躯体部g21的特征数据进行比较，判断为相似度低。同样地，针对其他危险行为的种类也执行步骤s5至步骤s14的处理，在任一危险行为中相似度均低，不满足追加条件，因此危险行为判断部213在步骤s14中判断为与部分图像g2有关的人未进行危险行为。
102.《其他实施方式》
103.以上，参照附图对一实施方式进行了详细说明，但具体结构并不局限于上述方式，也可以进行各种设计变更等。即，在其他实施方式中，上述的处理的顺序也可以适当变更。另外，一部分的处理也可以并行执行。
104.在上述的实施方式中，作业机械100具备多个相机121以及扬声器122，但并不局限于此。例如，在其他实施方式中，相机、扬声器也可以设置于作业机械100的外部。作为设置于外部的扬声器以及相机的例子，可举出设置于现场的扬声器以及相机、其他作业机械100所具备的扬声器以及相机等。
105.上述的实施方式的检测系统也可以设置于作业机械100的外部。
106.另外，在其他实施方式中，也可以是，构成检测系统的一部分的结构搭载于作业机械100的内部，其他结构设置于作业机械100的外部。例如，显示器143d也可以是设置于与作业机械100远程设置的远程操作室的结构的检测系统。另外，在其他实施方式中，上述的多个计算机或者上述的单独的计算机也可以全部设置于作业机械100的外部。例如，检测系统也可以取代控制装置143或者除了控制装置143之外，还具备设置于现场的定点相机与设置于管理室等的一个或多个计算机的组合。在该情况下，设置于作业机械100的外部的计算机具备与图4所示的控制装置143的一部分或者全部同样的结构。设置于作业机械100的外部的计算机也可以基于从定点相机得到的拍摄图像来执行图6所示的处理。
107.另外，上述的实施方式的检测系统从作业机械100的扬声器122输出警告声音，唤起在作业机械100的附近正进行危险行为的作业者、监督者注意，但并不局限于此。例如，其他实施方式的检测系统也可以在驾驶室140的内部设置扬声器、并唤起操作员注意。需要说明的是，扬声器也可以是设置于驾驶室内的蜂鸣器、在驾驶室内的显示器143d设置一体型的扬声器，使用该扬声器来唤起操作员注意。
108.另外，上述的实施方式的检测系统从作业机械100的扬声器122输出警告声音，但并不局限于此。例如，其他实施方式的检测系统也可以使设置于现场的固定扬声器输出警告声音。另外，根据其他实施方式，作业机械100的检测系统也可以通过车车之间通信而使其他作业机械100的扬声器122输出警告声音。
109.另外，在上述的实施方式中，对判断作业机械100外的正进行危险行为的人的例子进行了说明，但并不局限于此。例如，在其他实施方式中，也可以判断作业机械100中的人的危险行为。例如，也可以以能够拍摄操作员的方式在驾驶室140的内部设置相机，检测系统判断操作员的危险行为。在该情况下，可以通过从设置于驾驶室的扬声器输出警告声音、或者在显示器143d显示表示警告的图像、文本来唤起注意。
110.另外，上述的实施方式的检测系统在提取到人后，针对该人来判断有无危险行为，但并不局限于此。例如，在其他实施方式中，也可以使用根据拍摄图像推断有无进行危险行为的人的学习完成模型，根据拍摄图像直接推断有无进行危险行为的人。
111.另外，上述的实施方式的检测系统在上述的步骤s12中记录拍到危险行为的场面的动态图像，但并不局限于此。例如，其他实施方式的检测系统也可以记录在步骤s1中取得的拍摄图像、即静止图像。
112.另外，上述的实施方式的检测系统输出对应于危险行为的种类的警告声音，但并不局限于此。例如，其他实施方式的检测系统也可以与危险行为的种类无关地输出喇叭声音。
113.另外，在其他实施方式中，检测系统也可以计算正进行危险行为的人的危险度，并基于该危险度来判断是否输出所述警告。例如，也可以基于正进行危险行为的人以及距工作装置130的回转中心的距离来计算危险度，在危险度超过阈值的情况下输出警告。
114.另外，在其他实施方式中，检测系统检测系统也可以构成为仅设置显示器143d和扬声器122中的显示器143d。在该情况下，工作装置130的操作员、现场的监督者能够基于显示于显示器143d的表示警告的图像、文本来唤起注意。
115.另外，上述的实施方式的作业机械100是液压挖掘机，但并不局限于此。例如，其他实施方式的作业机械100例如也可以是自卸车、推土机、轮式装载机等其他作业机械。
116.工业实用性
117.根据上述方式，通过使用检测系统而能够容易地检测有无危险行为。
118.附图标记说明：
119.100
…
作业机械；110
…
行驶体；120
…
回转体；121
…
相机；130
…
工作装置；143
…
控制装置；211
…
取得部；212
…
提取部；213
…
危险行为判断部；214
…
警告部；215
…
记录部；216
…
发送部。