施工机械用人体检测系统的制作方法

本发明涉及一种检测存在于施工机械周围的人体的施工机械用人体检测系统。

背景技术：

已知有如下的人体检测装置，其具有图像传感器和感测热的热电堆阵列，使摄像范围与热检测范围重复，仅将热电堆阵列的输出所表示的貌似人体的范围限定为面部抽取范围而减少图像识别处理时的不必要的运算处理量(参考专利文献1。)。

现有技术文献

专利文献

专利文献1：日本特开2006-059015号公报

技术实现要素：

发明要解决的课题

然而，上述装置中，需要将图像传感器和热电堆阵列并列设置，且使摄像范围与热检测范围准确地重复，因此系统结构变得复杂。

鉴于上述情况，期望提供一种能够以更简单的系统结构来锁定成为图像识别处理的对象的图像部分的施工机械用人体检测系统。

用于解决课题的手段

本发明的一个实施例所涉及的施工机械用人体检测系统使用安装于施工机械的摄像装置的摄像图像来检测存在于该施工机械周边的人体，该施工机械用人体检测系统具有：抽取部，抽取所述摄像图像的一部分作为识别处理对象图像；及识别部，通过图像识别处理来识别所述抽取部所抽取的识别处理对象图像中所包含的图像是否为人体图像，所述摄像图像中的所述识别处理对象图像的区域与所述摄像图像中的规定图像位置中的1个预先建立对应，所述抽取部找出所述摄像图像中的表示人体的特征部分的特征图像，并将该特征图像的位置与所述规定图像位置中的1个建立对应，由此抽取所述识别处理对象图像。

发明的效果

通过上述结构，可以提供一种能够以更简单的系统结构来锁定成为图像识别处理的对象的图像部分的施工机械用人体检测系统。

附图说明

图1是搭载有本发明的实施例所涉及的人体检测系统的挖土机的侧视图。

图2是表示人体检测系统的结构例的功能块图。

图3A是后方照相机的摄像图像的例子。

图3B是后方照相机的摄像图像的例子。

图4是表示从摄像图像中切出识别处理对象图像时所使用的几何学关系的一例的示意图。

图5是挖土机后方的实际空间的俯视图。

图6A是后方照相机的摄像图像的一例。

图6B是切出摄像图像中的识别处理对象图像区域而成的图。

图6C是将具有识别处理对象图像区域的识别处理对象图像标准化而成的标准化图像的一例。

图7A1是表示摄像图像中的识别处理对象图像区域的图。

图7A2是表示具有识别处理对象图像区域的识别处理对象图像的标准化图像的图。

图7B1是表示摄像图像中的识别处理对象图像区域的图。

图7B2是表示具有识别处理对象图像区域的识别处理对象图像的标准化图像的图。

图7C1是表示摄像图像中的识别处理对象图像区域的图。

图7C2是表示具有识别处理对象图像区域的识别处理对象图像的标准化图像的图。

图8A是表示识别处理对象图像区域与识别处理不适合区域之间的关系的图。

图8B是表示包含与超出区域相对应的屏蔽区域和与车身映入区域的一部分相对应的屏蔽区域的标准化图像的图。

图9是表示标准化图像的例子的图。

图10是说明实际空间中的虚拟平面区域和后方照相机之间的后方水平距离、与标准化图像中的头部图像部分的大小之间的关系的图。

图11是表示从摄像图像中切出识别处理对象图像时所使用的几何学关系的另一例的示意图。

图12A是表示摄像图像中的特征图像的一例的图。

图12B是作为特征图像的安全帽图像的放大图。

图13是搭载有照明装置的挖土机的侧视图。

图14是表示图像抽取处理的一例的流程的流程图。

图15是表示图像抽取处理的另一例的流程的流程图。

具体实施方式

图1是作为搭载有本发明的实施例所涉及的人体检测系统100的施工机械的挖土机的侧视图。挖土机的下部行走体1上经由转动机构2搭载有上部转动体3。上部转动体3上安装有动臂4。在动臂4的前端安装有斗杆5，在斗杆5的前端安装有铲斗6。动臂4、斗杆5及铲斗6构成挖掘装置，通过动臂缸7、斗杆缸8及铲斗缸9分别被液压驱动。并且，上部转动体3上设有驾驶舱10，且搭载有引擎等动力源。并且，在上部转动体3的上部安装有摄像装置40。具体而言，在上部转动体3的后端上部、左端上部、右端上部安装有后方照相机40B、左侧方照相机40L、右侧方照相机40R。并且，在驾驶舱10内设有控制器30及输出装置50。

图2是表示人体检测系统100的结构例的功能块图。人体检测系统100主要包含控制器30、摄像装置40及输出装置50。

控制器30为进行挖土机的驱动控制的控制装置。本实施例中，控制器30由包含CPU及内部存储器的运算处理装置构成，使CPU执行存储于内部存储器的驱动控制用程序来实现各种功能。

并且，控制器30根据各种装置的输出来判定挖土机的周边是否存在人体，并根据该判定结果来控制各种装置。具体而言，控制器30接收摄像装置40的输出，并执行分别与抽取部31及识别部32对应的软件程序。并且，根据该实行结果来执行挖土机的驱动控制，或者从输出装置50输出各种信息。另外，控制器30也可以是图像处理专用的控制装置。

摄像装置40为拍摄挖土机周围的图像的装置，对控制器30输出所拍摄的图像。本实施例中，摄像装置40为采用CCD等摄像元件的广角照相机，在上部转动体3的上部安装成光轴朝向斜下方。

输出装置50为输出各种信息的装置，例如包含显示各种图像信息的车载显示器、声音输出各种声音信息的车载扬声器等。本实施例中，输出装置50根据来自控制器30的控制指令来输出各种信息。

抽取部31为从摄像装置40所拍摄的摄像图像中抽取识别处理对象图像的功能要件。具体而言，抽取部31通过运算量比较少的图像处理(以下，设为“前级图像辨识处理”。)来抽取识别处理对象图像。前级图像辨识处理包含抽取基于局部的亮度梯度或边缘的简单特征、基于霍夫(Hough)变换等的几何学特征、与根据亮度而分割的区域的面积或纵横尺寸比有关的特征等的图像处理。识别处理对象图像为成为后续的图像处理的对象的图像部分(摄像图像的一部分)，包含人体候选图像。人体候选图像是为人体图像的可能性较高的图像部分(摄像图像的一部分)。

识别部32为识别抽取部31所抽取的识别处理对象图像中所包含的人体候选图像是否为人体图像的功能要件。具体而言，识别部32通过运算量比较多的图像处理(以下，设为“后级图像辨识处理”。)来识别人体候选图像是否为人体图像。后级图像辨识处理包含使用了以HOG(方向梯度直方图(Histograms of Oriented Gradients))特征量为代表的图像特征量记述和通过机器学习而生成的识别器的图像辨识处理等。基于抽取部31的识别处理对象图像的抽取精确度越高，识别部32将人体候选图像识别为人体图像的比例越高。另外，在夜间、恶劣天气时等不适合进行拍摄的环境下无法得到所希望品质的摄像图像的情况等，识别部32可以将所有的人体候选图像识别为人体图像。即，可以将抽取部31所抽取的识别处理对象图像中的所有的人体候选图像识别为人体。这是为了防止人体的检测遗漏。

接着，参考图3A及图3B对后方照相机40B所拍摄的挖土机后方的摄像图像中的人体图像的观察方法进行说明。另外，图3A及图3B的2个摄像图像为后方照相机40B的摄像图像的例子。并且，图3A及图3B的虚线圆表示人体图像的存在，不显示于实际的摄像图像中。

后方照相机40B为广角照相机，且安装于从斜上方俯视人体的高度。因此，摄像图像中的人体图像的观察方法根据从后方照相机40B观察的人体的存在方向而有很大不同。例如，摄像图像中的人体图像越是靠近摄像图像的左右端部，越倾斜地显示。这是因为由广角照相机的广角透镜引起的图像歪斜。并且，越靠近后方照相机40B，头部显示得越大。并且，脚部进入挖土机车身的死角而导致观察不到。这些情况是由于后方照相机40B的设置位置而导致。因此，对摄像图像不实施任何加工是很难通过图像处理来识别该摄像图像中所包含的人体图像。

因此，本发明的实施例所涉及的人体检测系统100通过将识别处理对象图像标准化来促进识别处理对象图像中所包含的人体图像的识别。另外，“标准化”是指将识别处理对象图像变换为规定尺寸及规定形状的图像。本实施例中，在摄像图像中呈现各种形状的识别处理对象图像是通过投影变换而变换为规定尺寸的长方形图像。另外，作为投影变换，例如使用8个变量的投影变换矩阵。

在此，参考图4～图6C对人体检测系统100将识别处理对象图像标准化的处理(以下，设为“标准化处理”。)的一例进行说明。另外，图4是表示抽取部31从摄像图像中切出识别处理对象图像时所使用的几何学关系的一例的示意图。

图4的方框BX为实际空间中的虚拟立体物，本实施例中，是由8个顶点A～H确定的虚拟长方体。并且，点Pr是为了参考识别处理对象图像而预先设定的参考点。本实施例中，参考点Pr是作为人体的假想站立位置而预先设定的点，位于由4个顶点A～D确定的四边形ABCD的中心。并且，方框BX的尺寸是根据人体的朝向、步幅、身高等而设定的。本实施例中，四边形ABCD及四边形EFGH为正方形，一边的长度例如为800mm。并且，长方体的高度例如为1800mm。即，方框BX为宽度800mm×纵深800mm×高度1800mm的长方体。

由4个顶点A、B、G、H确定的四边形ABGH形成与摄像图像中的识别处理对象图像的区域相对应的虚拟平面区域TR。并且，作为虚拟平面区域TR的四边形ABGH相对于作为水平面的虚拟地面倾斜。

另外，本实施例中，为了确定参考点Pr与虚拟平面区域TR之间的关系而采用作为虚拟长方体的方框BX。然而，只要能够将朝向摄像装置40的方向且相对于虚拟地面倾斜的虚拟平面区域TR与任意的参考点Pr建立关联而确定，则没有限制。例如，可以采用使用了其他虚拟立体物的关系等其他的几何学关系，也可以采用函数、变换表等其他的数学关系。

图5是挖土机后方的实际空间的俯视图，表示使用参考点Pr1、Pr2参考虚拟平面区域TR1、TR2的情况下的后方照相机40B与虚拟平面区域TR1、TR2之间的位置关系。另外，本实施例中，参考点Pr能够配置于虚拟地面上的虚拟栅格的格子点的每一个上。但是，参考点Pr可以不规则地配置于虚拟地面上，也可以等间隔配置于从后方照相机40B向虚拟地面的投影点以放射状延伸的线段上。例如，各线段可以以1度刻度放射状延伸，参考点Pr可以以100mm间隔配置于各线段上。

如图4及图5所示，在使用参考点Pr1参考虚拟平面区域TR1的情况下，由四边形ABFE(参考图4。)确定的方框BX的第1面以与后方照相机40B正对的方式配置。即，俯视观察时连结后方照相机40B和参考点Pr1的线段与有关参考点Pr1而配置的方框BX的第1面正交。同样地，在使用参考点Pr2参考虚拟平面区域TR2的情况下，方框BX的第1面也以与后方照相机40B正对的方式配置。即，俯视观察时连结后方照相机40B和参考点Pr2的线段与有关参考点Pr2而配置的方框BX的第1面正交。该关系在参考点Pr配置于任一格子点上的情况下均成立。即，方框BX以其第1面始终与后方照相机40B正对的方式配置。

图6A～图6C是表示由摄像图像生成标准化图像的处理的流程的图。具体而言，图6A是后方照相机40B的摄像图像的一例，表示有关实际空间中的参考点Pr而配置的方框BX。并且，图6B是切出摄像图像中的识别处理对象图像的区域TRg(以下，设为“识别处理对象图像区域TRg”。)而成的图，对应于映入在图6A的摄像图像中的虚拟平面区域TR。并且，图6C表示将具有识别处理对象图像区域TRg的识别处理对象图像标准化而成的标准化图像TRgt。

如图6A所示，在实际空间上有关参考点Pr1而配置的方框BX确定实际空间中的虚拟平面区域TR的位置，并且确定与虚拟平面区域TR相对应的摄像图像上的识别处理对象图像区域TRg。

如此，若实际空间中的参考点Pr的位置被确定，则实际空间中的虚拟平面区域TR的位置唯一地确定，摄像图像中的识别处理对象图像区域TRg也被唯一地确定。并且，抽取部31能够将具有识别处理对象图像区域TRg的识别处理对象图像标准化而生成规定尺寸的标准化图像TRgt。本实施例中，标准化图像TRgt的尺寸例如为纵64像素×横32像素。

图7(A1)～图7(C2)是表示摄像图像、识别处理对象图像区域及标准化图像之间的关系的图。具体而言，图7A1表示摄像图像中的识别处理对象图像区域TRg3，图7A2表示具有识别处理对象图像区域TRg3的识别处理对象图像的标准化图像TRgt3。并且，图7B1表示摄像图像中的识别处理对象图像区域TRg4，图7B2表示具有识别处理对象图像区域TRg4的识别处理对象图像的标准化图像TRgt4。同样地，图7C1表示摄像图像中的识别处理对象图像区域TRg5，图7C2表示具有识别处理对象图像区域TRg5的识别处理对象图像的标准化图像TRgt5。

如图7(A1)～图7(C2)所示，摄像图像中的识别处理对象图像区域TRg5大于摄像图像中的识别处理对象图像区域TRg4。这是因为与识别处理对象图像区域TRg5相对应的虚拟平面区域与后方照相机40B之间的距离小于与识别处理对象图像区域TRg4相对应的虚拟平面区域与后方照相机40B之间的距离。同样地，摄像图像中的识别处理对象图像区域TRg4大于摄像图像中的识别处理对象图像区域TRg3。这是因为与识别处理对象图像区域TRg4相对应的虚拟平面区域与后方照相机40B之间的距离小于与识别处理对象图像区域TRg3相对应的虚拟平面区域与后方照相机40B之间的距离。即，相对应的虚拟平面区域与后方照相机40B之间的距离越大，摄像图像中的识别处理对象图像区域越小。另一方面，标准化图像TRgt3、TRgt4、TRgt5均为相同尺寸的长方形图像。

如此，抽取部31将在摄像图像中呈现各种形状及尺寸的识别处理对象图像标准化为规定尺寸的长方形图像，并将包含人体图像的人体候选图像标准化。具体而言，抽取部31在标准化图像的规定区域配置人体候选图像的推断为头部的图像部分(以下，设为“头部图像部分”。)。并且，在标准化图像的其他的规定区域配置人体候选图像的推断为胴体部的图像部分(以下，设为“胴体部图像部分”。)，且在标准化图像的另一其他的规定区域配置人体候选图像的推断为脚部的图像部分(以下，设为“脚部图像部分”。)。并且，抽取部31能够在抑制人体候选图像相对于标准化图像的形状的倾斜(图像歪斜)的状态下获取标准化图像。

接着，参考图8A及图8B对识别处理对象图像区域包含对人体图像的识别带来负面影响的不适合于识别的图像区域(以下，设为“识别处理不适合区域”。)的情况的标准化处理进行说明。识别处理不适合区域为人体图像无法存在的已知区域，例如包含映入有挖土机的车身的区域(以下，设为“车身映入区域”。)、从摄像图像中超出的区域(以下，设为“超出区域”。)等。另外，图8A及图8B是表示识别处理对象图像区域与识别处理不适合区域之间的关系的图，对应于图7C1及图7C2。并且，图8A的向右下倾斜的斜线阴影区域对应于超出区域R1，向左下倾斜的斜线阴影区域对应于车身映入区域R2。

本实施例中，当识别处理对象图像区域TRg5包含超出区域R1及车身映入区域R2的一部分时，抽取部31对这些识别处理不适合区域进行屏蔽处理。并且，在进行屏蔽处理之后，生成具有识别处理对象图像区域TRg5的识别处理对象图像的标准化图像TRgt5。另外，抽取部31也可以在生成标准化图像TRgt5之后，对与标准化图像TRgt5中的识别处理不适合区域相对应的部分进行屏蔽处理。

图8B表示标准化图像TRgt5。并且，图8B中，向右下倾斜的斜线阴影区域表示与超出区域R1相对应的屏蔽区域M1，向左下倾斜的斜线阴影区域表示与车身映入区域R2的一部分相对应的屏蔽区域M2。

如此，抽取部31通过对识别处理不适合区域的图像进行屏蔽处理来防止识别处理不适合区域的图像对基于识别部32的识别处理带来影响。通过该屏蔽处理，识别部32能够不受识别处理不适合区域的图像的影响而使用标准化图像中的屏蔽区域以外的区域的图像来识别是否为人体图像。另外，抽取部31也可以利用屏蔽处理以外的其他任意的公知方法来避免识别处理不适合区域的图像对基于识别部32的识别处理带来影响。

接着，参考图9对抽取部31所生成的标准化图像的特征进行说明。另外，图9是表示标准化图像的例子的图。并且，图9所示的14张标准化图像，越是靠近图左端的标准化图像，包含存在于越靠近后方照相机40B的位置的人体候选的图像，越是靠近图右端的标准化图像，包含存在于越远离后方照相机40B的位置的人体候选的图像。

如图9所示，抽取部31能够与实际空间中的虚拟平面区域TR与后方照相机40B之间的后方水平距离(图5所示的Y轴方向的水平距离)无关地，在任何标准化图像内都以大致相同的比例配置头部图像部分、胴体部图像部分、脚部图像部分等。因此，抽取部31能够减少识别部32执行识别处理时的运算负荷，且能够提高该识别结果的可靠性。另外，上述的后方水平距离为与实际空间中的虚拟平面区域TR与后方照相机40B之间的位置关系有关的信息的一例，抽取部31对所抽取的识别处理对象图像附加该信息。并且，与上述位置关系有关的信息包含连结与虚拟平面区域TR相对应的参考点Pr和后方照相机40B的线段相对于后方照相机40B的光轴的俯视角度等。

接着，参考图10对实际空间中的虚拟平面区域TR与后方照相机40B之间的后方水平距离与标准化图像中的头部图像部分的大小之间的关系进行说明。另外，图10上图是表示在距后方照相机40B的后方水平距离分别不同的3个参考点Pr10、Pr11、P12处存在人体的情况的头部图像部分的大小L10、L11、L12的图，横轴对应于后方水平距离。并且，图10下图是表示后方水平距离与头部图像部分的大小之间的关系的曲线图，纵轴对应于头部图像部分的大小，横轴对应于后方水平距离。另外，图10上图及图10下图的横轴是共用的。并且，本实施例中，将照相机高度设为2100mm，将头部HD的中心距地面的高度设为1600mm，将头部的直径设为250mm。

如图10上图所示，在参考点Pr10所示的位置存在人体的情况下，头部图像部分的大小L10相当于从后方照相机40B观察的头部HD投影在虚拟平面区域TR10的投影像的大小。同样地，在参考点Pr11、Pr12所示的位置存在人体的情况下，头部图像部分的大小L11、L12相当于从后方照相机40B观察的头部HD投影在虚拟平面区域TR11、TR12的投影像的大小。另外，标准化图像中的头部图像部分的大小随着投影像的大小而变化。

并且，如图10下图所示，标准化图像中的头部图像部分的大小在后方水平距离为D1(例如700mm)以上时维持大致相同的大小，但在后方水平距离小于D1时急剧增大。

因此，识别部32根据后方水平距离来改变识别处理的内容。例如，当使用监督学习(机器学习)的方法时，识别部32以规定的后方水平距离(例如650mm)为边界，对识别处理中所使用的学习样本进行分组。具体而言，将学习样本分为近距离用组和远距离用组。通过该结构，识别部32能够更高精确度地识别人体图像。

通过以上结构，人体检测系统100由与朝向摄像装置40的方向且相对于作为水平面的虚拟地面倾斜的虚拟平面区域TR相对应的识别处理对象图像区域TRg生成标准化图像TRgt。因此，能够实现考虑到人体的高度方向及纵深方向的观察方法的标准化。其结果，即使在使用以从斜上方拍摄人体的方式安装于施工机械的摄像装置40的摄像图像的情况下，也能够更可靠地检测存在于施工机械周围的人体。尤其，即使在人体靠近摄像装置40的情况下，也能够由占据摄像图像上的足够大小的区域的识别处理对象图像生成标准化图像，因此能够可靠地检测该人体。

并且，人体检测系统100定义虚拟平面区域TR来作为由实际空间中的虚拟长方体即方框BX的4个顶点A、B、G、H形成的矩形区域。因此，能够将实际空间中的参考点Pr与虚拟平面区域TR在几何学上建立对应，进而能够将实际空间中的虚拟平面区域TR与摄像图像中的识别处理对象图像区域TRg在几何学上建立对应。

并且，抽取部31对识别处理对象图像区域TRg中所包含的识别处理不适合区域的图像进行屏蔽处理。因此，识别部32不受包含车身映入区域R2的识别处理不适合区域的图像的影响而能够使用标准化图像中的屏蔽区域以外的区域的图像来识别是否为人体图像。

并且，在抽取了识别处理对象图像的情况下，作为与虚拟平面区域TR与摄像装置40之间的位置关系有关的信息，抽取部31将两者间的后方水平距离附加于该识别处理对象图像中。并且，识别部32根据该后方水平距离来改变识别处理的内容。具体而言，识别部32以规定的后方水平距离(例如650mm)为边界，对识别处理中所使用的学习样本进行分组。通过该结构，识别部32能够更高精确度地识别人体图像。

并且，抽取部31能够按每个参考点Pr抽取识别处理对象图像。并且，识别处理对象图像区域TRg的每一个经由相对应的虚拟平面区域TR与作为人体的假想站立位置而预先设定的参考点Pr中的1个建立关联。因此，人体检测系统100能够利用任意的方法来抽取人体的存在可能性高的参考点Pr，由此能够抽取包含人体候选图像的可能性高的识别处理对象图像。在该情况下，能够防止对包含人体候选图像的可能性低的识别处理对象图像实施基于运算量比较多的图像处理的识别处理，能够实现人体检测处理的高速化。

接着，参考图11、图12A、及图12B对抽取部31抽取包含人体候选图像的可能性高的识别处理对象图像的处理的一例进行说明。另外，图11是表示抽取部31从摄像图像中切出识别处理对象图像时所使用的几何学关系的一例的示意图，对应于图4。并且，图12A及图12B是表示摄像图像中的特征图像的一例的图。另外，特征图像为表示人体的特征部分的图像，优选为表示距实际空间中的地面的高度难以变化的部分的图像。因此，特征图像例如包含安全帽的图像、肩膀的图像、头部的图像、安装于人体的反射板或标记的图像等。

尤其，安全帽具有如下特征：其形状为大致球体，其投影像投影在摄像图像上时与摄像方向无关地始终接近圆形。并且，安全帽具有如下特征：其表面为硬质且具有光泽或半光泽，在其投影像投影在摄像图像上时容易产生局部的高亮度区域和以该区域为中心的放射状的亮度梯度。因此，安全帽的图像尤其适合作为特征图像。另外，可以为了从摄像图像中找出安全帽的图像的图像处理而利用其投影像接近圆形的特征、容易产生以局部的高亮度区域为中心的放射状的亮度梯度的特征等。并且，从摄像图像中找出安全帽的图像的图像处理例如包含亮度平滑处理、高斯平滑处理、亮度极大点搜索处理、亮度极小点搜索处理等。

并且，为了稳定地实现在摄像图像中容易产生以局部的高亮度区域为中心的放射状的渐变(亮度梯度)的特征，可以在摄像装置40附近设置照明装置。在该情况下，照明装置例如安装于照明装置41的上方，以照射摄像装置40的摄像区域。

图13是搭载有照明装置41的挖土机的侧视图。具体而言，在后方照相机40B、左侧方照相机40L、右侧方照相机40R的上方安装有后方灯41B、左侧方灯41L、右侧方灯41R。

通过该结构，照明装置能够强调以由来自安全帽的反射光形成的摄像图像中的局部的高亮度区域为中心的放射状的亮度梯度。并且，照明装置能够使难以与背景色区分的颜色的安全帽显眼，并且即使在室内、夜间等环境光少的场所也能够使安全帽显眼。

本实施例中，抽取部31通过前级图像辨识处理来找出摄像图像中的安全帽图像(严密地说是能够推断为安全帽的图像)。这是因为可以认为在挖土机周围工作的人体佩戴了安全帽。并且，抽取部31从找出的安全帽图像的位置导出关联性最高的参考点Pr。而且，抽取部31抽取与该参考点Pr相对应的识别处理对象图像。

具体而言，抽取部31利用图11所示的几何学关系，从摄像图像中的安全帽图像的位置导出关联性高的参考点Pr。另外，图11的几何学关系在确定实际空间中的虚拟头部位置HP的方面与图4的几何学关系不同，在其他方面相同。

虚拟头部位置HP表示假想为存在于参考点Pr上的人体的头部位置，配置于参考点Pr的正上方。本实施例中，配置于参考点Pr上的高度1700mm处。因此，若实际空间中的虚拟头部位置HP被确定，则实际空间中的参考点Pr的位置唯一地确定，实际空间中的虚拟平面区域TR的位置也唯一地确定。并且，摄像图像中的识别处理对象图像区域TRg也唯一地确定。并且，抽取部31能够将具有识别处理对象图像区域TRg的识别处理对象图像标准化而生成规定尺寸的标准化图像TRgt。

相反地，若实际空间中的参考点Pr的位置被确定，则实际空间中的虚拟头部位置HP唯一地确定，与实际空间中的虚拟头部位置HP相对应的摄像图像上的头部图像位置AP也唯一地确定。因此，头部图像位置AP能够与预先设定的参考点Pr的每一个建立对应而预先设定。另外，可以从参考点Pr实时导出头部图像位置AP。

因此，抽取部31通过前级图像辨识处理，在后方照相机40B的摄像图像内搜索安全帽图像。图12A表示抽取部31找出安全帽图像HRg的状态。并且，抽取部31在找出安全帽图像HRg时确定其代表位置RP。另外，代表位置RP为根据安全帽图像HRg的大小、形状等导出的位置。本实施例中，代表位置RP为包含安全帽图像HRg的安全帽图像区域的中心像素的位置。图12B是图12A中以白线隔开的矩形图像区域即安全帽图像区域的放大图，表示该安全帽图像区域的中心像素的位置为代表位置RP。

然后，抽取部31例如使用最近邻搜索算法来导出位于代表位置RP的最近邻的头部图像位置AP。图12B表示在代表位置RP附近预先设定有6个头部图像位置AP1～AP6，其中的头部图像位置AP5为位于代表位置RP的最近邻的头部图像位置AP。

并且，抽取部31利用图11所示的几何学关系，从所导出的最近邻的头部图像位置AP参照虚拟头部位置HP、参考点Pr、虚拟平面区域TR而抽取相对应的识别处理对象图像区域TRg。然后，抽取部31将具有所抽取的识别处理对象图像区域TRg的识别处理对象图像标准化而生成标准化图像TRgt。

如此，抽取部31通过将摄像图像中的人体的特征图像的位置即安全帽图像HRg的代表位置RP与预先设定的头部图像位置AP中的1个(头部图像位置AP5)建立对应来抽取识别处理对象图像。

另外，抽取部31也可以利用将头部图像位置AP与参考点Pr、虚拟平面区域TR、或识别处理对象图像区域TRg直接建立对应的参考表来代替利用图11所示的几何学关系，从而抽取与头部图像位置AP相对应的识别处理对象图像。

并且，抽取部31也可以利用爬山算法、均值漂移(Mean-shift)算法等最近邻搜索算法以外的其他公知的算法从代表位置RP导出参考点Pr。例如，当利用爬山算法时，抽取部31导出位于代表位置RP附近的多个头部图像位置AP，并将代表位置RP和与这些多个头部图像位置AP的每一个相对应的参考点Pr建立关联。此时，抽取部31以代表位置RP与头部图像位置AP越接近，权重变得越大的方式对参考点Pr赋予权重。并且，根据多个参考点Pr的权重的分布，从具有最接近权重极大点的权重的参考点Pr抽取识别处理对象图像区域TRg。

接着，参考图14对控制器30的抽取部31抽取识别处理对象图像的处理(以下，设为“图像抽取处理”。)的一例进行说明。另外，图14是表示图像抽取处理的一例的流程的流程图。

首先，抽取部31在摄像图像内搜索安全帽图像(步骤ST1)。本实施例中，抽取部31通过前级图像辨识处理对后方照相机40B的摄像图像进行光栅扫描并找出安全帽图像。

当在摄像图像中找出安全帽图像HRg时(步骤ST1的是)，抽取部31获取安全帽图像HRg的代表位置RP(步骤ST2)。

然后，抽取部31获取位于所获取的代表位置RP的最近邻的头部图像位置AP(步骤ST3)。

然后，抽取部31抽取与所获取的头部图像位置AP相对应的识别处理对象图像(步骤ST4)。本实施例中，抽取部31利用图11所示的几何学关系，参照摄像图像中的头部图像位置AP、实际空间中的虚拟头部位置HP、作为实际空间中的人体的假想站立位置的参考点Pr、及实际空间中的虚拟平面区域TR的对应关系来抽取识别处理对象图像。

另外，当在摄像图像中没有找出安全帽图像HRg时(步骤ST1的否)，抽取部31不抽取识别处理对象图像而将处理过渡到步骤ST5。

然后，抽取部31判定是否在整个摄像图像中搜索了安全帽图像(步骤ST5)。

当判定为还没有对整个摄像图像进行搜索时(步骤ST5的否)，抽取部31对摄像图像的其他的区域实施步骤ST1～步骤ST4的处理。

另一方面，当判定为在整个摄像图像中已完成安全帽图像的搜索时(步骤ST5的是)，抽取部31结束本次的图像抽取处理。

如此，抽取部31首先找出安全帽图像HRg，并从找出的安全帽图像HRg的代表位置RP经头部图像位置AP、虚拟头部位置HP、参考点(假想站立位置)Pr、虚拟平面区域TR而确定识别处理对象图像区域TRg。并且，抽取具有所确定的识别处理对象图像区域TRg的识别处理对象图像并进行标准化，由此能够生成规定尺寸的标准化图像TRgt。

接着，参考图15对图像抽取处理的另一例进行说明。另外，图15是表示图像抽取处理的另一例的流程的流程图。

首先，抽取部31获取头部图像位置AP中的1个(步骤ST11)。然后，抽取部31获取与该头部图像位置AP相对应的安全帽图像区域(步骤ST12)。本实施例中，安全帽图像区域为对头部图像位置AP的每一个预先设定的规定尺寸的图像区域。

然后，抽取部31在安全帽图像区域内搜索安全帽图像(步骤ST13)。本实施例中，抽取部31通过前级图像辨识处理对安全帽图像区域内进行光栅扫描来找出安全帽图像。

当在安全帽图像区域内找出了安全帽图像HRg时(步骤ST13的是)，抽取部31抽取与此时的头部图像位置AP相对应的识别处理对象图像(步骤ST14)。本实施例中，抽取部31利用图11所示的几何学关系，参照摄像图像中的头部图像位置AP、实际空间中的虚拟头部位置HP、作为实际空间中的人体的假想站立位置的参考点Pr、及实际空间中的虚拟平面区域TR的对应关系来抽取识别处理对象图像。

另外，当在安全帽图像区域内没有找出安全帽图像HRg时(步骤ST13的否)，抽取部31不抽取识别处理对象图像而将处理过渡到步骤ST15。

然后，抽取部31判定是否已获取所有的头部图像位置AP(步骤ST15)。并且，当判定为还未获取所有的头部图像位置AP时(步骤ST15的否)，抽取部31获取未获取的其他的头部图像位置AP，并执行步骤ST11～步骤ST14的处理。另一方面，当判定为已获取所有的头部图像位置AP时(步骤ST15的是)，抽取部31结束本次的图像抽取处理。

如此，抽取部31首先获取头部图像位置AP中的1个。并且，当在与所获取的头部图像位置AP相对应的安全帽图像区域找出安全帽图像HRg时，从此时的头部图像位置AP经虚拟头部位置HP、参考点(假想站立位置)Pr、虚拟平面区域TR而确定识别处理对象图像区域TRg。并且，抽取具有所确定的识别处理对象图像区域TRg的识别处理对象图像并进行标准化，由此能够生成规定尺寸的标准化图像TRgt。

通过以上结构，人体检测系统100的抽取部31找出摄像图像中的作为特征图像的安全帽图像，并将该安全帽图像的代表位置RP与作为规定图像位置的头部图像位置AP中的1个建立对应，由此抽取识别处理对象图像。因此，能够以简单的系统结构来锁定成为后级图像辨识处理的对象的图像部分。

另外，抽取部31也可以首先从摄像图像中找出安全帽图像HRg，导出与该安全帽图像HRg的代表位置RP相对应的头部图像位置AP中的1个，并抽取与该头部图像位置AP中的1个相对应的识别处理对象图像。或者，抽取部31可以首先获取头部图像位置AP中的1个，当在包含与该头部图像位置AP中的1个相对应的特征图像的位置的规定区域即安全帽图像区域内存在安全帽图像时，获取与该头部图像位置AP中的1个相对应的识别处理对象图像。

并且，抽取部31可以利用如图11所示的规定的几何学关系，从摄像图像中的安全帽图像的代表位置RP抽取识别处理对象图像。在该情况下，规定的几何学关系表示摄像图像中的识别处理对象图像区域TRg、与识别处理对象图像区域TRg相对应的实际空间中的虚拟平面区域TR、与虚拟平面区域TR相对应的实际空间中的参考点Pr(人体的假想站立位置)、与参考点Pr相对应的虚拟头部位置HP(与人体的假想站立位置相对应的人体的特征部分在实际空间中的位置即虚拟特征位置)、及与虚拟头部位置HP相对应的摄像图像中的头部图像位置AP(与虚拟特征位置相对应的摄像图像中的规定图像位置)之间的几何学关系。

以上，对本发明的优选实施例进行了详细说明，但本发明并不限于上述实施例，在不脱离本发明的范围的情况下，能够对上述实施例施加各种变形及替换。

例如，上述实施例中，假想了使用安装于挖土机的上部转动体3上的摄像装置40的摄像图像来检测人体的情况，但本发明并不限定于该结构。例如，也可以应用于使用安装于起重机、起重磁铁设备等的主体部的摄像装置的摄像图像的结构。

并且，上述实施例中，使用3个照相机拍摄了挖土机的死角区域，但也可以使用1个、2个、或4个以上的照相机拍摄挖土机的死角区域。

并且，本申请主张基于2014年6月3日申请的日本专利申请2014-115227号的优先权，并将该日本专利申请的全部内容通过参考援用于本申请。

符号的说明

1-下部行走体，2-转动机构，3-上部转动体，4-动臂，5-斗杆，6-铲斗，7-动臂缸，8-斗杆缸，9-铲斗缸，10-驾驶舱，30-控制器，31-抽取部，32-识别部，40-摄像装置，40B-后方照相机，40L-左侧方照相机，40R-右侧方照相机，41-照明装置，41B-后方灯，41L-左侧方灯，41R-右侧方灯，50-输出装置，100-人体检测系统，AP、AP1～AP6-头部图像位置，BX-方框，HD-头部，HP-虚拟头部位置，HRg-安全帽图像，M1、M2-屏蔽区域，Pr、Pr1、Pr2、Pr10～Pr12-参考点，R1-超出区域，R2-车身映入区域，RP-代表位置，TR、TR1、TR2、TR10～TR12-虚拟平面区域，TRg、TRg3、TRg4、TRg5-识别处理对象图像区域，TRgt、TRgt3、TRgt4、TRgt5-标准化图像。