本申请主张基于2015年11月4日申请的日本专利申请第2015-217106号的优先权。其申请的全部内容通过参考援用于本说明书中。
本发明涉及一种具备周边监视用摄像机和检测机身的姿势变化的传感器的挖土机。
背景技术:
已知有一种具备安装于上部回转体的周边监视用摄像机及检测挖土机相对于水平面的两个轴向的倾斜角的倾斜传感器的挖土机(例如参考专利文献1)。
专利文献1:日本特开2013-113044号公报
专利文献1中,作为运动检测装置的倾斜传感器安装于与摄像机的安装位置不同的位置。因此需要倾斜传感器的专用电源电缆、信号电缆等。其结果,与包括倾斜传感器及摄像机在内的多个装置各自有关的电源电缆、信号电缆等的布线变得复杂,且可能对维修带来麻烦。
技术实现要素:
本发明鉴于上述情况,要求提供一种更有效地安装有运动检测装置及摄像机的挖土机。
本发明实施例所涉及的挖土机具备:下部行走体;上部回转体;以能够回转的方式搭载于所述下部行走体;附件,安装于所述上部回转体;驾驶室,设置于所述上部回转体;操作装置,设置于所述驾驶室内,且使所述上部回转体相对于所述下部行走体回转;显示装置,在所述驾驶室内朝驾驶席安装;摄像机,安装于所述上部回转体;及运动检测装置,检测所述摄像机在三维空间中的运动,所述运动检测装置与所述摄像机安装于同一位置。
发明的效果
通过上述方法,能够提供一种更有效地安装有运动检测装置及摄像机的挖土机。
附图说明
图1为本发明的实施例所涉及的挖土机的侧视图。
图2为表示摄像机、机器导航装置及显示装置的连接关系的挖土机的俯视图。
图3为表示摄像机的内部结构的概略图。
图4为表示图1的挖土机的驱动系统的结构例的图。
图5为表示机器导航装置的结构例的图。
图6为图像识别条件调整处理的流程图。
图7为本发明的另一实施例所涉及的挖土机的侧视图。
图8为图7的挖土机的俯视图。
符号的说明
1-下部行走体,2-回转机构,3-上部回转体,4-动臂,5-斗杆,6-铲斗,7-动臂缸,8-斗杆缸,9-铲斗缸,10-驾驶室,11-发动机,11a-交流发电机,11b-启动装置,11c-水温传感器,14-主泵,14a-调整器,14b-排出压力传感器,14c-油温传感器,15-先导泵,17-控制阀,26-操作装置,29-压力传感器,30-控制器,30a-临时存储部,50-机器导航装置,50a-信号处理部,55-燃料容纳部,55a-燃料容纳量检测部,70-蓄电池,72-电气安装件,75-发动机转速调整刻度表,501-倾斜角计算部,503-高度计算部,504-比较部,505-警报控制部,506-导航数据输出部,507-图像识别部,508-图像识别条件调整部,cb1、cb2-传输介质,cv-罩体,s1-动臂角度传感器,s2-斗杆角度传感器,s3-铲斗角度传感器,s4-机身倾斜传感器,s5-回转角速度传感器,s6-摄像机,s6b-后方摄像机,s6l-左侧摄像机,s6r-右侧摄像机,s6a-透镜部,s6b-拍摄部,s6c-电源电路部,s6d-信号处理部,s7-通信装置,s8-定位装置,d1-输入装置,d2-声音输出装置,d3-显示装置,d3a-转换处理部,d4-存储装置,d5-门锁杆,d6-门锁阀,d7-发动机控制器单元,md、mdb、mdl、mdr-运动检测装置,pc1、pc2、pc3-电源电缆。
具体实施方式
图1为本发明的实施例所涉及的挖土机(挖掘机)的侧视图。上部回转体3以能够回转的方式经由回转机构2搭载于挖土机的下部行走体1。在上部回转体3安装有动臂4。在动臂4的前端安装有斗杆5,在斗杆5的前端安装有作为端部附件的铲斗6。
动臂4、斗杆5及铲斗6作为附件的一例构成挖掘附件,并通过动臂缸7、斗杆缸8及铲斗缸9分别被液压驱动。在动臂4安装有动臂角度传感器s1,在斗杆5安装有斗杆角度传感器s2,在铲斗6安装有铲斗角度传感器s3。
动臂角度传感器s1检测动臂4的转动角度。本实施例中,动臂角度传感器s1为通过检测相对于水平面的倾斜度以检测动臂4相对于上部回转体3的转动角度的加速度传感器。
斗杆角度传感器s2检测斗杆5的转动角度。本实施例中,斗杆角度传感器s2为通过检测相对于水平面的倾斜度以检测斗杆5相对于动臂4的转动角度的加速度传感器。
铲斗角度传感器s3检测铲斗6的转动角度。本实施例中,铲斗角度传感器s3为通过检测相对于水平面的倾斜度以检测铲斗6相对于斗杆5的转动角度的加速度传感器。
动臂角度传感器s1、斗杆角度传感器s2及铲斗角度传感器s3可以是利用可变电阻器的电位计、检测对应液压缸的行程量的行程传感器、检测连结销旋转的转动角度的旋转编码器等。
在上部回转体3设置有驾驶室10并且搭载有发动机11等动力源。并且,在上部回转体3安装有机身倾斜传感器s4、回转角速度传感器s5及摄像机s6。并且,也可以安装有通信装置s7及定位装置s8。
机身倾斜传感器s4检测上部回转体3相对于水平面的倾斜度。本实施例中,机身倾斜传感器s4为检测上部回转体3的倾斜角的三轴加速度传感器,其内置于摄像机s6的框体内。
回转角速度传感器s5检测上部回转体3的回转角速度。本实施例中,回转角速度传感器s5为陀螺仪传感器,其内置于摄像机s6的框体内。
摄像机s6为获取挖土机周边的图像的拍摄装置。本实施例中,摄像机s6安装于上部回转体3的后端。
通信装置s7为控制挖土机与外部之间的通信的装置。通信装置s7例如控制gnss等测量系统与挖土机之间的无线通信。挖土机利用通信装置s7,从而能够经由无线通信获取包含与目标施工面有关的信息等的设计数据。但是,挖土机也可以经由半导体存储器等获取设计数据。
定位装置s8为测定挖土机的位置及朝向的装置。本实施例中,定位装置s8为组装有电子罗盘(地磁传感器)的gnss接收器,其测定挖土机存在位置的纬度、经度及高度,并且测定挖土机的朝向。并且,定位装置s8也可以是由两台gnss接收器构成的gnss罗盘。
驾驶室10内设置有输入装置d1、声音输出装置d2、显示装置d3、存储装置d4、门锁杆d5、控制器30及机器导航装置50。
控制器30发挥进行挖土机的驱动控制的主控制部的功能。本实施例中,控制器30由包含cpu及内部存储器的运算处理装置构成。控制器30的各种功能通过由cpu执行存储于内部存储器中的程序来实现。
机器导航装置50引导挖土机的操作。本实施例中,机器导航装置50例如以视觉形式且以听觉形式告知操作人员由操作人员所设定的目标施工面与铲斗6的前端(铲尖)位置在铅垂方向上的距离。由此,机器导航装置50引导操作人员对于挖土机的操作。另外,机器导航装置50可以仅以视觉形式告诉操作人员该距离,也可以仅以听觉形式告诉操作人员。具体而言,机器导航装置50与控制器30同样由包含cpu及内部存储器的运算处理装置构成。机器导航装置50的各种功能通过由cpu执行存储于内部存储器中的程序来实现。机器导航装置50可以与控制器30单独设置,或者也可以组装于控制器30。
并且,机器导航装置50具有通过利用公知的图像识别处理在由摄像机s6拍摄的图像内进行搜索以找出规定识别对象的物体的图像,从而检测物体的物体检测功能。由摄像机s6拍摄的图像为包括拍摄图像其本身和根据该拍摄图像生成的图像(例如显示图像)的概念,以下也称为“处理对象图像”。公知的图像识别处理包括例如利用sift(scale-invariantfeaturetransform)算法、surf(speeded-uprobustfeatures)算法、orb(orientedbrief(binaryrobustindependentelementaryfeatures))算法、hog(histogramsoforientedgradients)算法等的图像识别处理、利用模式匹配的图像识别处理等。并且,规定的识别对象的物体包括人(作业人员等)及物体(障碍物等)。本实施例中,机器导航装置50例如以规定周期反复执行找出存在于挖土机后方的物体的图像的处理(以下,称为“物体检测处理”。)。另外,物体检测功能可以安装在不同于机器导航装置50的其他运算处理装置,或也可以安装于控制器30。
输入装置d1为用于挖土机的操作人员向机器导航装置50输入各种信息的装置。本实施例中,输入装置d1为安装于显示装置d3的周围的膜片开关。作为输入装置d1可以使用触控面板等。
声音输出装置d2根据来自机器导航装置50的声音输出指令输出各种声音信息。本实施例中,作为声音输出装置d2利用与机器导航装置50直接连接的车载扬声器。另外,作为声音输出装置d2可以利用蜂鸣器等警报器。
显示装置d3根据来自机器导航装置50的指令输出各种图像信息。本实施例中,作为在驾驶室10内朝驾驶席安装的显示装置d3利用与机器导航装置50直接连接的车载液晶显示器。
存储装置d4为用于存储各种信息的装置。本实施例中,作为存储装置d4使用半导体存储器等非易失性存储介质。存储装置d4存储由机器导航装置50等输出的各种信息。
门锁杆d5为防止挖土机被误操作的机构。本实施例中,门锁杆d5配置于驾驶室10的门与驾驶席之间。在门锁杆d5被提拉而操作人员无法从驾驶室10退出的情况下,能够操作各种操作装置。另一方面,在门锁杆d5被按下而操作人员能够从驾驶室10退出的情况下,无法操作各种操作装置。
接着,参考图2及图3对摄像机s6及运动检测装置md的详细内容进行说明。图2为挖土机的俯视图,其示出摄像机s6、机器导航装置50及显示装置d3的连接关系。并且,图3为表示摄像机s6的内部结构的概略图。
如图2所示,安装于上部回转体3的上表面后端的摄像机s6经由传输介质cb1与设置于驾驶室10内的机器导航装置50连接。并且,机器导航装置50经由传输介质cb2与安装在驾驶室10内的右侧斜前方的立柱的显示装置d3连接。传输介质cb1沿着上部回转体3的壳体内壁配置。传输介质cb2沿着驾驶室10的内壁配置。并且,摄像机s6、机器导航装置50及显示装置d3经由电源电缆pc1、pc2、pc3与蓄电池70连接。传输介质cb1、cb2例如由同轴电缆等任意电缆构成。
并且,如图3所示,摄像机s6主要由透镜部s6a、拍摄部s6b、电源电路部s6c及信号处理部s6d构成。并且,摄像机s6被罩体cv覆盖以确保防水性。
透镜部s6a为用于汇聚光的光学元件,例如为单焦透镜、变焦透镜等。
拍摄部s6b为将透镜部s6a所汇聚的光转换成电信号的功能要素,例如为ccd、cmos等。
电源电路部s6c为由通过电源电缆pc1从蓄电池70供给到的输入电力而生成摄像机s6所需的输出电力的电源电路。本实施例中,电源电路部s6c分别与运动检测装置md、拍摄部s6b及信号处理部s6d连接,且分别向运动检测装置md、拍摄部s6b及信号处理部s6d供给共用直流电压。
信号处理部s6d为对摄像机s6及运动检测装置md各自通过传输介质cb1收发的信号进行处理的功能要素。本实施例中,信号处理部s6d为接收机身倾斜传感器s4、回转角速度传感器s5及拍摄部s6b各自所输出的信号以进行复用的复用器,其通过一条传输介质cb1将复用信号发送到机器导航装置50。例如,信号处理部s6d对拍摄部s6b所输出的影像信号上叠加机身倾斜传感器s4及回转角速度传感器s5各自的检测值之后发送到机器导航装置50。通过该结构,与使用多个传输介质的情况相比能够简化传输介质的处理,并且能够降低制造成本。但是,信号处理部s6d也可以是将机身倾斜传感器s4、回转角速度传感器s5及拍摄部s6b各自所输出的信号个别发送到机器导航装置50的装置。该情况下,传输介质cb1由三条构成。并且,信号处理部s6d也可以根据需要具有ad-da转换功能。
运动检测装置md为检测摄像机s6在三维空间中的运动的装置,例如为加速度传感器、角速度传感器(陀螺仪传感器)、地磁传感器、gnss(globalnavigationsatellitesystem)罗盘等。本实施例中,运动检测装置md为检测摄像机s6在三维空间中的移动及旋转的装置,由作为机身倾斜传感器s4的加速度传感器和作为回转角速度传感器s5的陀螺仪传感器的组合而构成。并且,运动检测装置md也可以由机身倾斜传感器s4、回转角速度传感器s5、包含于定位装置s8的地磁传感器或作为定位装置s8的gnss罗盘的组合而构成。
并且,运动检测装置md与摄像机s6安装于同一位置。“与摄像机s6为同一位置”包括摄像机s6附近的位置。本实施例中,运动检测装置md内置于摄像机s6,且与摄像机s6一起移动。具体而言,运动检测装置md安装于摄像机s6的框体内,沿与摄像机s6相同的方向移动并且向与摄像机s6相同的方向旋转。这是因为能够将与运动检测装置md本身的移动有关的信息(运动检测装置md的检测值)直接用作与摄像机s6的移动有关的信息。但是,运动检测装置md只要能够以与摄像机s6相同的方式移动,则可以安装于摄像机s6的外部。例如,运动检测装置md也可以安装于摄像机s6的框体的外表面或罩体cv的内表面或外表面。并且,由于运动检测装置md进行与摄像机s6相同的运动,因此根据运动检测装置md的输出来导出摄像机s6的运动内容时能够省略进行坐标转换等复杂的运算,且能够实现传感器精度的提高。并且,通过省略复杂的运算,能够更早地获取与摄像机s6的运动有关的信息。并且,运动检测装置md由于内置于摄像机s6,因此能够提高组装性、维修性、传感器精度等。并且,能够确保防水性以及降低制造成本。
接着,参考图4对图1的挖土机的驱动系统进行说明。图4为表示图1的挖土机的驱动系统的结构例的图。图4中,机械动力系统用双重线表示,高压液压管路用粗实线表示,先导管路用虚线表示,电力驱动/控制系统用细实线表示。
发动机11为挖土机的动力源。本实施例中,发动机11为采用不受发动机负荷增减的影响而恒定维持发动机转速的同步控制的柴油发动机。发动机11中的燃料喷射量、燃料喷射时机、升高压力等通过发动机控制器单元(ecu)d7被控制。
在发动机11连接有作为液压泵的主泵14及先导泵15。在主泵14经由高压液压管路连接有控制阀17。
控制阀17为进行挖土机的液压系统的控制的液压控制装置。右侧行走用液压马达、左侧行走用液压马达、动臂缸7、斗杆缸8、铲斗缸9、回转用液压马达等液压制动器经由高压液压管路与控制阀17连接。另外,回转用液压马达可以是回转用电动发电机。
在先导泵15经由先导管路连接有操作装置26。操作装置26包括操纵杆及踏板。并且,操作装置26经由液压管路及门锁阀d6与控制阀17连接。操作装置26包括用于使上部回转体3相对于下部行走体1回转的回转操作杆、用于使下部行走体1行走的行走杆等。
门锁阀d6切换连接控制阀17与操作装置26的液压管路的连通/断开。本实施例中,门锁阀d6为根据来自控制器30的指令切换液压管路的连通/断开的电磁阀。控制器30根据门锁杆d5所输出的状态信号来判定门锁杆d5的状态。而且,控制器30在判定为门锁杆d5处于提拉的状态的情况下,对门锁阀d6输出连通指令。若收到连通指令,则门锁阀d6打开并连通液压管路。其结果,操作人员对操作装置26的操作变得有效。另一方面,控制器30在判定为门锁杆d5处于拉下的状态的情况下,对门锁阀d6输出断开指令。若收到断开指令,则门锁阀d6关闭并断开液压管路。其结果,操作人员对操作装置26的操作变为无效。
压力传感器29以压力形式检测操作装置26的操作内容。压力传感器29对控制器30输出检测值。
并且,图4表示控制器30、显示装置d3及机器导航装置50的连接关系。本实施例中,显示装置d3经由机器导航装置50与控制器30连接。另外,显示装置d3、机器导航装置50及控制器30也可以经由can等通信网连接,也可以经由专用线连接。
机器导航装置50包括对摄像机s6及运动检测装置md各自通过传输介质收发的信号进行处理的信号处理部50a。信号处理部50a与内置于摄像机s6的信号处理部s6d相对应。本实施例中,信号处理部50a为将由信号处理部s6d进行复用的信号分离成由机身倾斜传感器s4、回转角速度传感器s5及拍摄部s6b各自输出的信号的解复用器。但是,信号处理部50a在信号处理部s6d不将机身倾斜传感器s4、回转角速度传感器s5及拍摄部s6b各自所输出的信号进行复用的情况下可以省略。并且,信号处理部50a可以根据需要具有ad-da转换功能。
显示装置d3包括生成图像的转换处理部d3a。本实施例中,转换处理部d3a根据摄像机s6的输出来生成显示用摄像机图像。因此,显示装置d3经由机器导航装置50获取由与机器导航装置50连接的摄像机s6的输出。但是,摄像机s6可以与显示装置d3连接,也可以与控制器30连接。
并且,转换处理部d3a根据控制器30或机器导航装置50的输出生成显示用的图像。本实施例中,转换处理部d3a将由控制器30或机器导航装置50输出的各种信息转换成图像信号。另外,由控制器30输出的信息例如包括表示发动机冷却水的温度的数据、表示工作油的温度的数据、表示燃料的余量的数据等。并且,由机器导航装置50输出的信息包括表示铲斗6的前端(铲尖)位置的数据、表示作业对象的法面的朝向的数据、表示挖土机的朝向的数据、表示用于使挖土机与法面正对的操作方向的数据等。
另外,转换处理部d3a可以不实现为显示装置d3所具有的功能,而实现为控制器30或机器导航装置50所具有的功能。
并且,显示装置d3从蓄电池70得到电力供给而进行动作。另外,蓄电池70通过在发动机11的交流发电机11a(发电机)产生的电力进行充电。蓄电池70的电力也供给到控制器30及显示装置d3以外的挖土机的电气安装件72等。并且,发动机11的启动装置11b通过来自蓄电池70的电力而被驱动,并启动发动机11。
发动机11通过发动机控制器单元d7而被控制。从发动机控制器单元d7始终向控制器30发送表示发动机11的状态的各种数据(例如,表示用水温传感器11c检测的冷却水温(物理量)的数据)。因此,控制器30能够在临时存储部(存储器)30a蓄积该数据,且在必要的情况下发送到显示装置d3。
并且,对控制器30如下供给各种数据,并存储到控制器30的临时存储部30a。
首先,从可变容量式液压泵即主泵14的调整器14a向控制器30供给表示斜板偏转角的数据。并且,表示主泵14的排出压力的数据从排出压力传感器14b发送到控制器30。这些数据(表示物理量的数据)存储于临时存储部30a。并且,在储藏由主泵14吸入的工作油的油罐与主泵14之间的管路设置有油温传感器14c,表示流动于该管路的工作油的温度数据从油温传感器14c供给到控制器30。
并且,从燃料容纳部55中的燃料容纳量检测部55a向控制器30供给表示燃料容纳量的数据。本实施例中,从作为燃料容纳部55的燃料罐中的作为燃料容纳量检测部55a的燃料余量传感器向控制器30供给表示燃料的余量状态的数据。
具体而言,燃料余量传感器由追踪液面的浮子和将浮子的上下变动量转换成阻力值的可变阻力器(电位计)构成。通过该结构,燃料余量传感器能够用显示装置d3连续地显示燃料的余量状态。另外,燃料容纳量检测部的检测方式可根据使用环境等适当选择,也可以采用能够分等级显示燃料的余量状态的检测方式。
并且,对操作装置26进行操作时发送到控制阀17的先导压通过压力传感器29被检测,表示所检测的先导压的数据被供给到控制器30。
并且,本实施例中,如图4所示,挖土机在驾驶室10内具备发动机转速调整刻度表75。发动机转速调整刻度表75为用于调整发动机11的转速的刻度表,本实施例中,能够将发动机转速切换为4个阶段。并且,发动机转速调整刻度表75始终向控制器30发送表示发动机转速的设定状态的数据。并且,发动机转速调整刻度表75能够用sp模式、h模式、a模式及怠速模式这4个阶段来切换发动机转速。另外,图4表示在发动机转速调整刻度表75中选择h模式的状态。
sp模式为在欲将作业量设为优先的情况下选择的转速模式,其利用最高发动机转速。h模式为在欲兼顾作业量与油耗的情况下选择的转速模式,其利用次高发动机转速。a模式为在欲将油耗设为优先并且以低噪音运行挖土机的情况下选择的转速模式,其利用第三高的发动机转速。怠速模式为欲将发动机11设为怠速状态的情况下选择的转速模式,其利用最低的发动机转速。而且,发动机11的转速以在发动机转速调整刻度表75中设定的转速模式的发动机转速被控制为恒定。
接着,参考图5对机器导航装置50的各种功能要素进行说明。图5为表示机器导航装置50的结构例的功能框图。
本实施例中,控制器30除了控制挖土机整体的动作之外,还控制是否通过机器导航装置50进行导航。具体而言,控制器30根据门锁杆d5的状态、来自压力传感器29的检测信号等控制是否通过机器导航装置50进行导航。
机器导航装置50例如接收从动臂角度传感器s1、斗杆角度传感器s2、铲斗角度传感器s3、机身倾斜传感器s4、回转角速度传感器s5、输入装置d1及从控制器30输出的各种信号及数据。而且,机器导航装置50根据所接收的信号及数据计算附件(例如,铲斗6)的实际动作位置。而且,机器导航装置50在附件的实际动作位置与目标动作位置不同的情况下,向声音输出装置d2及显示装置d3发送警报指令,并发出警报。
机器导航装置50包含担负各种功能的功能部。本实施例中,机器导航装置50作为用于对附件的动作进行导航的功能部,包含倾斜角计算部501、高度计算部503、比较部504、警报控制部505及导航数据输出部506。并且,机器导航装置50作为从由摄像机s6拍摄的图像找出规定物体的图像的功能部包含图像识别部507,作为调整在图像识别部507找出规定物体的图像时采用的图像识别条件的功能部包含图像识别条件调整部508。
倾斜角计算部501根据来自机身倾斜传感器s4的检测信号计算上部回转体3相对于水平面的倾斜角(挖土机的倾斜角)。即,倾斜角计算部501利用来自机身倾斜传感器s4的检测信号计算挖土机的倾斜角。
高度计算部503根据倾斜角计算部501计算出的倾斜角和根据传感器s1~s3的检测信号计算出的动臂4、斗杆5、铲斗6的角度来计算作为端部附件的作业部位的铲斗6的前端(铲尖)的高度。本实施例中,用于利用铲斗6的前端进行挖掘,因此铲斗6的前端(铲尖)相当于端部附件的作业部位。另一方面,在用铲斗6的背面进行如平整泥沙的作业时,铲斗6的背面相当于端部附件的作业部位。并且,在作为铲斗6以外的端部附件使用轧碎机的情况下,轧碎机的前端相当于端部附件的作业部位。
比较部504对由高度计算部503计算出的铲斗6的前端(铲尖)的高度与以从导航数据输出部506输出的导航数据表示的铲斗6的前端(铲尖)的目标高度进行比较。在此,目标高度可以根据预先输入的设计图、挖土机的当前位置及作业姿势计算。并且,也可以根据已设定的以前的挖土机的铲尖位置、已输入的目标深度、角度与当前的作业姿势(当前铲尖位置)计算。
警报控制部505在根据比较部504中获得的比较结果判断为需要警报的情况下,将警报指令发送到声音输出装置d2及显示装置d3这两个装置或其中一个装置。声音输出装置d2及显示装置d3若接收到警报指令则发出规定的警报告知挖土机的操作人员。
导航数据输出部506如上所述从预先存储于机器导航装置50的存储装置中的导航数据提取铲斗6的目标高度的数据而输入到比较部504。此时,导航数据输出部506输出与挖土机的倾斜角对应的铲斗6的目标高度的数据。
图像识别部507为利用公知的图像识别处理在处理对象图像内进行搜索以找出规定的识别对象的物体图像的功能要素。本实施例中,图像识别部507一边将从由摄像机s6拍摄的图像生成的显示图像内的整个区域设为搜索范围,一边找出作为识别对象的物体的作业人员的图像。而且,图像识别部507例如在找到作业人员的图像的情况下,向声音输出装置d2及显示装置d3发送控制指令而输出警告。
图像识别条件调整部508为由调整图像识别部507找出规定的识别对象的物体的图像时采用的图像识别条件的功能要素。本实施例中,图像识别条件调整部508根据运动检测装置md检测的摄像机s6的运动的内容调整图像识别条件。图像识别条件的调整例如包括在判定处理对象图像上的部分图像是否为规定的识别对象的物体的图像时使用的阈值(以下,称为“图像判定阈值”。)的调整。并且,图像识别条件的调整可以是搜索范围的调整。
在此,参考图6对根据运动检测装置md检测的摄像机s6的运动的内容而而由图像识别条件调整部508调整图像识别条件的处理(以下,称为“图像识别条件调整处理”。)进行说明。图6为图像识别条件调整处理的流程图。另外,机器导航装置50以规定周期重复并同时执行该图像识别条件调整处理和物体检测处理。
首先,机器导航装置50判定在上一次物体检测处理中有无识别到物体的图像(步骤st1)。例如,机器导航装置50判定在显示图像中有无识别到作业人员的图像。
判定为在上一次物体检测处理中未识别到物体的图像的情况(步骤st1的否)下,机器导航装置50结束此次的图像识别条件调整处理。这是因为无法推定已识别物体的图像的当前位置(当前的显示图像上的位置)。
另一方面,判定为在上一次物体检测处理中识别到物体的图像的情况(步骤st1的是)下,机器导航装置50确定该物体的图像所在的显示图像内的区域(以下,称为“存在区域”。)(步骤st2)。例如,机器导航装置50判定为在显示图像中识别到作业人员的图像的情况下,确定该作业人员的图像所在的存在区域。
之后,机器导航装置50获取摄像机s6的运动内容(步骤st3)。具体而言,机器导航装置50根据运动检测装置md的输出获取上一次物体检测处理执行后的摄像机s6的运动的内容。例如,在挖土机根据回转操作杆或行走杆的操作而回转或行走的情况下,机器导航装置50作为摄像机s6的运动内容来获取通过挖土机的回转或行走发生的摄像机s6的移动方向及移动距离。
之后,机器导航装置50根据上一次物体检测处理中显示图像上的物体图像的存在区域和之后的摄像机s6的运动内容导出此次物体检测处理中显示图像上的与该存在区域对应的对应区域(步骤st4)。并且,在挖土机既不回转也不行走而停止的情况下,机器导航装置50将上一次物体检测处理中显示图像上的存在区域的位置及形状直接作为此次物体检测处理中显示图像上的对应区域的位置及形状。
之后,机器导航装置50调整所导出的对应区域的图像识别条件(步骤st5)。例如,机器导航装置50将此次物体检测处理中显示图像上与对应区域有关的图像判定阈值调整为容易识别作业人员的图像。由此,机器导航装置50不会在此次的物体检测处理的显示图像中丢失作业人员的图像而将其识别并能够提高其检测精度。或者,机器导航装置50也可以将与此次物体检测处理时的作业人员的图像有关的搜索范围限定为其对应区域。该情况下,机器导航装置50与将显示图像的整个区域设为搜索范围的情况相比,能够减少与图像识别处理有关的运算负荷。而且,能够缩短图像识别处理所需的时间,并更早地检测到物体。
如上所述,图1的挖土机中,既发挥机身倾斜传感器s4的功能,也发挥回转角速度传感器s5的功能的运动检测装置md与摄像机s6安装于同一位置。因此,与在远离摄像机s6的位置安装有运动检测装置md的情况相比,可实现防水性、组装性、维修性、低成本性等的提高。并且,由于运动检测装置md与摄像机s6进行相同的运动,因此在根据运动检测装置md的输出导出摄像机s6的运动内容时能够省略进行坐标转换等的复杂的运算,且可实现传感器精度的提高。尤其,在以往的挖土机中,在因附件的动作而使得上部回转体3相对于下部行走体1沿上下方向摇摆的情况下难以检测识别对象的物体。然而,本发明的实施例所涉及的挖土机中,如上所述运动检测装置md与摄像机s6安装于同一位置,因此即使在因附件的动作而使得上部回转体3沿上下方向摇摆的情况下也能够更早地检测到识别对象的物体。
接着,参考图7及图8对本发明的另一实施例所涉及的挖土机进行说明。图7为挖土机的侧视图,图8为图7的挖土机的俯视图。
图7的挖土机在具备摄像机s6与运动检测装置md的多个组合这一点上与图1的挖土机不同,但其他方面相同。因此,省略相同部分的说明,对不同部分进行详细说明。
具体而言,图7的挖土机具备:后方摄像机s6b,安装于上部回转体3的上表面后端;左侧摄像机s6l,安装于上部回转体3的上表面左端;及右侧摄像机s6r,安装于上部回转体3的上表面右端。
后方摄像机s6b、左侧摄像机s6l、右侧摄像机s6r中分别内置运动检测装置mdb、mdl、mdr。
运动检测装置mdb、mdl、mdr均由加速度传感器与陀螺仪传感器的组合而构成。并且,三台加速度传感器中至少一台被用作机身倾斜传感器s4,并且三台陀螺仪传感器中至少一台被用作回转角速度传感器s5。
通过该结构,能够利用内置于多个摄像机的多个运动检测装置所输出的信息,进一步提高与推定挖土机的运动有关的计算的精度乃至导航的精度。挖土机的运动的推定例如包括上部回转体3的倾斜角的推定、上部回转体3相对于下部行走体1的回转角度的推定等。
以上,对本发明的优选实施例进行了详述,但本发明并不限于上述实施例,只要不脱离本发明的范围,则能够对上述实施例加以进行各种变形及替换。