作业车的周围信息获取装置的制造方法
【技术领域】
[0001]本发明涉及获取位于作业车的周围的物体的三维位置信息的作业车的周围信息获取装置。
【背景技术】
[0002]以往，已知的有在作业设备的悬臂的前面设置有立体摄像机，并对位于作业设备的前方的作业对象物进行立体拍摄的立体摄像机装置(参照专利文献I)。
[0003]作业设备具有下部行驶体、设置于上述下部行驶体之上的上部旋转体、设置于上述上部旋转体的可起伏的悬臂(boom)、设置于上述悬臂的前端部的吊杆(jib)、设置于吊杆的前端部的臂、设置于上述臂的前端部的粉碎机、以及设置于悬臂的前面的一对立体摄像机。
[0004]一对立体摄像机面向前方，并对位于作业设备的前方的要粉碎的作业对象物进行立体拍摄，通过立体拍摄来求出作业对象的前后方向的进深。
[0005][专利文献]
[0006]专利文献1:日本特开2010-248777号公报
【发明内容】
[0007](发明所要解决的问题)
[0008]然而，在这样的作业设备中，由于仅对位于前方的作业对象物进行立体拍摄，因此存在无法获取位于以作业设备为中心的周边的各物体的三维位置信息的问题。
[0009]本发明的目的在于提供一种能够获取位于作业车的周围的物体的三维位置信息的作业车的周围信息获取装置。
[0010](解决问题的措施)
[0011]关于本发明所涉及的作业车的周围信息获取装置，在作业车的悬臂的前端部设置有测定上述前端部与物体的位置关系的三维位置测定装置，设置有根据上述三维位置测定装置所测定的悬臂前端与物体的位置的测定数据求出物体的三维位置信息的三维位置信息获取装置，该三维位置信息获取装置使上述悬臂移动来获取位于作业车的周围的物体的三维位置信息。
[0012](发明的效果)
[0013]根据本发明，能够覆盖大范围地获取作业车的周围的物体的三维位置信息。
【附图说明】
[0014]图1为表示搭载有本发明的周围信息获取装置的移动式起重机的侧面图。
[0015]图2为表示设置在伸缩悬臂的前端部的立体摄像机的说明图。
[0016]图3为表示周围信息获取装置的结构的框图。
[0017]图4为表示图3所示的图像处理控制器的结构的框图。
[0018]图5为表示起重机、立体摄像机和建筑物的位置关系与坐标系的说明图。
[0019]图6为表示起重机的坐标系、立体摄像机的坐标系和建筑物的俯视图。
[0020]图7为表示起重机与位于上述起重机的周围的建筑物的说明图。
[0021]图8为表示存储于存储器的建筑物的轮廓线与上述轮廓线的特征点的说明图。
[0022]图9为表示俯视观察建筑物的存储在图像存储器的地图的说明图。
[0023]图10为表示监视器所显示的地图等的说明图。
[0024]图11为利用极坐标表不监视器所显不的地图的情况的说明图。
[0025]图12为表示将悬臂的旋转中心的位置以外设定为原点的情况的说明图。
[0026]图13为表不监视器的显不画面的另一个例子的说明图。
[0027]图14为表示到立体摄像机的拍摄对象为止的距离测定的原理的说明图。
[0028]图15为利用设置在起重机的立体摄像机进行高度测定的情况的说明图。
[0029]图16为表示第二实施例的周围信息获取装置的结构的框图。
[0030]图17为表示监视器部所显示的图像的一个例子的说明图。
[0031]图18为表示对象物体与起重机上的基准对象未同时映于立体摄像机的状态的说明图。
[0032]图19为表示构成第三实施例的立体摄像机的两个单眼的监视摄像机的说明图。
[0033]图20为表示第三实施例的周围信息获取装置的结构的框图。
[0034]图21A为表示利用配置在远离驾驶室一侧的监视摄像机拍摄到的图像的说明图。
[0035]图21B为表示利用配置在驾驶室一侧的监视摄像机拍摄到的图像的说明图。
[0036]图21C为表示将图21A所示的图像与图21B所示的图像合成的合成图像的说明图。
[0037]图22为表示第四实施例的周围信息获取装置的结构的框图。
[0038]图23为表示图22所示的图像处理控制器的结构的框图。
[0039]图24为表示监视摄像机与伸缩悬臂的伸长相应地拍摄的位置发生变化的说明图。
[0040]图25中的(A)为表示在图24所示的第一位置拍摄到的图像的说明图，(B)为表示在图24所示的第二位置拍摄到的图像的说明图。
[0041]图26表示到立体摄像机的拍摄对象为止的距离测定的原理，是表示左右的摄像机的位置关系与坐标的说明图。
[0042]图27为表示三维空间的点与拍摄上述点的左右的摄像机的图像上的位置的关系的说明图。
[0043]图28为表示能够求出三维空间的点的位置的说明图。
[0044]图29为表示将表示提取的特征点的位置的标记与求出的构造物的高度合成显示的图像的一个例子的说明图。
【具体实施方式】
[0045]以下，参照附图对作为本发明的作业车的周围信息获取装置的实施的方式的实施例进行说明。
[0046][实施例]
[0047][第一实施例]
[0048]图1中作为搭载有周围信息获取装置的起重机(作业车)示出轮式起重机(roughterrain crane) 10。上述轮式起重机10 (以下记载为起重机)具备:具有行驶功能的作为车辆的主体部分的载运车体(carrier) 11、设置于上述载运车体11的前侧的左右一对前侧支腿12、设置于载运车体11的后侧的左右一对后侧支腿13、以能够水平旋转的方式安装于载运车体11的上部的旋转台14、设置于旋转台14的驾驶室20、安装于固定在旋转台14的托架15上的伸缩悬臂(悬臂，boom) 16等。
[0049]伸缩悬臂16是其基端部经由支承轴17而被安装，并且能够以支承轴17为中心起伏。在托架15与伸缩悬臂16之间夹装起伏用缸体18，通过上述起伏用缸体18的伸缩而使伸缩悬臂16起伏。
[0050]伸缩悬臂16具有基体悬臂16A、中间悬臂16B和前端悬臂16C，并按照上述顺序从外侧向内侧以嵌套的方式组合于基体悬臂16A内而构成。另外，伸缩悬臂16通过伸缩缸体(未图示)进行伸缩。
[0051]在前端悬臂16C的前端部(悬臂头)16Ca上设置有滑轮(sheave)(未图示)，在上述滑轮上搭设有钢丝绳(以下记做绳)w，通过上述绳W悬挂吊钩滑车19。吊钩滑车19安装有吊钩21。
[0052]绳W通过未图示的绞盘(winch)收起或放出。
[0053]如图2所示，在前端悬臂16C的前端部16Ca，由TV摄像机等构成的立体摄像机(三维位置测定装置)30经由未图示的减振器(damper)安装于滑轮轴25。立体摄像机30面向正下方，能够朝倾斜方向与摇摄方向相对于垂直轴线以任意角度倾斜。另外，立体摄像机30构成为利用未图示的减振器而不会因风等改变朝向。此外，26为滑轮。
[0054]立体摄像机30的倾斜(朝向)的操作通过设置于驾驶室20内的操作部(未图示)进行。立体摄像机30的倾斜角度通过倾斜角检测传感器SI (参照图3)与摇摄角检测传感器S2来检测。
[0055]图3为表示周围信息获取装置100的结构的框图。
[0056]周围信息获取装置100具有:设置于伸缩悬臂16的前端部16Ca的立体摄像机30 ；检测伸缩悬臂16的姿态的悬臂姿态检测传感器50 ;检测立体摄像机30的倾斜角度的倾斜角检测传感器SI以及摇摄角检测传感器S2 ;对从立体摄像机30所输出的图像信号进行处理并提取拍摄到的物体的特征点，也可基于该特征点求出各物体的三维位置信息的作为三维位置信息获取装置的图像处理控制器60;基于图像处理控制器所求出的三维位置信息制作起重机10的周围的地图的地图制作处理部80 ;以及显示上述地图制作处理部80所制作成的地图等的监视器(显示部)51。
[0057][悬臂姿态检测传感器]
[0058]悬臂姿态检测传感器50检测伸缩悬臂16的伸长的长度、伸缩悬臂16的仰起角和伸缩悬臂16的旋转角，具有分别检测这些数据的各传感器(未图示)。
[0059][图像处理控制器]
[0060]图像处理控制器60利用立体摄像机30所拍摄的图像将起重机10的周围的物体的位置作为三维位置信息来进行处理，在本实施例中所示出的是将周围物体的特征点当作以起重机10的基准点为基准的周围的物体的三维位置信息来获取的事例。
[0061]如图4所示，图像处理控制器60具有:收集立体摄像机30的左右的单眼摄像机(拍摄单元)30L、30R所拍摄的图像的第一、第二帧存储部61L、61R ;从存储于第一、第二帧存储部61L、61R的图像中提取物体的特征点(在图5的说明中为物体I的特征点Pa)的特征点提取部62L、62R;从存储于第一、第二帧存储部61L、61R的图像中提取标记于起重机10的载运车体11的上表面的例如十字标记的3个基准点P1、P2、P3(参照图5)的基准点提取部63L、63R ;根据特征点提取部62L、62R所提取的特征点来计算出立体摄像机30的坐标系中的特征点位置的摄像机坐标系位置计算部64 ;根据基准点提取部63L、63R所提取的3个基准点来计算出立体摄像机30的坐标系中的3个基准点位置的摄像机坐标系基准点位置计算部65 ;根据该摄像机坐标系基准点位置计算部65所计算出的3个基准点位置来计算出摄像机坐标系与起重机的坐标系的相关关系的相关关系计算部66 ;基于相关关系计算部66所计算出的相关关系，将摄像机坐标系位置计算部64所计算出的特征点的位置变换为起重机的坐标系的位置而求出的起重机坐标系位置计算部67 ;存储起重机坐标系位置计算部67所计算出的位置的存储器68 ;以及基于悬臂姿态检测传感器50所检测出的检测信号，将单眼摄像机30L、30R的图像收集到第一、第二帧存储部61L、61R中的控制部70。
[0062]控制部70进行特征点提取部62L、62R以及基准点提取部63L、63R的提取处理的控制、摄像机坐标系位置计算部64以及摄像机坐标系基准点位置计算部65的运算处理的控制，也可进行相关关系计算部66的相关关系的计算控制、起重机坐标系位置计算部67的计算控制。
[0063]而且，利用第一、第二帧存储部61L、61R、特征点提取部62L、62R和摄像机坐标系位置计算部64来构成图像识别单元。
[0064]此外，由于在第三、第五实施例中对能够根据立体摄像机所拍摄到的物体的图像来求出上述物体的三维位置的原理进行说明，因此在此省略。
[0065][地图制作处理部]
[0066]地图制作处理部80利用图像处理控制器60所获取的三维位置信息来求出起重机10的周围的物体的高度，并且制作示出上述物体的高度信息的俯视的地图。然后，将地图制作处理部80所制作成的地图显示于监视器51。
[0067]另外，地图制作处理部80基于存储于存储器68的物体的轮廓线、三维位置数据来制作将物体形成为俯视的形状并且用与上述物体的高度相应的颜色显示上述物体的位置与高度的地图，并且具有存储所制作成的地图的图像存储器81。
[0068][动作]
[0069]接下来，对于如上述那样构成的周围信息获取装置100的动作进行说明。
[0070]如上所述，在起重机10的载运车体11的上表面标记有3个基准点P1、P2、P3，该基准点P1、P2、P3的位置作为以载运车体11的上表面的伸缩悬臂16的旋转中心的位置为原点的起重机10的X、Y、Z坐标系的位置，如图6所示，预先设定为Pl = (XI，Yl，Z1)、P2=(X2，Y2，Z2)、P3 = (X3，Y3，Z3)。
[0071]首先，如图1所示，将起重机10固定于作业位置。接下来，如图5所示，将伸缩悬臂16仰起并伸长，并利用立体摄像机30进行拍摄。将所拍摄到的一方的图像显示于监视器51。
[0072]若伸缩悬臂16伸长至规定的长度，则控制部70将立体摄像机30所拍摄到的图像收集到第一、第二帧存储部61L、61R中。
[00