自行式工业机械的显示装置制造方法

自行式工业机械的显示装置制造方法
【专利摘要】本发明的目的在于，在设于自行式工业机械的驾驶室中的显示装置上显示自行式工业机械的下部，对自行式工业机械的行驶操作进行支援。本发明的自行式工业机械的显示装置具有：照相机(10)，其配置于自卸卡车(1)，且在视场中包含自卸卡车(1)的下部；标志图像保持部(24)，其保持将自卸卡车(1)标志化而得到的标志图像(31)；重叠处理部(25)，其进行如下处理，将标志图像(31)中的包含于照相机(10)的视场中的下部区域作为透射区域(33)，使该透射区域(33)以规定的透射率透射，并将照相机(10)所拍摄的图像中的与透射区域(33)对应的图像作为下部图像(34)而重叠；和画面部(15)，其配置在自卸卡车(1)的驾驶室(2)中，显示重叠处理部(25)实施重叠后的标志图像(31)。
【专利说明】自行式工业机械的显示装置

【技术领域】
[0001]本发明涉及自行式工业机械的显示装置，在搬运砂土等的搬运车辆或液压挖掘机等自行式工业机械进行行驶操作时对其进行支援。

【背景技术】
[0002]自行式工业机械利用于各种各样的作业现场。自行式工业机械中的一种为自卸卡车。自卸卡车具有能够在车身的车架上起伏的载货台(货斗:vessei)，在该货斗中装载碎石物或砂土等搬运对象物。而且，自卸卡车将砂土等向规定的堆放地搬运并卸载。在将装载于货斗的砂土等卸载时，使自卸卡车后退至卸载位置而停止。在该状态下使货斗倾斜来卸载砂土等。然后，当卸载结束时将货斗返回至原位置并使自卸卡车前进。
[0003]另一方面，自行式工业机械的一种为液压挖掘机。液压挖掘机具有下部行驶体和上部旋转体，其中，该下部行驶体具有履带式或轮式的行驶机构，该上部旋转体能够相对于下部行驶体旋转。在上部旋转体上设有驾驶室(操作室)，作为作业机构，在上部旋转体上设有相对于上部旋转体以能够进行俯仰动作的方式连结的动臂、以能够沿上下方向转动的方式与动臂的前端连结的斗杆、和进行砂土的挖掘等作业的铲斗。
[0004]对于搭乘在自卸卡车或液压挖掘机等自行式工业机械的驾驶室中的操作员来说，虽然确保了前方的视场，但是会在后方和左右侧方产生死角。因此，产生操作员难以用肉眼视觉辨认的方向。因此，为了辅助操作员认知自行式工业机械的周边状况，在自行式工业机械上设置多台照相机，并对其周边进行拍摄。照相机所拍摄的影像显示在配置于驾驶室中的监视器上。由此，也能够使操作员认知操作员用肉眼难以视觉辨认的方向的视场，能够对操作员的行驶操作进行支援(辅助)。
[0005]这种技术在专利文献I中有所公开。在专利文献I的技术中，在工程机械的侧方及后方设置照相机，在以使这些照相机所拍摄的图像连续的方式进行图像处理后将其显示在显示器上。由此，使操作员直观地理解物体的移动。另外，在专利文献2中公开了将工程机械的后方视场显示于监视器上的技术。
[0006]现有技术文献
[0007]专利文献
[0008]专利文献1:日本特开2009-007860号公报
[0009]专利文献2:日本特开2005-163370号公报


【发明内容】

[0010]在自行式工业机械中，将其周边的影像显示于驾驶室的监视器上而使操作员认知周边状况是重要的。但是，成为操作员的死角的部分不仅有自行式工业机械的周边，其下部也成为操作员的死角。在自行式工业机械的下部存在某些障碍物时，自行式工业机械的行驶受到限制。例如，在自卸卡车的情况下，在自卸卡车的下部存在障碍物时，虽然砂土的装载作业已结束，但自卸卡车的行驶仍受到限制。[0011 ] 作为自卸卡车而存在普通自卸卡车和重型自卸卡车，但总之是大型的，在自卸卡车的下部形成有广阔空间。尤其是，在装载重量超过100吨的重型自卸卡车中，下部空间广大。因此，充分存在障碍物进入自卸卡车下部的可能性。在该情况下，从安全性的观点出发，限制自卸卡车的行驶。在具有下部行驶体的液压挖掘机等自行式工程机械中也是同样的。因此，在自行式工业机械中，使操作员认知其周边状况是重要的，但使操作员认知下部状况也是重要的。
[0012]因此，本发明的目的在于，在设于自行式工业机械的驾驶室中的显示装置上显示自行式工业机械的下部，来对自行式工业机械的行驶操作进行支援。
[0013]为了解决以上的课题，本发明的自行式工业机械的显示装置具有:拍摄部，其配置在自行式工业机械中，其在视场中包含上述自行式工业机械的下部；标志图像保持部，其保持将上述自行式工业机械标志化而得到的标志图像；重叠处理部，其进行如下处理，将上述标志图像中的包含于上述拍摄部的视场的上述下部区域作为透射区域，使该透射区域以规定的透射率透射，并将上述拍摄部所拍摄的图像中的与上述透射区域对应的图像作为下部图像而重叠；和显示装置，其配置在上述自行式工业机械的驾驶室中，显示上述重叠处理部实施重叠后的上述标志图像。
[0014]根据本发明，将自行式工业机械标志化而得到的标志图像显示于驾驶室的显示装置上。此时，使标志图像中的与拍摄部所拍摄的自行式工业机械的下部区域对应的区域透射而作为透射区域，并在该透射区域中使下部区域的图像重叠，由此，能够使操作员认知自行式工业机械的下部的状况。
[0015]另外，也可以为，具有:多个周边拍摄部，其至少包含一个上述拍摄部，并以斜下方为光轴来拍摄上述自行式工业机械的周边的图像；视点转换部，其对上述周边拍摄部所拍摄的图像生成以成为上方视点的方式进行视点转换后的俯瞰图像；图像合成部，其将上述重叠处理部实施重叠后的上述标志图像作为中心来合成上述俯瞰图像；和显示图像生成部，其将所述图像合成部所合成的图像作为显示于所述显示装置上的显示图像而生成并输出至所述显示装置。
[0016]为了使操作员认知自行式工业机械的周边的状况而生成俯瞰图像。由于在用于生成俯瞰图像的周边拍摄部中包含有上述拍摄部，所以能够将标志图像作为中心来显示周边的俯瞰图像，并且能够将自行式工业机械的下部的图像显示为标志图像。由此，能够使操作员认知自行式工业机械的下部和周边双方。
[0017]另外，也可以为，上述重叠处理部在上述透射率不为非透射及全透射而是半透射时，进行以使上述标志图像中的上述透射区域的部分和上述下部图像双重地显示的方式而重叠的处理。
[0018]使标志图像的透射区域为半透射，由此，通过标志图像双重地显示自行式工业机械的外形和下部图像。由此，能够认知自行式工业机械的外形，并且能够认知自行式工业机械的下部状况。
[0019]另外，也可以为，上述重叠处理部在上述透射率为全透射时，在上述透射区域中仅显示上述下部图像，并描绘上述透射区域的轮廓线。
[0020]通过使标志图像的透射区域为全透射，而能够清晰地显示下部图像。由此，操作员能够明确地认知自行式工业机械的下部状况。此时，通过描绘透射区域的轮廓线，能够通过标志图像认知自行式工业机械的形状。
[0021 ] 另外，也可以为，上述重叠处理部以与上述标志图像相同的方式描绘上述轮廓线。
[0022]通过将标志图像和轮廓线为相同的显示方式，能够良好地视觉辨认进行全透射时的标志图像的外形。
[0023]另外，也可以为，上述重叠处理部根据对上述自行式工业机械的行驶进行操作的行驶操作部，而进行是否使多个上述透射区域分别透射的控制。
[0024]在透射区域存在多个的情况下，根据自行式工业机械的行驶方向，而存在需要显示的透射区域和不需要显示的透射区域。在该情况下，根据行驶操作部的状态，使不需要的透射区域为非透射，由此，能够简单地显示标志图像，能够明确地认知标志图像的外形。
[0025]发明效果
[0026]本发明使将自行式工业机械标志化而得到的标志图像显示于驾驶室的显示装置上。此时，使标志图像中的与拍摄部所拍摄的自行式工业机械的下部区域对应的区域透射而作为透射区域，并使下部区域的图像重叠于该透射区域，由此，能够使操作员认知自行式工业机械的下部状况。

【专利附图】

【附图说明】
[0027]图1是自卸卡车的左视图。
[0028]图2是自卸卡车的俯视图。
[0029]图3是表示安装在驾驶室中的监视器的一个例子的图。
[0030]图4是显示控制器的框图。
[0031]图5是说明视点转换处理的原理图。
[0032]图6是表示显示在画面部上的显示图像的一个例子的图。
[0033]图7是说明在图6中将下部图像重叠的例子的图。
[0034]图8是表示在使透射区域为全透射时，透射区域消失的状态的图。
[0035]图9是表示在使透射区域为全透射时，描绘轮廓线的例子的图。
[0036]图10是说明根据换挡杆来区分透射区域的显示或非显示的状态的图。
[0037]图11是配置将自卸卡车的下部作为视场的下部照相机时的自卸卡车的俯视图。
[0038]图12是表示使用下部照相机的图像时的标志图像的一个例子的图。
[0039]图13是液压挖掘机的左视图。

【具体实施方式】
[0040]以下，参照附图，对本发明的实施方式进行说明。以下，作为自行式工业机械而适用了自卸卡车，但不限定于自卸卡车。作为自行式工业机械也存在液压挖掘机，但关于液压挖掘机将在后叙述。作为自卸卡车，存在刚性自卸(rigid dump)和铰接自卸(articulatedump)，可以适用任一个。此外，以下，“左”是指从驾驶室观察到的左侧，“右”是指从驾驶室观察到的右侧。
[0041]图1表示自卸卡车I的左视图，图2表示俯视图。如这些图所示，自卸卡车I构成为具有驾驶室2、车架3、货斗4、前轮5、后轮6、驱动用液压缸7、和连杆机构8。另外，在自卸卡车I的前后左右设有作为周边拍摄部的照相机10 (前方照相机10F、后方照相机10B、右方照相机10R、左方照相机10L)。
[0042]前方照相机1F是以前方为视场的照相机，后方照相机1B是以后方为视场的照相机，右方照相机1R是以右侧方为视场的照相机，左方照相机1L是以左侧方为视场的照相机，这些照相机对斜下方进行拍摄。即，光轴方向为斜下方。此外，配置于自卸卡车I上的照相机10的个数能够为任意数量。但是，希望具有对操作员产生的视场死角的方向进行拍摄的后方照相机10B、右方照相机10R、和左方照相机10L。另外，在铰接自卸的情况下，也可以设置更多的照相机。
[0043]驾驶室2是为了供操作员搭乘并操作自卸卡车I而设置的，大多配置于自卸卡车I的左侧。另外，各种操作机构设置于驾驶室2中。车架3构成自卸卡车I的构架，在车架3的前方设有前轮5，在后方设有后轮6。货斗4为载货台，装载砂土或矿物等。在货斗4上安装有驱动用液压缸7及连杆机构8而能够倾转。由此，能够将装载于货斗4中的砂土等卸载。
[0044]图3表示驾驶室2的一个例子。在驾驶室2中，设有操作行驶方向的方向盘11和显示自卸卡车I的仪表类等的仪表板12和支柱13。而且，在支柱13上安装有监视器14。监视器14构成为具有画面部15和输入部16。画面部15是显示规定信息的画面，输入部16是为了适当地操作画面部15的显示内容而设置的。此外，监视器14的位置只要是在驾驶室2的内部即可，可以设于任意位置。另外，也可以省略输入部16而将画面部15作为触摸传感面板。
[0045]图4表示与监视器14连接的显示控制器17及与显示控制器17连接的车身控制器18。如该图所示，显示控制器17具有图像修正部21、视点转换部22、下部图像生成部23、标志图像保持部24、重叠处理部25、图像合成部26、和显示图像生成部27。显示控制器17的各部分能够通过软件实现，也能够通过CPU执行各部分的功能。
[0046]图像修正部21输入前方照相机10F、后方照相机10B、右方照相机10R、左方照相机1L所拍摄的图像。然后，对于输入的图像，基于照相机光学系统参数等，进行像差修正和/或对比度修正、色调修正等各种图像修正。由此，使输入的图像的画质提高。图像修正部21输入的修正后的图像作为图像数据而输出至视点转换部22。
[0047]视点转换部22对从图像修正部21输入的图像数据进行视点转换处理，生成俯瞰图像(虚拟视点图像)。如上述那样，各照相机10将斜下方作为光轴方向，将其转换为从上方的虚拟视点。如图5所示，照相机10 (前方照相机10F、后方照相机10B、右方照相机10R、左方照相机10L)的物镜的光轴A相对于地表L具有规定角度Θ，由此，照相机10的光轴朝向斜下方。在视点转换部22中，以使光轴方向成为垂直方向的方式将虚拟照相机1V虚拟地设定为高度H，并坐标转换为该虚拟照相机1V俯视地表L而得到的图像数据。像这样转换为上方视点的图像成为虚拟的俯视图像(俯瞰图像)。
[0048]如图4所示，视点转换部22进行了视点转换处理后的俯瞰图像输出至下部图像生成部23及图像合成部26。下部图像生成部23在照相机10的视场中包含自卸卡车I的下部的情况下，获取俯瞰图像中的自卸卡车I的下部的部分，并将其作为下部图像。由于图像数据为俯瞰图像，所以下部图像也为俯瞰图像。此外，在全部照相机10中，不一定在视场中均包含自卸卡车I的下部。因此，对于自卸卡车I的下部不包含于视场中的照相机10不会生成下部图像。在本实施方式中，前方照相机1F的视场中不包含自卸卡车I的下部，因此不生成基于前方照相机1F拍摄的下部图像。
[0049]标志图像保持部24保持标志图像。标志图像是将自卸卡车I作为标志(符号)而显示在画面部15上时的图像。因此，标志图像成为再现自卸卡车I的形状的图像。如果此时的再现性高，则操作员能够正确地认知自卸卡车I的形状。但是，也可以是不如实地再现自卸卡车I的形状的图像。
[0050]重叠处理部25从下部图像生成部23输入下部图像，并从标志图像保持部24输入标志图像。然后，重叠处理部25进行图像处理，使标志图像中的与下部图像对应的区域作为透射区域并以规定的透射率透射，而将下部图像重叠在该透射区域上。该图像处理为迭加(superimpose)处理(图像的重叠处理)，如果透射率不为100%,则标志图像和下部图像双重地显示于相同位置。透射率能够任意控制。在透射率为100%的情况下为全透射，在0%的情况下为非透射，除此以外为半透射(或不完全透射)。
[0051]图像合成部26输入视点转换部22进行了视点转换后的俯瞰图像，并输入重叠处理部25进行了处理后的标志图像。然后，将标志图像设为中央，在其周边配置俯瞰图像而进行合成。即，从前方照相机1F生成前方俯瞰图像，从后方照相机1B生成后方俯瞰图像，从右方照相机1R生成右方俯瞰图像，从左方照相机1L生成左方俯瞰图像。然后，将标志图像作为中心，在前侧配置前方俯瞰图像，在后侧配置后方俯瞰图像，在右侧配置右方俯瞰图像，在左侧配置左方俯瞰图像而进行合成。
[0052]显示图像生成部27将图像合成部26合成后的图像作为一个显示图像而生成。该显示图像输出至监视器14。在监视器14的画面部15上对显示图像进行显示。搭乘在驾驶室2中的操作员能够视觉辨认显示于画面部15上的显示图像。
[0053]如图4所示，显示控制器17与车身控制器18连接。在车身控制器18上连接有用于控制自卸卡车I的各种操作机构。其中之一为换挡杆28。换挡杆28是供操作员对自卸卡车I的行驶进行操作的行驶操作部，在前进位置、中立位置、后退位置这三个位置之间位移。在换挡杆28位于前进位置时，自卸卡车I前进，在位于后退位置时自卸卡车I后退。另夕卜，在位于中立位置时自卸卡车I停止。从换挡杆28向车身控制器18输入换挡杆位于哪个位置(前进位置、中立位置、后退位置)的换挡杆位置信息。然后，换挡杆位置信息作为车身信息而输出至显示控制器17。
[0054]使用以上结构，显示控制器17生成显示于监视器14的画面部15上的显示图像。图6表示用于说明显示图像的一个例子。如该图所示，画面部15分割为多个区域，在此分割为5个区域。在画面部15的中央区域中显示有标志图像31。该标志图像31如上述那样，为再现自卸卡车I的形状的标志(符号)。
[0055]另外，设有将标志图像31作为中心以放射状前后左右地分割的区域。在标志图像31的前方的区域中显示有前方俯瞰图像32F，在后方的区域中显示有后方俯瞰图像32B，在右方的区域中显示有右方俯瞰图像32R，在左方的区域中显示有左方俯瞰图像32L。将俯瞰图像32F、后方俯瞰图像32B、右方俯瞰图像32R、和左方俯瞰图像32L总称为俯瞰图像32。
[0056]因此，为了至少显示各俯瞰图像32，各照相机10必须进行拍摄。为此，操作员使发动机启动等，由此各照相机10开始拍摄。如上述那样，各照相机10对斜下方进行拍摄，前方照相机1F对前方的斜下方的影像进行拍摄，后方照相机1B对后方的斜下方的影像进行拍摄，右方照相机1R对右侧方的斜下方的影像进行拍摄，左方照相机1L对左侧方的斜下方的影像进行拍摄。
[0057]然后，各照相机10将拍摄到的影像作为图像数据而输出(传输)至显示控制器17。各照相机10以规定的拍摄周期进行拍摄，并按拍摄周期传输图像数据。由此，能够在画面部15上显示动态图像。此外，也可以显示静态图像。
[0058]如图4所示，图像修正部21对从各照相机10输出的图像数据进行规定的修正处理。由此，图像数据的画质提高。进行了修正处理的图像数据在视点转换部22中被视点转换。根据前方照相机1F所拍摄的图像数据而生成前方俯瞰图像32F，根据后方照相机1B所拍摄的图像数据而生成后方俯瞰图像32B，根据右方照相机1R所拍摄的图像数据而生成右方俯瞰图像32R，根据左方照相机1L所拍摄的图像数据而生成左方俯瞰图像32L。所生成的各俯瞰图像32输出至图像合成部26。
[0059]另外，通过将标志图像31作为中心来显示各俯瞰图像32，如图6那样，能够将从上方俯视自卸卡车I而得到的图像显示于画面部15。这是所谓的俯瞰图像显示。通过进行这样的俯瞰图像显示，操作员能够良好地认知自卸卡车I的周边状况。例如，如图6所示，在服务车作为障碍物SI而正在接近的情况下，通过进行俯瞰图像显示，操作员能够直观地认知自卸卡车I与障碍物SI之间的距离感。
[0060]例如，俯敵图像显不在自卸卡车I起步时，确认在周边是否存在某些障碍物时是有效的。尤其是，即使对于从操作员来看成为死角的方向，由于能够确认障碍物是否正在接近，所以是有效的。因此，各俯瞰图像32将自卸卡车I的较近距离作为显示范围。S卩，将在图5中说明的各照相机10的光轴与地表L之间的角度Θ设定得较大。由此，通过进行图6那样的俯瞰图像显示，而能够良好地显示与自卸卡车I接近的周边状况。
[0061]在此，如图1所示，后方照相机1B安装于货斗4的下部位置。而且，由于后方照相机1B将斜下方作为光轴，所以虽然对自卸卡车I的后方进行拍摄，但在视场中也包含自卸卡车I (货斗4)的下部。尤其是，如上述那样，在后方照相机10的光轴与地表L的角度Θ较大的情况或后方照相机10的视场角为广角的情况下，自卸卡车I的下部的广阔区域包含于视场中。下部区域为进行了视点转换处理后的俯瞰图像，在下部图像生成部23中生成广阔的下部图像。
[0062]同样地，右方照相机1R及左方照相机1L安装于驾驶室2的后方位置，位于从前轮5的上部位置向后方偏离的位置。右方照相机1R及左方照相机1L对左右侧方的视场进行拍摄，但与后方照相机1B的情况同样地，存在视场中包含自卸卡车I的下部的情况。尤其是，在上述的角度Θ较大、右方照相机1R及左方照相机1L的视场角为广角的情况下，在右方照相机1R及左方照相机1L的视场中包含自卸卡车I的下部。尤其是，前轮5与后轮6之间的区域包含于视场中。
[0063]因此，能够将包含于后方照相机10B、右方照相机1R及左方照相机1L的视场中的自卸卡车I的下部图像显示在监视器14的画面部15上。因此，在本实施方式中，下部图像生成部23从视点转换部22获取各俯瞰图像32。但是，在图6的例子中，没有获取前方俯瞰图像32F。
[0064]下部图像生成部23将后方俯瞰图像32B、右方俯瞰图像32R、左方俯瞰图像32L中的显示自卸卡车I的下部的部分作为下部图像而生成。因此，生成后方的下部图像(后方下部图像)、右方的下部图像(右方下部图像)、和左方的下部图像(左方下部图像)。
[0065]如图6所示，标志图像保持部24保持将自卸卡车I的形状再现而成的标志图像31。在该图的例子中，标志图像31显示前轮5和后轮6等，另外也显示各照相机10的安装位置。将标志图像保持部24所保持的标志图像31输出至重叠处理部25。
[0066]重叠处理部25将标志图像31中的与下部图像对应的区域作为透射区域。在此，将与后方下部图像对应的区域作为后方透射区域33B，将与右方下部图像对应的区域作为右方透射区域33R，将与左方下部图像对应的区域作为左方透射区域33L。在图6中，用阴影线表示各透射区域。此外，将后方透射区域33B、右方透射区域33R、和左方透射区域33L总称为透射区域33。
[0067]各照相机10的安装位置和视场角、光轴方向等是预先设定的，并预先认知标志图像31中的与下部图像对应的各透射区域33。因此，各透射区域在标志图像31中的位置确定。而且，上述的后方下部图像(设为34B)与后方透射区域33B是一致的，右方下部图像(设为34R)与右方透射区域33R是一致的，左方下部图像(设为34L)与左方透射区域33L是一致的。此外，将后方下部图像34B、右方下部图像34R、和左方下部图像34L总称为下部图像34。
[0068]因此，重叠处理部25使后方透射区域33B、右方透射区域33R、左方透射区域33L以规定的透射率透射，并将后方下部图像34B、右方下部图像34R、左方下部图像34L重叠(迭加)。图7表示其一个例子。在该图中，在后方下部图像34B中映出障碍物S2。操作员通过视觉辨认画面部15的后方下部图像34B，而能够认知在自卸卡车I的下部、该情况下为货斗4的下部存在障碍物S2。由此，操作员能够认知若操作换挡杆28使自卸卡车I后退，则后轮6会与障碍物S2发生干涉。由此，操作员能够认知使换挡杆28位移至后退位置受到限制。
[0069]如上述那样，通过使用各照相机10 (后方照相机10B、右方照相机10R、左方照相机10L)所拍摄的影像进行视点转换处理，而进行俯瞰图像显示。由此，看一眼就能够认知自卸卡车I的周边状况。在虚拟地将视点设定于上方时，俯瞰图像显示成为俯视地表L的图像。因此，按理来说由于货斗4或驾驶室2等构造物而不会在俯瞰图像显示中显示自卸卡车I的下部的图像。
[0070]但是，存在上述的各照相机10的视场中包含自卸卡车I的下部的情况。在该情况下，下部图像生成部23生成下部图像，重叠处理部25使标志图像31透射并合成下部图像，由此，能够在标志图像31中显示自卸卡车I的下部的图像的信息。由此，操作员不仅能够认知自卸卡车I的周边状况，也能够基于标志图像31的下部图像来认知自卸卡车I的下部状况。并且，由于这是利用了原本用于进行俯瞰图像显示的各照相机10，所以不需要特别设置用于拍摄下部的专用照相机。
[0071]此外，如图6和图7所示，在将标志图像31的驾驶室2再现的位置上配置有方向图标35。方向图标35表操作员的朝向。在此用三角形的箭头表方向。该方向图标35也可以根据自卸卡车I的行进方向而变化。由于在显示控制器17中从车身控制器18输入行进方向的信息来作为车身信息，所以也可以根据行进方向而使三角形旋转。例如，在使自卸卡车I后退的情况下，成为与图6的三角形的朝向相反的方向。
[0072]以上，重叠处理部25以规定的透射率使标志图像31的各透射区域33透射，但在图7的例子中，设定为既不是全透射也不是非透射的透射率(例如，50%的透射率)。由此，通过重叠处理部25在透射区域上合成下部图像，能够认知自卸卡车I的下部状况。此时，如图7所示，由于在标志图像31的透射区域上使下部图像重合而进行显示，所以也显示了标志图像31的外形。
[0073]可以预先设定上述透射率，也可以适当地进行控制。例如，也可以使用监视器14的输入部16将透射率设定为任意值。若降低透射率，即若接近于0% (非透射)，则下部图像变得不清晰。因此，自卸卡车I的下部状况的视觉辨认性降低。由此，无法明确地显示自卸卡车I的下部的障碍物S2。但是，清晰地显示了标志图像31的外形。
[0074]在俯瞰图像显示中，通过将标志图像31作为中心来显示各俯瞰图像而使操作员认知自卸卡车I与其周围之间的距离感是重要的。例如，在图7中，能够正确地认知自卸卡车I与障碍物SI (服务车)的距离感。因此，清晰地显示标志图像31的外形是重要的。若提高上述透射率，则难以认知标志图像31的透射区域的外形，操作员无法明确地掌握自卸卡车I与周围的距离感。
[0075]另一方面，若提高透射率，即若接近于100% (全透射)，则下部图像变得清晰。由此，自卸卡车I的下部状况的视觉辨认性提高。视觉辨认性最好之时是将透射率设定为100%时，即设定为全透射时。图8表示全透射的状态。
[0076]在图8的显示方式中，标志图像31中的透射区域完全消失(此外，为了便于说明，用虚线表示消失的透射区域的外形，但实际上不显示该虚线)。由此，操作员无法认知自卸卡车I与其周围之间的距离感。在图8中，障碍物S3接近至与自卸卡车I的相当于透射区域的部位接触的程度。操作员虽然能够认知障碍物S3，但由于透射区域消失，所以无法认知障碍物3接近至接触的程度。因此，无法实现俯瞰图像显示的本来目的。
[0077]因此，在将透射率设定为100% (全透射)时，如图9所示，图像合成部26在透射区域的外周描绘轮廓线(outline:轮廓)26。由此，标志图像31的外形明确地显示在画面部15上。因此，能够通过轮廓线36认知自卸卡车I与其周围的距离感。在图9的例子中，认知出障碍物S3接近至与自卸卡车I接触的程度。而且，由于透射区域为全透射，所以存在于货斗4下部的障碍物S2清晰地显示在画面上。由此，操作员看一眼就能够掌握在自卸卡车I (货斗4)的下部存在障碍物S2的情况。并且，能够认知障碍物S3接近至与自卸卡车I接触的程度。
[0078]此时，希望以与标志图像31的显示方式相同的方式来描绘轮廓线36。例如，重叠处理部25以与标志图像31相同的颜色或相同的线种等来描绘轮廓线36。由此，能够使操作员明确地认知轮廓线36表不标志图像31的一部分、即自卸卡车I的一部分。
[0079]接下来，对基于自卸卡车I的行驶操作的、图像合成部26的处理进行说明。搭乘在驾驶室2中的操作员操作换挡杆28，而使自卸卡车I行驶。如上述那样，换挡杆28有前进位置、中立位置、后退位置，根据换挡杆28位置，来确定是否使自卸卡车I行驶，以及使其行驶的情况下的行驶方向。换挡杆28进入哪个位置的信息(换挡杆位置信息)输入至车身控制器18，车身控制器18作为车身信息而将换挡杆位置信息输出至显示控制器17。
[0080]重叠处理部25输入换挡杆位置信息。由此，重叠处理部25认知自卸卡车I的行驶方向。重叠处理部25根据换挡杆位置信息、即换挡杆28的位置，进行是否使各透射区域33透射的控制。
[0081 ] 即，在换挡杆28进入前进位置时，自卸卡车I前进。此时，即使在后方透射区域33B中存在障碍物S2，即即使在货斗4的下部存在障碍物S2，自卸卡车I也不会与障碍物S2发生干涉。因此，在使自卸卡车I前进时，无需特别将后方透射区域33B的状况显示于画面部15上。此时，如图10所示，重叠处理部25使后方透射区域33B为非透射(透射率为0% )。由此，由于明确地显示了标志图像31的外形，所以操作员的视觉辨认性提高。另外，重叠处理部25也无需进行使后方透射区域33B透射并使后方下部图像34B合成的图像处理。
[0082]另一方面，在换挡杆28进入后退位置时，自卸卡车I后退。在该情况下，在后方透射区域33B中存在障碍物S2时，会与自卸卡车I发生干涉。因此，该情况下，重叠处理部25通过认知自卸卡车I的后退，而进行使后方透射区域33B透射并使后方下部图像34B合成的图像处理。因此，显示出图7那样的画面。由此，操作员通过在后退时视觉辨认后方下部图像34B，能够认知自卸卡车I的下部后方的状况。
[0083]此外，在自卸卡车I前进及后退时，重叠处理部25使右方透射区域33R透射并合成右方下部图像34R，且使左方透射区域33L透射并合成左方下部图像34L。如图6至图10所示，在自卸卡车I前进时及后退时的任一情况下，右方透射区域33R及左方透射区域33L与前轮5或后轮6的某一方发生干涉。由此，在换挡杆28进入前进位置或后退位置时，将右方下部图像34R及左方下部图像34L显示于标志图像31中。
[0084]也存在换挡杆28进入中间位置的情况。在该情况下，自卸卡车I停止。因此，使后方透射区域33B、右方透射区域33R、左方透射区域33L全部为非透射。由此，重叠处理部25不进行透射处理，而是将标志图像保持部24所保持的标志图像31直接输出至图像合成部26。在自卸卡车I停止时，即使在自卸卡车I的下部存在障碍物S2，也没有特别的问题。因此，该情况下，即使不显示下部图像34，也能够确保安全性。但是，在通过操作员使换挡杆28从中立位置操作至前进位置或后退位置时，自卸卡车I前进或后退。因此，即使在自卸卡车I停止的状态下，也可以在各透射区域33中显示各自的下部图像34。
[0085]因此，根据换挡杆28的位置，重叠处理部25显示需要的下部图像34，但不显示不需要显示的下部图像34。重叠处理部25为了显示下部图像34而进行透射处理。由此，标志图像31的外形的视觉辨认性降低。因此，根据换挡杆28的位置而不显示不需要的下部图像34，由此，能够简单地显示标志图像31，能够使操作员的视觉辨认性提高。
[0086]接下来，对设置拍摄自卸卡车I下部的专用照相机的情况进行说明。图11所示的下部照相机1U不为周边拍摄部，而是用于拍摄自卸卡车I下部的拍摄部。因此，下部照相机1U将自卸卡车I的下部的内侧作为视场。
[0087]为了将自卸卡车I的周边状况作为俯瞰图像而显示，设有前方照相机10F、后方照相机10B、右方照相机10R、左方照相机10L。因此，这些照相机10将自卸卡车I的外侧作为视场。此时，由于在各照相机10中自卸卡车I的下部成为视场的一部分，所以利用该情况使标志图像31透射并显示下部图像。在这一点上，后方照相机10B、右方照相机1R及左方照相机1L在作为周边拍摄部的同时，也作为上述拍摄部而发挥作用。
[0088]在将自卸卡车I的下部状况显示于标志图像31这一点上，也能够不在标志图像31的周边显示俯瞰图像。S卩，如图12所示,也能够仅将标志图像31显示于画面部15。如上述那样，在自卸卡车I上设有下部照相机10U，并对自卸卡车I的下部的内侧进行拍摄。下部照相机1U也使光轴朝向斜下方，在图像修正部21中进行了修正处理后，在视点转换部22中转换成俯瞰图像。
[0089]如图12所示，下部照相机1U是为了映出自卸卡车I的下部而设置的拍摄部，将自卸卡车I的下部的广阔区域作为视场。因此，如该图所示，标志图像31的广阔区域成为内侧透射区域33U，重叠处理部25将对应的内侧下部图像34U与宽阔的内侧透射区域33U重叠。在图12的例子中，为了进行自卸卡车I周围的俯瞰图像显示，而设有后方照相机10B、右方照相机10R、左方照相机10L，由此，如上述那样显示有后方下部图像34B、右方下部图像34R、左方下部图像34L。由此，如该图所示，自卸卡车I的下部基本上显示于标志图像31。
[0090]因此，通过设置将自卸卡车I的下部作为视场的下部照相机10U，并在标志图像31上显示内侧下部图像34U，能够使操作员认知自卸卡车I的广阔区域的状况。在图12的例子中，通过后方照相机10B、右方照相机10R、左方照相机1L显示后方下部图像34B、右方下部图像34R、左方下部图像34L，但也可以仅使用下部照相机10U，使自卸卡车I的下部图像显示于标志图像31上。另外，下部照相机也可以不只设置I台，而是设置多台。
[0091]以上对作为自行式工业机械而适用了自卸卡车I的例子进行了说明，但作为自行式工业机械，也能够使用图13所示的液压挖掘机40。液压挖掘机40构成为具有:具有履带式行驶体的下部行驶体41 ;和相对于下部行驶体41以能够旋转的方式连结的上部旋转体42。上部旋转体42具有驾驶室43、作业机构44、构造室45、和配重46。作业机构44由动臂47、斗杆48、和铲斗49构成。以上是普通的液压挖掘机40的结构。
[0092]在液压挖掘机40上安装有前方照相机50F、后方照相机50B、右方照相机50R、左方照相机50L(未图示)。这些照相机以与上述的前方照相机10F、后方照相机10B、右方照相机10R、左方照相机1L相同的目的安装，为了对液压挖掘机40的周边状况进行俯瞰显示而设置。另外，前方照相机50F安装在驾驶室43附近，后方照相机50B安装在配重46的下部。右方照相机50R及左方照相机50L安装在构造室45上。
[0093]在配重46的下部形成有广阔空间。此时，后方照相机50B对后方进行拍摄，但由于光轴朝向斜下方，所以配重46的下部包含于视场中。因此，通过将配重46的下部图像显示在标志图像上，能够得到与上述自卸卡车I的情况相同的效果。
[0094]附图标记说明
[0095]I 自卸卡车
[0096]2 驾驶室
[0097]10照相机
[0098]14监视器
[0099]15 画面部
[0100]17显示控制器
[0101]21图像修正部
[0102]22视点转换部
[0103]23下部图像生成部
[0104]24标志图像保持部
[0105]25重叠处理部
[0106]26图像合成部
[0107]27显示图像生成部
[0108]28换挡杆
[0109]31标志图像
[0110]32俯瞰图像
[0111]33透射区域
[0112]34下部图像
[0113]33口内侧透射区域
[0114]34口内侧下部图像
【权利要求】
1.一种自行式工业机械的显示装置，其特征在于，具有: 拍摄部，其配置在自行式工业机械上，且视场中包含所述自行式工业机械的下部； 标志图像保持部，其保持将上述自行式工业机械标志化而得到的标志图像； 重叠处理部，其进行如下处理:将所述标志图像中的包含于所述拍摄部的视场的所述下部的区域作为透射区域，使该透射区域以规定的透射率透射，并将所述拍摄部所拍摄的图像中的与所述透射区域对应的图像作为下部图像而重叠；和 显示装置，其配置在所述自行式工业机械的驾驶室中，并显示所述重叠处理部实施重置后的所述标志图像。
2.根据权利要求1所述的自行式工业机械的显示装置，其特征在于，具有: 多个周边拍摄部，其至少包含一个所述拍摄部，以斜下方为光轴来拍摄所述自行式工业机械的周边的图像； 视点转换部，其对所述周边拍摄部所拍摄的图像生成以成为上方视点的方式进行视点转换后的俯瞰图像； 图像合成部，其将所述重叠处理部实施重叠后的所述标志图像作为中心来合成所述俯瞰图像；和 显示图像生成部，其将所述图像合成部所合成的图像作为显示于所述显示装置上的显示图像而生成并输出至所述显示装置。
3.根据权利要求1或2所述的自行式工业机械的显示装置，其特征在于， 所述重叠处理部在所述透射率不为非透射及全透射而为半透射时，进行以使所述标志图像中所述透射区域的部分和所述下部图像双重地显示的方式而重叠的处理。
4.根据权利要求1或2所述的自行式工业机械的显示装置，其特征在于， 所述重叠处理部在所述透射率为全透射时，在所述透射区域中仅显示所述下部图像，并描绘所述透射区域的轮廓线。
5.根据权利要求4所述的自行式工业机械的显示装置，其特征在于， 所述重叠处理部以与所述标志图像相同的方式描绘所述轮廓线。
6.根据权利要求1或2所述的自行式工业机械的显示装置，其特征在于， 所述重叠处理部根据对所述自行式工业机械的行驶进行操作的行驶操作部，而进行是否使多个所述透射区域分别透射的控制。
【文档编号】H04N7/18GK104303497SQ201380025423
【公开日】2015年1月21日 申请日期:2013年4月25日 优先权日:2012年5月15日
【发明者】古渡阳一, 小田尚和, 清水克彦, 稻野边庆仁, 石本英史 申请人:日立建机株式会社