车辆用图像处理装置的制作方法

技术领域

本公开涉及将针对车辆周边拍摄到的图像显示于显示装置的车辆用图像处理装置。

背景技术：

已知有利用车载照相机对车辆周围的状况进行拍摄，并且将由该车载照相机拍摄到的多个图像合成，并将该合成后的图像显示于显示装置的技术。具体而言，将由车载照相机当前拍摄到的当前图像与基于过去的拍摄图像的过去图像合成，而作为车辆周边图像，从而能够将进入死角的车辆周边部分连续地显示于显示装置(例如专利文献1)。

在对当前图像和过去图像进行合成的情况下，根据车辆的移动使过去图像移动来进行合成。即，在进行当前图像和过去图像的合成时需要获取车辆的移动量。能够基于车速脉冲获取车速，来作为与车辆的移动相关的量。

这里，由于车速脉冲不具有正负的信息，所以不能够基于车速脉冲来判定车辆的行进方向。因此，例如，考虑基于车辆的档位，来获取车辆的行进方向的方法。然而，考虑到若车辆随着路面坡度倾斜，则尽管档位是驱动档车辆也后退、尽管档位是倒车档车辆也前进。在这样的情况下，车辆的实际的移动方向与图像合成时的过去图像的移动方向不同，而在当前图像与过去图像的合成时会产生偏差。

专利文献1：日本特开2013-55410号公报

技术实现要素：

本公开的目的在于提供一种能够优选地对由拍摄装置拍摄到的多个图像进行合成的车辆用图像处理装置。

在本公开的某个方式中，车辆用图像处理装置搭载于具备拍摄装置和显示装置的车辆，其中上述拍摄装置对车辆周边的规定范围进行拍摄，上述显示装置显示由该拍摄装置拍摄到的拍摄图像，上述车辆用图像处理装置具备：第一获取装置，基于车速脉冲获取车速，来作为上述拍摄装置在拍摄时的行驶状态；存储装置，将上述拍摄图像存储为过去图像；图像制成装置，基于由上述第一获取装置获取到的行驶状态，对存储于上述存储装置的过去图像和由上述拍摄装置拍摄的当前图像进行合成，来制成显示于上述显示装置的显示图像；以及方向判定装置，基于获取上述车辆的实际的行进方式的第二获取装置的获取值，来判定上述车辆的行进方向。上述图像制成装置除了基于上述第一获取装置获取到的行驶状态以外，还基于由上述方向判定装置判定的行进方向，来对上述过去图像和上述当前图像进行合成。

在上述车辆用图像处理装置中，基于车辆的实际的行进方式来判定行进方向。而且，形成这样的构成：除了根据基于车速脉冲获取的车速以外，还根据基于实际的行进方式判定的行进方向，来实施图像合成。通过形成这样的构成，例如，即使在尽管档位是驱动档也后退的状况下、尽管档位是倒车档也前进的状况下，也能够优选地对当前图像和过去图像进行合成。

附图说明

通过参照附图进行下述详细的描述，有关本公开的上述目的以及其它的目的、特征、优点会变得更加明确。附图如下：

图1是图像显示系统的构成图，

图2是表示照相机与其拍摄范围的图，

图3是表示透视转换的方法的图，

图4是表示图像合成处理的流程图，

图5是表示基于加速度的行进方向的判定处理的流程图。

具体实施方式

以下，参照附图对将作为车辆用图像处理装置的图像处理单元应用于车辆(汽车)的图像显示系统的一个实施方式进行说明。

如图1所示，本图像显示系统被搭载于车辆，具有作为拍摄装置的前方照相机11以及后方照相机12、供上述各照相机11、12的拍摄数据被输入的图像处理单元13、以及作为将由图像处理单元13基于该拍摄数据制成的显示图像显示的显示装置的车载监视器14。

照相机11、12对车辆周边的规定范围进行拍摄。具体而言，前方照相机11以及后方照相机12分别被安装于车辆的前侧以及后侧，通过前方照相机11对车辆前方的规定范围进行拍摄，通过后方照相机12对车辆后方的规定范围进行拍摄。上述各照相机11、12是能够以广角范围进行拍摄的广角照相机，例如能够在车辆前方以及车辆后方以180度的视场角进行拍摄。各照相机11、12是进行基于CCD影像传感器、CMOS影像传感器的拍摄的数字拍摄方式的照相机。

更具体而言，如图2所示，对车辆C而言，例如在车顶部分的前侧部安装前方照相机11，并且在车顶部分的后侧部安装后方照相机12。而且，前方照相机11拍摄前方范围R1，后方照相机12拍摄后方范围R2。前方范围R1和后方范围R2排列沿车辆C的前后方向排列。

因此，在车辆C前进的情况下，被前方照相机11作为前方范围R1来拍摄的范围随着车辆C的前进，被后方照相机12作为后方范围R2来拍摄。另外，在车辆C后退的情况下，被后方照相机12作为后方范围R2来拍摄的范围随着车辆C的后退，而被前方照相机11作为前方范围R1来拍摄。此外，前方照相机11以及后方照相机12均被配置于沿车辆C的前后方向延伸的同一条线上(中心线X1上)，以该中心线X1为拍摄中心对车辆前方以及车辆后方进行拍摄。

前方照相机11不能进行比其自身靠车辆后方侧的拍摄，后方照相机12不能进行比其自身靠车辆前方侧的拍摄。因此，车辆C的左侧和右侧的侧方部成为作为两个照相机11、12的视场外的范围R3(中间区域)。另外，各照相机11、12能够以比水平方向朝下的方向分别对车辆前方、车辆后方进行拍摄，进行地面的拍摄。

返回到图1的说明，车载监视器14在车室内设置于驾驶员在驾驶中能够视觉确认的位置，例如仪表板部。车载监视器14的形状以及大小可以是任意的，但在本实施方式中，由于以将本车辆为中心包含其前后两方的区域的范围将车辆周边图像显示于车载监视器14，所以在车载监视器14的显示画面上设定有纵长的显示区域。此外，在车载监视器14能够显示车辆周边图像以外的信息，在车载监视器14未显示车辆周边图像的情况下，也可以在该显示画面上显示车辆前方图像(例如车辆前方的夜视图像)、基于由GPS传感器15获取到的车辆C的位置的导航图像等拍摄图像以外的各种信息。

图像处理单元13是将各照相机11、12的拍摄数据合成来制成显示图像，并使该显示图像显示于车载监视器14的图像处理装置。图像处理单元13具有输入前方照相机11的拍摄数据的第一转换电路21、和输入后方照相机12的拍摄数据的第二转换电路22，上述各转换电路21、22对前方照相机11以及后方照相机12的各拍摄数据分别进行透视转换，制成鸟瞰图像。鸟瞰图像是从上空位置沿铅垂方向俯视各照相机11、12的拍摄范围所得到的状态的俯瞰图像。通过各转换电路21、22，分别制成前方鸟瞰图像、后方鸟瞰图像。

各照相机11、12每隔规定时间分别对车辆前方以及车辆后方进行拍摄，根据各转换电路21、22，每隔规定时间获得车辆前方的鸟瞰图像和车辆后方的鸟瞰图像。

对各转换电路21、22中的透视转换进行补充说明。如图3所示，在利用设置于距离地面高度h的位置的前方照相机11拍摄地面的情况下，作为拍摄图像，得到处于离照相机位置规定的焦距f的屏幕平面T上的拍摄图像。在该情况下，前方照相机11拍摄地面等于执行从地面坐标向屏幕平面T上的二维坐标的透视转换。因此，在各转换电路21、22中，通过对由各照相机11、12拍摄到的拍摄图像，进行与上述透视转换相反的透视转换，来进行从屏幕平面T上的坐标向地面上的坐标的转换，由此制成地面上的图像即鸟瞰图像(图3的P的范围的俯视图像)。

将由各转换电路21、22制成的鸟瞰图像的图像数据输入至CPU23。图像处理单元13基于前方鸟瞰图像和后方鸟瞰图像来制成车辆周边图像。该车辆周边图像与通过各转换电路21、22转换后的图像同样地被制成鸟瞰图像。

在本实施方式的图像显示系统中，由于在本车辆的周边(车辆侧方)包含照相机视场外的范围R3，所以针对该照相机视场外的范围R3使用前方照相机11的拍摄图像(前方鸟瞰图像)、以及后方照相机12的拍摄图像(后方鸟瞰图像)的任意一个图像的过去图像。而且，作为用于使用过去图像来制成车辆周边图像的构成，图像处理单元13具有作为存储过去图像的存储装置的图像存储器24。另外，车辆C具备检测车速的车速传感器16、以及检测横摆率(沿旋转方向的旋转角的变化速度)的横摆率传感器17。

车速传感器16以及横摆率传感器17的检测信号依次被输入至CPU23。作为第一获取装置的图像处理单元13基于上述各传感器16、17的检测信号(车速脉冲以及横摆率信号)，来计算并获取车辆C的行驶状态的即车速以及横摆率。此时关键是能够把握利用各照相机11、12拍摄时的车辆C的行驶状态即可，可计算车辆C的移动距离以及旋转角、或者车辆C的位置以及方向即可。另外，图像处理单元13每隔规定时间，将前方鸟瞰图像的过去图像和后方鸟瞰图像的过去图像与图像拍摄时的车辆C的行驶信息(车速、横摆率)建立对应关系并存储至图像存储器24。

在作为图像制成装置的CPU23制成车辆周边图像的情况下，若车辆C正在前进，则从图像存储器24读出由前方照相机11在过去拍摄到的拍摄图像(前方过去图像)来作为照相机视场外的范围R3的图像。而且，利用由各照相机11、12拍摄的当前的拍摄图像(前方当前图像以及后方当前图像)和前方过去图像来制成车辆周边图像。另外，若车辆C正在后退，则从图像存储器24读出由后方照相机12在过去拍摄到的拍摄图像(后方过去图像)来作为照相机视场外的范围R3的图像。而且，利用由各照相机11、12拍摄的当前的拍摄图像(前方当前图像以及后方当前图像)和后方过去图像来制成车辆周边图像。

在制成车辆周边图像时，图像处理单元13将前方当前图像、后方当前图像以及前方过去图像(或者后方过去图像)以在同一平面上沿车辆前后方向排列的方式进行配置并使其它们接在一起。此时，基于当前的车辆C的行驶状态(车速、横摆率)、和拍摄过去图像时的车辆C的行驶状态(车速、横摆率)，进行过去图像的平行移动以及旋转(欧几里德变换)，将各图像合成为一个图像。

如上所述，在当前图像和过去图像的合成中，根据从拍摄过去图像的时刻到当前为止的车辆C的移动量，来使过去图像平行移动以及旋转来进行与当前图像的合成。计算车辆C的移动量所使用的车速传感器16由相对于车辆C的传动轴、驱动轴等设置成齿轮状的磁铁和检测磁场的变化的磁传感器(拾音器)构成，将传动轴、驱动轴的旋转作为车速脉冲输出。该车速脉冲中不包含传动轴、驱动轴的旋转方向，即，有关车辆C的行进方向的信息。对于横摆率传感器17的检测值，也不包含关于车辆C的行进方向的信息。即，为了计算车辆C的移动量，需要使用与车速传感器16以及横摆率传感器17的检测值不同的其它的输入值，来获取车辆C的行进方向。

作为获取车辆C的行进方向的方法，考虑基于车辆C的变速杆19的位置(档位)来判定的方法。此外，本实施方式中的车辆C的变速机构是自动变速器。然而，考虑到若车辆C随着路面坡度而倾斜，则尽管档位是驱动档也后退、尽管档位是倒车档也前进。因此，在基于车辆C的档位获取车辆C的行进方向的方法中，存在在图像合成中产生不便的可能性。

因此，作为第二获取装置的图像处理单元13除了档位以外，还获取由加速度传感器18(加速度检测装置)检测的车辆C的加速度。加速度传感器18将车辆停止状态下的输出值(重力加速度)作为偏移，在车辆C正在向前方加速的情况下，输出偏移为+正的值(向前方的加速度)，在车辆C正在向后方加速的情况下输出偏移为+负的值(向后方的加速度)。因此，图像处理单元13获取从加速度传感器18的输出值减去偏移(重力加速度)所得的值来作为车辆C的加速度。而且，作为方向判定装置的图像处理单元13基于该第二获取装置的获取值即加速度，来判定车辆C的行进方向。而且，基于该行进方向来实施图像合成。这里，加速度传感器18的取样周期是50ms，是与显示图像的更新周期(33ms)相同的程度。

在图4示出了表示本实施方式中的图像合成处理的流程图。该处理由图像处理单元13周期性地实施。

在步骤S01中，判定车速脉冲是否从车速传感器16被输入。在车速脉冲未被输入的情况下(S01：否)，不进行图像合成并结束处理。在车速脉冲被输入的情况下(S01：是)，在步骤S02中，判定车辆C的倾斜(道路坡度)是否为规定倾斜以上的急倾斜(-10％以下、或者、+10％以上)。这里，车辆C的倾斜能够基于作为倾斜检测装置的加速度传感器18作为偏移(DC成分)获取的重力加速度来计算。

在车辆C的倾斜是规定倾斜以上的急倾斜的情况下(S02：是)，在步骤S03中，判定基于车速脉冲获取的车速是否属于规定的范围(10km/h以下)。在车速属于规定的范围的情况下(S03：是)，在步骤S04中，获取由加速度传感器18检测的加速度的方差，并判定该方差是否是规定值以下。

在加速度的方差是规定值以下的情况下(S04：是)，即，加速度传感器18的检测值可信赖的情况下，在步骤S05中，基于加速度来进行行进方向的判定。有关基于加速度的行进方向的判定处理的详细内容后述。

在车辆C的倾斜不是规定倾斜以上的急倾斜的情况下(S02：否)，在车速属于规定的范围外(比10km/h大)的情况下(S03：否)，或者加速度的方差大于规定值的情况下(S04：否)，在步骤S06中，基于档位来获取车辆C的行进方向。即，在档位是驱动档的情况下，判定为车辆C正在前进，在换挡位置是倒车档的情况下，判定为车辆C正在后退。

在步骤S05以及步骤S06之后，在步骤S07中，基于从车速传感器16获取到的车速、从横摆率传感器17获取到的横摆率、以及在步骤S05或者S06中获取到的车辆C的行进方向，来实施图像合成，并结束处理。

图5示出了表示基于加速度传感器18的检测值的行进方向的判定的流程图。

在步骤S11中，判定是否在车辆C起步后，经过规定时间。在车辆C起步后，未经过规定时间的情况下(S11：否)，在步骤S12中，判定加速度传感器18的检测值即加速度是否是正值。在加速度是正值的情况下(S12：是)，在步骤S13中，判定为车辆C正在前进。在加速度是负值的情况下(S12：否)，在步骤S14中，判定为车辆C正在后退。即，在从停车状态起步的状况下，加速度为正的情况下，判定为车辆C正在前进，在加速度为负的情况下，判定为车辆C正在后退。

在车辆C起步后，经过规定时间的情况下，在步骤S15中，判定车速是否正在增加。在车速正在增加的情况下(S15：是)，在步骤S16中，判定加速度是否是正值。在加速度是正值的情况下(S16：是)，在步骤S17中，判定为车辆C正在前进。在加速度是负值的情况下(S16：否)，在步骤S18中，判定为车辆C正在后退。在车速正在减少的情况下(S15：否)，在步骤S19中，判定加速度是否是正值。在加速度是正值的情况下(S19：是)，在步骤S20中，判定为车辆C正在后退。在加速度是负值(S19：否)，在步骤S21中，判定为车辆C正在前进。

例如，在上行方向的陡坡面上车辆C正在继续后退的状况下，车速(车速的绝对值)增加，并且加速度成为负值。这里，考虑了因驾驶员进行的制动踏板的操作，而车辆C继续后退，并且车速(车速的绝对值)减少那样的状况。在该状况下，车速减少，并且加速度成为正值。同样地，在下行方向的陡坡面上车辆C正在继续前进的状况下，车速(车速的绝对值)增加，并且加速度成为正值。这里，考虑了因驾驶员进行的制动踏板的操作，而车辆C继续前进，并且车速(车速的绝对值)减少那样的状况。在该状况下，车速减少，并且加速度成为负值。根据步骤S15～S21中的行进方向的判定，在车辆C在斜面上正在继续前进或者后退的情况下，能够准确地判定行进方向。

以下，叙述本实施方式的效果。

形成为这样的构成：基于车辆C的实际的行进方式来判定行进方向。而且，形成为这样的构成：除了基于车速脉冲获取的车速以外，还使用基于实际的行进方式判定的行进方向，来实施图像合成。通过形成这样的构成，例如，即使在尽管档位是驱动档也正在后退的状况下、尽管档位是倒车档也前进的状况下，也能够优选地对当前图像和过去图像进行合成。

在本实施方式中，形成为这样的构成：使用基于实际的行进方式判定的行进方向、和基于档位获取的行进方向双方。根据该构成，能够更加优选地对当前图像和过去图像进行合成。

具体而言，形成为这样的构成：在由加速度传感器18检测的加速度的方差较大的情况下，即，加速度传感器18的检测值的信赖度较低的情况下，基于根据档位获取的行进方向来实施图像合成。通过形成这样的构成，能够使用对于行进方向信赖度较高的判定结果来实施图像合成。

另外，考虑到在车辆C的倾斜(即，道路坡度)是急倾斜的情况下，不管档位是否进入驱动档，都容易产生车辆C后退这样的状况。因此，形成为这样的构成：以车辆C的倾斜是规定倾斜以上的急倾斜(例如，-10％以下以及10％以上)的情况为条件，并基于由作为方向判定装置的图像处理单元13判定的实际的行进方向，来实施图像合成。通过形成这样的构成，在根据档位获取的行进方向的信赖度较低的状况下，实施使用了基于加速度传感器18获取的行进方向的图像合成，而能够实施更加优选的图像合成。

另外，考虑到在坡道起步时等车速较小的情况下，不管档位是否进入驱动档，都容易发生车辆C后退这样的状况。因此，形成为这样的构成：以车速小于规定值的情况为条件，基于由作为方向判定装置的图像处理单元13判定的行进方向，来进行图像合成。通过形成这样的构成，在基于档位获取的行进方向的信赖度较低的状况下，实施使用了基于加速度传感器18获取的行进方向的图像合成，而能够实施更加优选的图像合成。

(其它实施方式)

·上述实施方式的图像处理单元13为使用加速度传感器18的检测值，来判定车辆C的实际的行进方向的构成。对该构成进行变更，图像处理单元基于作为位置获取装置的GPS传感器15(图1)从GPS卫星接收到的GPS信号来获取车辆C的位置。而且，也可以为基于该车辆C的位置的变化，来判定车辆C的实际的行进方向的构成。

另外，也可以形成为这样的构成：图像处理单元13根据基于以GPS传感器15、车速传感器16、横摆率传感器17、以及加速度传感器18的检测值为输入值的卡尔曼滤波器的自我位置推断，来判定车辆C的实际的行进方向。

也可以形成为这样的构成：在对于基于GPS信号的车辆C的位置、以及基于自我位置推断的车辆C的位置而言，在规定期间获取的车辆C的位置的方差较大的情况下，优先基于档位获取的行进方向，来进行图像合成。

·形成为这样的构成：在车辆C的倾斜是规定倾斜以上的急倾斜的情况下、车速属于规定的范围的情况下，实施基于加速度的行进方向的判定，但也可以对该构成进行变更。具体而言，也可以不管车辆C的倾斜、车速如何，都实施基于加速度的行进方向的判定。另外，也可以不管加速度的方差如何，都实施基于加速度的行进方向的判定。

·上述实施方式的车辆的变速机构是自动变速器，但也可以对此进行变更，车辆的变速机构是手动变速器。

·也可以为代替基于档位获取的行进方向，而通过照相机获取驾驶员的举动、视线，并基于该举动、视线，来获取车辆C的行进方向的构成。

·也可以代替具备前方以及后方这2个作为拍摄装置的照相机的上述实施方式的构成，而是具备一个照相机的构成，也可以是具备三个以上照相机的构成。

这里，该申请所记载的流程图、或者流程图的处理由多个部分(或者称为步骤)构成，各部分例如被表示为S01。并且，各部分能够被分割为多个子部分，另一方面，多个部分也能够组合而成为一个部分。并且，这样构成的各部分能够作为设备、模块、方法来提及。

本公开依据实施例进行了描述，但应理解本公开并不限定于该实施例、构造。本公开也包含各种变形例、等同范围内的变形。除此以外，各种组合、方式、进一步在它们中包含仅一个要素、包含更多或者更少的其它组合、方式也纳入本公开的范畴、思想范围。