车辆用立体图像处理装置的制造方法
【技术领域】
[0001]本发明涉及一种对利用搭载于车辆的立体摄像机拍摄的图像进行处理而以三维方式识别行驶环境的车辆用立体图像处理装置。
【背景技术】
[0002]近年来，在汽车等车辆中，采用利用摄像机拍摄前方的行驶环境并通过进行图像处理来识别行驶环境的技术。特别是通过采用使用立体摄像机从不同的视点拍摄同一个对象，然后根据所得的视差(距离数据)以三维方式识别对象的立体图像处理的技术，从而使避免与前方障碍物碰撞、针对前行车辆的跟踪控制、针对摇晃和脱离行车线的报警控制、和/或转向控制等对驾驶员的各种辅助控制得到实用化。
[0003]这样的立体摄像机由如下方式构成，即，例如将两台一组的摄像机以彼此的光轴大致平行的方式、按照预定的基准线长度(光轴间隔)进行机械固定，如果在其安装位置产生偏移，则各摄像机的拍摄方向偏移，因此发生无法识别前行车辆、距离数据的精度变差等现象。
[0004]因此，专利文献I中公开了通过在立体摄像机的前方设置调整用卡，通过处理对该调整用卡的拍摄图像而调整立体摄像机的位置偏移，从而提高距离数据的可靠性的技术。
[0005]现有技术文献
[0006]专利文献
[0007]专利文献1:日本特开2004-132870号公报
【发明内容】
[0008]技术问题
[0009]然而，专利文献I中公开的现有技术是在工厂中车辆出厂时和/或在市场上的经销商等的维修工厂中进行检查时，使车辆停止而检查立体摄像机有无位置偏移并进行调整的技术，在用户的实际使用环境下难以检查立体摄像机是否发生位置偏移。
[0010]本发明是鉴于上述情况而完成的，其目的在于提供能够在车辆行驶中诊断有无立体摄像机的位置偏移，提前避免由位置偏移引起的错误识别所导致的车辆控制的不良情况发生的车辆用立体图像处理装置。
[0011]技术方案
[0012]本发明的车辆用立体图像处理装置对搭载于车辆的立体摄像机的拍摄图像进行处理而以三维方式识别行驶环境，具备:左右类似物检测部，根据上述立体摄像机的拍摄图像检测在本车辆的左右成对存在的类似物而分别对其进行匹配处理，计算在图像的同一水平线上的左侧的类似物的视差和右侧的类似物的视差；和摄像机位置偏移诊断部，计算基于上述同一水平线的左侧的类似物的视差与右侧的类似物的视差的差异的诊断值，将该诊断值与预先设定的阈值进行比较而诊断上述立体摄像机的机械性位置偏移。
[0013]有益效果
[0014]根据本发明，能够在车辆行驶中诊断有无立体摄像机的位置偏移，提前避免由位置偏移引起的错误识别所导致的车辆控制的不良情况发生。
【附图说明】
[0015]图1是车辆用立体图像处理装置的构成图。
[0016]图2是表示核线的说明图。
[0017]图3是立体匹配的说明图。
[0018]图4是白线检测的说明图。
[0019]图5是表示基准图像和比较图像的白线位置的说明图。
[0020]图6是表示根据图5的基准图像和比较图像求得的左右白线的视差的说明图。
[0021]图7是表示根据图5的基准图像和比较图像识别的白线的说明图。
[0022]图8是表示发生摄像机位置偏移时的基准图像和比较图像的白线位置的说明图。
[0023]图9是表示根据图8的基准图像和比较图像求得的左右白线的视差的说明图。
[0024]图10是表示根据图8的基准图像和比较图像识别的白线的说明图。
[0025]图11是表示根据图5的基准图像和比较图像求得的左右白线的高度的说明图。
[0026]图12是表示根据图8的基准图像和比较图像求得的左右白线的高度的说明图。
[0027]符号说明
[0028]1:立体图像处理装置
[0029]2:立体摄像机
[0030]2a:摄像机(主摄像机)
[0031]2b:摄像机(副摄像机)
[0032]7:立体图像处理部(左右类似物检测部)
[0033]9:识别处理部(左右类似物检测部)
[0034]10:摄像机位置偏移诊断部
[0035]20:车辆控制装置
[0036]Lep:核线
[0037]d:视差
[0038]z:距离
[0039]Δ jd、Δ yd、al、ar:诊断值
【具体实施方式】
[0040]以下，参照【附图说明】本发明的实施方式。
[0041]在图1中，符号I表示对利用搭载于汽车等车辆、从不同的视点拍摄对象物的立体摄像机2所拍摄的图像进行处理而对对象物的三维位置进行测距、从三维角度识别车外的行驶环境的立体图像处理装置。对于该立体图像处理装置I而言，作为对立体摄像机2的拍摄图像进行处理的功能，主要具备A/D变换部3、光轴调整部4、粗调整部5、距离校正部6、立体图像处理部7、识别处理部9，并具备距离数据存储器8a和图像数据存储器Sb。
[0042]另外，对于立体图像处理装置I而言，作为检测在市场中的实际使用时发生的立体摄像机2的机械性位置偏移的功能，具备摄像机位置偏移诊断部10。立体摄像机2在本实施方式中具有CCD和/或CMOS等拍摄元件，并由快门速度可变且相互同步的一组摄像机2a,2b构成，对利用摄像机2a、2b拍摄的车外的图像进行立体图像处理而对车外的物体的三维位置进行测距。
[0043]众所周知，根据立体法进行的对象物的三维位置的测距主要是对利用摄像机2a、2b拍摄的两个图像进行求出两个图像上的同一点的对应位置的立体匹配(对应点搜索)处理。该对应点搜索通常以核线上的一维搜索的形式实施。
[0044]S卩，如图2(a)所示，在用摄像机模型表示摄像机2a、2b，将各视点(透镜中心)记为C1、C2，将各投影面(图像平面)记为頂1、頂2的情况下，关注三维空间上的点P，则关注点P在摄像机2a的投影面Ml上以点Pl被观测到，在摄像机2b的投影面頂2上以点P2被观测到。
[0045]对应点搜索是从另一侧的投影面頂2上搜索与一侧的投影面Ml上的点Pl对应的点，但由于摄像机配置的几何学关系，与点Pl对应的投影面頂2上的点在由点P1、C1、C2构成的平面与投影面頂2相交而成的直线L印(核线)上。该核线Lep在投影面Ml上也同样存在，对应点搜索归结到核线Lep上的一维搜索。
[0046]此时，通过使核线Lep与图像的扫描线一致，能够简化搜索处理。因此，在本实施方式中，如图2(b)所示，将摄像机2a、2b的投影面IM1、頂2平行配置而使两者的核线L印与图像的水平扫描线Lh —致。
[0047]更详细而言，对立体摄像机2进行机械和电调整，以使其成为如下摄像机配置的方式，即，使配置在水平方向的右侧的摄像机2a与配置在左侧的摄像机2b的彼此的光轴平行而使拍摄面一致，此外，使彼此的拍摄面的横轴方向(水平扫描线方向)一致(相互不旋转)。这样的立体摄像机2将两台摄像机2a、2b作为以预定的基准线长度固定的摄像机单元而形成，例如将其设置于车室内上部的前窗内侧的室内镜附近。
[0048]应予说明，在本实施方式中，右侧的摄像机2a拍摄成为对应点搜索的基准的基准图像，左侧的摄像机2b拍摄进行对应点搜索的比较图像。以下，将拍摄基准图像(右图像)的右侧的摄像机2a适当记载为主摄像机2a，将拍摄比较图像(左图像)的左侧的摄像机2b适当记载为副摄像机2b。
[0049]由各摄像机2a、2b拍摄的模拟图像分别被A/D变换部3变换为预定的亮度等级