图像处理装置的制作方法

本发明涉及图像处理装置。

背景技术：

以往，已知具有广角镜头的照相机。例如，在专利文献1中公开了具有广角镜头(所谓的鱼眼镜头)的拍摄装置。

现有技术文献

专利文献

专利文献1:日本特开2004-354572号公报

技术实现要素：

发明要解决的课题

以往，已经进行了想要通过使用广角镜头的拍摄装置拍摄远方区域和附近区域的尝试。但是，当使用以往的广角镜头拍摄远方区域和附近区域时，由于单位图像高度的入射角的变化率，可能在图像中产生画质劣化的部分。该画质劣化的部分可能对之后实施的图像处理带来恶劣影响。

因此，本发明提供一种对于使用拍摄装置所拍摄的图像，减少该图像中所包含的画质劣化的部分的影响的图像处理技术。

用于解决课题的手段

例如，为了解决上述问题，采用请求专利保护的范围中记载的结构。本申请包括多个解决上述课题的手段，如果列举其中一例，则提供一种图像处理装置，其是处理由至少1个拍摄装置所拍摄的图像的图像处理装置，所述拍摄装置具备针对预定的拐点入射角具有单位图像高度的入射角相对于入射角的变化率的拐点的特性的镜头，所述图像处理装置具备分辨率调整部，其调整与所述预定的拐点入射角相对应的拐点对应图像区域的分辨率和比所述拐点对应图像区域更靠近内侧的内侧图像区域以及更靠近外侧的外侧图像区域的至少1方的分辨率。

另外，根据其他的例子，提供一种图像处理装置，其是处理由2个拍摄装置所拍摄的2个图像的图像处理装置，所述拍摄装置具备针对预定的拐点入射角具有单位图像高度的入射角相对于入射角的变化率的拐点的特性的镜头，所述图像处理装置具备视差计算部，其计算比所述2个图像中的与所述预定的拐点入射角相对应的拐点对应图像区域更靠近内侧的内侧图像区域彼此的视差信息。

另外，根据其他的例子，提供一种图像处理装置，其是处理由至少1个拍摄装置所拍摄的图像的图像处理装置，所述拍摄装置具备针对预定的拐点入射角具有单位图像高度的入射角相对于入射角的变化率的拐点的特性的镜头，所述图像处理装置具备运算部，其在以近距离为对象的第一区域执行第一图像处理，并在至少包括以远距离为对象的第二区域的区域执行第二图像处理，所述第二图像处理是根据因所述拐点而产生的所述图像上的第三区域的信息所设定的处理。

发明效果

根据本发明，关于使用拍摄装置所拍摄的图像，可以减少该图像中所包含的画质劣化的部分的影响。根据本说明书的描述、附图，与本发明有关的进一步特征会变得更清楚。另外，根据以下的实施例的说明，上述以外的问题、结构以及效果会变得更清楚。

附图说明

图1是表示本发明的拍摄装置的一实施例的结构的图。

图2a是说明角度分辨率与距离的测量之间的关系的图。

图2b是说明角度分辨率与距离的测量之间的关系的图。

图3是示意性地示出使用一实施例的车载用的立体照相机所拍摄的范围的图。

图4是表示一实施例所涉及的摄像镜头中的相对于入射角的单位图像高度的入射角的变化率以及图像高度之间的关系的一例的图。

图5是表示一实施例所涉及的摄像镜头的结构的图。

图6是剪切了由使用了一实施例所涉及的摄像镜头的照相机所拍摄的图像的一部分的图。

图7是示意性地表示由使用了一实施例所涉及的摄像镜头的照相机所拍摄的图像整体的图。

图8是剪切图像的一例。

图9是表示一实施例的拍摄装置的动作过程的流程图。

图10是由一实施例的拍摄装置所拍摄的参照图像以及基准图像的一例。

图11是分别从参照图像以及基准图像中剪切出的第一剪切图像以及第二剪切图像的一例。

图12是第一剪切图像和第二剪切图像的优选的一例。

图13是分别由参照图像以及基准图像生成的第一缩小图像以及第二缩小图像的一例。

图14是说明执行缩小处理时的作用的图。

图15是说明视差的计算处理的图。

图16是说明由剪切图像以及缩小图像的双方分别生成视差信息的一例的图。

具体实施方式

以下，参照附图针对本发明的实施例进行说明。此外，附图示出了符合本发明的原理的具体的实施例，但它们是用于本发明的理解的，不用于限定地解释本发明。

图1是表示本发明的拍摄装置的一实施例的结构的图。本实施例的拍摄装置1例如是搭载在车辆中的立体照相机。在本例中，假设将拍摄装置1应用于车辆的自动驾驶的应用程序的情况。此外，拍摄装置1可以应用于其他领域。

拍摄装置1具备分别拍摄车辆前方的左右一对的第一以及第二拍摄部100a、100b和运算部110。另外，在拍摄装置1的外部设置有未图示的控制部。

在拍摄装置1中，使用第一以及第二拍摄部100a、100b同时拍摄车辆前方，通过运算部110使用多个图像求出视差，并根据视差计算从车辆到达前方的对象物的距离。控制部使用由运算部110所计算出的直到对象物的距离、对象物的识别结果来进行刹车控制等车辆控制。

左右的第一以及第二拍摄部100a、100b被设定为左右分开基线长度(baselinelength)，因此同时拍摄的车辆前方而得的左右的图像被拍摄为同一对象物的位置左右互相偏移。即左右一对的图像，即使是拍摄同一对象物而得的图像，图像上的位置也会左右偏移。

第一拍摄部100a具备光学元件101a和摄像元件102a。光学元件101a是具有使光折射，在摄像元件上成像的构造的摄像镜头。摄像元件102a接受通过光学元件101a折射的光的图像，并生成与该光的强度对应的图像。摄像元件102a被设置在穿过了光学元件101a的光经过的位置，并具有电子快门的功能，以便处理预定的时间中的光。此外，第一拍摄部100a也可以具备物理快门功能。作为摄像元件102a，有ccd(chargecoupleddevice电荷耦合元件)图像传感器、cmos(complementarymetaloxide互补金属氧化物)图像传感器等。

接下来，针对本实施例中所使用的摄像镜头进行说明。如上所述，运算部110测量直到对象物的距离。在这里，使用图2a以及图2b针对角度分辨率与距离的测量之间的关系进行说明。1个像素所表现的入射角具有宽度，如果是在由直线表示的入射角内，则拍摄装置1可以识别出对象物存在于同一方向。例如图2a所示，如果角度分辨率高，则摄像元件102a的1个像素21能捕获的入射角小，因此可以分别识别多个对象物20a、20b，提高距离的测量精度。然而，如图2b所示，如果角度分辨率低，则摄像元件102a的1个像素能捕获的入射角大，因此无法识别多个对象物20a、20b，也无法准确地测量对象物20a、20b的距离。因此，关于需要准确地测量与对象物之间的距离的入射角，理想的是提高角度分辨率。

图3是示意性表示使用本实施例的车载用的立体照相机拍摄的范围的图。首先，针对自动驾驶的应用程序中的、自动追踪前方车辆的功能进行描述。该功能针对车辆301的前方，要识别位于远距离(例如，100m左右)的对象物(在前方行驶的车辆)。例如，当车辆301在高速公路上行驶时，假设采取相对车距。因此，在高速公路行驶中，由于距离测量的误差对车距有较大影响，因此理想的是在正面附近的远方也可以进行高精度的距离测量。因此，理想的是，在入射角小的区域中，角度分辨率高。

接下来，针对自动驾驶的应用程序中的、碰撞防止功能进行描述。在交叉路口等处的碰撞防止功能中，想要检测从侧方向冲出的人、车辆，因此理想的是拍摄尽量广的入射角。另外，可能发生碰撞的人或车辆位于相对较近距离。如上，需要以针对正面拍摄远距离，针对周边方向是广入射角的方式来进行拍摄。

在本实施例中，为了一边对摄像视场角进行广角化，一边在整个拍摄范围内确保理想的角度分辨率，使用具有在图4中所说明的特性的摄像镜头。图4是表示本实施方式所涉及的摄像镜头中的、单位图像高度的入射角相对于入射角θ的变化率d以及图像高度y之间的关系的一例的曲线图。在这里，图像高度y是指在光学系统的评价面上使用从光轴的距离表示图像位置的值。符号401是表示入射角的变化率的曲线，符号402是表示图像高度的曲线，符号403是入射角的变化率中的拐点，与其对应的入射角是切换入射角θs。

本例所涉及的摄像镜头，特征在于单位图像高度的入射角的变化率的切换入射角θs存在于10°～30°的范围中。在用于车辆中搭载的用途的设备中时，理想的是单位图像高度的入射角的变化率的切换入射角θs在10°到30°的范围中。针对在驾驶员的驾驶辅助、自动驾驶中使用的每个用途的入射角所要求的检测距离在10°到30°的区域中是较短的。也就是说，角度分辨率的要求精度较低。因此，在10°到30°的入射角中，具有即使角度分辨率的精度小也容许的倾向。通过在该区域中设置角度分辨率容易波动的角度分辨率的过渡区域，可以提供一种距离测量系统，即使存在由于角度分辨率的波动而造成的距离的计算误差，也可以一边在中央测量较长的距离，一边拍摄广视场角，所述中央具有作为车载用距离测量系统的处理不易出现问题的耐久性。

根据以上所述，在本实施例中使用的摄像镜头具有针对预定的拐点入射角(θs)具有单位图像高度的入射角相对于入射角的变化率d的拐点403的特性，与单位图像高度的入射角的变化率单调变化的以往的摄像镜头不同。此外，当作为摄像元件而采用ccd图像传感器、cmos图像传感器等的摄像元件时，摄像镜头的指标为每单位入射角包含多少像素。在图4中，对于单位图像高度的入射角的变化率d平缓的部分，具有角度分辨率的波动小，角度分辨率也高的倾向。另一方面，如上所述，包括单位图像高度的入射角的变化率d的拐点403的部分(曲线上升的部分)，是角度分辨率容易波动的角度分辨率的过渡区域，有时角度分辨率会变低。因此，在本实施例中使用的摄像镜头，从摄像元件102a的观点来说，也可以说是一种具有在中央部分与周边部分之间存在与该中央部分以及周边部分相比角度分辨率的变化率高的部分的特性的摄像镜头。

本实施例所涉及的摄像镜头被设定为小入射角部位的倍率比大入射角部位的倍率大，其中，小入射角部位是入射角比拐点入射角(θs)小的部位，大入射角部位是入射角比拐点入射角(θs)大的部位。因此，在将该摄像镜头用于车辆中搭载的用途的设备(距离测量系统等)中时，在驾驶员的驾驶辅助、自动驾驶中使用的每个不同用途的入射角所要求的检测距离为在中央长，在周边方向变短。如果是具有上述特性的摄像镜头，则在入射角小的中央区域中测量距离长，在入射角大的周边部分测量距离短，但是可以拍摄较广的范围。

使用图5针对具备上述光学特性的摄像镜头的镜头结构进行说明。该镜头由2枚非球面透镜520、530以及球面透镜组540构成。入射到镜头入射第一面510的光线通过光线入射侧的2枚非球面透镜520、530被引导，以便获得期望的图像高度与入射角的关系，通过后组的球面透镜组540在摄像元件102a上进行成像。此外，图5的结构是一例，并不限定于此。例如，针对图5的结构，可以在镜头出射面添加用于吸收红外线的ir滤波器。另外，在图5的例中，使用了符号520、符号530所示的2枚非球面透镜，但是作为其他例子，可以将符号520、符号530所示的透镜设为两面非球面。另外，本实施例的摄像镜头，在入射面的2枚非球面透镜中大部分带有特性。因此，针对之后的后组的镜头结构，可以使用以往的摄像镜头的结构。

另一方面，关于使用了具备上述光学特性的摄像镜头的照相机，在单位图像高度的入射角的变化率的拐点部分，在该部分发生画质劣化。图6是剪切了由使用了具备上述光学特性的摄像镜头的照相机所拍摄的图像的一部分的图。

此外，图6的图像不是由上述照相机所取得的实际图像，是为了易于理解地显示模糊区域而调整了对比度等的图像。在这里，模糊区域是指图像内的分辨率(resolution)低的区域。分辨率表示可以分解得多细。作为表示分辨率的指标，有响应函数(modulationtransferfunction：mtf，调制传递函数，振幅传递函数)等。此外，还有点扩散函数(pointspreadfunction：psf)、线扩散函数(linespreadfunction：lsf)。在本例中，使用mtf作为表示分辨率的指标。mtf是指表示空间分辨率的定量的尺度的分辨特性指标，是表示针对各空间频率的响应的函数。

使用图3，对上述的模糊区域与本实施例所涉及的摄像镜头之间的关系进行说明。如图3所示，对于车辆301的正面方向，要识别位于远距离(例如，100m左右)的对象物(在前方行驶的车辆)。因此，摄像镜头的中央区域(相对于光轴，入射角小的区域)被设定为分辨率高。另外，对于摄像镜头的周边区域(相对于光轴，入射角大的区域)，要识别位于距离车辆301近距离(例如，20m左右)的对象物，因此分辨率被设定为较高。另一方面，图3的302所示的部分是在车辆行驶中进行识别的必要性较小的区域，因此对于自动驾驶的应用程序，作为图像的信息来取得的必要性较小。因此，在该部分设定单位图像高度的入射角的变化率d的拐点403。如上所述，作为一例，拐点403入射角在10°～30°的范围中。根据该结构，在摄像镜头的中央区域与周边区域之间，存在单位图像高度的入射角的变化率d的剧烈变化部分(包括拐点403的部分)。与该拐点403对应的区域相当于图6的图像中的模糊区域。此外，在图3中被描绘为扇形的各区域是通过该图像处理装置不仅可以进行物体的检测还可以进行识别的区域，该扇形的可识别区域外侧的区域(例如302所示的部分)是可以进行物体的检测，但是所拍摄的图像小，因此难以识别的区域。

图7是示意性表示使用具备上述光学特性的摄像镜头拍摄的图像的图。图像包括第一区域(内侧图像区域)201、第二区域(外侧图像区域)202以及第三区域(拐点对应图像区域)203。第一区域201是相对于摄像镜头的光轴的入射角小的区域(以下，称为“小入射角区域”)，与摄像镜头的中央区域相对应。第一区域201是以远距离(第一距离范围)为对象的区域。第二区域202是相对于摄像镜头的光轴的入射角大的区域(以下，称为“大入射角区域”)，与摄像镜头的周边区域相对应。第二区域202是以近距离(比第一距离范围更近的第二距离范围)为对象的区域。第三区域203位于第一区域201与第二区域202之间。第三区域203是环状或空心环状的区域，与单位图像高度的入射角的变化率d的剧烈变化部分(包括拐点403)相对应。第三区域203是与第一区域201和第二区域202相比，分辨率低的区域。

对于图7的图像，当沿着a-a线对分辨率(mtf)的变化进行图示时，在空心环状的第三区域203分辨率变低，之后，在第二区域202分辨率变高。因此，如果本实施例所涉及的摄像镜头根据由其拍摄的图像来确定，则可以说是具有如下特性的镜头：在相对于光轴的入射角小的小入射角区域与相对于光轴的入射角大的大入射角区域之间，存在比小入射角区域以及大入射角区域的分辨率更低的中间入射角区域。另外，换句话说，也可以说本例的摄像镜头是设计为在第一区域201与第二区域202之间的第三区域203具有分辨率的拐点的镜头。

以下，对于解决在使用具备上述的光学特性的摄像镜头拍摄的图像中产生的新问题的实施例进行说明。具体而言，本实施例提供一种可以降低分辨率低的第三区域203的影响，并使用与附近区域相对应的图像和与远方区域相对应的图像来良好地识别外部环境的技术。

第二拍摄部100b与第一拍摄部100a同样地具备光学元件101b和摄像元件102b。第二拍摄部100b具备与第一拍摄部100a同样的结构，因此省略说明。此外，光学元件101b的摄像镜头的设计与光学元件101a相同。

运算部110是由处理器(cpu:centralprocessingunit、中央运算处理装置)以及存储器等构成的信息处理装置。处理器按照存储在存储器中的程序的指示，执行以下说明的运算部110的各结构要素的处理。即运算部110的各结构要素可以实现为软件。此外，运算部110的一部分可以安装为硬件。

运算部110作为结构要素，具备同步信号发送部117、参照图像获取部118a、基准图像获取部118、亮度修正部120、几何修正部121、图像剪切部122、图像缩小部123、视差计算部124、距离计算部125以及识别部126。此外，有时将运算部110中有关图像处理的部分统称为图像处理部。

并且，运算部110具备由存储器或硬盘构成的以下的存储部。具体而言，运算部110具备参照图像存储部131、基准图像存储部132、处理图像存储部133、亮度修正信息存储部134、几何修正信息存储部135、处理区域信息存储部136以及缩小信息存储部137。

参照图像存储部131存储使用第一拍摄部100a拍摄的参照图像(第一图像)。基准图像存储部132存储使用第二拍摄部100b拍摄的基准图像(第二图像)。

处理图像存储部133存储分别由运算部110的各结构要素所处理，并生成的图像。

亮度修正信息存储部134存储第一拍摄部100a以及第二拍摄部100b的图像(参照图像以及基准图像)中的各像素的亮度的修正系数。该修正系数是拍摄均匀的光或对象物时的基准图像以及比较图像的亮度在图像整体中基本相同的值。

几何修正信息存储部135存储第一拍摄部100a以及第二拍摄部100b的图像(参照图像以及基准图像)中的各像素的几何修正量。该修正量是修正为光学元件101a以及光学元件101b的变形、第一拍摄部100a以及第二拍摄部100b的焦距的误差、图像上的光轴位置的误差以及安装误差为0时的图像的值。

处理区域信息存储部136存储针对参照图像以及基准图像的处理区域的信息。这里的处理区域意味着由图像剪切部122剪切的区域。在设计镜头时，可知单位图像高度的入射角的变化率d的剧烈变化部分(包括拐点403)的位置，因此可以预先得知图像上哪个区域会成为第三区域203。根据镜头的设计预先设定该剪切区域即可。

图8是处理区域(剪切区域)的一例。剪切区域例如是第三区域203中内切的四边形区域801。此外，剪切区域优选是各顶点位于距离第三区域203内侧几像素处的四边形区域。通过将四边形的顶点部分设定在远离分辨率低的第三区域203的位置，尤其能够防止使用接近四边形区域801的顶点的像素的视差计算中的失配。

此外，剪切区域可以是由沿着第三区域203的实质的曲线定义的区域(例如，圆形区域)。在这种情况下，剪切区域也优选是该曲线位于距离第三区域203内侧几像素处的区域。另外，剪切区域的信息，可以是指定特定的区域的方法以外的信息。例如，可以存储分辨率的阈值作为剪切区域的信息。根据该结构，可以剪切出比第三区域203更靠近内侧并且具有阈值以上的分辨率的区域。

缩小信息存储部137存储针对参照图像以及基准图像的缩小率的信息。在设计镜头时，可以预先得知第三区域203会是多少分辨率，因此，以第三区域203的分辨率的信息为基础预先设定这里的缩小率。例如，可以根据第三区域203的分辨率的大小、第三区域203的宽度的大小等来设定缩小率。此外，以第三区域203对视差计算的影响变小的程度设定缩小率即可。

同步信号发送部117生成同步信号，并发送至参照图像获取部118a和基准图像获取部118b。参照图像获取部118a配合同步信号发送部117的同步信号，取得第一拍摄部100a的摄像元件102a生成的图像。基准图像获取部118b配合同步信号发送部117的同步信号，取得第二拍摄部100b的摄像元件102b生成的图像。因此，参照图像获取部118a和基准图像获取部118b获取通过第一以及第二拍摄部100a、100b同时拍摄的图像。

亮度修正部120从亮度修正信息存储部134读入各像素的亮度的修正系数，并修正参照图像以及基准图像的预先设定的处理区域的亮度。

几何修正部121从几何修正信息存储部135读入各像素的几何的2维修正量，并在参照图像以及基准图像的处理区域中进行几何修正来修正图像的形状。这里的处理区域是预先设定的区域。

图像剪切部122从处理区域信息存储部136读入剪切区域的信息，并分别从参照图像以及基准图像中剪切与剪切区域的信息相对应的像素。图像剪切部122在处理图像存储部133中存储从参照图像中剪切的图像(第一剪切图像)以及从基准图像中剪切的图像(第二剪切图像)。例如，如果在分辨率不同的图像区域间进行立体匹配，则有时很难在摄像元件上关联显示同一物体的部位的像素。如此，通过匹配分辨率相同的图像区域(剪切图像区域)彼此，可以抑制匹配的错误、失败。

图像缩小部123执行以由单位图像高度的入射角的变化率d的剧烈变化部分(包括拐点403)引起第三区域203的信息(分辨率)为基础设定的缩小处理。这里的缩小处理通过稀疏数据或对相邻的像素的数据进行平均而实现。图像缩小部123从缩小信息存储部137读入缩小率的信息，并生成参照图像的缩小图像(第一缩小图像)以及基准图像的缩小图像(第二缩小图像)。图像缩小部123在处理图像存储部133中存储第一缩小图像以及第二缩小图像。

通过上述缩小处理，调整与拐点入射角(θs)相对应的第三区域203的分辨率、比第三区域203更靠近内侧的第一区域201的分辨率以及比第三区域203更靠近外侧的第二区域202的分辨率。因此，图像缩小部123相当于调整与拐点入射角(θs)相对应的第三区域203的分辨率、比第三区域203更靠近内侧的第一区域201的分辨率以及比第三区域203更靠近外侧的第二区域202的分辨率的分辨率调整部。第三区域203(拐点对应图像区域)与周围的图像区域(第一区域201以及第二区域202)的分辨率不同，因此通过调整这些区域的分辨率，可以抑制由于镜头的特性对物体的检测、识别的处理产生影响。此外，在这里，作为分辨率调整处理对整体缩小图像的处理进行了说明，但是并不限定于此。例如，在降低对图像处理的恶劣影响的观点中，至少以与拐点入射角(θs)相对应的第三区域203与其周围的图像区域(第一区域201以及第二区域202的至少一个)的分辨率的差消除或者变小的方式调整即可。因此，分辨率调整部可以执行调整与拐点入射角(θs)相对应的第三区域203的分辨率和比第三区域203更靠近内侧的第一区域201以及比第三区域203更靠近外侧的第二区域202的至少一个的分辨率。

视差计算部124搜索与从基准图像上提取的预定的尺寸区域(模板图像)相对应的参照图像上的区域。视差计算部124计算与模板图像一致的参照图像上的区域的位置与基准图像上的模板图像的位置的差、即视差。视差计算部124通过针对各像素计算视差，来计算视差信息。此外，当针对某图像区域获得了视差时，可以检测出在该图像区域中存在某种物体。

在本实施例中，视差计算部124计算2个视差信息。第一视差信息是以第一剪切图像为参照图像，以第二剪切图像为基准图像而计算出的信息。另外，第二视差信息是以第一缩小图像为参照图像，以第二缩小图像为基准图像而计算出的信息。此外，在本例中，以由第一拍摄部100a所拍摄的图像为参照图像，以由第二拍摄部100b所拍摄的图像为基准图像，但是并不限定于此。也可以以由第一拍摄部100a所拍摄的图像为基准图像，以由第二拍摄部100b所拍摄的图像为参照图像。

距离计算部125以视差计算部124所计算出的视差、第一拍摄部100a与第二拍摄部100b的焦点的距离(基线长度)、焦距以及像素间距(摄像元件102a以及102b的像素之间的距离)为基础，计算在第一拍摄部100a以及第二拍摄部100b的光轴方向从拍摄装置1到图像上的对象物的距离。距离计算部125通过针对各像素计算距离来计算距离图像。

识别部126使用图像来识别对象物。此外，成为识别处理的素材的图像可以是参照图像或基准图像，也可以是针对获得视差信息的各部位(特征点)关联了该各部位的视差信息(视差值或距离的信息)的图像即视差图像。另外，识别是指识别获得了视差信息的物体(即被检测出的物体)的类别具体是什么的处理。物体的类别是指例如车辆、行人、信号灯、标识、白线等车道线等。识别部126将拍摄装置1和对象物的识别结果的信息发送至未图示的控制部。控制部基于识别结果的信息生成控制信号，来进行刹车控制等车辆控制。

使用图9的流程图来说明本实施例的拍摄装置1的一实施例的动作过程。在之后的说明中，以图1的功能框图为主语进行说明，但是以下的处理一边使用存储器等一边由处理器执行在程序中规定的处理，因此也可以以处理器为主语进行说明。

在步骤s901中，进行参照图像以及基准图像的获取处理。首先，通过同步信号发送部117生成同步信号，并发送至参照图像获取部118a以及基准图像获取部118b。

参照图像获取部118a接收来自同步信号发送部117的同步信号，并从摄像元件102a接收图像。摄像元件102a接收通过光学元件101a折射了的光的图像，生成与该光的强度对应的图像，并发送至参照图像获取部118a。参照图像获取部118a将从摄像元件102a接收到的图像作为参照图像存储至参照图像存储部131。

基准图像获取部118b接收来自同步信号发送部117的同步信号，并从摄像元件102b接收图像。摄像元件102b接收光学元件101b折射了的光的图像，生成与该光的强度对应的图像，并将图像发送至基准图像获取部118b。基准图像获取部118b将从摄像元件102b接收到的图像作为基准图像存储至基准图像存储部132。

图10是参照图像以及基准图像的一例。第一以及第二拍摄部100a、100b被设定为左右分离基线长度，因此左右一对的参照图像1001以及基准图像1002即使是拍摄同一对象物的图像，图像上的位置也会左右偏移。

在步骤s902中，进行参照图像1001和基准图像1002的亮度修正。亮度修正部120从亮度修正信息存储部134读入摄像元件102a以及摄像元件102b的图像中的各像素的修正系数，并分别从参照图像存储部131以及基准图像存储部132读入参照图像以及基准图像。对参照图像1001的预先设定的处理区域的各像素的亮度值乘以各像素的修正系数，来修正参照图像1001的处理区域的亮度值。同样地，对基准图像1002的预先设定的处理区域的各像素的亮度值乘以各像素的修正系数，来修正基准图像1002的处理区域的亮度值。亮度修正部120将修正后的参照图像1001以及基准图像1002分别存储至参照图像存储部131以及基准图像存储部132。

在步骤s903中，进行参照图像1001和基准图像1002的几何修正。几何修正部121从几何修正信息存储部135读入摄像元件102a以及摄像元件102b的图像(参照图像1001以及基准图像1002)中的各像素的几何2维修正量，并分别从参照图像存储部131以及基准图像存储部132读入参照图像1001以及基准图像1002。然后，计算从参照图像1001的处理区域的各像素使2维修正量发生变化后的参照图像1001上的位置，并根据其位置周边的像素的亮度值通过插补计算来计算该位置的亮度值。针对参照图像1001上的处理区域全部的像素实施该计算。同样地，计算从基准图像1002的处理区域的各像素使2维修正量发生变化后的基准图像1002上的位置，并根据该位置周边的像素的亮度值通过插补计算来计算该位置的亮度值。针对基准图像1002上的处理区域全部的像素实施该计算。几何修正部121将修正后的参照图像1001以及基准图像1002分别存储至参照图像存储部131以及基准图像存储部132。

在步骤s904中，针对参照图像1001以及基准图像1002执行图像剪切处理和图像缩小处理。图像剪切部122从处理区域信息存储部136读入剪切区域的信息。另外，图像剪切部122分别从参照图像存储部131以及基准图像存储部132读入参照图像1001以及基准图像1002。图像剪切部122基于剪切区域的信息根据参照图像1001生成第一剪切图像，并根据基准图像1002生成第二剪切图像。图11是分别根据参照图像1001以及基准图像1002生成第一剪切图像1101以及第二剪切图像1102的例子。图像剪切部122将第一剪切图像1101以及第二剪切图像1102存储至处理图像存储部133。

图12是说明第一剪切图像和第二剪切图像的优选的一例的图。符号1201是参照图像1001中的第三区域203的内侧区域(用圆圈包围的区域)的像素的扩大图。符号1202是基准图像1002中的第三区域203的内侧区域(用圆圈包围的区域)的像素的扩大图。如图12所示，从参照图像1001剪切的第一剪切区域1203比从基准图像1002剪切的第二剪切区域1204大。在进行立体匹配时，针对基准图像侧的基准像素，搜索具有一定宽度α的参照图像中的参照像素。α被称为搜索宽度，例如是10像素左右。此外，该搜索宽度是一例，并不限定于该搜索宽度。在图12的例子中，使用参照图像1201的n～n+10列的宽度来搜索基准图像1202的n列的像素。

在参照图像中用于立体匹配的区域比基准图像的立体匹配所使用的区域大搜索宽度的量。如上所述，左右的第一以及第二拍摄部100a、100b被设定为左右离开基线长度(baselinelength)，因此左右一对的图像即使是拍摄同一对象物的图像，图像上的位置也会左右偏移。例如，图12的基准图像1202的n+1～n+10列的像素没有与参照图像1201侧相对应的像素。特别是，基准图像1202的n+1～n+10列的像素是参照图像1201侧的第三区域203所包含的像素，因此优选的是不使用这些像素。因此，从基准图像1002剪切的第二剪切区域1204比从参照图像1001剪切的第一剪切区域1203小。

另外，优选的是，从参照图像1001剪切的第一剪切区域1203被设定为其边缘的像素不落入第三区域203。由此，在使用基准图像1202的第二剪切区域1204搜索参照图像1201的第一剪切区域1203时，可以防止在参照图像1201侧的第三区域203中发生错误的匹配。此外，在设计镜头时，可以预先知道左右一对图像的偏移量、第三区域203的像素宽度等，因此第一剪切区域1203以及第二剪切区域1204的信息可以预先存储至处理区域信息存储部136。

接下来，图像缩小部123从缩小信息存储部137读入缩小率的信息。图像缩小部123基于缩小率的信息，生成参照图像1001的缩小图像(第一缩小图像)以及基准图像1002的缩小图像(第二缩小图像)。图13是根据参照图像1001以及基准图像1002分别生成第一缩小图像1301以及第二缩小图像1302的例子。通过该缩小处理，在缩小图像1301、1302中，与第三区域(分辨率低的区域)相对应的部分消失或变小，并可以降低在之后说明的视差计算中的影响。图像缩小部123将第一缩小图像1301以及第二缩小图像1302存储至处理图像存储部133。此外，作为缩小处理的方法，并不限定于上述的数据稀疏以及平均像素法，也可以使用其他的已知的方法。

图14是说明执行缩小处理时的作用的图。在图14中针对参照图像1001进行说明，但是基准图像1002也是同样的。对于参照图像1001的第一缩小图像1301，如果沿着a-a线对分辨率(mtf)的变化进行图示，则分辨率(mtf)为直线形状，分辨率(mtf)为基本恒定的值。在进行缩小处理前的参照图像1001中，分辨率(mtf)在第三区域203中大幅降低。反之，在第一缩小图像1301中，在参照图像1001的第三区域203中的分辨率(mtf)的值的位置为直线形状。由于缩小处理，作为图像整体分辨率降低，但是第三区域203的模糊区域消失，成为分辨率的值没有波动的图像。由此，可以防止错误的匹配。

此外，在这里依次执行了图像剪切处理和图像缩小处理，但是也可以并行地执行图像剪切处理和图像缩小处理。例如，如果对于参照图像1001进行说明，则可以逐列读入参照图像的像素，并一边执行缩小处理，一边执行在到达与剪切区域相对应的像素时剪切该像素。在并行地执行图像剪切处理和图像缩小处理时，具有可以减少存储器的使用量的效果。

在步骤s905中，进行视差的计算处理。作为视差的计算方法，例如有块匹配。视差计算部124搜素与从基准图像上提取出的预定尺寸的区域(模板图像)相对应的参照图像上的区域。视差计算部124计算与模板图像一致的参照图像上的区域的位置与基准图像上的模板图像的位置的差、即视差。

图15是说明视差的计算处理的图。如图15所示，提取基准图像1502上的预定尺寸的区域的图像1504(模板图像)。然后，通过以下的模板匹配，在参照图像1501上搜索显示与模板图像1504相同的对象物的区域的图像。

例如，在模板匹配中，提取参照图像1501上的预定尺寸的区域的图像1503，并计算基准图像1502上的模板图像1504的亮度值与参照图像1501的预定尺寸的区域的图像1503的亮度值之差的绝对值的和(sad、sumofabsolutedifference：绝对插值和)。针对参照图像1501上的各区域的图像计算该亮度值之差的绝对值的和。

然后，计算最小的值的参照图像1501上的区域的图像与模板图像1504的区域的距离、即视差。针对基准图像1502上的全部区域实施该处理，并计算基准图像1502整体上的视差。如此计算出的视差信息被存储至处理图像存储部133。

在本实施例中，视差计算部124计算2个视差信息。具体而言，视差计算部124在剪切图像以及缩小图像双方中分别生成视差信息。视差计算部124将第一剪切图像1101作为参照图像，将第二剪切图像1102作为基准图像，并通过上述处理来计算第一视差信息。进一步，视差计算部124将第一缩小图像1301作为参照图像，将第二缩小图像1302作为基准图像，通过上述处理来计算第二视差信息。视差计算部124将第一视差信息以及第二视差信息存储至处理图像存储部133。

在本实施例中，优点在于可以如此分别对剪切图像与缩小图像计算视差。以往，例如，如图10的人1010、信号灯1011等那样，在对象物落入第三区域203而存在时，对象物的一部分的分辨率会变低，因此如果进行上述的模板匹配，则对于模板图像可能会在不同的对象物的位置进行匹配(失配)。在本实施例中，在第三区域203的部分变小的第一缩小图像1301以及第二缩小图像1302之间进行视差计算，因此可以防止模板匹配中的失配。图10的人1010、信号灯1011等是位于近距离的对象物，是在图像上显示得较大的对象物，因此即使以某种程度缩小，也不会对视差的计算处理有影响。另一方面，如图10的车辆1012那样，当是位于远距离的对象物时，如果进行缩小处理，则对象物变得太小，在模板匹配中可能发生失配。然而，在本实施例中，针对在图像上示出位于远距离的对象物的部分，执行剪切处理，在第一剪切图像1101以及第二剪切图像1102之间进行视差计算，因此可以防止模板匹配中的失配。

图16是说明在剪切图像以及缩小图像双方中分别生成视差信息的一例的图。在图16中，假设物体1601非常靠近立体照相机而存在的情况。作为物体1601，可能是人、车辆、标识等。在拍摄图像上，物体1601的大小是从第一区域201跨越第三区域203延伸至第二区域202的大小。在这种情况下，物体1601存在于作为基准图像的第二剪切图像1102内，但是可能在作为参照图像的第一剪切图像1101内不包括物体1601。在这种情况下，如果在第一剪切图像1101与第二剪切图像1102之间进行模板匹配，则可能发生失配。即使假设在除了第一区域201的区域(第二区域202以及第三区域203)中进行模板匹配，在基准图像侧剪切物体1601的一部分，无法进行适当的匹配处理。因此，在本实施例中，视差计算部124分别执行使用了第一剪切图像1101与第二剪切图像1102的视差计算处理以及使用了第一缩小图像1301与第二缩小图像1302的视差计算处理。当存在上述物体1601时，通过第一缩小图像1301与第二缩小图像1302之间进行的模板匹配，可以获得适当的视差信息。

考虑上述例子，在本实施例中，当某物体被(完全)包含在基准图像以及参照图像双方的第一区域201中时，通过使用了第一剪切图像1101与第二剪切图像1102的视差计算处理而获得的视差信息在之后的处理(距离的计算以及对象物的识别)中是有用的。另一方面，在基准图像以及参照图像的至少一个中，只要在第一区域201以外的区域(第二区域202以及第三区域203)中包含了某物体的一部分时，通过使用了第一缩小图像1301与第二缩小图像1302的视差计算处理而获得的视差信息，在之后的处理(距离的计算以及对象物的识别)中也是有用的。如此，通过进行剪切区域间的第一视差计算处理和缩小图像间的第二视差计算处理的双方，无论物体存在于图像内的哪个区域，都可以识别该物体。

此外，如果假设在第一区域201以外的区域中存在物体的情况，只要有根据第三区域203的分辨率至少调整了第二区域202的分辨率而得的基准图像以及参照图像即可。视差计算部124使用至少调整了第二区域202的分辨率的基准图像以及参照图像，计算第三区域203以及第二区域202的视差信息。由此，可以对位于第一区域201以外的区域(第三区域203以及第二区域202)的物体进行检测以及识别。

在步骤s906中，进行距离的计算处理。距离计算部125从处理图像存储部133读入第一以及第二视差信息。距离计算部125基于第一以及第二视差信息、第一拍摄部100a与第二拍摄部100b的焦点的距离(基线长度)、焦距以及像素间距(摄像元件102a以及102b的像素之间的距离)，计算在第一拍摄部100a以及第二拍摄部100b的光轴方向从拍摄装置1到图像上的对象物的距离。距离计算部125将计算出的距离图像存储至处理图像存储部133。

此外，距离的计算方法使用已知的方法即可。作为一例，可以使用以下数学式。

距离l＝f×b/(d×c)

在这里，f是第一拍摄部100a以及第二拍摄部100b的焦距，b是第一拍摄部100a与第二拍摄部100b的焦点的距离(基线长度)，d是视差，c是摄像元件102a以及摄像元件102b的像素间距。

在步骤s907中，进行对象物的识别处理。识别部126从处理图像存储部133读入距离图像。识别部126使用距离图像，识别在作为基准的图像(例如基准图像)中显示的对象物以及对象物的位置。对象物的识别处理可以使用已知的方法。识别部126将识别结果的信息输出至位于拍摄装置1的外部的控制部。

在步骤s908中，之后，进行控制信号的生成以及输出。控制部基于识别部126中的识别结果的信息生成控制信号，来进行刹车控制等车辆控制。以预定的周期重复实施步骤s901～s908的处理。

在使用了具有单位图像高度的入射角的变化率中存在拐点的特性的摄像镜头的照相机的情况下，在所拍摄的图像中产生空心环状的分辨率低的区域(第三区域203)。由于存在第三区域203，因此在视差计算中的模板匹配中可能发生失配。

因此，根据本实施例，通过在步骤s904中进行图像剪切处理和图像缩小处理，可以减少分辨率低的区域(第三区域203)的影响。具体而言，针对被第三区域203包围的第一区域201执行剪切处理，并针对整个图像执行缩小处理。针对示出位于远距离的对象物的第一区域201，在没有第三区域203的影响的2个剪切图像1101、1102之间进行视差计算，因此可以防止模板匹配中的失配。另一方面，针对整个图像执行缩小处理，消除或缩小第三区域203的部分。例如，包含在第二区域202中的位于近距离的对象物是在图像上较大地显示的对象物，因此即使以某种程度缩小，对视差的计算处理等也没有影响。在该缩小处理中，可以针对近距离的对象物确保一定程度的大小而缩小第三区域203的部分，因此可以防止2个缩小图像1301、1302之间的模板匹配中的失配。另外，通过进行剪切区域间的第一视差计算处理和缩小图像间的第二视差计算处理的双方，无论物体在图像内存在于哪个区域，都可以识别该物体。

本发明并不限定于上述实施例，包括各种各样的变形例。上述实施例是为了易于理解本发明而详细说明的内容，并不限定于必须具备所说明的全部的结构。另外，可以将某实施例的结构的一部分置换为其他实施例的结构。另外，可以在某实施例的结构中添加其他实施例的结构。另外，针对各实施例的结构的一部分，也可以添加、删除、置换其他的结构。

(变形例1)

在上述例子中，以应用于具备2个拍摄部的立体照相机的例子进行了说明，但是并不限定于此。例如，本发明也可以应用于具备一个与上述相同结构的镜头的单目照相机。在这种情况下，运算部(相当于上述运算部110的部分)获取使用上述镜头所拍摄的1个图像。然后，运算部在以第一距离范围为对象的第一区域(相当于第一区域201)执行第一图像处理，并在至少包括以比第一距离范围近的第二距离范围为对象的第二区域(相当于第二区域202)的区域执行第二图像处理。第二图像处理是以由于单位图像高度的入射角的变化率的拐点产生的图像上的第三区域(相当于第三区域203)的信息为基础所设定的处理。第一图像处理可以是从第一区域剪切预定区域的处理。另外，第二图像处理可以是使用基于第三区域的分辨率所设定的缩小率来缩小整个图像的处理。另外，作为图像处理，可以使用以下说明的变形例的处理。

(变形例2)

在上述例子中，执行了剪切处理以及图像缩小处理，但是图像处理的组合并不限定于该组合。例如，可以根据应用的应用程序来执行不同的图像处理的组合。作为一例，可以针对第一区域201执行剪切处理，并针对图像的一部分或整体执行使用预定的分辨率均匀化的处理。这里的分辨率的均匀化处理相当于上述分辨率调整部的处理。作为一例，分辨率的均匀化处理，可以通过降低图像内的预定区域的分辨率，在图像内使分辨率均匀化。例如，分辨率调整部可以通过降低比第三区域203更靠近内侧的第一区域201以及比第三区域203更靠近外侧的第二区域202的至少一个的分辨率，在图像内使分辨率均匀化。在这种情况下，预定的分辨率可以作为基于第三区域203的分辨率而预先设定的分辨率。根据该结构，使分辨率均匀化，并可以在视差计算的模板匹配中防止由分辨率的不同导致的失配。

(变形例3)

在上述例子中，针对第一区域201以及整个图像的2个不同的区域分别执行了不同的图像处理，但是作为图像处理对象的区域的组合并不限定于此。例如，可以对第一区域201执行第一图像处理(例如，剪切处理)，对第二区域202执行第二图像处理(例如，缩小处理)。即，可以以第三区域203为分界，执行不同的图像处理。作为另一个例子，可以对第一区域201执行第一图像处理(例如，剪切处理)，对第三区域203执行第二图像处理(例如，模糊修正处理)。作为一例，作为模糊修正处理存在如下处理：考虑通过滤波器进行处理从而成为现在的图像，所述滤波器是在图像中制作模糊的称为“模糊滤波器(通称：模糊内核blurkernel)”的滤波器，并通过进行该模糊内核的逆处理来去除模糊并生成图像的处理。例如在高斯滤波器的情况下，模糊内核是作为高斯函数的卷积处理(卷积)，通过该处理，可以对原始图像的各像素使用其周边为高斯函数的形状的模糊内核进行卷积，由此来计算新的图像的像素值，并生成模糊了原始图像的图像。然后，执行该模糊内核的相反处理的是称为去卷积的卷积的逆处理。在去卷积中，成为推定模糊内核的范围内的各像素在分别进行基于模糊内核的卷积之前被分配何值的处理。

如果针对图像整体进行模糊修正处理，则可能对原本分辨率高的第一区域201以及第二区域202产生恶劣影响。因此，在本例中，拍摄装置提取第三区域203部分，并仅针对第三区域203执行模糊修正处理。在这里的分辨率的均匀化处理相当于上述分辨率调整部的处理。例如，分辨率调整部通过模糊修正处理，提高与拐点入射角(θs)相对应的第三区域203的分辨率。由此，与拐点入射角(θs)相对应的第三区域203与比第三区域203更靠近内侧的第一区域201以及比第三区域203更靠近外侧的第二区域202的至少一个的分辨率一致，或者使它们的分辨率的波动变近。由此，可以抑制由于镜头的特性而在物体的检测、识别的处理中产生影响。

(变形例4)

在上述例子中，剪切区域的信息和缩小率的信息分别为预先设定的固定值，但是也可以更新这些信息。例如，在拍摄装置的维护等中重新组装镜头等时，镜头的位置发生细微变化，上述的第一～第三区域201～203的位置可能发生偏移。因此，在进行校正时，可以通过与镜头位置变化前的图像进行比较，来更新处理区域信息存储部136的剪切区域的信息以及/或者缩小信息存储部137的缩小率的信息。另外，可以根据拍摄装置的各结构要素的老化的分辨率的降低程度，来更新缩小信息存储部137的缩小率的信息。

上述运算部110可以通过实现这些功能的软件的程序代码而实现。在这种情况下，向系统或装置提供记录了程序代码的存储介质，该系统或装置的计算机(或cpu、mpu)读出存储在存储介质中的程序代码。在这种情况下，从存储介质读出的程序代码本身实现前述实施例的功能，该程序代码本身以及存储其的存储介质构成本发明。作为用于提供这种程序代码的存储介质，例如使用软盘、cd-rom、dvd-rom、硬盘、光盘、光磁盘、cd-r、磁带、非易失性存储卡、rom等。

这里描述的过程以及技术在本质上与任何特定的装置无关，可以通过部件的任何适当组合来实现。还可以使用通用目的的各种各样的类型的设备。为了执行这里描述的处理，有时搭建专用装置是有益的。也就是说，上述运算部110的一部分或全部例如可以通过集成电路等使用了电子部件的硬件来实现。

进一步，在上述的实施例中，示出了在说明上认为需要的控制线、信息线，并不限定于必须在产品上示出全部的控制线、信息线。全部的结构可以相互连接。

符号说明

1：拍摄装置；

100a：第一拍摄部；

100b：第二拍摄部；

101a、101b：光学元件；

102a、102b：摄像元件；

110：运算部；

117：同步信号发送部；

118a：参照图像获取部；

118b：基准图像获取部；

120：亮度修正部；

121：几何修正部；

122：图像剪切部；

123：图像缩小部；

124：视差计算部；

125：距离计算部；

126：识别部；

131：参照图像存储部；

132：基准图像存储部；

133：处理图像存储部；

134：亮度修正信息存储部；

135：几何修正信息存储部；

136：处理区域信息存储部；

137：缩小信息存储部；

201：图像上的第一区域(内侧图像区域)；

202：图像上的第二区域(外侧图像区域)；

203：图像上的第三区域(拐点对应图像区域)；

1001：参照图像；

1002：基准图像；

1101：第一剪切图像；

1102：第二剪切图像；

1201：参照图像；

1202：基准图像；

1203：第一剪切区域；

1204：第二剪切区域；

1301：第一缩小图像；

1302：第二缩小图像。