摄像头校正方法、摄像头校正程序以及摄像头校正装置与流程

本公开涉及摄像头(camera)校正方法、摄像头校正程序以及摄像头校正装置。

背景技术

为了进行摄像头参数的算出(计算)、即摄像头的校正，需要基于二维图像上的二维坐标或者三维空间中的三维坐标的摄像头参数的评价函数。二维图像上的二维坐标也被称为图像坐标，三维空间中的三维坐标也被称为世界坐标。上述评价函数表示算出的摄像头参数与成为正解的摄像头参数之间的差异，且在算出的摄像头参数与正解的摄像头参数一致的情况下成为0。在以往的使用评价函数的摄像头的校正中，首先，使用校正装置来准备三维空间中的对象点a0i的世界坐标a1i和与对象点a0i对应的点的图像坐标a2i的组，接着求取将对象点a0i的世界坐标a1i基于摄像头参数投影到图像上所成的点的图像坐标a3i，然后，作为评价值，有时会使用图像坐标a2i与图像坐标a3i间的距离a4i(也称为再投影误差)的总和σa4i。另外，也存在使用将对象点用立体摄像头进行测距所得到的长度、与预先计测到的从立体摄像头到对象点的长度之差作为评价值的情况。例如，非专利文献1以及2公开了与使用世界坐标和图像坐标的组的前者有关的技术，专利文献1公开了与使用立体摄像头的后者有关的技术。

现有技术文献

专利文献

专利文献1：日本特开2012-202694号公报

非专利文献

非专利文献1：rogery.tsai,“aversatilecameracalibrationtechniqueforhigh-accuracy3dmachinevisionmetrologyusingoff-the-shelftvcamerasandlenses”,journalofroboticsandautomation,ieee,1987年8月,vol.ra-3,no.4,p.323-344

非专利文献2：zhengyouzhang,“aflexiblenewtechniqueforcameracalibration”,ieeetransactionsonpatternanalysisandmachineintelligence,ieee,2000年,vol.22(11),p.1330-1334

技术实现要素：

在以往的摄像头校正中，使用基于图像上的距离或者窄角摄像头的立体测距的、摄像头参数的评价函数。另一方面，在广角摄像头的立体测距用途下的摄像头的校正中，存在无法在摄像头的视野整体准确地进行校准(calibration)、也就是说校正的情况。

本公开提供能够进行遍及摄像头的视野的广范围的高精度校正的摄像头校正方法、摄像头校正程序以及摄像头校正装置。

本公开的一个技术方案涉及的摄像头校正方法，是使用校正点算出至少3个摄像头的摄像头参数的摄像头校正方法，所述摄像头校正方法包括如下的处理(a1)～处理(a8)，处理(a1)～处理(a8)中的至少一个通过处理器执行，(a1)取得保存于第1存储器的校正点数据，所述校正点数据包含所述校正点的三维坐标和所述摄像头各自的摄像头图像中的所述校正点的图像坐标；(a2)取得保存于第2存储器的所述摄像头各自的多个摄像头参数；(a3)对于每一对(pair)所述摄像头，基于所述校正点数据和所述摄像头参数，算出视角对应长度，所述视角对应长度与观察所述校正点的成对的所述摄像头的视角的大小对应；(a4)对于每一对所述摄像头，基于所述校正点的图像坐标和所述摄像头参数，根据在成对的所述摄像头中的所述摄像头之间的所述校正点的视差，算出与所述校正点的三维位置对应的测距点的三维位置；(a5)对于每个所述测距点，使用与所述测距点对应的成对的所述摄像头的所述视角对应长度，对所述测距点的三维位置进行加权；(a6)算出将加权后的所述测距点合并所形成的合并点的三维位置；(a7)基于所述校正点的三维坐标和所述合并点的三维位置，更新所述摄像头参数；(a8)将更新后的摄像头参数输出。

本公开的一个技术方案涉及的摄像头校正程序，是使计算机执行如下处理的摄像头校正程序：(a1)从第1存储器取得包含校正点的三维坐标和图像坐标的校正点数据，在此，所述校正点的图像坐标是至少3个摄像头各自的摄像头图像中的所述校正点的图像坐标；(a2)从第2存储器取得所述摄像头各自的多个摄像头参数；(a3)对于每一对所述摄像头，基于所述校正点数据和所述摄像头参数，算出视角对应长度，所述视角对应长度与观察所述校正点的成对的所述摄像头的视角的大小对应；(a4)对于每一对所述摄像头，基于所述校正点的图像坐标和所述摄像头参数，根据在成对的所述摄像头中的所述摄像头之间的所述校正点的视差，算出与所述校正点的三维位置对应的测距点的三维位置；(a5)对于每个所述测距点，使用与所述测距点对应的成对的所述摄像头的所述视角对应长度，对所述测距点的三维位置进行加权；(a6)算出将加权后的所述测距点合并所形成的合并点的三维位置；(a7)基于所述校正点的三维坐标和所述合并点的三维位置，更新所述摄像头参数；(a8)将更新后的摄像头参数输出。

本公开的一个技术方案涉及的摄像头校正装置，具备算出至少3个摄像头的摄像头参数的处理电路，所述处理电路执行：(a1)从第1存储器取得校正点数据，所述校正点数据包含校正点的三维坐标和所述摄像头各自的摄像头图像中的所述校正点的图像坐标；(a2)从第2存储器取得所述摄像头各自的多个摄像头参数；(a3)对于每一对所述摄像头，基于所述校正点数据和所述摄像头参数，算出视角对应长度，所述视角对应长度与观察所述校正点的成对的所述摄像头的视角的大小对应；(a4)对于每一对所述摄像头，基于所述校正点的图像坐标和所述摄像头参数，根据在成对的所述摄像头中的所述摄像头之间的所述校正点的视差，算出与所述校正点的三维位置对应的测距点的三维位置；(a5)对于每个所述测距点，使用与所述测距点对应的成对的所述摄像头的所述视角对应长度，对所述测距点的三维位置进行加权；(a6)算出将加权后的所述测距点合并所形成的合并点的三维位置；(a7)基于所述校正点的三维坐标和所述合并点的三维位置，更新所述摄像头参数；(a8)将更新后的摄像头参数输出。

此外，上述总括性或具体的技术方案既可以通过系统、装置、方法、集成电路、计算机程序或计算机可读取的记录盘等记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序和记录介质的任意组合来实现。计算机可读取的记录介质例如包括cd-rom(compactdisc-readonlymemory)等非易失性记录介质。

根据本公开涉及的摄像头校正技术，能够进行遍及摄像头的视野的广范围的高精度校正。从本说明书及附图中可知晓本公开的一个技术方案的附加的益处及优点。该益处和/或优点可以单独地由本说明书及附图所公开的各种实施方式及特征而得到，无需为了获得一个以上益处和/或优点而实施所有的实施方式及特征。

附图说明

图1是例示在通过多只眼的广角摄像头所具备的两个广角摄像头进行立体测距的情况下可能产生的测距误差的图。

图2是表示由鱼眼摄像头获得的格子图形(checkerpattern)的拍摄图像的一例的图。

图3是表示具备实施方式1涉及的摄像头校正装置的摄像头系统的构成的一例的框图。

图4a是从与透镜的光轴垂直的一个方向观察图3的多眼摄像头而得到的侧视图。

图4b是从与透镜的光轴垂直的另一方向观察图3的多眼摄像头而得到的侧视图。

图4c是从与透镜的光轴垂直的又一方向观察图3的多眼摄像头而得到的侧视图。

图5是表示图3的多眼摄像头的向汽车的搭载例的俯视图。

图6a是表示实施方式1涉及的摄像头校正装置的构成的一例的框图。

图6b是表示校正点数据的例子的图。

图7是表示实施方式1涉及的摄像头校正装置所使用的视角对应长度的一例的图。

图8是表示实施方式1涉及的摄像头校正装置的工作的流程的一例的流程图。

图9是表示实施方式1涉及的摄像头校正装置所校正的摄像头、校正点、与校正点的测距点之间的关系的一例的图。

图10是表示使用了图9的摄像头的立体测距中的测距误差的一例的图。

图11是表示实施方式2涉及的摄像头校正装置的工作的流程的一例的流程图。

图12是表示实施方式2涉及的摄像头参数校正处理与其他校正方式之间的校正后的测距误差的表。

图13是表示实施方式3涉及的摄像头校正装置的工作的流程的一例的流程图。

图14是表示实施方式4涉及的摄像头校正装置的工作的流程的一例的流程图。

图15是表示实施方式5涉及的摄像头校正装置的工作的流程的一例的流程图。

图16是表示实施方式6涉及的摄像头校正装置的工作的流程的一例的流程图。

图17是表示实施方式7涉及的摄像头校正装置的工作的流程的一例的流程图。

标号说明

101摄像头校正装置；102校正点数据受理部；103摄像头参数取得部；104视角对应长度算出部；105立体测距值算出部；106测距位置算出部；107摄像头参数更新部；108摄像头参数输出部；109校正点数据库(第1存储器)；110摄像头参数数据库(第2存储器)。

具体实施方式

(成为本公开的基础的见解)

关于在“背景技术”中记载的摄像头校正技术，本发明人发现在将这些技术使用于广角摄像头的立体测距的情况下会产生以下的问题。

第一，在与摄像头的视野的边缘(端)相当的图像外周部，校准误差极大地影响立体测距的精度，且包括图像外周部在内，无法在宽广的视野范围内使测距误差最小化。

例如参照图1，其示出了在通过多眼广角摄像头1000所具备的两个广角摄像头1001以及1002进行立体测距的情况下可能产生的测距误差的例子。多眼广角摄像头1000具备多个广角摄像头。多个广角摄像头的每一个具备广角透镜。多眼广角摄像头1000具有从正面方向d1延伸到方向d2的宽广的视野角，该正面方向d1是朝向广角摄像头1001的正面的方向并且是朝向摄像头1002的正面的方向，该方向d2与正面方向d1形成大的角度。正面方向d1是沿着广角摄像头1001以及1002的光轴oa的方向、且是从多眼广角摄像头1000延伸到视野角的中央附近的方向。方向d2是从多眼广角摄像头1000延伸到视野角的边缘附近的方向。例如，多眼广角摄像头1000的多个广角摄像头配置为光轴相互平行。广角摄像头1001以及1002的视野角的中央附近的被拍摄对象(被摄物体)位于它们的拍摄图像的中央附近，视野角的边缘附近的被拍摄对象位于拍摄图像的边缘附近、也就是说图像外周部。

广角摄像头1001以及1002中存在校准误差、也就是说校正误差，在使用广角摄像头1001以及1002对被拍摄对象进行立体测距从而获得从广角摄像头1001到被拍摄对象的距离b11、从广角摄像头1002到被拍摄对象的距离b12的情况下，从广角摄像头1001到被拍摄对象的实际的距离b13与距离b11不同，从广角摄像头1002到被拍摄对象的实际的距离b14与距离b12不同。此外，立体测距是在两个摄像头分别拍摄到三维空间中的点b00的情况下根据各自的拍摄图像上的与点b00对应的点的位置的差异、也就是说视差来算出点b00的三维位置的技术，基于三角测量的原理。

例如在广角摄像头1001以及1002对被拍摄对象进行了拍摄的情况下，由于校正误差的影响，广角摄像头1001以及1002各自的透镜上的被拍摄对象的像的入射角相对于设计上的入射角θ而具有角度误差δφ。此外，广角摄像头1001以及1002的角度误差δφ有时相同有时不同。例如，广角摄像头1001以及1002对正面方向d1的位置a1的被拍摄对象进行了拍摄的情况下，从广角摄像头1001到位置a1a的距离作为从广角摄像头1001到位置a1的立体测距结果而被输出，从广角摄像头1002到位置a1a的距离作为从广角摄像头1002到位置a1的立体测距结果而被输出。另外，广角摄像头1001以及1002对方向d2的位置a2的被拍摄对象进行了拍摄的情况下，从广角摄像头1001到位置a2a的距离作为从广角摄像头1001到位置a2的立体测距结果而被输出，从广角摄像头1002到位置a2a的距离作为从广角摄像头1002到位置a2的立体测距结果而被输出。位置a2和a2a之间的距离大幅地大于位置a1和a1a之间的距离。如此，关于在沿着与作为广角摄像头1001以及1002排列的面的纸面平行的面的方向上的多眼广角摄像头1000的视野角，相比于视野角的中央附近，在视野角的边缘附近，校正精度对立体测距结果的影响更大。

第二，测距精度作为评价值没有直接被最小化。对其详情进行说明，例如为了进行摄像头校正，需要将三维空间中的着眼点(关注点)、与拍摄着眼点而得到的摄像头图像中的对应于着眼点的点的像素位置相关联。三维空间中的三维坐标也被称为世界坐标。摄像头的位置使用世界坐标来记述。作为二维图像的摄像头图像意味着用摄像头拍摄出的图像，在摄像头图像上定义的二维坐标也被称为图像坐标。需要将摄像头所在的三维空间中的着眼点的三维坐标、与由该摄像头拍摄该三维空间而获得的二维图像中的该着眼点所投影的像素位置(以下称为对应点)相关联。

以往的技术首先用摄像头拍摄校正指标。校正指标例如是格子图形。格子图形具有图案形状，并且特征点、例如格子图形的交点的三维坐标已知。接着，检测拍摄到的图像中的与格子图形的交点对应的点，求取拍摄到的摄像头图像中的特征点所投影的点即像素位置。如此，进行了特征点的三维坐标与在二维图像中特征点所投影的点的像素位置的相关联。

例如参照图2，其示出了将在箱状的被拍摄对象的内侧以一定间隔描画出的格子图形作为校正指标进行拍摄而得到的校正指标的摄像头图像的一例。例如，如图2所示，在图2上以位于摄像头图像c的左上位置的“0”为原点的xy坐标系被设定作为摄像头图像c的图像坐标系。针对这种摄像头图像c，操作人员操作计算机等处理装置，按照图像坐标系，读取格子图形的交点的位置c1等，并取得交点位置c1等的图像坐标。再者，操作人员使处理装置参照预先关联有格子图形的交点位置c1与其三维坐标的规则，取得与摄像头图像中的交点位置c1对应的位置的三维坐标。具体而言，在三维空间中的特定的位置确定世界坐标的原点和x、y以及z这三个轴，根据着眼交点c1成为了从原点起的第几个格子图形交点，能够辨认三维坐标。

再者，通过基于摄像头参数的坐标变换，能够将世界坐标系中的点投影到图像坐标系中的点。换言之，使用摄像头参数，能够求取与世界坐标系中的点对应的摄像头图像上的计算上的对应点。

再者，根据拍摄校正指标所求得的实际对应着的点的世界坐标(x，y，z)与图像坐标(x，y)的组，也能够算出摄像头参数。以使用针孔摄像头的模型为例，将使用摄像头参数的从世界坐标向图像坐标的投影式表示于式1。

该针孔摄像头的模型的摄像头参数包含如下作为要素：摄像头图像的中心的x坐标分量cx和y坐标分量cy；焦距f；摄像头的拍摄元件的一个像素中的x轴方向长度d'x和y轴方向长度d'y；表示相对于世界坐标系的基准的摄像头的旋转的3行3列的旋转矩阵r的分量rij；表示相对于世界坐标系的基准的摄像头的平移距离的平移向量t的x坐标分量tx、y坐标分量ty和z坐标分量tz；以及没有自由度的媒介变量h。在旋转矩阵r的要素rij中，下标i表示旋转矩阵r的行号，下标j表示旋转矩阵r的列号。例如，作为摄像头的内部参数的cx、cy、f、d'x以及d'y具有设计值，能够按照设计值来规定。作为摄像头的外部参数的旋转矩阵r以及平移向量t是与摄像头的姿势以及位置有关的参数，即使具有设计值也存在无法按照设计值规定的情况。因此，也可以对摄像头的内部参数使用设计值并仅算出摄像头的外部参数。

另外，如图2所示，如通过拍摄三维空间的格子图形而产生于摄像头图像的格子图形中那样的变形(畸变)像差等变形能够通过如下述的式2那样使用φ([xy]^t)来表现，φ([xy]^t)表示从没有变形的图像坐标(x，y)向有变形的图像坐标(xd，yd)的变换。

关于以往技术中的摄像头校正技术，下面依次对专利文献以及非专利文献所记载的技术及其问题点进行说明。

专利文献1的技术在摄像头参数的评价函数中使用通过立体测距所算出的特征点间的三维距离(也称为欧氏距离)与预先测定出的上述特征点间的距离之差。立体测距是基于三角测量原理的测距方法，因而作为立体摄像头间、具体而言是两个透镜间的距离的基线长度变得越短，从两个透镜到被拍摄对象的视线所形成的视角则变得越小，测距精度会降低。例如如图1所示，当对在广角摄像头的视野角的边缘附近即图像外周部所拍摄的被拍摄对象(例如位于位置a2的被拍摄对象)进行立体测距的情况下，与对在广角摄像头的视野角的中央附近所拍摄的被拍摄对象(例如位于位置a1的被拍摄对象)进行立体测距的情况相比，测距精度降低。

连接位置a2和摄像头1001的透镜中心的线段与连接位置a2和摄像头1002的透镜中心的线段所成的角度比连接位置a1和摄像头1001的透镜中心的线段与连接位置a1和摄像头1002的透镜中心的线段所成的角度小。在该情况下，实质上会与如下情况产生同样的现象：相对于位置a2的摄像头1001的透镜与摄像头1002的透镜间的基线长度比相对于位置a1的摄像头1001的透镜与摄像头1002的透镜间的基线长度短。如此，专利文献1所记载的技术的评价函数针对广角立体摄像头不能说是最佳的。

也可以如下述这样定义从被拍摄对象观察到的摄像头ca1所包含的透镜ca2与从被拍摄对象观察到的摄像头cb1所包含的透镜cb2在外观上的透镜间距离。“摄像头ca1所包含的透镜ca2与摄像头cb1所包含的透镜cb2在外观上的透镜间距离”具有表示被拍摄对象的点和透镜ca2的中心(具体而言是投影中心)ca3间的线段ca4(即视线ca5)、与表示被拍摄对象的点和透镜cb2的中心(具体而言是投影中心)cb3间的线段cb4(即视线cb5)所成的角即视角作为圆心角，并且是具有经过中心ca3以及/或者中心cb3的圆弧的扇形中的弦的长度。此外，也可以决定为使中心ca3和中心cb3中离被拍摄对象近的一方包含于圆弧。

在本说明书中，将与视角对应并且与视角的大小相关的长度称为视角对应长度，外观的透镜间距离是视角对应长度的一例。

此外，也可以将所着眼的点和摄像头ca1所包含的透镜ca2的中心ca3间的线段ca4(即视线ca5)、与所着眼的点和摄像头cb1所包含的透镜cb2的中心cb3间的线段cb4(即视线cb5)所成的角即视角称为从摄像头ca1和摄像头cb1观察到所着眼的点的情况下的视角、或者从所着眼的点观察时的摄像头ca1和摄像头cb1的视角、或者相对于着眼点的摄像头ca1和摄像头cb1的视角。

将会在后面说明详情，视角对应长度的值与视角的值一对一地对应、也就是说能够根据视角的值唯一地决定。再者，视角对应长度随着视角增大而增大、随着视角减小而减小，因而与视角具有同样的行为且与视角相关。例如若将一个摄像头的透镜的中心与被拍摄对象的距离设为la，则视角对应长度的一例能够满足视角对应长度＝2lasin(视角/2)的关系。其中，0≤(视角/2)≤π/2[rad]。另外，在以下的说明中，有时将两个摄像头的距离称为基线长度，但该基线长度是指两个摄像头的透镜的中心间的实际距离。

在非专利文献1的技术中，仅在摄像头参数的评价函数中使用了基于二维图像坐标的再投影误差，因而因三维空间中的测距等的误差没有直接反映于评价函数。因此，针对立体测距等的着眼于三维空间的用途，非专利文献1的评价函数不能说是最佳的。

在非专利文献2的技术中，校正指标一边被移动一边由一个摄像头拍摄以使得具有多个不同的进深(纵深)。由此所取得的多个图像例如平面图像a11i、平面图像a21i的各图像中的点a12i、点a22i与世界坐标系中的基准点a32i相关联。再者，关于世界坐标系中的基准点a32i的世界坐标a33i和与基准点a32i对应的平面图像a11i上的点a12i的图像坐标a13i、以及与基准点a32i对应的平面图像a21i上的点a22i的图像坐标a23i的组(a33i、a13i、a23i)，求取使用摄像头参数将世界坐标的基准点a32i投影到图像坐标系而得到的投影点的图像坐标即平面图像a11i中的投影点的图像坐标a14i、平面图像a21i中的投影点的图像坐标a24i，且算出与基准点对应的点的图像坐标与投影点的图像坐标的距离的平方和|a13i-a14i|²+|a23i-a24i|²。而且，算出与所有基准点有关的上述距离的平方和的总和σ{|a13i-a14i|²+|a23i-a24i|²}，校正摄像头以使该总和最小化。由此，在非专利文献2中，在评价函数中使用了上述距离的平方和的总和。这种评价函数并非反映了因三维空间中的测距等的误差的评价函数，针对立体测距等的着眼于三维空间的用途，不能说是最佳的。

近年来，为了进行在地上移动的车辆以及在空中移动的无人机等移动体中的周边监视以及驾驶辅助等，正在研究立体摄像头的利用。在这种目的的情况下，广角的摄像头适于立体摄像头。以从移动体的测距为目的而配置并且具有广角的视野的立体摄像头的校正需要将重点放在测距精度上，并且需要包括图像外周部地减小校正误差。于是，本发明人鉴于上述问题，为了校正立体摄像头等多眼摄像头以使得遍及视野的广范围并具有高精度，完成了下述技术。

本公开的一个技术方案涉及的摄像头校正方法，是使用校正点算出至少3个摄像头的摄像头参数的摄像头校正方法，所述摄像头校正方法包括如下的处理(a1)～处理(a8)，处理(a1)～处理(a8)中的至少一个通过处理器执行，(a1)取得保存于第1存储器的校正点数据，所述校正点数据包含所述校正点的三维坐标和所述摄像头各自的摄像头图像中的所述校正点的图像坐标；(a2)取得第2存储器所保存的所述摄像头各自的多个摄像头参数；(a3)对于每一对所述摄像头，基于所述校正点数据和所述摄像头参数，算出视角对应长度，所述视角对应长度与观察所述校正点的成对的所述摄像头的视角的大小对应；(a4)对于每一对所述摄像头，基于所述校正点的图像坐标和所述摄像头参数，根据在成对的所述摄像头中的所述摄像头之间的所述校正点的视差，算出与所述校正点的三维位置对应的测距点的三维位置；(a5)对于每个所述测距点，使用与所述测距点对应的成对的所述摄像头的所述视角对应长度，对所述测距点的三维位置进行加权；(a6)算出将加权后的所述测距点合并所形成的合并点的三维位置；(a7)基于所述校正点的三维坐标和所述合并点的三维位置，更新所述摄像头参数；(a8)将更新后的摄像头参数输出。此外，第1存储器以及第2存储器既可以是分别的存储器，也可以一起形成一个存储器。

在上述技术方案中，测距点的三维位置与由成对的摄像头对校正点进行立体测距所获得的校正点的三维位置相当。在校正点位于摄像头的视野的比中央附近更靠周围的边缘附近的情况下，测距点的三维位置明显受到摄像头参数的误差的影响。这是因为，从成对的摄像头到校正点的两条视线所形成的视角在摄像头的视野的边缘附近会较在中央附近减小。另外，视角对应长度随着校正点的位置从摄像头的视野的中央移向边缘而变短。也就是说，即使摄像头参数的误差相同，视角对应长度变得越短，相对于校正点的测距点的三维位置的误差也会变得越大。在每个使用视角对应长度加权后的测距点与校正点的位置的误差之间，摄像头的视野的中央附近与边缘附近之间的误差的大小的偏差降低。而且，合并点由将与所有摄像头的每一对摄像头对应的加权后的测距点合并所形成，因而不仅反映了所有摄像头的摄像头参数的误差，而且将由视角对应长度造成的影响降低。基于这种合并点的三维位置和校正点的三维坐标所更新出的各摄像头的摄像头参数能够提高对于设计值等成为目的的值的精度。由此，校正点处于摄像头的视野的任何位置，都能够进行摄像头的高精度校正。因此，能够进行遍及摄像头的视野的广范围的、抑制校正点的位置的影响的摄像头的高精度校正。

另外，在本公开的一个技术方案涉及的摄像头校正方法中，也可以为，在处理(a5)中，将与所述测距点对应的成对的所述摄像头的所述视角对应长度用与所述测距点各自对应的成对的所述摄像头的所述视角对应长度的总和进行标准化(归一化)后使用于所述测距点的三维位置的加权。根据上述技术方案，标准化后的视角对应长度取0～1之间的值。标准化后的视角对应长度能够在将测距点合并时作为对于构成重心的合并点的各测距点的位置的权重而发挥功能。

另外，在本公开的一个技术方案涉及的摄像头校正方法中，也可以为，在处理(a5)中，仅使用与所述视角对应长度比阈值大的成对的所述摄像头对应的所述测距点。根据上述技术方案，在合并点的算出中排除与阈值以下的视角对应长度的成对摄像头对应的测距点。例如在视角对应长度极端短的情况下，相对于校正点的测距点的位置的误差可能会无限大地发散。如此，通过排除如该误差变得过大这样的测距点，能抑制生成明显偏向该测距点的合并点。由此，能抑制偏重的摄像头的校正。

另外，在本公开的一个技术方案涉及的摄像头校正方法中，也可以为，在处理(a5)中，将与所述测距点对应的成对的所述摄像头的所述视角对应长度除以所述摄像头的再投影误差后使用于所述测距点的三维位置的加权。在上述技术方案中，再投影误差由摄像头的制造上的波动引起。由此，对测距点的加权能够从相对于校正点的合并点的位置的误差中降低由视角对应长度造成的影响以及由摄像头的制造上的波动引起的摄像头间的性能差的影响。

另外，在本公开的一个技术方案涉及的摄像头校正方法中，也可以为，在处理(a5)中，将与所述测距点对应的成对的所述摄像头的所述视角对应长度除以所述校正点与所述摄像头的距离后使用于所述测距点的三维位置的加权。在上述技术方案中，即使摄像头对的视角对应长度是一定的，摄像头与校正点的距离变得越大，从成对摄像头向校正点的视角也会变得越小，因而相对于校正点的测距点的位置的误差会变得越大。由此，对测距点的加权能够从相对于校正点的合并点的位置的误差中降低由视角对应长度造成的影响以及由摄像头与校正点的距离造成的影响。

另外，在本公开的一个技术方案涉及的摄像头校正方法中，也可以为，在处理(a5)中，将与所述测距点对应的成对的所述摄像头的所述视角对应长度除以所述校正点与所述摄像头的距离的平方后使用于所述测距点的三维位置的加权。根据上述技术方案，对测距点的加权能够有效地从相对于校正点的合并点的位置的误差中降低由视角对应长度造成的影响以及由摄像头与校正点的距离大造成的影响。

另外，在本公开的一个技术方案涉及的摄像头校正方法中，也可以为，在处理(a5)中，将与所述测距点对应的成对的所述摄像头的所述视角对应长度除以所述摄像头的再投影误差、和所述校正点与所述摄像头的距离的平方后使用于所述测距点的三维位置的加权。根据上述技术方案，对测距点的加权能够从相对于校正点的合并点的位置的误差中降低由视角对应长度造成的影响、由摄像头的制造上的波动引起的摄像头间的性能差的影响以及由摄像头与校正点的距离大造成的影响。

另外，在本公开的一个技术方案涉及的摄像头校正方法中，也可以为，在处理(a7)中，算出使用了所述校正点的三维坐标与所述合并点的三维位置之间的差异的评价值，以使所述评价值减小的方式更新所述摄像头参数。根据上述技术方案，通过使用评价值，能够有效地算出校正精度高的摄像头参数。

本公开的一个技术方案涉及的摄像头校正程序，是使计算机执行如下处理的摄像头校正程序：(a1)从第1存储器取得包含校正点的三维坐标和图像坐标的校正点数据，在此，所述校正点的图像坐标是至少3个摄像头各自的摄像头图像中的所述校正点的图像坐标；(a2)从第2存储器取得所述摄像头各自的多个摄像头参数；(a3)对于每一对所述摄像头，基于所述校正点数据和所述摄像头参数，算出视角对应长度，所述视角对应长度与观察所述校正点的成对的所述摄像头的视角的大小对应；(a4)对于每一对所述摄像头，基于所述校正点的图像坐标和所述摄像头参数，根据在成对的所述摄像头中的所述摄像头之间的所述校正点的视差，算出与所述校正点的三维位置对应的测距点的三维位置；(a5)对于每个所述测距点，使用与所述测距点对应的成对的所述摄像头的所述视角对应长度，对所述测距点的三维位置进行加权；(a6)算出将加权后的所述测距点合并所形成的合并点的三维位置；(a7)基于所述校正点的三维坐标和所述合并点的三维位置，更新所述摄像头参数；(a8)将更新后的摄像头参数输出。此外，第1存储器以及第2存储器既可以是分别的存储器，也可以一起形成一个存储器。根据上述技术方案，能够获得与本公开的一个技术方案涉及的摄像头校正方法同样的效果。

另外，本公开的一个技术方案涉及的摄像头校正程序也可以，在处理(a5)中，将与所述测距点对应的成对的所述摄像头的所述视角对应长度用与所述测距点各自对应的成对的所述摄像头的所述视角对应长度的总和进行标准化后使用于所述测距点的三维位置的加权。

另外，本公开的一个技术方案涉及的摄像头校正程序也可以，在处理(a5)中，仅使用与所述视角对应长度比阈值大的成对的所述摄像头对应的所述测距点。

另外，本公开的一个技术方案涉及的摄像头校正程序也可以，在处理(a5)中，将与所述测距点对应的成对的所述摄像头的所述视角对应长度除以所述摄像头的再投影误差后使用于所述测距点的三维位置的加权。

另外，本公开的一个技术方案涉及的摄像头校正程序也可以，在处理(a5)中，将与所述测距点对应的成对的所述摄像头的所述视角对应长度除以所述校正点与所述摄像头的距离后使用于所述测距点的三维位置的加权。

另外，本公开的一个技术方案涉及的摄像头校正程序也可以，在处理(a5)中，将与所述测距点对应的成对的所述摄像头的所述视角对应长度除以所述校正点与所述摄像头的距离的平方后使用于所述测距点的三维位置的加权。

另外，本公开的一个技术方案涉及的摄像头校正程序也可以，在处理(a5)中，将与所述测距点对应的成对的所述摄像头的所述视角对应长度除以所述摄像头的再投影误差、和所述校正点与所述摄像头的距离的平方后使用于所述测距点的三维位置的加权。

另外，本公开的一个技术方案涉及的摄像头校正程序也可以，在处理(a7)中，算出使用了所述校正点的三维坐标与所述合并点的三维位置之间的差异的评价值，以使所述评价值减小的方式更新所述摄像头参数。

本公开的一个技术方案涉及的摄像头校正装置，具备算出至少3个摄像头的摄像头参数的处理电路，所述处理电路执行：(a1)从第1存储器取得校正点数据，所述校正点数据包含校正点的三维坐标和所述摄像头各自的摄像头图像中的所述校正点的图像坐标；(a2)从第2存储器取得所述摄像头各自的多个摄像头参数；(a3)对于每一对所述摄像头，基于所述校正点数据和所述摄像头参数，算出视角对应长度，所述视角对应长度与观察所述校正点的成对的所述摄像头的视角的大小对应；(a4)对于每一对所述摄像头，基于所述校正点的图像坐标和所述摄像头参数，根据在成对的所述摄像头中的所述摄像头之间的所述校正点的视差，算出与所述校正点的三维位置对应的测距点的三维位置；(a5)对于每个所述测距点，使用与所述测距点对应的成对的所述摄像头的所述视角对应长度，对所述测距点的三维位置进行加权；(a6)算出将加权后的所述测距点合并所形成的合并点的三维位置；(a7)基于所述校正点的三维坐标和所述合并点的三维位置，更新所述摄像头参数；(a8)将更新后的摄像头参数输出。此外，第1存储器以及第2存储器既可以是分别的存储器，也可以一起形成一个存储器。根据上述技术方案，能够获得与本公开的一个技术方案涉及的摄像头校正方法同样的效果。

另外，在本公开的一个技术方案涉及的摄像头校正装置中，也可以为，所述处理电路，将与所述测距点对应的成对的所述摄像头的所述视角对应长度用与所述测距点各自对应的成对的所述摄像头的所述视角对应长度的总和进行标准化后使用于所述测距点的三维位置的加权。

另外，在本公开的一个技术方案涉及的摄像头校正装置中，也可以为，所述处理电路，仅使用与所述视角对应长度比阈值大的成对的所述摄像头对应的所述测距点。

另外，在本公开的一个技术方案涉及的摄像头校正装置中，也可以为，所述处理电路，将与所述测距点对应的成对的所述摄像头的所述视角对应长度除以所述摄像头的再投影误差后使用于所述测距点的三维位置的加权。

另外，在本公开的一个技术方案涉及的摄像头校正装置中，也可以为，所述处理电路，将与所述测距点对应的成对的所述摄像头的所述视角对应长度除以所述校正点与所述摄像头的距离后使用于所述测距点的三维位置的加权。

另外，在本公开的一个技术方案涉及的摄像头校正装置中，也可以为，所述处理电路，将与所述测距点对应的成对的所述摄像头的所述视角对应长度除以所述校正点与所述摄像头的距离的平方后使用于所述测距点的三维位置的加权。

另外，在本公开的一个技术方案涉及的摄像头校正装置中，也可以为，所述处理电路，将与所述测距点对应的成对的所述摄像头的所述视角对应长度除以所述摄像头的再投影误差、和所述校正点与所述摄像头的距离的平方后使用于所述测距点的三维位置的加权。

另外，在本公开的一个技术方案涉及的摄像头校正装置中，也可以为，所述处理电路，算出使用了所述校正点的三维坐标与所述合并点的三维位置之间的差异的评价值，以使所述评价值减小的方式更新所述摄像头参数。

此外，上述总括性或具体的技术方案既可以通过系统、装置、方法、集成电路、计算机程序或计算机可读取的记录盘等记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序和记录介质的任意组合来实现。计算机可读取的记录介质例如包括cd-rom等非易失性记录介质。

以下，参照附图，对实施方式涉及的摄像头校正装置等进行说明。此外，以下所说明的实施方式表示总括性或具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤(工序)、以及步骤的顺序等仅为一例，并非旨在限定本公开。另外，对于以下的实施方式中的构成要素中的、没有记载在表示最上位概念的独立权利要求中的构成要素，作为任意的构成要素进行说明。另外，在以下的实施方式的说明中，有时使用大致平行、大致正交这样的伴有“大致”的表现。例如，大致平行不仅意味着完全平行，也意味着实质上平行，即，例如包括数个百分比程度的差异。其他伴有“大致”的表现也同样如此。

[实施方式1]

[1-1-1.摄像头系统的构成]

参照图3，其示出了具备实施方式1涉及的摄像头校正装置101的摄像头系统1的构成。摄像头系统1具备具有3个以上的透镜的多眼摄像头10以及对多眼摄像头10的摄像头参数进行校正的摄像头校正装置101。多眼摄像头10在一个壳体15中具备多个透镜11～14。此外，多眼摄像头10也可以包括相互分离的多个摄像头，多个摄像头各自具备透镜。另外，虽不进行限定，但在本实施方式中，多眼摄像头10是立体摄像头，能够对被拍摄对象的位置进行立体测距。这种摄像头系统1也可以搭载于移动体例如车辆、船舶或者飞行器。车辆例如也可以是汽车、卡车、公交车、二轮车、搬运车、铁道(火车)、建筑机械或者装卸机械。飞行器例如也可以是航空机或者无人机。

[1-1-2.多眼摄像头的构成]

参照图3，多眼摄像头10具备3个以上的透镜，虽不进行限定，但在本实施方式中具备4个透镜11、12、13以及14。具体而言，多眼摄像头10具备长方体状的壳体15、和从壳体15的一个壁部15a面对外部的4个透镜11、12、13以及14。各透镜11、12、13以及14也可以是由多个透镜所形成的透镜群。4个透镜11、12、13以及14以使光轴相互平行的方式配置，各自的光轴与壁部15a大致垂直。4个透镜11、12、13以及14配置为透镜11的光轴与壁部15a相交的点、透镜12的光轴与壁部15a相交的点、透镜13的光轴与壁部15a相交的点以及透镜14的光轴与壁部15a相交的点位于形成于壁部15a的正方形的顶点。此外，透镜11、12、13以及14的光轴也可以不平行。

再者，各透镜11、12、13以及14是广角透镜。广角透镜的一例是具有60°以上的视野角的透镜。虽不进行限定，但在本实施方式中，透镜11、12、13以及14的视野角是同一视野角。各透镜11、12、13以及14也可以如鱼眼透镜那样具有180°或者180°以上的视野角。各透镜11、12、13以及14的光轴从其视野角的大致中央通过。

多眼摄像头10还具备与透镜11、12、13以及14分别对应配置的4个拍摄元件(未图示)。各透镜11、12、13以及14和与它们对应的拍摄元件形成广角摄像头。各广角摄像头具有以透镜11、12、13以及14的光轴为中心的广角的视野角。

这种多眼摄像头10是由4个广角摄像头构成并且具有广角的视野角的多眼摄像头。将包括透镜11和与透镜11对应的拍摄元件的广角摄像头称为摄像头21，将包括透镜12和与透镜12对应的拍摄元件的广角摄像头称为摄像头22，将包括透镜13和与透镜13对应的拍摄元件的广角摄像头称为摄像头23，将包括透镜14和与透镜14对应的拍摄元件的广角摄像头称为摄像头24。摄像头21、22、23以及24作为一体而包含于多眼摄像头，或者各自作为分离的摄像头来使用。

另外，拍摄元件只要是接收经过透镜11、12、13以及14中所对应的透镜入射的光并根据接收到的光成像的元件即可，例如可以是cmos(complementarymetal-oxidesemiconductor，互补金属氧化物半导体)图像传感器或者ccd(chargecoupleddevice，电荷耦合器件)图像传感器。

参照图4a～图4c，其示出了从与透镜11～14的光轴oa垂直的并且不同的方向观察图3的多眼摄像头10而得的侧视图。如图4a～图4c所示，具有拍摄范围11a～14a，该拍摄范围11a～14a是多眼摄像头10的透镜11～14的视野。在着眼于透镜11～14所包含的任意透镜的情况下，所着眼的透镜的拍摄范围至少局部地与着眼的透镜所相邻的透镜的拍摄范围重叠。也就是说，如后所述，关于透镜11～14中的所有成对的透镜(透镜对)，两个透镜的拍摄范围相互至少局部地重叠。此外，在本实施方式中，各透镜11～14具有同一视野角，因而其拍摄范围11a～14a各自为同等的形状及尺寸。

例如如图4a所示，透镜11的拍摄范围11a与透镜12的拍摄范围12a具有重叠的区域。透镜11以及12沿着作为光轴oa的配置形状的正方形的边相邻。同样地，在透镜11以及12的背后，透镜13的拍摄范围13a与透镜14的拍摄范围14a具有重叠的区域。另外，如图4b所示，透镜11的拍摄范围11a与透镜14的拍摄范围14a具有重叠的区域。透镜11以及14沿着作为光轴oa的配置形状的正方形的边相邻。同样地，透镜12的拍摄范围12a与透镜13的拍摄范围13a具有重叠的区域。另外，如图4c所示，透镜11的拍摄范围11a与透镜13的拍摄范围13a具有重叠的区域。透镜11以及13沿着作为光轴oa的配置形状的正方形的对角线相邻。同样地，透镜12的拍摄范围12a与透镜14的拍摄范围14a具有重叠的区域。

例如，如上所述的多眼摄像头10能够如图5所示那样搭载于作为车辆的一例的汽车50，实现汽车50周围的监视、周围障碍物的检测、到周围障碍物的距离的测定、驾驶辅助等功能。在图5中，用俯视图表示了多眼摄像头10的向汽车50的搭载例。4个多眼摄像头10a、多眼摄像头10b、多眼摄像头10c以及多眼摄像头10d分别配置于汽车50的前部50a、后部50b、驾驶席侧旁部50c以及副驾驶席侧旁部50d。均具有广角的视野角的多眼摄像头10a、多眼摄像头10b、多眼摄像头10c以及多眼摄像头10d各自的视野范围10aa、10ba、10ca以及10da与相邻的视野范围局部地重复。由此，多眼摄像头10a、多眼摄像头10b、多眼摄像头10c以及多眼摄像头10d能够无缝地对遍及汽车50周围整体的区域进行监视等。

[1-1-3.摄像头校正装置的构成]

对实施方式1涉及的摄像头校正装置101的构成进行说明。摄像头校正装置101能够适用于具备3个以上的透镜的多眼摄像头以及3个以上的摄像头的组。然而，在本实施方式中，说明针对如上所述具备4个透镜11、12、13以及14的多眼摄像头10应用摄像头校正装置101的例子。

参照图6a，用框图示出了实施方式1涉及的摄像头校正装置101的功能性构成的一例。摄像头校正装置101包括校正点数据受理部102、摄像头参数取得部103、视角对应长度算出部104、立体测距值算出部105、测距位置算出部106、摄像头参数更新部107以及摄像头参数输出部108。摄像头校正装置101使用对摄像头所设定的初始摄像头参数和与设定在三维空间内的校正点有关的校正点数据，将摄像头参数更新成最佳的摄像头参数并输出、也就是说将摄像头参数进行校正。初始摄像头参数既可以是摄像头的设计时的摄像头参数，也可以是在使用阶段对摄像头所设定的摄像头参数。摄像头校正装置101能够利用于出厂前的摄像头的校正，也能够利用于摄像头的检查、修理时的摄像头的校正。

如上所述，摄像头参数包含多眼摄像头10的内部参数以及多眼摄像头10的外部参数。内部参数包含多眼摄像头10的4个摄像头21、22、23以及24各自的摄像头图像的中心位置、焦距、拍摄元件的一个像素的尺寸等与摄像头自身的特性有关的参数。外部参数对于摄像头21、22、23以及24的每一个，包含相对于基准或者壳体15等的摄像头的旋转角度、相对于基准或者壳体15等的摄像头的平移位置等与摄像头的配置环境有关的参数。摄像头的旋转角可以含有翻滚(roll)角、俯仰(pitching)角以及偏航(yawing)角。

此外，在本说明书中，校正摄像头意味着求取实机(实物)摄像头的摄像头参数。这种摄像头校正装置101也被称为摄像头参数算出装置。以下对摄像头校正装置101的各构成要素的详情进行说明。

(校正点数据受理部102)

校正点数据受理部102接收校正点数据，并将其输出给视角对应长度算出部104。例如，校正点数据受理部102从校正点数据库(也称为校正点db)109接收校正点数据。也可以为，第1存储器保持校正点数据库109。在本实施方式中，校正点数据库109包含于设置在摄像头校正装置101的外部的第1存储器，但也可以包含于摄像头校正装置101所具备的存储器等。或者，校正点数据库109也可以包含于具备摄像头校正装置101的装置或者系统的存储装置，还可以包含于多眼摄像头10所具备的存储装置。存储装置可以通过硬盘或者半导体存储器构成。校正点数据包含表示校正点的位置的三维坐标、和表示通过各摄像头拍摄校正点而得到的二维图像中的与校正点对应的点的像素位置的二维坐标，表示校正点的位置的三维坐标和表示通过各摄像头拍摄校正点而得到的二维图像中的与校正点对应的点的像素位置的二维坐标相关联，所述校正点是成为校正的基准的点。将校正点数据的例子表示于图6b。表示校正点的位置的三维坐标(x1,y1,z1)与二维坐标(x211,y211)相关联，二维坐标(x211,y211)表示通过摄像头21拍摄作为三维坐标(x1,y1,z1)的校正点而得的二维图像中的与作为三维坐标(x1,y1,z1)的校正点对应的点的像素位置。表示校正点的位置的三维坐标(x1,y1,z1)与二维坐标(x221,y221)相关联，二维坐标(x221,y221)表示通过摄像头22拍摄作为三维坐标(x1,y1,z1)的校正点而得的二维图像中的与作为三维坐标(x1,y1,z1)的校正点对应的点的像素位置。表示校正点的位置的三维坐标(x1,y1,z1)与二维坐标(x231,y231)相关联，二维坐标(x231,y231)表示通过摄像头23拍摄作为三维坐标(x1,y1,z1)的校正点而得的二维图像中的与作为三维坐标(x1,y1,z1)的校正点对应的点的像素位置。表示校正点的位置的三维坐标(x1,y1,z1)与二维坐标(x241,y241)相关联，二维坐标(x241,y241)表示通过摄像头24拍摄作为三维坐标(x1,y1,z1)的校正点而得的二维图像中的与作为三维坐标(x1,y1,z1)的校正点对应的点的像素位置。校正点被配置为包含于摄像头21～24的每一个的视野内。例如也可以使用三维坐标的一点(x，y，z)和与该一点对应的二维图像中的图像坐标的一点(mx，ny)的信息来对校正点进行表示。在所述表示的情况下，校正点数据包含多个校正点的信息。此外，m及n分别为整数，二维图像以二维的方式配置有像素，m及n表示二维图像中的x轴方向以及y轴方向的像素位置。

在此，为了制作校正点数据，需要使在多眼摄像头10所在的三维空间中的校正点的三维坐标、和通过多眼摄像头10的摄像头21～24分别拍摄三维空间中的校正点而得到的二维图像中的与校正点对应的点的图像坐标或者像素位置相关联。为了该目的，以往会执行使用如上所述的图形形状已知的格子图形等校正指标的方法。在本实施方式中，也可以用现存的方法来进行在校正点数据库109所保存的各校正点数据中校正点的三维坐标、和二维图像中的与该校正点对应的点的图像坐标或者像素位置之间的关联。现存的方法也可以是使用图2所说明的方法。这种校正点数据被预先制作，并保存于校正点数据库109。

(摄像头参数取得部103)

摄像头参数取得部103取得作为校正对象的多眼摄像头10的摄像头21、22、23以及24各自的初始摄像头参数，并将其输出给视角对应长度算出部104。初始摄像头参数包含摄像头21、22、23以及24的内部参数以及外部参数。初始摄像头参数是进行校正前所预先设定的摄像头参数。

初始摄像头参数例如既可以是多眼摄像头10的摄像头21、22、23以及24的在设计时所设定的设计参数，也可以是在多眼摄像头10被使用的阶段已经对摄像头21、22、23以及24所设定的摄像头参数。初始摄像头参数例如也可以记录于作为摄像头参数的数据库的摄像头参数数据库(db)110。也可以为，第2存储器保持摄像头参数数据库110。摄像头参数取得部103参照摄像头参数数据库110，取得记录于摄像头参数数据库110的初始摄像头参数。初始摄像头参数的一例是上述的式1所包含的摄像头参数。在本实施方式中，摄像头参数数据库110包含于设置在摄像头校正装置101的外部的第2存储器，但也可以包含于摄像头校正装置101所具备的存储器等。或者，摄像头参数数据库110也可以包含于具备摄像头校正装置101的装置或者系统的存储装置，还可以包含于多眼摄像头10所具备的存储装置。存储装置可以通过硬盘或者半导体存储器构成。

或者，也可以使用tsai的非专利文献1或者zhang的非专利文献2中所公开的已知方法来推定初始摄像头参数。这种初始摄像头参数的推定可以通过使用格子图形等校正指标并取得世界坐标的点的坐标和与世界坐标的点相关联的图像坐标的点的坐标的组来进行，由于在此后进行校正，因而推定精度可以是粗略的。此外，在使用非专利文献1(tsai)的方法的情况和使用专利文献2(zhang)的方法的情况下，所需的信息不同。

例如，为了使用非专利文献1(tsai)的方法算出初始摄像头参数，需要13组以上的世界坐标的点的坐标与图像坐标的点的坐标的组。另外，为了使用非专利文献2(zhang)的方法算出初始摄像头参数，需要3个以上的二维图像、和13组以上的世界坐标的点的坐标与图像坐标的点的坐标的组。

(视角对应长度算出部104)

视角对应长度算出部104对于由校正点数据受理部102接收到的校正点数据所包含的校正点的每一个，基于初始摄像头参数，从各校正点算出相对于多眼摄像头10的摄像头21～24所包含的成对摄像头的视角对应长度。摄像头21～24所包含的成对摄像头指的是从摄像头21～24中选出的两个摄像头。从4个摄像头21～24中选出所有组合的成对摄像头，具体而言是选出6组成对的摄像头。

根据“成为本公开的基础的见解”中所述的可知，相对于摄像头21～24所包含的成对摄像头的每一对的视角对应长度能够定义为是从各成对摄像头所包含的两个摄像头观察校正点的情况下的与视角对应并且与视角相关的长度。视角对应长度根据视角的大小而变化。在本实施方式中，视角对应长度是2lsin(视角/2)。此外，l是两个摄像头中的某一个的透镜的中心位置与校正点之间的距离。由4个摄像头21、22、23以及24形成6组成对的摄像头，因而针对一个校正点，可算出6个视角对应长度。

在此，参照图7，列举摄像头21以及22为例，说明本实施方式的三维空间中的视角对应长度。此外，图7是表示实施方式1涉及的摄像头校正装置101所使用的视角对应长度的一例的图。摄像头21以及22的基线长度是摄像头21以及22的透镜中心间的距离、且是连接摄像头21的透镜中心和摄像头22的透镜中心的线段l1的长度。此外，所谓透镜中心，也可以考虑为透镜的光轴与透镜表面的两个交点中、靠近校正点一侧的点。所谓“从～到摄像头的距离”，也可以是“从～到摄像头的透镜中心的距离”。所谓“从摄像头到～的距离”，也可以是“从摄像头的透镜中心到～的距离”。在本例中，从校正点p1到摄像头21以及22各自的距离不同，因而相对于从摄像头21以及22观察校正点p1的情况下的视角的摄像头21以及22的视角对应长度与作为摄像头21以及22的基线长度的线l1的长度不同。在从校正点p1到摄像头21的距离与从校正点p1到摄像头22的距离相同的情况下，基线长度与视角对应长度一致。

具体而言，视角对应长度能够设为经过摄像头21的透镜的中心(具体而言是投影中心)的线段l1a的长度或者经过摄像头22的透镜的中心(具体而言是投影中心)的线段l1b的长度。线段l1a经过摄像头21的透镜的中心并且与作为线l2以及l3所形成的内角α的平分线的线l4垂直，并进而将与线l2以及l3的交点作为端点。内角α是从摄像头21以及22观察校正点p1时的摄像头21以及22的视线的视角。线l4经过线段l1a的中点ma，成为线段l1a的垂直平分线。此外，线l2是连接校正点p1与摄像头21的透镜的中心的线，线l3是连接校正点p1与摄像头22的透镜的中心的线。另外，线段l1b经过摄像头22的透镜的中心并且与线l4垂直，并进而将与线l2以及l3的交点作为端点。线l4经过线段l1b的中点mb，成为线段l1b的垂直平分线。

线段l1a的长度也是以视角α为圆心角并且具有经过摄像头21的透镜的中心的圆弧的扇形的圆弧的弦的长度。线段l1b的长度也是以线l2和线l3所形成的视角α为圆心角并且具有经过摄像头22的透镜的中心的圆弧的扇形的圆弧的弦的长度。如此，视角对应长度是2lsin(视角/2)。此外，l是两个摄像头中的某一个的透镜的中心位置与校正点之间的长度。

视角对应长度不限定于线段l1a的长度以及线段l1b的长度。例如，视角对应长度也可以是以视角α为圆心角的扇形的任意弦的长度。例如，视角对应长度也可以是线l1a以及l1b之间的弦的长度。此外，图7中示出的点以及线全部位于同一平面上(纸面)。

另外，视角对应长度也可以通过与其相关的视角α的大小来代用。视角α的变化能够表示视角对应长度的变化，一对一地与视角对应长度的变化对应。具体而言，视角α变大，则视角对应长度变长，视角α变小，则视角对应长度变短。根据视角α、和校正点p1与摄像头21或者22的透镜的中心之间的距离，能够算出视角对应长度。

(立体测距值算出部105)

立体测距值算出部105从摄像头校正所使用的摄像头21～24中选择两个摄像头，生成摄像头对。根据从4个摄像头21～24中对摄像头对进行选择的组合，可选出6个摄像头对。再者，立体测距值算出部105从校正点数据受理部102接收校正点数据。如图6b所示，校正点数据包含校正点的三维坐标、和通过各摄像头拍摄校正点而得到的二维图像中的与校正点对应的点的像素位置。立体测距值算出部105从校正点数据取得摄像头对的两个摄像头的拍摄图像各自中的与校正点对应的图像坐标。另外，立体测距值算出部105取得摄像头21～24各自的摄像头参数。立体测距值算出部105使用摄像头对的摄像头参数、和由摄像头对取得的与校正点对应的点的图像坐标，并通过利用立体测距技术的图像处理，算出与各校正点对应的三维坐标。在以下的说明中，将具有如上所述的与校正点对应的三维坐标的点称为测距点，将测距点的三维坐标也称为立体测距值。例如考虑校正点的三维坐标为(x2,y2,z2)、摄像头对为摄像头21和摄像头22的情况。摄像头21和摄像头22分别拍摄包含校正点的图像。在此，校正点的三维坐标设为(x2,y2,z2)(参照图6b)。通过对由摄像头21拍摄到的图像、由摄像头22拍摄到的图像、由摄像头21拍摄到的图像中的与该校正点对应的像素坐标(x212,y212)、由摄像头22拍摄到的图像中的与该校正点对应的像素坐标(x222,y222)进行使用后述所示的立体测距技术的图像处理，算出与由三维坐标(x2,y2,z2)确定的校正点对应的测距点。

将摄像头21和摄像头22的摄像头模型设为式1的针孔摄像头模型，对所述立体测距技术进行说明。根据式1，可唯一地确定将世界坐标(x，y，z)投影到图像上的图像坐标(x，y)，但无法由图像坐标(x，y)和摄像头参数唯一地算出世界坐标(x，y，z)，仅能够算出世界坐标(x，y，z)可能存在的直线λ的方向向量(视线向量v)。将摄像头21和摄像头22的所述直线λ分别设为λ21和λ22，将摄像头21和摄像头22的所述视线向量分别设为v21和v22。在摄像头参数和校正点没有误差的情况下，直线λ21与直线λ22在一点交叉，所述交叉的点的三维坐标成为测距点(x2,y2,z2)。另一方面，在存在所述误差的情况下，直线λ21与直线λ22成为扭曲的位置，因而只要算出直线λ21上的点ω21与直线λ22上的点ω22间的距离成为最小的点ω21和点ω22，并将点ω21与点ω22的中点、点ω21或者点ω22设为测距点(x2,y2,z2)即可。在经过点ω21和点ω22的直线λ23与直线λ21和直线λ22均垂直相交的情况下，能够将点ω21与点ω22间的距离成为最小的点ω21和点ω22作为以世界坐标的原点o为基准的位置向量，如式13中所示那样算出。在此，将摄像头21和摄像头22的摄像头位置的世界坐标分别设为p21和p22，p21和p22的世界坐标的x分量、y分量以及z分量分别是摄像头21和摄像头22的摄像头参数的tx、ty以及tz。

除了v21和v22平行的情况，都能够算出式13所包含的逆矩阵。

针对各校正点，形成与摄像头对的数量相等数目的测距点。在本实施方式中，针对各校正点，形成6个测距点。此外，上述立体测距技术是根据由两个摄像头拍摄到的两个拍摄图像上的校正点的位置的差异、也就是说视差来算出校正点的三维坐标的立体图像识别技术，可以应用已知的任意技术。

(测距位置算出部106)

测距位置算出部106对于各校正点，将通过立体测距值算出部105算出的与摄像头对各自对应的测距点的三维坐标基于与该摄像头对对应的视角对应长度进行合并，算出其结果形成的一个合并点的三维坐标。由此，算出与校正点各自对应的合并点的三维坐标。此外，将会在后面说明合并点的三维坐标的算出方法。

(摄像头参数更新部107)

摄像头参数更新部107从校正点数据受理部102取得各校正点的校正点数据，从摄像头参数取得部103取得各摄像头21～24的初始摄像头参数，从测距位置算出部106取得与各校正点对应的合并点的三维坐标。摄像头参数更新部107使用所取得的信息，重新算出各摄像头21～24的摄像头参数。将会在后面说明由摄像头参数更新部107进行的对新的摄像头参数的算出步骤。

(摄像头参数输出部108)

摄像头参数输出部108将通过摄像头参数更新部107算出的摄像头参数输出。例如，摄像头参数输出部108也可以对摄像头校正装置101所构成的装置等输出摄像头参数。

摄像头校正装置101例如也可以通过由处理器、存储器、接口电路等构成的计算机装置(未图示)来实现。摄像头校正装置101的上述构成要素的一部分或者全部功能例如也可以是通过处理器执行预先记录于存储器的程序而实现的软件功能。另外，摄像头校正装置101也可以通过进行上述的工作的专用的硬件电路(未图示)来实现。程序也可以作为应用(application)，通过经由互联网等通信网的通信、基于移动通信标准的通信等来提供。

另外，摄像头校正装置101不一定需要由单个计算机装置来实现，也可以通过包括终端装置和服务器的分散处理系统(未图示)来实现。作为一例，也可以将校正点数据受理部102、摄像头参数取得部103设置于终端装置，并通过服务器执行视角对应长度算出部104、立体测距值算出部105、测距位置算出部106、摄像头参数更新部107的一部分或者全部的功能。在该情况下，构成要素间的数据的收发经由与终端装置和服务器连接的通信线路来进行。

[1-2.摄像头校正装置的工作]

参照图8，说明实施方式1涉及的摄像头校正装置101的工作。此外，图8是表示实施方式1涉及的摄像头校正装置101的工作的流程的一例的流程图。具体而言，说明由摄像头校正装置101进行的摄像头参数的算出处理。作为摄像头参数的算出处理的步骤s300的处理由以下的步骤s301～s309的处理构成。

(步骤s301)

首先，摄像头校正装置101的校正点数据受理部102从校正点数据库109取得摄像头校正所使用的校正点的校正点数据，并将其输出给视角对应长度算出部104。在校正点数据库109中，组合并保存有各校正点的三维坐标以及图像坐标。各校正点的图像坐标通过使用多眼摄像头10的各摄像头21～24对各校正点进行拍摄而预先取得。

(步骤s302)

另外，摄像头校正装置101的摄像头参数取得部103从摄像头参数数据库110取得摄像头校正所使用的多眼摄像头10的各摄像头21～24的初始摄像头参数。具体而言，摄像头参数取得部103取得摄像头21～24的信息作为校正对象的信息，进而，在摄像头参数数据库110中参照所取得的校正对象的摄像头21～24的信息，取得与该摄像头21～24相关联的初始摄像头参数。初始摄像头参数通过使用各摄像头21～24的摄像头参数的设计值、或者利用测试(test)等对各摄像头21～24的摄像头参数进行计测等来预先取得，并保存于摄像头参数数据库110。如后所述，也存在摄像头参数取得部103从摄像头参数更新部107取得更新后的摄像头参数的情况。

(步骤s303)

在步骤s301以及s302之后，摄像头校正装置101的视角对应长度算出部104对于校正点数据所包含的各校正点，基于从摄像头21～24中选出的各摄像头对的初始摄像头参数，算出各摄像头对的视角对应长度。此外，在由摄像头参数更新部107进行了更新的情况下，视角对应长度算出部104基于更新后的摄像头参数来算出视角对应长度。

例如在图7的情况下，视角对应长度算出部104取得从多个校正点中选择出的校正点(在本例中为校正点p1)的三维坐标、和校正对象的摄像头(在本例中为摄像头21以及22)的三维坐标。摄像头的三维坐标能够从该摄像头参数的外部参数中取得(式1的情况下，tx、ty以及tz分别与摄像头的三维坐标的x坐标、y坐标以及z坐标对应)，表示摄像头的透镜的中心位置。接下来，视角对应长度算出部104使用校正点p1的三维坐标和摄像头21以及22的三维坐标，求取在由校正点p1的三维坐标和摄像头21以及22的三维坐标所规定的二维平面上形成的三角形。在本例中，摄像头21比摄像头22靠近校正点p1。视角对应长度算出部104在所形成的三角形位于的二维平面上，例如算出基于校正点p1与摄像头21的位置之间的距离的视角对应长度、也就是说线l1a的长度。

(步骤s304)

在步骤s303之后，摄像头校正装置101的立体测距值算出部105基于从校正点数据受理部102取得的校正点数据、和从摄像头参数取得部103取得的各摄像头21～24的初始摄像头参数，进行立体测距处理，取得与各校正点对应的测距点的三维坐标。关于一个校正点与两个摄像头的所有组合，算出测距点的三维坐标、也就是说算出一个校正点的立体测距值。立体测距值算出部105对于所有校正点，算出测距点的三维坐标。此外，在由摄像头参数更新部107进行了更新的情况下，立体测距值算出部105基于更新后的摄像头参数进行立体测距处理。

例如参照图9，其示出了一个校正点pk(k＝1、2、…、n)与通过立体测距所取得的校正点pk的测距点t1～t6之间的位置关系的一例。此外，图9是表示实施方式1涉及的摄像头校正装置101所校正的摄像头21～24、校正点pk、与校正点pk的测距点t1～t6之间的关系的一例的图。校正点pk的位置是由校正点数据所包含的三维坐标确定的三维位置。测距点t1是由摄像头21以及22对校正点pk进行立体测距所取得的点。测距点t2是由摄像头21以及23对校正点pk进行立体测距所取得的点。测距点t3是由摄像头21以及24对校正点pk进行立体测距所取得的点。测距点t4是由摄像头22以及23对校正点pk进行立体测距所取得的点。测距点t5是由摄像头22以及24对校正点pk进行立体测距所取得的点。测距点t6是由摄像头23以及24对校正点pk进行立体测距所取得的点。在摄像头21～24的摄像头参数存在误差的情况下，如图9所示，校正点pk的三维位置与测距点t1～t6的三维位置可能不同。

(步骤s305)

在步骤s304之后，摄像头校正装置101的测距位置算出部106基于在步骤s303中算出的视角对应长度，算出将在步骤s304中算出的校正点的多个测距点合并成一个而得到的合并点的三维坐标。也就是说，作为校正点的测距位置，算出合并点的三维坐标。在本实施方式中，针对一个校正点，可获得6个测距点，因而，测距位置算出部106对于各校正点，将6个测距点进行合并。测距位置算出部106为了平滑由各测距点的初始摄像头参数引起的位置误差，在合并测距点时，使用与测距点对应的视角对应长度，对测距点进行加权。此外，视角对应长度越小，由初始摄像头参数引起的位置误差越大。

具体而言，测距位置算出部106以下面说明的方式算出测距点的合并点。多个合并点u中的与校正点pk对应的合并点uk的三维坐标uk(xk,yk,zk)通过将由权重wt加权的测距点tt的三维坐标tt(xt,yt,zt)相加来算出。此外，wt·tt(xt,yt,zt)＝tt(wt·xt,wt·yt,wt·zt)。测距点tt是多个校正点p中的第k个校正点pk的测距点，合并点uk与校正点pk对应。合并点uk的三维坐标作为基于权重wt的测距点tt的三维坐标的加权的加法运算结果，由下记的式3表示。此外，式3的m是多眼摄像头10中的摄像头的数量，mc2表示成对摄像头的组合数。tt表示校正点pk的多个测距点中的第t个测距点。wt表示与测距点tt的三维坐标tt(xt,yt,zt)对应的权重，在本实施方式中，如下记的式4所示，表示视角对应长度deff,t。例如w2在图9中是相对于从测距点t2观察时的摄像头21和摄像头23的视角的视角对应长度。

wt＝deff，t…(式4)

(步骤s306)

在步骤s305之后，测距位置算出部106基于各校正点p的三维坐标和各合并点u的三维坐标，并使用所有相对应的校正点及合并点的对，算出评价值j。此外，评价值j使用如下记的式5所示的函数来算出，具体而言是通过每一对校正点和合并点中的校正点与合并点的三维距离(欧氏距离)之和来定义。校正点与合并点的三维距离也是立体测距误差。例如，如图9所示，由于摄像头参数的误差等，在将校正点pk的测距点t1～t6合并而得到的合并点uk与校正点pk之间，可能会产生三维距离。此外，式5中的n是校正点的数量。

(步骤s307)

接下来，摄像头校正装置101的摄像头参数更新部107根据在步骤s306中的处理的结果，判定是否满足结束摄像头参数的更新的条件。在满足结束条件的情况下(步骤s307：是)，摄像头参数更新部107不变更摄像头参数，而将判定结果等信息输出给摄像头校正装置101的摄像头参数输出部108，前进至步骤s309的处理。在不满足结束条件的情况下(步骤s307：否)，摄像头参数更新部107前进至步骤s308的处理。结束条件可以是满足如下情况中的至少一方：完成预先设定的摄像头参数的搜索范围内的评价值j的算出；评价值j比第一阈值小；以及后述的步骤s302～s308的一系列处理的反复次数大于等于第二阈值。

完成摄像头参数的搜索范围内的评价值j的算出是指，在预先确定的搜索条件下，完成了能够取得的所有搜索条件的试行。例如在仅关于焦距(一个变量)，用0.01mm的步长(stepsize)以等间隔对其搜索范围1.10～1.30mm进行搜索的情况下(被称为网格搜索)，对21个焦距值计算评价值即可。另外，在搜索多个变量的情况下，需要对多个变量的值能够取得的所有组进行计算。例如在对于3个变量的每一个，搜索范围按步长分成10个的情况下，需要进行11³次评价值的计算。

上述一系列处理的反复次数也是摄像头参数的更新次数。上述第一阈值能够基于对于校正点的测距点的三维位置的容许误差、对于校正点的结合点的三维位置的容许误差等适当地设定。上述第二阈值例如可以考虑摄像头校正装置101整体的处理速度以及经验上的数据等来设定，例如也可以是100次左右。或者，上述第二阈值也可以设为使得能够基于由反复处理而得到的评价值j的变化、也就是说评价值j的梯度来推定为评价值j的变化收敛这样的值。

(步骤s308)

摄像头参数更新部107将摄像头21～24的摄像头参数在摄像头参数的搜索范围内进行变更、也就是说进行更新。在初次进行步骤s308的处理的情况下，被更新的摄像头参数是初始摄像头参数，在后述的反复处理中，被更新的摄像头参数是在反复处理的过程中被更新后的最新的摄像头参数。例如，摄像头参数更新部107根据评价值j的算出结果的历史记录等，使用非线性最优化法等方法，以使评价值j最小化或者减小的方式变更摄像头参数。而且，摄像头参数更新部107将更新后的摄像头参数输出给摄像头参数取得部103，前进至步骤s302的处理。由此，使用更新后的摄像头参数，再次反复进行步骤s302～s307的处理。如此，通过反复进行步骤s302～s308的处理，以使评价值j最小化也就是说最优化的方式更新摄像头参数。例如能够使用作为公知技术的网格搜索来使评价值j最小化。能够针对作为被认为含有初始摄像头参数的近旁等的最优值的范围的搜索范围，以一定的间隔算出评价值j，从算出的评价值j当中取得评价值j成为最小的摄像头参数。此外，如上述的式1那样，在摄像头参数由两个以上的变量构成的情况下，同样地在以各变量作为轴的多维空间中进行搜索即可。

此外，摄像头参数的搜索范围与在步骤s307中的判定所使用的摄像头参数的搜索范围是同一范围。摄像头参数的搜索范围是预先设定的各摄像头参数能够取得的范围。例如图像中心位置分量cx和cy、焦距f、以及拍摄元件长度d'x和d'y的搜索范围分别可以设为设计值的±5％。另外，例如摄像头位置的旋转分量rx、ry和rz的旋转角度的搜索范围可以设为初始值的±10度，摄像头位置的平移移动分量tx、ty和tz的平移距离的搜索范围可以设为初始值的±0.2m。旋转角度以及平移距离的初始值也可以通过用标尺(scale)等计测摄像头21～24与多眼摄像头的位置关系来求取。

另外，为了削减步骤s302～步骤s308的反复处理的计算时间，摄像头参数的搜索范围也可以是限定于初始摄像头参数近旁的范围，也可以使用由进行反复处理所得的评价值j的变化的梯度来应用最速下降法等算出。

(步骤s309)

摄像头参数输出部108取得在步骤s306中算出的评价值j、和与该评价值j对应的摄像头21～24的摄像头参数的组。与评价值j对应的摄像头参数是在该评价值j的算出时最新的摄像头参数，也是在该评价值j的算出处理的过程中所使用的摄像头参数。在没有进行步骤s302～步骤s308的反复处理的情况下，摄像头参数输出部108输出初始摄像头参数。在进行了步骤s302～步骤s308的反复处理的情况下，摄像头参数输出部108根据取得的多组摄像头参数及评价值，选择评价值最小的组的摄像头参数，将选择出的摄像头参数作为最佳摄像头参数进行输出。

上述的步骤s301～s309的一系列处理是算出并输出所校正的摄像头参数的处理，形成摄像头参数算出处理s300。

通过按照这种步骤来校正多眼摄像头10的摄像头21～24，能够在使用多眼摄像头10进行立体测距的情况下，在视野角的边缘近旁的拍摄图像外周部，降低测距点的测距误差。以下，依次对此进行说明。即，表示视角对应长度与立体测距中的测距误差的大小有关这一情况。

在立体测距中，估算在朝向着眼校正点的摄像头的视线向量中产生了角度误差的情况下的测距误差。测距误差向量的分布在三维空间中非线性地扩展且无法以解析的方式求取，因而在二维平面上进行近似计算。

使用图10，列举多眼摄像头10的摄像头21为例，说明测距点t1的测距误差。此外，图10是表示使用了图9的摄像头21的立体测距中的测距误差的一例的图。将向校正点pk的摄像头21的视线向量、与形成摄像头21以及22的视角对应长度的线l1a所成的角φ的角度误差设为δφ。将角φ变化了角度误差δφ的情况下的校正点pk的测距点t1的位置分别设为点q以及点r。点q是角φ因角度误差δφ而减小的情况下的测距点t1的位置，点r是角φ因角度误差δφ而增大的情况下的测距点t1的位置。以校正点pk为中心的点q以及点r的分布在二维平面中扩展，且无法以解析的方式求取校正点pk与点q的距离以及校正点pk与点r的距离，因此，将点q和点r的距离的一半设为测距点t1的测距误差δl。而且，这种测距误差δl能够按照下记的式6算出。

在此，在式6中，l是从摄像头21的线l1a到着眼校正点pk的距离，也可以作为线段mapk的长度。此外，点ma与图7的同样，是线l1a的中点。或者，l也可以作为着眼校正点pk、与摄像头21～24间的重心位置之间的距离。deff是摄像头21以及22的视角对应长度。式6的近似计算成立的条件是l＞＞deff、δφ＜＜0.02[rad]并且φ≠π/2[rad]。φ≠π/2[rad]意味着φ并非在π/2[rad]近旁，例如也可以是φ<4π/9[rad]。关于数学符号“＞＞”以及“＜＜”的范围的例子，在求取的摄像头参数的数值的有效位数内，在l＞＞deff的情况下，是deff/(l×l)≒0成立的范围，在δφ＜＜0.02[rad]的情况下，是sinφ≒φ成立的范围。

根据式6，测距误差δl与角度误差δφ、着眼校正点pk的距离l的平方以及视角对应长度deff的倒数成正比。即，视角对应长度与测距点的测距误差的大小有关，具体而言是视角对应长度变得越小，该测距误差变得越大。

根据以上可知，步骤s305中的基于视角对应长度的测距点的合并使视角对应长度短从而测距误差大的测距结果的权重减小，因此能够进行在摄像头的视野整体的准确校准。如此，通过基于视角对应长度来评价摄像头参数，能够不受由位于摄像头的拍摄图像的外周部的校正点引起的相对大的测距误差的影响，对摄像头进行校正。另外，由于使用通过在各校正点的立体测距误差的总和所定义的评价函数，因而能够进行将立体测距中的误差降低的摄像头参数的算出。

[实施方式2]

对实施方式2涉及的摄像头校正装置进行说明。实施方式2涉及的摄像头校正装置的构成与实施方式1是同样的，实施方式2涉及的摄像头校正装置的工作的一部分与实施方式1不同。具体而言，在实施方式1中，将在图8所示的摄像头参数算出处理s300的步骤s305中合并测距点时所使用的权重wt如上述的式4所示那样设成了视角对应长度，但在实施方式2中，将权重wt设为标准化后的视角对应长度。以下，以与实施方式1的不同之处为中心对实施方式2进行说明。

参照图11，其示出了表示实施方式2涉及的摄像头校正装置的工作的流程的一例的流程图。实施方式2涉及的摄像头校正装置进行摄像头参数算出处理s310。摄像头参数算出处理s310除了取代步骤s305而包含步骤s315的处理之外，与实施方式1的摄像头参数算出处理s300是同样的。

而且，在步骤s315中，测距位置算出部106基于在步骤s303中算出的视角对应长度，算出将在步骤s304中算出的校正点的多个测距点合并所形成的合并点的三维坐标、也就是说算出校正点的测距位置。这时，测距位置算出部106使用下记的式7所示的权重wt作为应用到算出合并点的三维坐标的上述式3中的权重wt。此外，式7中的权重wt是将视角对应长度用与各摄像头对对应的视角对应长度的总和进行标准化而得到的。

具体而言，与校正点pk的测距点tt对应的权重wt通过将在形成测距点tt的摄像头对以及校正点pk之间的视角对应长度deff,t除以在形成校正点pk的各测距点的摄像头对以及校正点pk之间的视角对应长度deff,u的总和、也就是说进行标准化来取得。视角对应长度deff,u的总和既可以由测距位置算出部106算出，也可以由视角对应长度算出部104算出。例如，在图9所示的例子中，视角对应长度deff,u的总和是与6个测距点t1～t6各自对应的6个视角对应长度的总和。视角对应长度deff,t是与6个测距点t1～t6的某一个对应的视角对应长度。另外，在由测距位置算出部106进行的各校正点的测距位置算出后，与实施方式1同样地，进行步骤s306以后的处理。

根据以上可知，能够将用其总和标准化后的视角对应长度使用为各测距点相对于作为在测距点的合并中的重心的合并点的权重。作为标准化后的视角对应长度的权重wt取0～1之间的值，与校正点pk有关的权重wt的总和为1。因此，将测距点合并所获得的合并点的位置能够准确地表示校正点的测距位置。

另外，比较了使用实施方式2涉及的摄像头参数算出处理s310进行了摄像头校正的实施例1、和以其他方式进行了摄像头校正的比较例1以及比较例2。在实施例1以及比较例1和比较例2中，进行了对于各透镜的光轴平行的四眼鱼眼摄像头(样机)的摄像头校正。该四眼鱼眼摄像头具备配置于一边为15mm的正方形的顶点的4个鱼眼摄像头，各鱼眼摄像头在从其光轴起90°的入射角的范围内进行拍摄。校正指标是进深不同的2287点的校正点，校正点位于四眼鱼眼摄像头的整个周围。再者，929点的校正点位于从四眼鱼眼摄像头、具体而言是从4个鱼眼摄像头的重心起进深0.5m的位置，917点的校正点位于进深1m的位置，441点的校正点位于进深3m的位置。

参照图12，其示出了实施例1以及比较例1和比较例2的校正方式下的校正后的四眼鱼眼摄像头中的测距误差。图12以比较的方式表示实施例1以及比较例1和比较例2中的相对测距误差rms。在图12中，对于实施例1以及比较例1和比较例2的每一个，表示了基于所有校正点的相对测距误差rms、基于进深0.5m的校正点的相对测距误差rms、基于进深1m的校正点的相对测距误差rms以及基于进深3m的校正点的相对测距误差rms。相对测距误差rms是将校正点与校正点的测距位置(实施例1中为合并点)的距离除以该校正点的进深而得到的值的均方根。

比较例1是基于非专利文献1所记载的tsai的方式使拍摄图像上的误差最小化并按各单眼校正摄像头的方式。比较例2是在实施方式1的步骤s305的测距位置算出处理中将测距点合并时对上述的式4所示的权重wt应用数值“1/6”的方式。在比较例2中，不使用视角对应长度，而使用在由4个摄像头而成的6个摄像头对中均等的权重，对测距点进行了加权。实施例1是在将测距点合并时应用基于实施方式2标准化后的视角对应长度作为测距点的权重的方式。

实施例1对于任意进深的距离的校正点，都实现了比比较例1和比较例2的小的相对测距误差rms。即，实施例1作为多眼广角摄像头的校正方式是有用的。

[实施方式3]

对实施方式3涉及的摄像头校正装置进行说明。实施方式3涉及的摄像头校正装置的构成与实施方式1是同样的，实施方式3涉及的摄像头校正装置的工作的一部分与实施方式1不同。具体而言，在实施方式1中，将在图8所示的摄像头参数算出处理s300的步骤s305中合并测距点时所使用的权重wt如上述的式4所示那样设成了视角对应长度，但在实施方式3中，在视角对应长度比阈值大的情况下将权重wt设为视角对应长度，在视角对应长度小于等于阈值的情况下将权重wt设为0。以下，以与实施方式1的不同之处为中心对实施方式3进行说明。

参照图13，其示出了表示实施方式3涉及的摄像头校正装置的工作的流程的一例的流程图。实施方式3涉及的摄像头校正装置进行摄像头参数算出处理s320。摄像头参数算出处理s320除了取代步骤s305而包含步骤s325的处理之外，与实施方式1的是同样的。

而且，在步骤s325中，测距位置算出部106基于在步骤s303中算出的视角对应长度，算出将在步骤s304中算出的校正点的多个测距点合并所形成的合并点的三维坐标，算出校正点的测距位置。这时，测距位置算出部106使用下记的式8所示的权重wt作为应用到算出合并点的三维坐标的式3中的权重wt。式8中的权重wt基于与各摄像头对对应的视角对应长度，在视角对应长度比阈值α大的情况下应用视角对应长度，在小于等于阈值α的情况下应用0。具体而言，与测距点tt对应的权重wt根据在形成测距点tt的摄像头对以及校正点pk之间的视角对应长度deff,t是超过了阈值α还是小于等于阈值α，应用视角对应长度deff,t或者0。

作为阈值α的一例，也可以设为多眼摄像头的摄像头对中的、最小的基线长度的10％。例如在多眼摄像头10的情况下，可以将摄像头21～24的6个摄像头对的基线长度中的最小的基线长度的10％的值作为阈值α。此外，权重wt也可以如实施方式2那样标准化以使得与各校正点有关的权重的总和成为1。

根据以上可知，能够将诸如如上述的式6的视角对应长度与测距点的测距误差之间的关系所示那样由于视角对应长度极端短导致测距误差无限大地发散这样的测距点、也就是说摄像头对排除。由此，能够在多眼摄像头10以车载的方式被使用等情况下，提高多眼摄像头10近旁、也就是说车体近旁的测距精度。

[实施方式4]

对实施方式4涉及的摄像头校正装置进行说明。实施方式4涉及的摄像头校正装置的构成与实施方式1是同样的，实施方式4涉及的摄像头校正装置的工作的一部分与实施方式1不同。具体而言，在实施方式1中，将在图8所示的摄像头参数算出处理s300的步骤s305中合并测距点时所使用的权重wt如上述的式4所示那样设成了视角对应长度，但在实施方式4中，将权重wt设为再投影误差与视角对应长度的比率。以下，以与实施方式1的不同之处为中心对实施方式4进行说明。

参照图14，其示出了表示实施方式4涉及的摄像头校正装置的工作的流程的一例的流程图。实施方式4涉及的摄像头校正装置进行摄像头参数算出处理s330。摄像头参数算出处理s330除了取代步骤s305而包含步骤s335的处理之外，与实施方式1的是同样的。

而且，在步骤s335中，测距位置算出部106基于在步骤s303中算出的视角对应长度，算出将在步骤s304中算出的校正点的多个测距点合并所形成的合并点的三维坐标，算出校正点的测距位置。这时，测距位置算出部106使用下记的式9所示的权重wt作为应用到算出合并点的三维坐标的上述式3中的权重wt。式9中的权重wt作为将与各摄像头对对应的视角对应长度除以预先算出的平均再投影误差εt所得的值、具体而言是视角对应长度/平均再投影误差来算出。

在此，说明平均再投影误差εt的算出方法。平均再投影误差εt是由索引t表示的、也就是说构成与测距点tt对应的摄像头对的两个摄像头的再投影误差的平均。各摄像头的再投影误差也可以通过非专利文献1所记载的tsai的方式等现存方法来算出。既可以构成为本实施方式涉及的摄像头校正装置算出再投影误差，也可以为由其他装置算出的再投影误差例如保存于校正点数据库109或者摄像头参数数据库110。对于再投影误差的平均，不限于算术平均，也可以使用几何平均、最小值、最大值。此外，权重wt也可以如实施方式2那样标准化以使得与各校正点有关的权重的总和成为1。

根据以上可知，能够降低由构成多眼摄像头10的摄像头21～24的制造上的波动引起的摄像头间的性能差对测距精度的影响。

[实施方式5]

对实施方式5涉及的摄像头校正装置进行说明。实施方式5涉及的摄像头校正装置的构成与实施方式1是同样的，实施方式5涉及的摄像头校正装置的工作的一部分与实施方式1不同。具体而言，在实施方式1中，将在图8所示的摄像头参数算出处理s300的步骤s305中合并测距点时所使用的权重wt如上述的式4所示那样设成了视角对应长度，但在实施方式5中，将权重wt设为对视角对应长度除以校正点的进深而得的值。以下，以与实施方式1的不同之处为中心对实施方式5进行说明。

参照图15，其示出了表示实施方式5涉及的摄像头校正装置的工作的流程的一例的流程图。实施方式5涉及的摄像头校正装置进行摄像头参数算出处理s340。摄像头参数算出处理s340除了取代步骤s305而包含步骤s345的处理之外，与实施方式1的是同样的。

而且，在步骤s345中，测距位置算出部106基于在步骤s303中算出的视角对应长度，算出将在步骤s304中算出的校正点的多个测距点合并所形成的合并点的三维坐标，算出校正点的测距位置。这时，测距位置算出部106使用下记的式10所示的权重wt作为应用到算出合并点的三维坐标的上述式3中的权重wt。式10中的权重wt作为将与各摄像头对对应的视角对应长度除以校正点的进深而得到的值来算出。

在此，lk是第k个校正点pk的校正点进深。进深lk与上述的式6中的l同样地，既可以设为从与两个摄像头的视角对应长度对应的线到校正点pk的距离，也可以设为从多眼摄像头10的摄像头21～24间的重心位置到校正点pk的距离。另外，进深lk例如既可以是多眼摄像头10的某个摄像头的位置与校正点pk的距离，也可以是多眼摄像头10的两个以上的摄像头的位置的平均位置与校正点pk的距离。测距位置算出部106也可以构成为使用摄像头21～24的摄像头参数和校正点pk的三维坐标来算出进深lk。此外，权重wt也可以如实施方式2那样标准化以使得与各校正点有关的权重的总和成为1。

校正点的进深、也就是说校正点与多眼摄像头的距离变得越大，摄像头参数的误差对测距点的测距误差的影响会变得越大。然而，如上所述的权重wt能够减轻测距误差对评价值j的作用偏向于在远处的校正点可能产生的相对大的测距误差的作用更大的状况。由此，能够获得抑制了由校正点的进深引起的影响的评价值j。

[实施方式6]

对实施方式6涉及的摄像头校正装置进行说明。实施方式6涉及的摄像头校正装置的构成与实施方式5是同样的，实施方式6涉及的摄像头校正装置的工作的一部分与实施方式5不同。具体而言，在实施方式5中，将合并测距点时所使用的权重wt设成了对视角对应长度除以校正点的进深而得到的值，但在实施方式6中，将权重wt设为对视角对应长度除以校正点的进深的平方而得到的值。以下，以与实施方式5的不同之处为中心对实施方式6进行说明。

参照图16，其示出了表示实施方式6涉及的摄像头校正装置的工作的流程的一例的流程图。实施方式6涉及的摄像头校正装置进行摄像头参数算出处理s350。摄像头参数算出处理s350除了取代步骤s345而包含步骤s355的处理之外，与实施方式5的是同样的。而且，在步骤s355中，测距位置算出部106基于在步骤s303中算出的视角对应长度，算出将在步骤s304中算出的校正点的多个测距点合并所形成的合并点的三维坐标，算出校正点的测距位置。这时，测距位置算出部106使用下记的式10所示的权重wt作为应用到算出合并点的三维坐标的上述式3中的权重wt。式10中的权重wt是将与各摄像头对对应的视角对应长度除以校正点的进深的平方而得到的值。式11的lk与式10的相同。此外，权重wt也可以进行标准化以使得与各校正点有关的权重的总和成为1。

如上所述的权重wt比实施方式5更能够降低测距点的测距误差对评价值j的贡献偏于在远处的校正点可能产生的相对大的测距误差这一情况。由此，通过实施方式6涉及的摄像头校正装置，能够获得比实施方式5更抑制了由校正点的进深引起的影响的评价值j。

[实施方式7]

对实施方式7涉及的摄像头校正装置进行说明。实施方式7涉及的摄像头校正装置的构成与实施方式1是同样的，实施方式7涉及的摄像头校正装置的工作的一部分与实施方式1不同。具体而言，在实施方式7中，采用了在实施方式1、4以及6中将测距点合并时所使用的权重wt的组合。也就是说，在实施方式7中，对权重wt使用了视角对应长度、平均再投影误差以及校正点的进深的平方。以下，以与实施方式1、4以及6的不同之处为中心对实施方式7进行说明。

参照图17，其示出了表示实施方式7涉及的摄像头校正装置的工作的流程的一例的流程图。实施方式7涉及的摄像头校正装置进行摄像头参数算出处理s360。摄像头参数算出处理s360除了取代步骤s305等而包含步骤s365的处理之外，与实施方式1～6是同样的。而且，在步骤s365中，测距位置算出部106基于在步骤s303中算出的视角对应长度，算出将在步骤s304中算出的校正点的多个测距点合并所形成的合并点的三维坐标，并算出校正点的测距位置。这时，测距位置算出部106使用下述的式12所示的权重wt作为应用于算出合并点的三维坐标的上述的式3的权重wt。式12中的权重wt是将与各摄像头对对应的视角对应长度除以实施方式4所记载的平均再投影误差εt和实施方式6所记载的校正点的进深的平方而得到的值。式12的lk与式11的相同。此外，权重wt也可以以使与各校正点有关的权重的总和变为1的方式标准化。

通过使用如上所述的权重wt，实施方式7涉及的摄像头校正装置能够降低摄像头间的性能差对测距精度的影响以及校正点的进深对测距误差的影响，并能够进行在摄像头的视野整体的准确校正。

[其他]

以上，基于实施方式说明了本公开的一个或者多个技术方案涉及的摄像头校正装置等，但本公开的技术不限定于这些实施方式。只要不偏离本公开的宗旨，将本领域技术人员想到的各种变形应用于本实施方式而得到的方式、和将不同的实施方式中的构成要素组合而构建的方式也可以包含在本公开的一个或者多个技术方案的范围内。

例如，实施方式1～7中所使用的测距点的权重w不限定于向各实施方式的应用。也可以将实施方式1～7中所使用的各种测距点的权重w适当组合来作为测距点的权重。这种测距点的权重能够协同地实现各实施方式中的测距点的权重的效果。

另外，在实施方式1～7中，说明了对四眼的多眼摄像头进行校正的事例，但实施方式涉及的摄像头校正装置能够适用于能提取两对以上的摄像头的任何多眼摄像头。也就是说，实施方式涉及的摄像头校正装置能够适用于三眼以上的多眼摄像头。

另外，在实施方式1～7中，将多眼摄像头中的校正对象的摄像头设成了广角摄像头，但实施方式涉及的摄像头校正装置也可以应用于任何视野角的摄像头的校正。通过采用使用视角对应长度的加权，在窄角的摄像头的校正中，实施方式涉及的摄像头校正装置也能够进行遍及摄像头的视野角整体的高精度校正。

另外，如上所述，本公开的技术既可以通过系统、装置、方法、集成电路、计算机程序或计算机可读取的记录盘等记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序和记录介质的任意组合来实现。计算机可读取的记录介质例如包括cd-rom等非易失性记录介质。

例如，上述实施方式涉及的摄像头校正装置所包含的各处理部典型地作为集成电路即lsi(largescaleintegration：大规模集成电路)而实现。它们既可以分别地单片化，也可以包括一部分或全部地单片化。

另外，集成电路化不限于lsi，也可以使用专用电路或通用处理器实现。也可以利用能够在lsi制造后编程的fpga(fieldprogrammablegatearray：现场可编程门阵列)、或者能够重构lsi内部的电路单元的连接、设定的可重构处理器。

此外，在上述实施方式中，各构成要素既可以用专用的硬件构成，也可以通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过cpu(centralprocessingunit：中央处理单元)或者处理器等程序执行部将记录于硬盘或者半导体存储器等记录介质的软件程序读出并执行来实现。

另外，上述构成要素的一部分或全部也可以由可拆装的ic(integratedcircuit)卡或单体的模块构成。ic卡或者模块是由微处理器、rom(readonlymemory，只读存储器)、ram等构成的计算机系统。ic卡或者模块也可以包括上述的lsi或者系统lsi。通过使微处理器按照计算机程序工作，ic卡或者模块实现其功能。这些ic卡以及模块可以具有防篡改性能。

本公开的摄像头校正方法也可以通过mpu(microprocessingunit)、cpu、处理器、lsi等电路、ic卡或者单体的模块等来实现。

再者，本公开的技术既可以通过软件程序或者由软件程序构成的数字信号来实现，也可以是记录有程序的非瞬时性的计算机可读取的记录介质。另外，毫无疑问也能够经由互联网等传送介质使上述程序流通。

另外，上述所使用的序数、数量等数字全部是用于具体地说明本公开的技术而示例的，本公开不限制于示例出的数字。另外，构成要素间的连接关系是用于具体地说明本公开的技术而示例的，实现本公开的功能的连接关系不限定于此。

另外，框图中的功能模块的分割仅为一例，也可以将多个功能模块作为一个功能模块来实现，或将一个功能模块分割为多个，或将一部分功能移至其他功能模块。另外，也可以为，单一的硬件或者软件并行或者分时地处理具有类似功能的多个功能模块的功能。

本公开的摄像头校正装置等对三眼以上的任何多眼摄像头的摄像头参数的算出是有用的。