专利名称：图像校正装置、校正图像生成方法、校正表生成装置的制作方法
技术领域：
本发明涉及能够减少或消除鱼眼图像等校正后的图像中的不协调感的图像校正装置等的技术。
背景技术：
近年，在以监视摄像机以及可视门铃为主的一些应用领域中，存在想将较大的视野范围的影像全看到的迫切期望。因此，在光学系统中采用鱼眼镜头、对水平视场角180度程度的范围进行拍摄的视频摄像机等被实用化。但是，在使用这些机器拍摄的图像中，一般被拍摄体空间中的直线较大弯曲地呈现，因此存在想对拍摄的图像实施用于将弯曲程度降低的几何校正的要求。在鱼眼镜头中，由于其设计方针的不同，而存在等距离投影方式、等立体角投影方式、正投影方式等各种投影方式。但是，无论是哪种投影方式，在校正后的图像中如果应表现的视场角小于180度，则通过使用透视变换，基于设计值或者通过现有技术推断的所需要的参数和投影模式，能够将使用鱼眼镜头拍摄的图像(以下称为“鱼眼图像”。)中的直线的弯曲完全地校正。图18(a)以及图19(a)表示鱼眼图像的例子。图18(a)是对纸制筒进行拍摄的图像，图19(a)是对入口厅进行拍摄的图像。此外，图18(b)以及图19(b)分别表示使用透视变换将这些鱼眼图像以较大地确保左右方向的视场角的方式校正的例子。如这些校正例所示那样，使用了透视变换的校正结果，虽然以应成为直线的部分成为直线的方式校正，但是图像的周边部被极端地拉伸而远近感被强调，成为不协调感较大的图像。这是由于在校正结果的图像中所表现的视场角、 与看该图像时的视场角较大地不同而产生的。作为为了解决该问题而提出的技术，存在专利文献1所记载的技术。专利文献1 所记载的技术为，使用将分别为大致平面的正面和左右面平滑地连接的筒面，以在确保在左右方向上超过180度的视场角的同时，在上下方向上延伸的直线状的被拍摄体和朝向光轴的直线状的被拍摄体分别视为直线的方式进行校正。专利文献1 日本特开2008-311890号公报然而，在专利文献1所公开的技术中，在输出图像的中心部分和左右端部分的中间附近，横向的直线急剧弯曲，因此例如在被拍摄体在摄像机前横穿那样的情况下，存在感觉到不协调感的问题。
发明内容
因此，本发明是鉴于上述问题而进行的，其课题为提供能够将校正后的图像中的不协调感减少或消除的图像校正装置、校正图像生成方法、校正表生成装置、校正表生成方法、校正表生成程序以及校正图像生成程序。其目的为，例如，对图18(a)的鱼眼图像进行校正而得到图18(d)那样的校正结果，或者对图19 (a)的鱼眼图像进行校正而得到图19(c)那样的校正结果。为了解决上述课题，本发明的图像校正装置是对输入图像进行几何校正而生成校正图像的图像校正装置，其特征在于，具备图像输入部，输入上述输入图像；图像存储部， 存储上述输入图像；校正表存储部，存储为了对上述输入图像进行几何校正而使用的校正表；几何校正部，基于上述校正表对上述图像存储部所存储的上述输入图像进行几何校正； 以及图像输出部，将由上述几何校正部校正的上述输入图像作为上述校正图像进行输出； 上述校正表如下生成基于第二投影中心位置，计算与上述校正图像上的各像素位置相对应的被拍摄体空间中的光线方向矢量，基于上述光线方向矢量计算原点基准光线方向矢量，将与上述原点基准光线方向矢量相对应的上述输入图像上的位置计算为提取位置，将上述提取位置与上述校正图像的像素位置赋予对应，由此生成上述校正表；上述第二投影中心位置在与上述输入图像相对应的光轴的方向上位于上述被拍摄体空间中的上述输入图像的投影中心位置即第一投影中心位置的后方；上述原点基准光线方向矢量是表示从上述第一投影中心位置开始、与上述像素位置相对应的被拍摄体空间中的对应点存在于哪个方向的矢量。此外，“校正表”的含义是“校正信息”。发明效果根据本发明，能够减轻或消除鱼眼图像等的校正后的图像中的不协调感。
图1是对本发明的图像校正装置的构成进行说明的图。图2是示意地表示本发明的校正表的一个例子的图。图3是表示本发明的图像校正装置的几何校正部的动作的流程图。图4是表示本发明第一实施方式的校正表生成装置的构成的框图。图5是对本发明第一实施方式的用于使输出图像的像素坐标和输入图像的坐标对应的坐标系变换进行说明的图，(a)是表示输出图像的坐标系的图。(b)是表示对输出图像的ν轴方向进行了校正的中间图像的坐标系的图。图6是对本发明第一实施方式的用于使输出图像的像素坐标和输入图像的坐标对应的坐标系变换进行说明的图，(a)是对用于基于圆筒面来求得光线方向矢量的坐标系变换进行说明的图。(b)是表示输入图像的坐标系的图。图7是对用于基于圆筒面来求得光线方向矢量的坐标系变换进行说明的图。图8是表示本发明第一实施方式的校正表生成装置的动作的流程图。图9是表示本发明第一实施方式的校正表生成装置的后退位置基准光线方向计算部的动作的流程图。图10是表示本发明第一实施方式的校正表生成装置的校正表修正部的动作的流程图。图11是表示本发明第二实施方式的校正表生成装置的构成的框图。图12是对本发明第二实施方式的用于使输出图像的像素坐标和输入图像的坐标对应的坐标系变换进行说明的图，(a)是表示输出图像的坐标系的图。(b)是表示经度纬度坐标系的图。
图13是对本发明第二实施方式的用于使输出图像的像素坐标和输入图像的坐标对应的坐标系变换进行说明的图，(a)是表示用于基于经度、校正纬度以及圆筒面来求得光线方向矢量的坐标系的图。(b)是表示输入图像的坐标系的图。图14是用于对本发明第二实施方式的被拍摄体空间中的直线在输出图像上弯曲的情况和不弯曲的情况进行说明的图。图15是对本发明第二实施方式的校正表生成装置的校正纬度计算部在校正纬度时使用的函数进行说明的图。图16是表示本发明第二实施方式的校正表生成装置的动作的流程图。图17是表示本发明第二实施方式的校正表生成装置的后退位置基准光线方向计算部的动作的流程图。图18是表示对鱼眼图像(输入图像)使用了以往技术以及本发明的结果的图， (a)是表示鱼眼图像(输入图像)的图。(b)是对(a)的鱼眼图像(输入图像)使用以往技术即透视变换进行了校正的结果的校正图像(输出图像)的一个例子。(c)是对(a)的鱼眼图像(输入图像)使用本发明的结果的校正图像的一个例子，在第一实施方式中，是不进行校正表校正处理的情况的例子。(d)是使用了本发明的结果的校正图像(输出图像) 的一个例子。图19是表示对鱼眼图像(输入图像)使用了以往技术以及本发明的结果的图， (a)是表示鱼眼图像(输入图像)的图。(b)是对(a)的鱼眼图像(输入图像)使用以往技术即透视变换进行了校正的结果的校正图像(输出图像)的一个例子。(c)是使用本发明的结果的校正图像(输出图像)的一个例子。符号说明10图像校正装置11图像输入部12图像存储部13几何校正部14图像输出部15校正表存储部16校正表更新部17、17a、17A重取样表(校正表)20、20A校正表生成装置21经度纬度计算部22校正纬度计算部23、23A后退位置基准光线方向计算部M、24A原点基准光线方向计算部25提取位置计算部26提取位置登录部27校正表修正部30图像生成装置40图像显示装置
0第一投影中心位置Q第二投影中心位置51圆筒面
具体实施例方式<第一实施方式>以下，参照图1 图10对本发明第一实施方式进行说明。如图1所示那样，图像校正装置10获取鱼眼图像等输入图像，对该图像进行校正， 将校正图像作为输出图像输出。图像生成装置30生成图像数据并向图像校正装置10供给。在本实施方式中，以图像生成装置30为具备圆周鱼眼镜头的数字视频摄像机的情况为例进行说明，该圆周鱼眼镜头为水平视场角以及垂直视场角都为180度那样的等距离投影方式。图像显示装置40是对由图像校正装置10校正的校正图像(输出图像)进行显示的显示器等。校正表生成装置20生成在图像校正装置10的后述的校正表存储部15中储存的校正表17。校正表生成装置20例如由个人计算机构成。校正表生成装置20在生成了校正表17之后，在几何校正部13实施使用了该校正表17的几何校正处理之前，将该校正表17向图像校正装置10发送。此外，在不需要进行校正表17的更新的情况、即与校正表17的生成有关的参数未变更的情况下，校正表生成装置20在将生成的校正表17向图像校正装置10发送之后，能够与图像校正装置10脱离。[图像校正装置10的构成]如图1所示那样，图像校正装置10具备图像输入部11、图像存储部12、几何校正部13、图像输出部14、校正表存储部15以及校正表更新部16。图像输入部11读入从图像生成装置30供给的输入图像，并写入图像存储部12。 读入的输入图像的各像素的像素值，是对每个基准色(在本实施方式中为R、G、B这3种) 取从“0”到“255”的256个整数值中的一个值那样的、被数字化的值。来自图像生成装置30的输入图像的读入，使用与图像生成装置30的构成相对应的接口来实施即可，例如，在从图像生成装置30作为模拟信号供给输入图像的情况下，成为具备A/D变换器的构成即可，在通过USB (Universal Serial Bus)接口等作为数字信号供给输入图像的情况下，成为具备与其相对应的接口的构成即可。图像存储部12对从图像生成装置30供给的输入图像整体进行储存，具有至少能够储存输入图像的2个画面量的容量大小的存储器(RAM :Random Access Memory)。图像存储部12将1个画面量用于从图像输入部11写入，将剩余1个画面量用于从几何校正部 13读出，一边按每1个画面交替功能一边使用。几何校正部13基于后述的校正表存储部15所储存的校正表17，对图像存储部 12所储存的输入图像进行几何校正，将进行几何校正的结果即输出图像(校正图像)对图像输出部14输出。几何校正部13例如由FPGA(Field Programmable Gate Array)或 ASIC (Application Specific IntegratedCircuit)构成。此外，该几何校正部 13 进行的处
7理的详细将在后面详细说明(参照图3)。图像输出部14将从几何校正部13输出的输出图像(校正图像)变换为适当的影像信号，对图像显示装置40输出。例如，在图像显示装置40构成为对模拟影像信号进行显示的情况下，成为具备D/A变换器的构成即可。校正表存储部15预先对后述的校正表17进行存储，例如是能够改写的非易失性存储器。校正表更新部16对从校正表生成装置20发送的校正表17进行接收而储存到校正表存储部15，与校正表生成装置20侧的接口相配合，成为具备例如USB接口或IEEE1394 接口等的构成即可。校正表17对于几何校正部13输出的输出图像(校正图像)的各个像素定义参照图像存储部12所存储的输入图像(鱼眼图像)上的哪个像素来决定这些像素的像素值。在本实施方式中，作为校正表17，使用重取样表、具体地说“相对于几何校正部13输出的输出图像的各个像素，将表示与这些像素相对应的图像存储部12所存储的输入图像上的二维坐标值的固定小数点数的组(x，y)赋予对应的表”。校正表17在通过后述(参照图8至图 10)的方法由校正表生成装置20生成后，通过校正表更新部16向校正表存储部15储存。重取样表(校正表)17，例如图2所示那样，将输出图像上的像素坐标(u，v)与输入图像上的坐标(X，y)赋予对应。图2是u轴方向的像素数为640像素、ν轴方向的像素数为480像素的情况下的重取样表(校正表)17的例子。此外，u、v为整数，但x、y不一定为整数。此外，在与输出图像上的像素坐标(u，ν)赋予对应的输入图像上的坐标(x，y)成为输入图像范围外的坐标的情况下，预先将预定的例外值、例如(_1，-1)等值与(u，v)赋予对应而储存。[图像校正装置10的几何校正部13的动作]接下来，参照图3 (构成适当地参照图1)对图像校正装置10的几何校正部13的动作进行说明。首先，前提为在图像存储部12中存储有输入图像、在校正表存储部15中存储有重取样表(校正表)17。如图3的流程图所示那样，在步骤Si，几何校正部13将计数器的N的值设为“0”。在步骤S2，几何校正部13决定与输出图像的第N个像素的坐标(u，ν)相对应的输入图像上的坐标(x，y)。具体地说，首先，几何校正部13将计数器的N的值除以输出图像的u轴方向的像素数而得到的商设为ν值、将余数设为u值(即、在u轴方向的像素数为“B”的情况下，N = ν·Β+ιι)，计算输出图像上的像素坐标(U，V)。接下来，几何校正部13基于重取样表(校正表)17，决定与输出图像上的像素坐标(u，ν)相对应的输入图像上的坐标(x，y)。在步骤S3，几何校正部13基于决定的输入图像上的坐标(X，y)，计算输出图像的第N个像素的像素值。具体地说，例如，基于输入图像上的坐标(X，y)，对每个基准色(换句话说每个RGB)，通过使用了输入图像上的四个附近像素的像素值的双线形插补，决定输出图像的像素值即可。此外，在输出图像的像素值计算中，也可以使用双三次插补等其他的现有技术。此外，几何校正部13在不存在与输入图像上相对应的坐标值的情况、即基于重取样表(校正表)17决定的输入图像上的坐标(X，y)为预定的例外值的情况下，将该输出图像的像素值设为例外值，例如设为“黑”即(R，G，B) = (0，0，0)。在步骤S4，几何校正部13判断是否对于输出图像的全部像素的像素值计算结束。在判断为对于输出图像的全部像素的像素值计算结束了的情况下(步骤S4 是)， 几何校正部13结束几何校正处理。另一方面，在判断为输出图像的像素中存在像素值计算未结束的像素的情况下 (步骤S4 否)，几何校正部13将计数器的N的值加“1” (步骤SQ。然后，返回步骤S2继续处理。在判断是否对于输出图像的全部像素的像素值的计算结束时，通过对计数器的N 的值与输出图像的像素数进行比较来进行判断即可。[校正表生成装置20的构成]如图4所示那样，校正表生成装置20具备后退位置基准光线方向计算部23、原点基准光线方向计算部对、提取位置计算部25、提取位置登录部沈以及校正表修正部27。此外，在本实施方式中，对通过校正表修正部27对由提取位置登录部沈输出的重取样表(校正表)17a进行修正、将修正的重取样表(校正表)17进行输出的方式进行说明。 在不需要对重取样表(校正表)进行修正时，不需要校正表修正部27的构成，代替以下说明的中间图像而直接生成输出图像来处理即可。后退位置基准光线方向计算部23计算与中间图像上的像素坐标(u，ν')相对应的被拍摄体空间中的光线方向矢量，作为后述的后退位置基准光线方向矢量(X'，V， V )。在此，所谓中间图像，相当于使用进行校正表修正处理之前的重取样表(校正表)17a、在图像校正装置10中对输入图像进行校正并输出的情况下的图像。后退位置基准光线方向计算部23通过如下(1)式，根据中间图像上的像素坐标 (u, ν')，计算后退位置基准光线方向矢量(X' ,V，Z')。公式1
r X' = τ· η θ
7'=Θ)
w
Zr = r-cos θ
<
其中
r= 1 ，6 = ^ 1 - cos Θw... (1)式由此，根据图5(b)所示的中间图像的Uv'坐标系，将坐标系向图6(a)所示的 X' Y' Z'坐标系进行变换。在此，图5(b)的0〃(u。，v'。)为中间图像的中心位置的坐标。w为用于将u轴方向的比例尺正规化的常量，被设定为与U。的值相等。此外，为了确保输出图像以及中间图像整体中的比例尺的匹配性，也用于ν轴方向以及ν'轴方向的比例尺的正规化。
此外，如图6(a)所示那样，Θ相当于按照后退位置基准的半视场角，是作为设计值而预先赋予的值。P2(u，v')被向后退位置基准光线方向矢量QKl (X' ,Y' ,V )变换。 Kl是圆筒面51上的点。此外，如此变换的理由后述。原点基准光线方向计算部M根据后退位置基准光线方向矢量(X'，Y'，Z')，计算原点基准光线方向矢量(Χ，γ，ζ)。原点基准光线方向计算部M通过如下(2)式，计算原点基准光线方向矢量(Χ，Υ，Ζ)。公式2
权利要求
1.一种校正表生成装置，生成用于对输入图像进行几何校正而生成校正图像的校正表，具备后退位置基准光线方向计算部，基于第二投影中心位置，计算与上述校正图像上的各像素位置相对应的被拍摄体空间中的光线方向矢量，该第二投影中心位置在与上述输入图像相对应的光轴的方向上位于第一投影中心位置的后方，该第一投影中心位置是上述被拍摄体空间中的上述输入图像的投影中心位置；原点基准光线方向计算部，基于上述光线方向矢量，计算原点基准光线方向矢量，该原点基准光线方向矢量是表示与上述像素位置相对应的被拍摄体空间中的对应点相对于上述第一投影中心位置存在于哪个方向的矢量；提取位置计算部，计算与上述原点基准光线方向矢量相对应的上述输入图像上的位置，来作为提取位置；以及提取位置登录部，将上述提取位置与上述校正图像的像素位置赋予对应地登录至上述校正表。
2.一种图像校正装置，对输入图像进行几何校正而生成校正图像，具备 图像输入部，输入上述输入图像；图像存储部，存储上述输入图像；校正表存储部，存储用于对上述输入图像进行几何校正的校正表； 几何校正部，基于上述校正表对上述图像存储部所存储的上述输入图像进行几何校正；以及图像输出部，将由上述几何校正部校正的上述输入图像作为上述校正图像输出； 上述校正表如下生成基于第二投影中心位置，计算与上述校正图像上的各像素位置相对应的被拍摄体空间中的光线方向矢量，该第二投影中心位置在与上述输入图像相对应的光轴的方向上位于第一投影中心位置的后方，该第一投影中心位置是上述被拍摄体空间中的上述输入图像的投影中心位置，基于上述光线方向矢量，计算原点基准光线方向矢量， 该原点基准光线方向矢量是表示与上述像素位置相对应的被拍摄体空间中的对应点相对于上述第一投影中心位置存在于哪个方向的矢量，计算与上述原点基准光线方向矢量相对应的上述输入图像上的位置，来作为提取位置，将上述提取位置与上述校正图像的像素位置赋予对应，由此生成上述校正表。
3.一种图像校正装置，对输入图像进行几何校正而生成校正图像，具备 图像输入部，输入上述输入图像；图像存储部，存储上述输入图像；几何校正部，基于第二投影中心位置，计算与上述校正图像上的各像素位置相对应的被拍摄体空间中的光线方向矢量，该第二投影中心位置在与上述输入图像相对应的光轴的方向上位于第一投影中心位置的后方，该第一投影中心位置是上述被拍摄体空间中的上述输入图像的投影中心位置，基于上述光线方向矢量，计算原点基准光线方向矢量，该原点基准光线方向矢量是表示与上述像素位置相对应的被拍摄体空间中的对应点相对于上述第一投影中心位置存在于哪个方向的矢量，计算与上述原点基准光线方向矢量相对应的上述输入图像上的位置，来作为提取位置，基于上述图像存储部所存储的输入图像和上述提取位置，来决定上述校正图像的各像素的像素值；以及图像输出部，输出由上述几何校正部决定了各像素的像素值的上述校正图像。
4.一种校正表生成方法，是生成用于对输入图像进行几何校正而生成校正图像的校正表的校正表生成装置中的校正表生成方法，包括后退位置基准光线方向计算步骤，上述校正表生成装置的后退位置基准光线方向计算部基于第二投影中心位置，计算与上述校正图像上的各像素位置相对应的被拍摄体空间中的光线方向矢量，该第二投影中心位置在与上述输入图像相对应的光轴的方向上位于第一投影中心位置的后方，该第一投影中心位置是上述被拍摄体空间中的上述输入图像的投影中心位置；原点基准光线方向计算步骤，上述校正表生成装置的原点基准光线方向计算部基于上述光线方向矢量，计算原点基准光线方向矢量，该原点基准光线方向矢量是表示与上述像素位置相对应的被拍摄体空间中的对应点相对于上述第一投影中心位置存在于哪个方向的矢量；提取位置计算步骤，上述校正表生成装置的提取位置计算部计算与上述原点基准光线方向矢量相对应的上述输入图像上的位置，来作为提取位置；以及提取位置登录步骤，上述校正表生成装置的提取位置登录部将上述提取位置与上述校正图像的像素位置赋予对应地登录至上述校正表。
5.一种校正图像生成方法，是对输入图像进行几何校正而生成校正图像的图像校正装置中的校正图像生成方法，包括图像输入步骤，上述图像校正装置的图像输入部输入上述输入图像；图像存储步骤，上述图像校正装置的图像存储部存储上述输入图像；几何校正步骤，上述图像校正装置的几何校正部基于第二投影中心位置，计算与上述校正图像上的各像素位置相对应的被拍摄体空间中的光线方向矢量，该第二投影中心位置在与上述输入图像相对应的光轴的方向上位于第一投影中心位置的后方，该第一投影中心位置是上述被拍摄体空间中的上述输入图像的投影中心位置，基于上述光线方向矢量，计算原点基准光线方向矢量，该原点基准光线方向矢量是表示与上述像素位置相对应的被拍摄体空间中的对应点相对于上述第一投影中心位置存在于哪个方向的矢量，计算与上述原点基准光线方向矢量相对应的上述输入图像上的位置，来作为提取位置，基于上述图像存储步骤中存储的输入图像和上述提取位置，来决定上述校正图像的各像素的像素值；以及图像输出步骤，上述图像校正装置的图像输出部输出由上述几何校正步骤决定了各像素的像素值的上述校正图像。
6.一种校正表生成程序，用于使计算机执行权利要求4记载的校正表生成方法。
7.一种校正图像生成程序，用于使计算机执行权利要求5记载的校正图像生成方法。
全文摘要
本发明提供一种图像校正装置、校正图像生成方法、校正表生成装置，减少或消除校正后的图像的不协调感。图像校正装置具备基于校正表对输入图像进行几何校正的几何校正部，校正表基于在与输入图像相对应的光轴的方向上位于被拍摄体空间中的输入图像的投影中心位置即第一投影中心位置的后方的第二投影中心位置，计算与输出图像上的各像素位置相对应的被拍摄体空间中的光线方向矢量，基于光线方向矢量计算表示从第一投影中心位置开始、与像素位置相对应的被拍摄体空间中的对应点存在于哪个方向的矢量即原点基准光线方向矢量，计算与原点基准光线方向矢量相对应的输入图像上的位置作为提取位置，并将提取位置与输出图像的像素位置赋予对应。
文档编号H04N1/387GK102469254SQ20111027966
公开日2012年5月23日 申请日期2011年9月20日 优先权日2010年10月29日
发明者浜田达藏, 皆川刚 申请人:日立信息通讯工程有限公司