校正鱼眼镜头图像畸变的方法
【专利摘要】本发明提供一种校正鱼眼镜头图像畸变的方法，其采用主光轴、空间物点的主光线、虚拟投影物面、第一个光学表面、鱼眼镜头、像面、第i个光学表面、第i+1个光学表面与最后一个光学表面，虚拟投影物面垂直于鱼眼镜头的主光轴，像面是鱼眼镜头的成像面，垂直于主光轴，空间物点的主光线经过虚拟投影物面、鱼眼镜头的第一个光学表面、第i个光学表面、第i+1个光学表面，最后达到像面，第一个光学表面为鱼眼镜头第一个透镜的第一个光学表面，第i个光学表面、第i+1个光学表面分别为鱼眼镜头的第i光学表面与第i+1个光学表面；空间物点的主光线经过虚拟投影物面，交于虚拟投影物面上。本发明可以获取物像径向高度关系，利用该关系对畸变图像进行校正，校正效果理想，方法简单，原理清晰，可很好应用于很多领域。
【专利说明】
校正鱼眼镜头图像畸变的方法
技术领域
[0001] 本发明涉及畸变图像处理技术领域，特别是涉及一种校正鱼眼镜头图像畸变的方 法。
【背景技术】
[0002] 在监控、军事、医疗智能导航等领域，有大视场甚至超大视场角的需求，常规视场 角已经不能满足现在这些领域的要求，鱼眼镜头视场角能达到180°、270°甚至320°。但是鱼 眼镜头摄像机拍摄的图像具有非常严重的畸变，如果要利用这些具有严重变形图像的信 息，就需将这些变形图像校正展开为人们所习惯的透视投影图像。不同光学结构的镜头适 合于不同的矫正模型，通常为不同类型鱼眼镜头来选择适合的矫正模型比较困难，模型较 复杂;应用标定的方法校正鱼眼图像畸变，需要制定精确的标定板以及对镜头与相机的内、 外部参数进行标定，过程相对繁琐。
【发明内容】
[0003] 本发明所要解决的技术问题是提供一种校正鱼眼镜头图像畸变的方法，其可以获 取物像径向高度关系，利用该关系对畸变图像进行校正，校正效果理想，方法简单，原理清 晰，可很好应用于很多领域。
[0004] 本发明是通过下述技术方案来解决上述技术问题的：一种校正鱼眼镜头图像畸变 的方法，其特征在于，其采用主光轴、空间物点的主光线、虚拟投影物面、第一个光学表面、 鱼眼镜头、像面、第i个光学表面、第i + Ι个光学表面与最后一个光学表面，虚拟投影物面垂 直于鱼眼镜头的主光轴，像面是鱼眼镜头的成像面，垂直于主光轴，空间物点的主光线经过 虚拟投影物面、鱼眼镜头的第一个光学表面、第i个光学表面、第i+Ι个光学表面，最后达到 像面，第一个光学表面为鱼眼镜头第一个透镜的第一个光学表面，第i个光学表面、第i+Ι个 光学表面分别为鱼眼镜头的第i光学表面与第i+Ι个光学表面;空间物点的主光线经过虚拟 投影物面，交于虚拟投影物面上，坐标为P"（X"，y"），空间物点经过鱼眼镜头成像后，在像面 X' 〇 ' y '上对应像点P'（X'，y '）； 一般切向畸变要比径向畸变小得，往往可以忽略切向畸变对 图像的影响，仅研究径向畸变给鱼眼图像带来的变形，因此J1 = Q2;利用空间物点的主光线 追迹获取luifao)关系，其中Iu为像面上像点径向高度0'P'，h Q为像面上像点径向高度0" P"；利用傅里叶正弦级数进行函数拟合，再求反函数求得hoifHlu),然后利用该关系进行 像素点坐标映射求解，得到校正后图像像素点坐标，达到校正的目的，i为自然数，代表序 数。
[0005] 优选地，所述虚拟投影物面中，空间物点在虚拟投影物面上投影点P"（X"，y"），虚 拟投影物面上投影点径向距离是目标求取的距离。
[0006] 优选地，所述校正鱼眼镜头图像畸变的方法利用空间物点P(XQ，yQ)的主光线追迹 的方式获取物像径向关系hi = f (ho)。
[0007] 优选地，所述校正鱼眼镜头图像畸变的方法获取物像径向高度关系之后利用傅里 叶正弦级数拟合该关系曲线。
[0008] 优选地，所述校正鱼眼镜头图像畸变的方法获取物像径向高度关系之后利用求反 函数获取目标径向高度表达式hoZfllu)。
[0009] 优选地，所述校正鱼眼镜头图像畸变的方法利用该关系hoifHlu)进行像素点的 校正。
[0010]本发明的积极进步效果在于:本发明可以获取物像径向高度关系，利用该关系对 畸变图像进行校正，校正效果理想，方法简单，原理清晰，可很好应用于很多领域。本发明利 用主光线追迹的方式获取物像径向高度关系，从而进行鱼眼镜头图像畸变校正。本发明利 用主光线追迹的方式获取虚拟投影物面与像面上物像径向高度关系，利用傅里叶正弦级数 拟合与反演方法求得目标无畸变图像像素点坐标与畸变图像像素点坐标对应关系，从而进 行畸变校正。提出虚拟投影物面这一概念，将物体的真实空间位置进一步转化为投影在虚 拟投影的物面上面;这样就可以获得虚拟投影物面与像面之间的径向高度的关系;然后利 用上述关系可以获得投影平面与像平面像素坐标点之间的对应关系，然后进行畸变校正。 该方法具有有效性，径向高度误差控制在一定范围内，拍摄鱼眼镜头畸变图像能达到较好 的校正效果，能促进鱼眼镜头在目标识别、大视场监控等机器视觉领域的应用。
【附图说明】
[0011] 图1为本发明校正鱼眼镜头图像畸变的方法的鱼眼镜头成像模型图。
[0012] 图2为本发明校正鱼眼镜头图像畸变的方法中主光线经过第i与第i+Ι个光学表面 示意图。
[0013] 图3为本发明校正鱼眼镜头图像畸变的方法中主光线经过第一个光学表面示意 图。
[0014] 图4是为本发明校正鱼眼镜头图像畸变的方法中主光线经过最后一个光学表面示 意图。
[0015] 图5是为本发明校正鱼眼镜头图像畸变的方法目标无畸变图像像素点与畸变图像 像素点坐标对应示意图。
【具体实施方式】
[0016] 下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明 本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各 种等价形式的修改均落于本申请所附权利要求所限定的范围。
[0017] 如图1-图5所示，本发明校正鱼眼镜头图像畸变的方法采用主光轴1、空间物点P (X〇，yo)的主光线2、虚拟投影物面3、第一个光学表面4、鱼眼镜头5、像面6、第i个光学表面8、 第i+Ι个光学表面9,虚拟投影物面3垂直于鱼眼镜头5的主光轴1，像面6是鱼眼镜头的成像 面且垂直于主光轴，空间物点P( XQ，yo)的主光线2经过鱼眼虚拟投影物面3、第一个光学表面 4、第i个光学表面8、第i+Ι个光学表面9，最后达到像面6，第一个光学表面4为鱼眼镜头第一 个透镜的第一个光学表面，第i个光学表面8、第i+Ι个光学表面9分别为鱼眼镜头的第i光学 表面8与第i+Ι个光学表面9。空间物点Ρ( Μ，μ)的主光线2经过虚拟投影面，交于虚拟投影物 面3(即x"o"y"）上，坐标为产（^，/'），空间物点经过鱼眼镜头成像后，在成像平面^ 〇\'上 对应像点P'（X'，y'）。一般切向畸变要比径向畸变小得，往往可以忽略切向畸变对图像的影 响，仅研究径向畸变给鱼眼图像带来的变形，S1代表虚拟投影物面上投影点极坐标角度，θ2 代表像面上投影点的角度，因此J1 = Q2c3利用空间物点p(XQ，yQ)的主光线2追迹获取1η = ?· (ho)关系，其中Iu为像面上像点径向高度0'P'，h〇为像面上像点径向高度0"Ρ"。利用傅里叶 正弦级数进行函数拟合，再求反函数求得hoirHlu),然后利用该关系进行像素点坐标映 射求解。i为自然数。
[0018]下面是具体实现物像像素点坐标关系的推导：
[0019] 在图2中，主光线Mi-iOiOi+i交第i个面于Oi,第i+Ι个面于0 i+1;光线0i0i+1的反向延长 线交光轴于Mi点。其中Ci为第i个光学表面的曲率中心，Di为第i个面与对称轴交点。O iMi和光 轴的夹角为《i，光轴逆时针旋转到OiMi角度符号规定为正，反之为负。第i个光学面的入射 角和折射角分别为^和队，由法线逆时针转到光线时角度规定为正，反之为负。光学系统中 第i个面的半径用η表示，曲率中心在光学面顶点的右侧时，^规定为正，反之为负。
[0020] 在图2所示的AMiOiCi中，如下式（1)和(2):
[0021]
[0022]
[0023] (4)：
[0024]
[0025]
[0026]
[0027]
[0028] 从第一个光学面开始，应用主光线传输方程表达式(3)-(5)对鱼眼镜头系统中的 光学面逐个进行计算，直到求出最后光学面的像方视场角W 1，结果就可以得到0^与COQj1 与ω〇之间的关系，如下式(6):
[0029] ωι = ?ι(ω〇),βι = ?2(ω〇) (6)
[0030] 设虚拟物平面距离第一个光学面顶点的距离为do,虚拟物点Ρ"距离光轴的径向位 置为ho，如图3所不，如下式(7):
[0031] ho= (LP( ω〇)+do)tanω〇 (7)
[0032] Lp(W)是定义视场角为ω〇时主光线的初始入射位置，主光线能通过光路中孔径光 阑的中心，一般L t^o)可以应用自孔径光阑处逆向追迹主光线的过程来确定。
[0033] 图4表示主光线通过鱼眼镜头最后光学面，并在像面上相交于像点Ρ'，其中Cl1为像 距，hi为像高，最后光学面的曲率半径为ri，Ci是它的曲率中心，Di是它与光轴的交点。在Λ MiOiCi中，有如下式(8):
[0034]
(8)
[0035] 像点的径向位置hi的计算表达式如下式(9):
[0036]
(9)
[0037] 由表达式(6)、（7)和(9)，就可以求出像点的径向位置Iu和虚拟物面上物点的径向 位置ho的函数关系式如下式(10):
[0038] hi = f(ho) (10)
[0039] 得到上述像点的径向位置Iu和虚拟物面物点的径向位置ho的函数关系式（10)后， 求得它的反函数为如下式(11):
[0040] ht^f-Hhi) (11)
[0041] 从而还原出真实物点在虚拟物面上的的径向分布。在图1中，有限远平面物体成像 后，要反演像平面x'o'y'上某一成像点？'（1'，7'），先要将直角坐标转换为极坐标，如下式 (12)：
[0042] (12)
[0043] 由表达式（11)求出对应虚拟物点P"在虚拟物面X" 〇" y"的径向坐标ho，其直角坐标 投影坐标P"（X"，y"）为如下式（13):
[0044]
(13)
[0045] 虚拟物面上的坐标点即为校正图像的目标获取点，坐标点P'（x'，y'）与P"（x"，y"） 分别对应畸变图像与校正后图像像素点的值。校正后的P"（X"，y"）像素点的值通过表达式 (13)映射到与之对应的像素点P'（x'，y'）赋值，实现校正图像像素的填充。
[0046]在图5中，畸变过程的逆过程就是像素点校正过程，校正后的P"（x"，y"）像素点的 值通过表达式(13)映射到与之对应的像素点P'（x'，y'）赋值，实现校正图像像素的填充。径 向高度之间的函数关系始终是本文研究的重点。目的就是找到像点的径向位置Iu和虚拟物 面物点的径向位置ho的函数关系，Iu = ^ho),特可以通过数值拟合来得到，其中数值拟合需 要按照像点的径向位置Iu和虚拟物面物点的径向位置ho的函数关系，Iu = ^ho),图像曲线 的分布情况而定，其目的就是减小误差。
[0047]所述虚拟投影物面中，物点P(XQ，yQ)在其上面的点产（^，/'），其径向距离是目标 求取的距离。
[0048]所述校正鱼眼镜头图像畸变的方法利用主光线追迹的方式获取物像径向关系Iu =f (ho) 〇
[0049] 所述校正鱼眼镜头图像畸变的方法获取物像径向高度关系Iu = ^ho)之后利用傅 里叶正弦级数拟合。
[0050] 所述校正鱼眼镜头图像畸变的方法获取物像径向高度关系之后Iu = ^ho)利用求 反函数获取目标径向高度表达式hoifHlu)。
[0051] 所述校正鱼眼镜头图像畸变的方法利用该关系进行像素点的校正。
[0052] 本发明的校正鱼眼镜头图像畸变的方法解决从鱼眼畸变图像中获取重要信息部 分，将畸变部分校正成符合人眼观察的图像。最大限度减少校正的算法复杂度，本发明公开 一种利用主光线追迹的方式获取虚拟投影物面与像面上物像径向高度关系，方法简单，只 需要各个光学表面的半径、光学元件之间的距离以及物距像距和每个光学元件的折射率这 几个参数，利用主光线追迹的方式获取物像径向高度关系曲线，利用傅里叶正弦级数拟合 与反演方法求得目标无畸变图像像素点坐标与畸变图像像素点坐标对应关系，从而进行畸 变校正。该方法具有有效性，径向高度误差控制在一定范围内，拍摄鱼眼镜头畸变图像能达 到较好的校正效果。能促进鱼眼镜头在目标识别、大视场监控等机器视觉领域的应用。本发 明可以获取物像径向高度关系，利用该关系对畸变图像进行校正，校正效果理想，方法简 单，原理清晰，可很好应用于很多领域。本发明针对现有技术存在的问题和不足，解决从鱼 眼畸变图像中获取重要信息部分，将畸变部分校正成符合人眼观察的图像。最大限度减少 校正的算法复杂度，本发明公开一种利用空间物点P( XQ，yQ)的空间物点P(XQ，yQ)的主光线 追迹的方式获取虚拟投影物面与像面上物像径向高度关系，利用傅里叶正弦级数拟合与反 演方法求得目标无畸变图像像素点坐标与畸变图像像素点坐标对应关系，从而进行畸变校 正，方法简单，只需要各个光学表面的半径、光学元件之间的距离以及物距像距和每个光学 元件的折射率这几个参数，利用空间物点P( XQ，yQ)的主光线追迹便能得到物像径向高度关 系，能获得很好的校正效果。现有问题主要是鱼眼镜头摄像机拍摄的图像具有非常严重的 畸变，如果要利用这些具有严重变形图像的信息，就需将这些变形图像校正展开为人们所 习惯的透视投影图像。不同光学结构的镜头适合于不同的矫正模型，通常为不同类型鱼眼 镜头来选择适合的矫正模型比较困难，模型较复杂，应用标定的方法校正鱼眼图像畸变，需 要制定精确的标定板以及对镜头与相机的内、外部参数进行标定，过程相对繁琐。
[0053]本领域的技术人员可以对本发明进行各种改型和改变。因此，本发明覆盖了落入 所附的权利要求书及其等同物的范围内的各种改型和改变。
【主权项】
1. 一种校正鱼眼镜头图像畸变的方法，其特征在于，其采用主光轴、空间物点的主光 线、虚拟投影物面、第一个光学表面、鱼眼镜头、像面、第i个光学表面、第i+ι个光学表面与 最后一个光学表面，虚拟投影物面垂直于鱼眼镜头的主光轴，像面是鱼眼镜头的成像面，垂 直于主光轴，空间物点的主光线经过虚拟投影物面、鱼眼镜头的第一个光学表面、第i个光 学表面、第i+Ι个光学表面，最后达到像面，第一个光学表面为鱼眼镜头第一个透镜的第一 个光学表面，第i个光学表面、第i+Ι个光学表面分别为鱼眼镜头的第i光学表面与第i+Ι个 光学表面;空间物点的主光线经过虚拟投影物面，交于虚拟投影物面上，坐标为P' '（X' '， 7''），空间物点经过鱼眼镜头成像后，在像面1'〇\'上对应像点？'（1'，7'）；一般切向畸变 要比径向畸变小得，往往可以忽略切向畸变对图像的影响，仅研究径向畸变给鱼眼图像带 来的变形，因此利用空间物点的主光线追迹获取In = f (h〇)关系，其中lu为像面上 像点径向高度〇'P'，h〇为像面上像点径向高度0' 'P' 利用傅里叶正弦级数进行函数拟合， 再求反函数求得ho = rHlu)，然后利用该关系进行像素点坐标映射求解，得到校正后图像 像素点坐标，达到校正的目的，i为自然数，代表序数。2. 根据权利要求1所述的校正鱼眼镜头图像畸变的方法，其特征在于，所述虚拟投影物 面中，空间物点在虚拟投影物面上投影点P' '（X' '，y' '），虚拟投影物面上投影点径向距离 是目标求取的距离。3. 根据权利要求1所述的校正鱼眼镜头图像畸变的方法，其特征在于，所述校正鱼眼镜 头图像畸变的方法利用空间物点的主光线追迹的方式获取物像径向关系lu = f (h〇)。4. 根据权利要求1所述的校正鱼眼镜头图像畸变的方法，其特征在于，所述校正鱼眼镜 头图像畸变的方法获取物像径向高度关系之后利用傅里叶正弦级数拟合该关系曲线。5. 根据权利要求1所述的校正鱼眼镜头图像畸变的方法，其特征在于，所述校正鱼眼镜 头图像畸变的方法获取物像径向高度关系之后利用求反函数获取目标径向高度表达式ho = f-Hhi)。6. 根据权利要求1所述的校正鱼眼镜头图像畸变的方法，其特征在于，所述校正鱼眼镜 头图像畸变的方法利用该关系ho = rHlu)进行像素点的校正。
【文档编号】G06T3/00GK105844584SQ201610163879
【公开日】2016年8月10日
【申请日】2016年3月19日
【发明人】侍业, 吕丽军, 吴学伟, 田林, 曹青, 曹一青, 侯国柱
【申请人】上海大学