专利名称：一种多镜头实时全景成像系统的制作方法
技术领域：
本发明涉及全景成像技术领域，尤其涉及一种多镜头实时全景成像系统。
背景技术：
全景成像系统在经济、科技、军事、商业等各领域具有广泛的应用。这种系统成像 信息量大，特别适合用于各类监视器中。现有的全景成像系统主要有五种实现方式第一种是单个光学系统实现超半球凝视成像，其典型的光学系统是鱼眼透镜系 统，如图1所示，这是一种可见光波段鱼眼透镜，具有200度的视场角，整个系统由8组10 片透镜组组成，结构相当复杂，并且由于其不可避免的大畸变，边缘视场的分辨率相对于中 心视场会大大下降，设计成本较高，加工难度较大。第二种是非球面反射面前置全景成像，如图2所示，这是一种采用非球面反射面 作为前置元件的全景成像系统，利用前置非球面减小轴外光线的入射角度，再使用通常的 光学系统成像。这种方式的缺点在于对于图像传感器位置之后的空间无法成像，存在中心盲区。第三种是圆柱平面投影的环带成像，如图3所示，这种系统可以实现360度环带 成像，通过传感器的拼接可获得高分辨图像，但是镜头中心是一个反射面，视场存在中心盲 区。第四种是多镜头阵列全景成像，这种系统利用多个镜头构成阵列实现全景成像， 能成像的空间范围由镜头的排列方式决定。图4是一种环形排列的全景无缝摄像机(专利 号ZL 200720112359. 3)，可实现360°环带范围内的全景图像，但无法实现对摄像机顶部 和底部视觉盲区的景物成像。第五种是单镜头扫描全景成像，这种系统利用高分辨小视场的单个摄像头扫描全 景空间，然后将扫描得到的图像进行拼接和成像。但是，当目标移动很快时，就有可能在监 视过程中遗漏重要目标，扫描瞬时存在盲区，而且图像拼接算法速度较慢。基于边缘检测的传统图像拼接方法是基于对图像信息的提取，对两幅存在信息重 叠的图像进行边缘检测和匹配，然后完成拼接，这种方法适用于高分辨率小视场情况下的 图像拼接，而对于大视场明显畸变情况下边缘检测算法则有局限性。这种方法需要对图像 中的每个像素点的信息进行提取并处理，因此运算速度较慢。
发明内容
本发明针对传统全景成像系统结构复杂，存在视场盲区，图像处理速度慢等缺点，提供了一种多镜头实时全景成像系统，采用正多面体方式安装多个镜头，同时对空间各个 方向进行成像，克服视场盲区，图像拼接不采用传统特征检测方法，运行速度快，实现实时 全景成像。一种多镜头实时全景成像系统，包括光学成像单元、图像处理单元、全景图像显示 单元；
所述的光学成像单元包括由上盖和底座构成的球形外壳，正多面体支架内接于球形外壳，正多面体支架与底座上的支柱用螺钉连接并固定，正多面体支架的各面心处设有 一个镜头和一个图像传感器，球型外壳上开有与镜头数目相同的镜头孔，每个镜头孔处设 有镜头盖，用于保护镜头。图像传感器通过USB数据线与USB集线器的一端相连接，USB集 线器的另一端通过USB数据线与图像处理单元传输数据。所述的镜头的光轴与其所在正多面体支架的面心到正多面体支架的体心连线重 合，所有镜头的光轴相交于正多面体支架的体心，这些镜头具有相同的视场角，该视场角大 于正多面体支架一个面的外接圆直径对正多面体支架体心的张角，这个张角是使得相邻两 个镜头所摄的图像内容出现交叠的最小视场角，即当镜头的视场角大于这个最小视场角 时，相邻两个镜头所摄的图像内容出现交叠，该成像单元采集到若干幅圆形图像，并通过图 像传感器将这些图像传送给图像处理单元。所述的图像处理单元接收光学成像单元采集到的多幅圆形图像，首先判断镜头是 否已定标，如果未定标，则先对镜头定标。使用OpenCV的图形学算法对镜头进行定标操作， 得到圆形图像的视场中心坐标、图像直径N和畸变矫正多项式系数，根据畸变矫正多项式 系数对图像进行畸变矫正，接着将每幅圆形图像裁剪成所需的正多边形图像，此正多边形 图像的边长L由下式确定<formula>formula see original document page 4</formula>其中，N是镜头采集到的圆形图像直径，α是正多面体支架一个面的外接圆直径 对正多面体支架体心的张角，θ是镜头的视场角，η是正多面体支架一个面的边数。由于镜 头排布的空间对称性，只需对一个镜头进行定标操作，所得到的参数可以运用到其他图像， 加快了系统处理图像的速度。然后按照镜头排布的空间位置关系将裁剪得到的多幅正多边形图像拼接成一幅 无缝平面图像，传送到全景图像显示单元，最终由全景图像显示单元通过球面透视投影的 方法显示在半球视图中，得到实时全景图像。本发明由于采用了镜头按照正多面体排布的方式，可以对空间内各个方向都进行 成像，从而在图像处理和拼接时可以不采用传统基于图像边缘特征检测的方法，直接采取 图像裁剪的方式完成图像拼接，大大提高了图像处理速度，同时消除了视场盲区，其成像单 元也不需要结构复杂的光学镜头，普通镜头即可实现全景成像的要求，有效降低成本。
图1是可见光波段鱼眼透镜；图2是采用非球面反射面作为前置元件的全景成像系统原理图；图3是全景环带凝视成像系统的光路图；图4是在专利ZL 200720112359. 3中公开的一种全景无缝显示摄像机；图5是本发明一种实施方式支架与底座的立体结构示意图；图6是图5所示实施方式中光学成像单元的剖面图7是图5所示实施方式中最小视场角的示意图；图8是本发明图像处理的流程图；图9是本发明中图像处理单元的程序流程图。
具体实施例方式以下结合
本发明的一种实施方式一种多镜头实时全景成像系统包括光学成像单元、图像处理单元、全景图像显示单元。如图5、6所示，光学成像单元包括由上盖2和底座3构成的球型外壳1，在底座3 上安装内接于球型外壳1的正六面体支架4，其边长为12cm，正六面体支架4与底座3上的 支柱5用螺钉连接并固定，在正六面体支架4的各面心处安装镜头6，镜头6的后面设有图 像传感器7，球型外壳1上开有与镜头数目相同的镜头孔8，每个镜头孔8处设置镜头盖，用 于保护镜头6。镜头6的光轴与其所在正六面体支架4的面心到正六面体支架4的体心连线重 合，且所有镜头6的光轴相交于正六面体支架4的体心，这六个镜头6具有相同的视场角， 该视场角大于正六面体支架4 一个面的外接圆直径对正六面体支架4体心的张角。如图7 所示，这个角为正六面体体心P与一个面外接圆直径d的两端点C、D之间连线的夹角α， 为109. 5°，R为正六面体外接球半径。在本实施例中，所采用的镜头4的视场角均为135°，大于此时的最小视场角 109. 5°，可以保证采集到的图像有重叠区域，有效覆盖全空间。如图8所示，所述的图像传感器7通过USB数据线与USB集线器的一端相连接， USB集线器的另一端通过USB数据线与图像处理单元传输数据。本实施例对图像的处理过 程为光学成像单元的六个镜头6采集到六幅圆形图像，通过图像传感器7、USB集线器、 USB数据线将六路视频信号传送给图像处理单元。图像处理单元接收这六幅图像，每帧图像 的像素大小为1024X768，帧频为5fps。如图9所示，图像处理单元在接收六路视频数据之后，首先判断镜头6是否已定 标，如果没有定标，则先对镜头6进行定标。对其中一幅图像运用OpenCV的图形学算法，得 到其视场中心坐标(即视场中心在图像像素坐标系中的坐标)、图像直径、畸变矫正多项式 系数。由于镜头6在排布上具有空间对称性，则只需对一个图形进行操作，所得到的参数可 以运用到其他图像中，这也加快了图像处理的速度。接着，根据定标得到的畸变矫正多项式系数对图像矫正畸变像差。然后对图像进 行裁剪，得到正方形的图像，这个正方形的中心坐标即为视场中心坐标，其边长L由下式确 定
<formula>formula see original document page 5</formula>其中，N是圆形图像的直径，为988ρχ，α为109.5°，θ是镜头6的视场角135°，η为正方形的边数4，可以算得裁剪得到的正方形边长为409ρχ，圆形图像被裁剪掉的部分即为相邻两个镜头6对空间景物拍摄的重合部分。 然后，按照镜头6之间的空间位置关系，将裁剪得到的六幅正方形图像直接拼接， 得到关于周围环境的一幅无缝平面图像，将这幅平面图像传送给全景图像显示单元，最终 由全景图像显示单元通过球面透视投影的方法将这幅平面图像显示在半球视图中，得到实 时的全景图像。
权利要求
一种多镜头实时全景成像系统，包括采集图像的光学成像单元、对光学成像单元所采集的图像进行裁剪拼接处理的图像处理单元和显示处理后图像的全景图像显示单元，其特征在于，所述的光学成像单元包括一个正多面体支架(4)，正多面体支架(4)的各面心处设有一个镜头(6)。
2.如权利要求1所述的多镜头实时全景成像系统，其特征在于，所述的各面心处的镜 头(6)的光轴与其所在正多面体支架(4)的面心到正多面体支架(4)的体心连线重合，且 所有镜头(6)的光轴相交于正多面体支架(4)的体心。
3.如权利要求1所述的多镜头实时全景成像系统，其特征在于，所述的各面心处的镜 头(6)具有相同的视场角，该视场角大于正多面体支架(4) 一个面的外接圆直径对正多面 体支架(4)体心的张角。
4.如权利要求1所述的多镜头实时全景成像系统，其特征在于，所述的光学成像单元 包括由上盖(2)和底座(3)构成的球形外壳(1)，正多面体支架(4)内接于球形外壳(1)， 正多面体支架(4)与底座(3)上的支柱(5)连接并固定。
5.如权利要求1所述的多镜头实时全景成像系统，其特征在于，所述的球型外壳(1)上 开有与镜头(6)数目相同的镜头孔(8)，每个镜头孔(8)处设有镜头盖。
6.如权利要求1所述的多镜头实时全景成像系统，其特征在于，所述的各镜头(6)后 面设有一个图像传感器(7)，图像传感器(7)通过USB数据线与USB集线器的一端相连接， USB集线器的另一端通过USB数据线与图像处理单元传输数据。
7.如权利要求1所述的多镜头实时全景成像系统，其特征在于，所述的图像处理单元 接收光学成像单元采集到的多幅圆形图像，将每幅圆形图像裁剪成所需的正多边形图像， 此正多边形图像的边长L由下式确定<formula>formula see original document page 2</formula>其中，N是光学成像单元采集到的圆形图像直径，α是正多面体支架(4) 一个面的外 接圆直径对正多面体支架(4)体心的张角，θ是镜头(6)的视场角，η是正多面体支架(4) 一个面的边数；接着，按照镜头(6)排布的空间位置关系将裁剪得到的多幅正多边形图像拼接成一幅 无缝平面图像，传送到全景图像显示单元，最终由全景图像显示单元通过球面透视投影的 方法显示在半球视图中，得到实时全景图像。
全文摘要
本发明公开了一种多镜头的实时全景拼接成像系统，包括光学成像单元、图像处理单元和全景图像显示单元构成，光学成像单元包括正多面体支架和安装于正多面体支架各面心处的镜头和图像传感器，镜头的光轴与其所在的正多面体支架面心到正多面体支架体心的连线重合，并相交于正多面体支架的体心，图像处理单元接受光学成像单元采集到的多幅圆形图像，采用图像定标、裁剪、拼接方法将多幅图像合并成一幅图像，最终由全景图像显示单元通过球面透视投影的方法显示在半球视图中。本发明提高了图像处理速度，消除了视场盲区，其成像单元不需要结构复杂的光学镜头，普通镜头即可实现全景成像的要求，有效降低成本。
文档编号G03B37/04GK101825840SQ201010164788
公开日2010年9月8日 申请日期2010年5月6日 优先权日2010年5月6日
发明者岑兆丰, 徐涛, 李晓彤, 杨泱, 金伟伟, 陈立 申请人:浙江大学