专利名称：仿复眼视觉的动目标快速定位及全景图同步获取装置及方法
技术领域：
本发明涉及一种仿复眼视觉的动目标快速定位及全景图同步获取装置及方法，属 于视觉系统技术领域。
背景技术：
能够实现对运动目标的测量与跟踪以及对周边环境的快速感知的具有大视野范 围的相关装置研制是机器视觉的基础，具有广泛的应用前景，尤其在智能机器人研究领域 中具有重大意义。传统的视觉传感器研究主要包括单目、双目视觉系统单目视觉系统普遍 丢失了空间目标的三维信息，对于还原的三维空间位置准确度较低；双目视觉主要通过视 差来确定目标的空间位置，准确度较高，但是计算量大，实时性较差。但是昆虫的复眼视觉 系统具有快速、准确的确定猎物的方位和速度，并跟踪拦截的能力，具有灵敏度高、分辨率 高、视场大等特点。复眼的视觉机制和能力对发展高速全景的低成本机器视觉具有重要的 启示作用。2D-复眼视觉结构已用于信用卡上人脸面部识别系统(Duparre et al.， AppliedOptics, August 2004，pp 4303-4310，vol. 43，No. 22)，通过采用具有平行光轴 的平面透镜阵列来获取大视场内的外界环境信息。这样的设计结构可以通过多种方式进 行制造(见专禾U US7700904、US7501610、US7453056、US7297926、US6236748、US6967779、 US7106529B2)，但2D-复眼结构的设计限制了视觉系统的视野范围。3D-复眼视觉结构的设计(见专利US7376314、US6140648、US7672058)能够弥补 2D-复眼视觉系统视野范围的不足，可以形成大视角的全景图，视角甚至可以扩大到360° 范围；Reininge等(专利US7587109B》依据复眼生物学原理——复眼的结构可以分为重叠 型复眼(具有高灵敏度)与并列型复眼(具有高分辨率)，设计了 “重叠_并列”型3D-复 眼结构，以使系统具有高的灵敏度和高分辨率通过在混合光纤的物镜端安置重叠型和并 列型透镜阵列，在另一端采用反射板控制使光线通过并列型透镜阵列聚焦到图像传感器 上，获得单一、大视野范围内的正像；3D-复眼视觉系统，其视觉特性优势不仅在于能够获 得更大视场的环境信息，更体现在其对视野内的动目标的快速定位、测速能力——昆虫并 列型复眼具有对动目标的高灵敏度和图像重构的高分辨率等独特优势(具体见Luke P. Lee etal.，Science,310(1148-1150))ο但对于空间运动目标的快速检测和定位的方法，在专利CN200710175865中介绍 了通过对多个视角的视频图像进行前景检测，得到二值前景图像；根据所述二值前景图像， 建立空间场模型，在所述空间场模型中进行三维重建，得到运动目标的三维重建结果；对所 述三维重建结果进行分析，在空间场中检测并定位运动目标，得到运动目标的空间位置；根 据所述运动目标的空间位置，向各视角投影，确定多个视角间运动目标的对应关系，具有处 理遮挡能力强、运算速度快等特点。上述的对空间运动目标的快速检测和定位方法，以上方 法存在着数字图像处理量大且计算的实时性差等不足，无法形成具有大视场的全景图像。
发明内容
发明目的本发明的目的在于提供一种通过对区域图像进行运动检测，结合目标 定位和图像拼接算法，就可以快速获得运动目标和大视场背景全景图的仿复眼视觉的运动 目标高速定位及全景图同步获取装置及方法。—种仿复眼视觉的运动目标高速定位及全景图同步获取装置，其特征在于由半球 型角度定位罩、光纤望远镜系统阵列、镜头转接环、高速摄像机、图像处理器、数据处理器、 显示器组成；上述半球型角度定位罩上均勻分布着N个用于确定光纤望远镜单系统视轴方 向的定位孔，其中半球型定位罩的半径为L，定位孔的直径为d，任意两相邻定位孔的中心 轴线间的水平夹角为α，垂直方向夹角为Υ ；上述光纤望远镜系统阵列由N个光纤望远镜 单系统构成，每个光纤望远镜单系统均由安装于半球型角度定位罩的定位孔中的物镜、与 物镜相连的光纤、与光纤相连的目镜组成；上述物镜的视角为2 β ；述光纤望远镜单系统的 视轴方向与定位孔的轴心方向的重合；上述高速摄像机通过镜头转接环与N个目镜连接， 获得外界环境的数字图像；将上述高速摄像机获得的数字图像，通过图像处理器实现对数 字图像信息的处理；上述数据处理器的输入端与上述图像处理器的输出端相连获取数字信 号并实现数据的处理。以半球型角度定位罩球心为原点，建立球面坐标系，上述Y表示以 原点为顶点、Z轴为轴的两圆锥面(以下称为锥面)间的夹角，上述α表示过Z轴的半平面 (以下称为圆周面)上两光纤望远镜单系统间的夹角；上述参数满足以下关系式arctan(d/ L)<a,y<2^< 180°。根据以上所述的特点，采用光纤望远镜单系统阵列来模拟复眼，与传统单孔径摄 像机系统相比较，具有更广的视角范围，可按照需要可实现360°视角；通过高速摄像机 CCD同步采集与图像处理器对图像信息的运动检测，来模拟复眼光感受器的功能，生成具有 “0”、“1”特征的矩阵，减小信息量的传递；采用数字处理器模拟昆虫对信息处理的大脑的功 能，结合设定的位置函数，实现目标的快速定位；本发明从结构和对信息的处理机制上模拟 昆虫复眼结构和神经机制，获得同步性好，数据处理量低和实时处理能力强的视觉传感器 装置；利用上述装置的仿复眼视觉的运动目标高速定位及全景图同步获取方法，其特征 在于包括以下步骤步骤1 装置结构内外参数的标定步骤1-1 结构中符号名词的解释在球面坐标系内，定义Z轴正方向为零度角；锥面的编号依次从半球型角度定位 罩的顶端从上到下编号；每个锥面上的光纤望远镜单系统阵列，从X轴正方向按照逆时针 顺序依次编号；将光纤望远镜单系统按照以上顺序依次记录在矩阵Sij中，其中i表示光纤 望远镜单系统所在的锥面，j表示光纤望远镜单系统所在的圆周面中的位置；矩阵中，有 光纤望远镜单系统的对应位置的元素用“_1”表示，其余用“0”表示；矩阵％中所对应的光 纤望远镜单系统的位置与其在在高速摄像机CXD的成像区域一一对应；Iii表示在锥面i中同时观察到相同动目标的光纤望远镜单系统的数目；Pi、qi表示 在锥面i上同时观察到动目标的光纤望远镜单系统最小、最大编号；a i表示在锥面i中两 光纤望远镜单系统视轴间夹角；P(D(Qi，β，L，ni，K)，θ (a PPyqi, w，u，K))表示通过锥面i光纤望远镜单系统组合方式获得的目标的空间位置；w，U表示同时观察到相同动目标的 锥面的最大层和最小层；Yi表示锥面i与锥面i_l间的夹角；其中i = 1，2，...，1 ;1表示 按照系统的需要设计的锥面的最大数；K表示同时观察到动目标的锥面数，其中0 < K < I ；区域图像光纤望远镜单系统在所对应的CXD区域上单独形成的图像区域；步骤1-2 通过双目摄像机标定法，获得锥面i上两光纤望远镜单系统视轴间的夹 角α”两锥面间的夹角Yi以及光纤望远镜单系统的内参数；步骤1-3 在光纤望远镜单系统以及定位结构确定后，就可以对空间位置区域在 球面坐标系下进行空间划分；在球面坐标系中，由于同时被相同数量光纤望远镜单系统观察到的区域只存在角 度上的差别，被不同数量摄像机观察到的区域只存在视轴方向上半径的差别；且被同时观 察到的空间区域可以唯一的通过光纤望远镜单系统的数目和不同的组合方式表示；根据上 述原理，在同一锥面上光纤望远镜单系统的组合方式唯一的决定了空间中的特定区域，就 可以通过采用包含光纤望远镜单系统组合方式未知量的方程来表示与坐标系原点的最近 距离，通过几何运算，可获得在球面坐标系下与锥面i相关的目标的空间位置
L{sm\{-\)a H 色-IM -风⑶啪-恥]I,
{H㈣-恥-对} O^ai, Pl,qt) =
A χ(A + 仏)/2,仏 Kipia1
χ (P1 + qt ~
2π a,
)Ι2Αι>2βΙαι综合所有锥面中获得的目标空间位置，得到动目标在球面坐标系下与所有锥面相 关的空间位置 P (D(、，β，L，ni，K)，θ (Qi,Pi, qi，w，u，K))，其中
D(at, β, L, 足)=去玄 A K，β, L, nr)
Λ ,= ,
去知㈣，凡⑷水平方向上夹角
Σ &垂直方向上的夹角α β，L已知，未知量叫，W, U，K，Pi, Qi可以通过下述步骤3_1中对矩阵的处理
获得；步骤2 利用光纤望远镜系统阵列结构模拟复眼的“小眼”阵列，通过高速相机(6) 获得通过“小眼”成像的图像序列；步骤3 实现对动目标的定位、测速步骤3-1 矩阵aij信号的采集与处理运动检测采用背景消除法结合差分运动分析法判断图像序列中帧图像的光纤望 远镜单系统对应的区域图像中是否有运动目标，将检测到运动的区域图像所对应矩阵 中对应位置元素填“ 1 ”表示，否则为“0” ；
数据处理器将矩阵中值为“ 1，，的元素与邻近元素存在“8-邻域”关系的，定义这 些具有“8-邻域”关系、值为“1”的元素同属于一个连通集，即认为该系列光纤望远镜系统 集合中发现的为同一运动目标，否则为不同目标；将矩阵通过上述关系进行处理，将具 有连通集的元素赋值到三维矩阵Maxbx。中，其中矩阵Maxb中包含了某一动目标某时刻的空 间位置，C表示该帧图像中所具有的运动目标的数目；参数叫，Pi, Qi, w, u，K可以通过对矩 阵Maxbx。的分析获得；步骤3-2运动目标的定位、测速，上述步骤3-1阐述了针对帧图像中动目标信息的处理，通过以上处理可以获得在 某时刻t目标的空间位置；将步骤3-1中获得未知量I^Pyqi, w，u，K代入P (D(、，β，L， ni;K), θ (QijPijqijW5UjK))中就可以得到动目标的径向分量νη和圆周分量ωη代表的 空间位置；Vn指目标为沿视轴方向的运动的径向分量；ωη指目标为沿圆周方向运动的角分
量采用以上对帧图像中目标的定位方法对图像序列进行处理，就可以获得目标的运 动速度；运动目标的速度可分解为沿视轴方向的半径分量\和沿圆周方向的角分量ωη ；通 过不同时刻获得的目标空间位置，计算出运动目标的速度ωη = Δ θ /At = [ θ (t2)_ θ U1)]/At ；νη = ΔΡ/Δ = -[P(t2)-P(t2)]/At ；运动目标的角速度、速度为矢量，角速度约定沿逆时针方向运动为正方向，沿顺时 针方向运动为负方向；径向速度约定沿轴向探测器方向运动为正方向，反之为负方向；步骤4 利用图像处理器⑶对获取的帧图像中的区域图像的矫正、剪切和拼接获 得大视场的全景图。根据上述步骤1-3的描述，由于同时被相同数量光纤望远镜单系统观察到的区域 只存在角度上的差别，被不同数量摄像机观察到的区域只存在视轴方向上半径的差别；且 被同时观察到的空间区域可以唯一的通过光纤望远镜单系统的数目和不同的组合方式表 示；与以往的双目视觉对运动目标的定位方法比较，该方法在系统硬件确定后，获得某时刻 动目标空间位置的方程式P (D(、，i3，L，ni，K)，θ (、，？1，^，11，1())，并将方程式存储 在数字处理器中，在对目标进行定位时，只需将权利要求3步骤3-1中处理得到的未知量代 入方程中，就可以获得目标的空间位置；数据处理量小，提高目标定位的实时处理速度；根据步骤3-1的描述，首先通过背景消除法结合差分运动分析法判断图像序列中 每帧图像区域中是否有运动目标，将检测到运动的图像区域所对应矩阵中；其次通过数 据处理器，将矩阵aij中元素通过“8-邻接”连通域方法赋值到三维矩阵Maxbx。中，通过对 矩阵Maxbxc的处理获得参数叫，Pi，qi; w，u，K ；通过“8-邻接”连通域的方法处理矩阵aij来判断各光纤望远镜单系统获得的目标 的相似关系，避免采用以往的目标的颜色、轮廓等相似度特征的数字图像处理方法，具有信 息处理量小，运算速度快，且满足本发明所需的对运动目标是否为同一运动目标的判断的 要求。上述步骤4所述实现对大视场图像的拼接方法，其特征在于上述步骤2中所述大 视场的全景图是由以下方法生成的
透镜的焦距f，目标物体与相机的距离D，半球型定位罩的半径L，单个光纤望远镜 系统在CXD上的成像区域为WXH像素，W为长，H为宽，透镜的视角夹角一半β，以及视轴 中心线在水平方向的夹角α"垂直方向的夹角为Yi;通过对区域图像的剪切和拼接获得 大视场全景图像；在水平方向两端的剪切量为
权利要求
1.一种仿复眼视觉的运动目标高速定位及全景图同步获取装置，其特征在于 由半球型角度定位罩(1)、光纤望远镜系统阵列、镜头转接环(5)、高速摄像机(6)、图像处理器(8)、数据处理器(9)、显示器(10)组成；上述半球型角度定位罩(1)上均勻分布着N个定位孔，其中半球型定位罩的半径为L， 定位孔的直径为d，任意两相邻定位孔的中心轴线间的水平夹角为α，垂直方向夹角为γ ； 上述光纤望远镜系统阵列由N个光纤望远镜单系统构成，每个光纤望远镜单系统均由 安装于半球型角度定位罩(1)的定位孔中的物镜O)、与物镜相连的光纤(3)、与光纤相连 的目镜(4)组成；上述物镜( 的视角为2 β ；上述光纤望远镜单系统的视轴方向与定位孔 的轴心方向的重合；上述高速摄像机(6)通过镜头转接环( 与N个目镜(4)连接，获得外界环境的数字 图像；将上述高速摄像机(6)获得的数字图像，通过图像处理器(8)实现对数字图像信息的 处理；上述数据处理器(9)的输入端与上述图像处理器(8)的输出端相连获取数字信号并 实现数据的处理；以半球型角度定位罩球心为原点，建立球面坐标系，上述Y表示以原点为顶点、Z轴为 轴的两圆锥面(以下称为锥面)间的夹角，上述α表示过Z轴的半平面(以下称为圆周面) 上两光纤望远镜单系统间的夹角；上述参数满足以下关系式arctan(d/L) < α, γ <2β < 180° 。
2.根据权利要求1仿复眼视觉的运动目标高速定位及全景图同步获取装置的仿复眼 视觉的运动目标高速定位及全景图同步获取方法，其特征在于包括以下步骤步骤1 装置结构内外参数的标定 步骤1-1 结构中符号名词的解释在球面坐标系内，定义Z轴正方向为零度角；锥面的编号依次从半球型角度定位罩的 顶端从上到下编号；每个锥面上的光纤望远镜单系统阵列，从X轴正方向按照逆时针顺序 依次编号；将光纤望远镜单系统按照以上顺序依次记录在矩阵中，其中i表示光纤望远 镜单系统所在的锥面，j表示光纤望远镜单系统所在的圆周面中的位置；矩阵^^中，有光纤 望远镜单系统的对应位置的元素用“_1”表示，其余用“0”表示；矩阵中的元素位置根据 所对应的光纤望远镜单系统的关系与其在高速摄像机CCD的成像区域一一对应；Hi表示在锥面i中同时观察到相同动目标的光纤望远镜单系统的数目；Pi、qi表示在锥 面i上同时观察到动目标的光纤望远镜单系统最小、最大编号；α i表示在锥面i中两光纤 望远镜单系统视轴间夹角；P(D(ai，β , L, ni; K), θ (ai7 Pi, Qi, w, u, K))表示通过锥面i 光纤望远镜单系统组合方式获得的目标的空间位置；w，u表示同时观察到相同动目标的锥 面的最大层和最小层；Yi表示锥面i与锥面i_l间的夹角；其中i = 1，2，...，1 ;1表示按 照系统的需要设计的锥面的最大数；K表示同时观察到动目标的锥面数，其中0 < K < I ； 区域图像光纤望远镜单系统在所对应的CXD区域上单独形成的图像区域； 步骤1-2 通过双目摄像机标定法，获得锥面i上两光纤望远镜单系统视轴间的夹角 a i，两锥面间的夹角Yi以及光纤望远镜单系统的内参数；步骤1-3 在光纤望远镜单系统以及定位结构确定后，就可以对空间位置区域在球面 坐标系下进行空间划分；在球面坐标系中，由于同时被相同数量光纤望远镜单系统观察到的区域只存在角度上的差别，被不同数量摄像机观察到的区域只存在视轴方向上半径的差别；且被同时观察到 的空间区域可以唯一的通过光纤望远镜单系统的数目和不同的组合方式表示；根据上述原 理，在同一锥面上光纤望远镜单系统的组合方式唯一的决定了空间中的特定区域，就可以 通过采用包含光纤望远镜单系统组合方式未知量的方程来表示与坐标系原点的最近距离，通过几何运算，可获得在球面坐标系下与锥面i相关的目标的空间位置 DM β ^ni)=D= !(1[他 ~1)a' _lM]+sin[4-W^2 | 严1 吨 ]-[叙-H -^cosU -驷]})2
3.根据权利要求2所述仿复眼视觉的运动目标高速定位及全景图同步获取方法，其特 征在于上述步骤4中所述大视场的全景图是由以下方法生成的透镜的焦距f，目标物体与相机的距离D，半球型定位罩的半径L，单个光纤望远镜系统 在CXD上的成像区域为WXH像素，W为长，H为宽，透镜的视角夹角一半β，以及视轴中心 线在水平方向的夹角α”垂直方向的夹角为Yi;通过对区域图像的剪切和拼接获得大视 场全景图像；在水平方向两端的剪切量为
全文摘要
本发明涉及一种仿复眼视觉的动目标快速定位及全景图同步获取装置及方法，属于视觉系统技术领域。该视觉传感器设备主要包括半球型角度定位罩，光纤望远镜系统，高速摄像机、图像处理器以及数字处理器。半球型角度定位罩用于控制光纤传像束物镜端视轴中心线之间的夹角；光线经过物镜、光纤束、目镜，在高速摄像机CCD上成像；利用图像处理器对图像中各区域图像进行运动检测及全景图的拼接；利用数字处理器处理矩阵M并结合位置函数获得动目标的空间位置；最后综合上述方法处理摄像机获得图像序列，得到大视场全景连续图像以及大视场中动目标的实时空间位置和运动速度。此发明具有视场大、实时定位能力强等优点，在视觉导航领域有广泛应用前景。
文档编号G01C11/00GK102081296SQ201010567489
公开日2011年6月1日 申请日期2010年12月1日 优先权日2010年12月1日
发明者戴振东, 邢强 申请人:南京航空航天大学