一种弱目标成像检测装置及方法

一种弱目标成像检测装置及方法
【专利摘要】本发明公开了一种弱目标成像检测装置及方法。利用目标和背景的反射及散射光在特定波段以及在0°和90°偏振方向上的光强差异，采用双通道正交差分的成像方式实现光谱?偏振同步成像。硬件模块可分为仪器壳体、光学系统和FPGA主控板三部分。其中仪器壳体用于连接光学镜头、电路板和三脚架；光学系统采用双通道结构，用于获取两幅不同偏振角和波段的图像；FPGA主控板用于对双通道CMOS图像传感器进行参数配置、同步采集、图像缓存及预处理。软件模块依次执行双通道图像采集、图像畸变校正、双通道图像配准、图像差分融合和图像目标检测任务。相比现有方法，具有较低的硬件成本和软件复杂度，为地面复杂背景下运动隐身目标的检测提供了一种有效的手段。
【专利说明】
一种弱目标成像检测装置及方法
技术领域
[0001] 本发明涉及一种光学成像检测装置及方法，尤其涉及一种弱目标成像检测装置及 方法，属于光学成像领域。
【背景技术】
[0002] 目标探测与识别技术是指对固定或移动目标进行非接触测量，并可准确得到目标 的属性信息，辨识出目标真伪的高技术手段。其中光学检测由于是被动式工作，安全隐蔽， 所以近些年得到了快速的发展和极大的重视。然而传统伪装涂料的使用使得目标与背景之 间能够近似实现"同色同谱"，利用传统的光强探测手段难以有效检测复杂背景中的"隐身" 弱目标。
[0003] 偏振是光的基本特性之一，任何目标在反射和发射电磁辐射的过程中都会表现出 由其自身特性和光学基本定律所决定的偏振特性。一般自然环境中地物背景的偏振度较 低，而人工目标的偏振度较高。如植物的偏振度一般小于0.5%;岩石、沙石、裸土等的偏振 度介于0.5%~1.5%之间；水面、水泥路面、屋顶等的偏振度一般大于1.5% (尤其水面的偏 振度达到了8%~10%);某些非金属材料和部分金属材料表面的偏振度达到了2%以上(有 的甚至达10%以上）。通过成像获得场景在不同偏振状态下的信息，可对具有偏振-光强差 异的目标及背景进行有效区分，进而实现复杂背景下弱目标的检测与识别。因此，近些年偏 振成像探测在气象环境科学研究、海洋的开发利用、空间探测、生物医学以及军事应用等方 面受到了越来越多的重视。
[0004]在偏振探测中，目标光辐射的偏振态可用四个斯托克斯(Stokes)参量完整描述， 包括光波的总强度I、水平方向上线的偏振光强度Q、45°/135°方向上线的偏振光强度U，以及 圆偏振光的强度V。实际应用中，V可以忽略不计，进而将偏振度描述为P / /， 偏振角描述为9 = 〇.5arctan(U/Q)。因此为了得到上述偏振态信息，至少要获取三幅不同偏 振方向的光强图像以计算参量I、Q、U。
[0005]据此原理，目前得到应用的偏振成像探测装置主要有四种：（1)分时成像的方式。 该方式采用一个成像器件，通过顺序旋转安装在镜头前的偏振片来获得0°、60°、90°三个不 同偏振方向的图像;具有结构简单、易实现的优点;但是仅适用于目标与背景均为静止的情 况。（2)光路分光的方式。该方式采用光束分离器和延迟器，将通过单镜头的光束均匀地分 成相同的三份，并经过0°、60°、90°方向的偏振片投射到三个独立的成像器件上；可以同时 获得三方向的偏振图像;但这种方式会使入射到单个成像器件上的能量大幅减少，导致成 像信噪比明显降低。（3)分焦平面的方式。该方式采用特殊工艺制作的成像器件，其上的每 一个像素分别对应0°、60°、90°中的一个偏振方向，并按照类似彩色图像传感器中RGB分布 的Bayer格式进行排布;不仅可以实现同时偏振成像，而且无需额外的分光器件，易于实现 仪器的小型化;但分焦平面器件的制作工艺复杂且未实现产品化。（4)空间配准的方式。该 方式采用三台相机组成三通道同步成像系统，分别采集0°、60°、90°方向的偏振图像，再通 过图像空间配准算法将三幅图像重叠区域的像素对齐;具有较低的硬件复杂度;但由于三 通道的畸变参数及拍摄视角不一致，如不能合理地校正，将导致图像配准精度不高，影响弱 小目标的检测。实际上对于弱目标检测的应用而言，偏振成像的目的不是获取偏振度或偏 振角信息，而是如何实时、高效地增强目标和背景的对比度。从这个角度来看，利用Stokes 方程对多通道图像进行融合并不是一种高效的方法。
[0006] 本发明利用目标和背景的反射及散射光在特定波段以及在0°和90°偏振方向上的 光强差异，采用双通道正交差分的成像方式实现光谱-偏振同步成像，相比现有同步偏振成 像方式，具有较低的硬件成本和软件复杂度，为地面复杂背景下运动隐身目标的检测提供 了一种有效的手段。

【发明内容】

[0007] 本发明针对现有地面复杂背景下运动隐身目标检测系统存在的不足，提供了一种 弱目标成像检测装置及方法。
[0008] 本发明通过以下技术方案实现：
[0009] 一种弱目标成像检测装置，由仪器壳体、光学系统和FPGA主控板三部分组成，其特 征在于:仪器壳体用于连接光学镜头、电路板和三脚架，包括壳体前面板、壳体后框及三脚 架固定座;光学系统采用双通道结构，用于获取两幅不同偏振角和波段的图像，通道1包括 0°线偏振滤镜、光学镜头、C口镜头接圈、滤光片座、470nm窄带滤光片和CMOS图像传感器;通 道2包括90°线偏振滤镜、光学镜头、C口镜头接圈、滤光片座、630nm窄带滤光片和CMOS图像 传感器;FPGA主控板用于对双通道CMOS图像传感器进行参数配置、同步采集、图像缓存及预 处理，并通过USB接口传输至PC机。
[0010]所述的壳体前面板的尺寸为100mmX50mmX5mm，其上安装有用于固定光学镜头的 两个C 口镜头接圈，两个接圈的中心间距为5 0 mm，螺纹外径为2 5.1 mm;壳体后框的尺寸为 100mm X 50mm X 30mm，通过前面板四周的12颗规格为〇 3*6的螺丝与之相连，其左侧有一个B 型USB接口，用来连接FPGA主控板和PC机;三脚架固定座位于壳体后框的下侧，通过中心规 格为1 /4-20的螺孔连接三脚架的云台。
[0011]所述的通道1和通道2的光学镜头的焦距均为8mm定焦，光圈调节范围为F1.4-F16， 对焦范围为O.lm-m，和前面板上的两个C 口镜头接圈相连;两片旋转式线偏振滤镜通过尺 寸为M30.5 X 0.5mm的接圈分别安装在两个光学镜头前;采用线偏振标定板将二者对应的线 偏振滤镜的偏振方向分别调节至0°和90°;两片窄带滤光片分别通过滤光片座安装于CMOS 图像传感器的表面;滤光片均采用镜面玻璃材质，尺寸为12mmX 12mmX0.7mm，中心波长分 别为470nm和630nm，半带宽为20nm，峰值透射率>90%，截止深度〈1% ;CM0S图像传感器采用 130万像素的1/2〃单色面阵传感器，光谱响应范围为400-1050nm。
[0012]所述的FPGA主控板以一片非易失性FPGA芯片为核心，并采用可编程片上系统技术 将32位的软核Nios II处理器及其部分外设集成在单芯片内，片外仅采用一片USB2.0接口 芯片和B型USB接口与PC机通信;Nios II处理器通过Avalon总线控制用户RAM、用户FLASH、 USB控制器、双通道对应的2组双口 RAM控制器及图像采集模块等片内外设；用户RAM用作 Nios II处理器的运行内存；用户FLASH用于存储Nios II处理器执行的程序代码;USB控制 器用于USB2.0接口芯片的配置和总线协议转换;双口RAM是一个异步FIFO,用于图像行有效 数据的筛选和处理，并使数据在传输过程中保持同步；图像采集模块包括配置控制器和时 序控制器两部分，配置控制器通过I2c双向数据串行总线SCLK、SDATA对CMOS图像传感器内 部寄存器进行配置，时序控制器通过时序信号3了如8￡、？以0^、1_￥4110、？_￥41^0和控制信 号STANDBY、TRIGGER、CLKIN控制CMOS图像传感器同步输出数据D0UT[ 9:0 ]。
[0013] 所述的FPGA主控板的工作流程为：主控板上电后首先进行系统初始化，然后令 Nios II处理器处于等待状态;PC通过USB接口向主控板发送起始信号后，Nios II处理器通 过配置控制器依次对双通道的CMOS图像传感器进行写寄存器操作，将其设置为抓拍模式， 并配置图像分辨率、曝光时间及电子增益等参数。设置完成后，配置控制器的I 2C总线进入 空闲状态，并令2组时序控制器同步发送TRIGGER脉冲；CMOS图像传感器收到TRIGGER脉冲 后，内部进行行复位，完成后输出STROBE脉冲，脉冲宽度标识像素积分时间的长度;STROBE 信号由1跳变为〇后，正常输出数据D0UT[7:0]，同时输出同步信号;时序 控制器接收到返回的数据和同步信号后，首先进行"与"操作；当结果 为高时代表此时数据有效，进而以像素时钟为工作时钟按照地址〇~1280将其存储在双口 RAM中；当结果由高变低时，代表一行有效数据传输完毕，此时将2组双口 RAM中的数据每512 个字节打包为一个数据包依次输出到USB2.0接口芯片的FIFO中，再经USB线传输至PC;当一 帧数据传输完毕后，Nios II处理器通过配置控制器设置CMOS图像传感器为STANDBY模式， 停止数据输出并等待下一个起始信号。
[0014] 如前所述一种弱目标成像检测装置的检测方法，包括以下五个主要步骤：
[0015] (1)双通道图像采集，任务开始后首先扫描USB端口并连接指定的成像装置;确认 连接后向成像装置发送控制字以设置成像参数，包括图像分辨率、曝光时间和电子增益等； 完成设置后发送一次采集指令并等待接收图像数据，当双通道的图像数据均传输完成后以 无损压缩的位图格式保存图像。
[0016] (2)图像畸变校正，设计采用张正友法标定成像系统的光学畸变参数，非线性畸变 模型仅考虑图像的径向畸变： - x{k{r2 + k2rA + 6 + )
[0017] ； ^ ( | d'j - v( A",/'2 -f k,rA +kjJ, + J
[0018] 其中，Sx和SY是畸变值，它与投影点在图像中的像素位置有关。X、y是图像点在成像 平面坐标系下根据线性投影模型得到的归一化投影值，/^^: 2+/上1上上等为径向畸变 系数，这里只考虑二次畸变，畸变后的坐标为： xd = x + Sx = x + xyk^'1 + k^r4 j
[0019] { ' -, ' -r + <>] = v + v ( k/ + ]
[0020]令(Ud，vd)、（u，v)分别为图像坐标系下空间点对应的实际坐标和理想坐标，则两者 关系为： {u - u(< (lit - Mn) k, u：, -u
[0021] ， 1 1 =" L(v~v〇)r' (v~v0)r [v(/-vj
[0022]将线性标定结果作为参数初值，带入以下目标函数求最小值，实现非线性参数的 估计：
[0024] 其中，丨，A'/,)是标定模板的第j点在第i幅图像上，利用估计参数得到 的投影点，M」为标定模板第j点在世界坐标系下的坐标值，m为每幅图像特征点个数，n为图 像数目；利用LM迭代法优化所得的相机标定参数，最终得到较为精确的径向畸变系数，进而 反求无畸变的图像坐标。
[0025] (3)双通道图像配准，用于实现不同成像视场、波段、偏振角和光学畸变条件下双 通道图像的像素对齐，采用一种基于SURF特征点的图像配准算法，包括以下五个子步骤： [0026] 1)检测SURF特征点，在构建积分图像的基础上，利用方框型滤波近似替代二阶高 斯滤波，并对待选特征点和它周围的点分别计算H e s s i a n值，如果该特征点具有最大的 Hessian值，贝lj其为特征点；
[0027] 2)生成特征描述向量，使用特征点邻域的灰度信息，通过计算积分图像的一阶 Haar小波响应，得到灰度分布信息来产生128维的特征描述向量；
[0028] 3)两步法匹配特征点，通过基于最邻近次邻近比值法的粗匹配算法和基于RANSAC 的精匹配算法两个步骤，建立参考图像和待配准图像特征点之间正确的一一对应匹配关 系，其特征在于：当两幅图像的特征向量生成后，首先采用SURF特征描述向量的欧式距离作 为两幅图像中关键点的相似性判定度量，方法是通过K-d树得到一个特征点到最近邻特征 点的距离d ND，其到次近邻特征点的距离dNND，如果它们的比值小于阈值e，则保留该特征点与 其最近邻构成的匹配点对;然后随机选取4对初始匹配特征点，计算由这4对点所确定的透 视变换矩阵H，再用该矩阵衡量其余特征点的匹配程度： (xr,Nj .卜-彳
[0029] V- -H V, <t u J u J
[0030] 其中，t为阈值，小于等于t的特征点对为H的内点，大于t的特征点对则为外点，这 样不断更新内点集，由RANSAC的k次随机采样可得到最大的内点集合，此时也得到了优化后 的内点集合所对应的透视变换矩阵H;
[0031] 4)坐标变换及重采样，根据求得的透视变换矩阵H对图像像素的坐标进行线性变 换，并采用双线性插值法对图像像素的灰度值进行重采样，双线性插值法假定内插点周围 四个点围城的区域内的灰度变化是线性的，从而可以用线性内插方法，根据四个近邻像素 的灰度值，计算出内插点的灰度值；
[0032] 5)裁剪图像重叠区域，根据下式对图像坐标变换后的四个边界点进行判别，确定 图像配准后重叠区域的四个边界点坐标(X min，Ymin)、（ Xmin，Ymax)、（ Xmax，Ymin)、（ Xmax，Ymax): 'Xmm = max(X0,X3), Xmra = 0 | Xmio < 0 =mm(XrX^W - 1)
[0033] 、轉 12 = maxCF^Fj), Fmill = 〇 | Fmm < 0
[0034] 其中，W、H为图像的宽和高，按照以上边界点构成的矩形区域对双通道图像进行裁 剪，得到配准的0°和90°偏振图像1(0°)和1(90°);
[0035] (4)图像差分融合，采用双通道正交差分的方式融合得到的正交差分图像表示为：
[0036] Q=I(0°)-I(90°)
[0037] (5)图像目标检测，系统基于形态学的方法对正交差分偏振图像进行目标检测，包 括以下三个子步骤：
[0038] 1)二值化处理，采用最大类间方差法自适应选取全局阈值，原理如下:设图像有M个 灰度值，取值范围在0M-1，在此范围内选取灰度值t，将图像分成两组Go和G^Go包含的像素的 灰度值在OtA的灰度值在t+lM-1，用N表示图像像素总数，m表示灰度值为i的像素的个数，则 每个灰度值i出现的概率为Pi=m/N，G()和Gi类出现的概率为叫q = = 1-%, i M--\ 均值为a = Da，a = Z如,则类间方差为： i=0 i=t-v\
[0039] o(t)2= co 〇 o i(y〇-]ii)2
[0040]最佳阈值T就是使类间方差最大的t的取值，即：
[0041] T = argmax〇(t)2,tG [0,M-1]
[0042] 2)开运算操作，开运算操作用于滤除细小的干扰物并获得较为精确的目标轮廓， 它定义为先腐蚀后膨胀的过程:腐蚀的作用是消除物体中不相关的细节，特别是边缘点，使 物体的边界向内部收缩，其表达式如下：
[0043] v|5vyc
[0044]其中，E表示腐蚀后的二值图像;B表示结构元素即模板，它是由0或1组成的任何一 种形状的图形，在B中有一个中心点，以此点为中心进行腐蚀;X是原图像经过二值化处理后 的图像的像素集合;运算过程是在X图像域内滑动结构元素B，当其中心点与X图像上的某一 点（x，y)重合时，遍历结构元素内的像素点，如果每个像素点都与以（x，y)为中心的相同位 置中对应像素点完全相同，那么像素点（x，y)将被保留在E中，对于不满足条件的像素点则 被剔除掉，从而可达到收缩边界的效果;膨胀与腐蚀的作用相反，它对二值化物体轮廓的边 界点进行扩充，能够填补分割后物体中残留的空洞，使物体完整，其表达式如下：
[0045] 5 = X@B = {x, v|.SV v
[0046] 其中，S表示膨胀后的二值图像像素点的集合;B表示结构元素即模板;X表示经过 二值化处理后的图像像素集合。运算过程是在X图像域内滑动结构元素B，当B的中心点移到 X图像上的某一点（x，y)时，遍历结构元素内的像素点，如果结构元素B内的像素点与X图像 的像素点至少有一个相同，那么就保留(x，y)像素点在S中，否则就去掉此像素点;对二值图 像进行开运算操作后，图像被划分成多个连通区域；
[0047] 3)连通域识别，首先采用8邻接判据对图像中的连通域进行分割，8邻接连通域的 定义是:该区域中每个像素，其所有8个方向的8个相邻像素中至少有一个像素仍然属于该 区域，根据该定义将二值图像中不同的连通域填入不同的数字标记;然后分别提取各连通 域的像素周长，并和预先设定的目标阈值进行对比，如果在阈值区间内则判定为候选目标； 最后采用能够包围其连通域轮廓的最小矩形框在图像中标识出候选目标，完成目标检测。 [0048]本发明具有以下有益效果：
[0049] 1、硬件系统易于实现。无需复杂的光路分光设计或成像器件制作工艺。
[0050] 2、软件计算复杂度低。复杂的相机标定工作仅需在实验室中进行一次；图像融合 无需计算偏振度、仅需进行一次简单的像素灰度差分运算。
[0051] 3、算法的配准精度高。在配准前对相机的非线性畸变进行了校正。
[0052] 4、适用于运动目标的检测。
【附图说明】
[0053]图1是本发明涉及的弱目标成像检测系统软硬件功能模块框图。
[0054] 图2是本发明涉及的弱目标成像检测装置硬件结构立体示意图，图中标号名称：1 为壳体前面板;2为壳体后框;3为三脚架固定座;4为0°线偏振滤镜;5为90°线偏振滤镜;6、7 为光学镜头;8、9为C 口镜头接圈；10、11为滤光片座；12为470nm窄带滤光片；13为630nm窄带 滤光片；14、15为CMOS图像传感器;16为USB接口。
[0055] 图3本发明涉及的FPGA主控板硬件电路框图。
[0056] 图4是本发明涉及的弱目标成像检测方法软件流程框图。
【具体实施方式】
[0057] 下面结合附图对本发明的技术方案进行详细说明：
[0058] 本发明的弱目标成像检测系统软硬件功能模块框图如图1所示。弱目标成像检测 装置的硬件模块可分为仪器壳体、光学系统和FPGA主控板三部分。其中仪器壳体用于连接 光学镜头、电路板和三脚架，包括壳体前面板、壳体后框及三脚架固定座;光学系统采用双 通道结构，用于获取两幅不同偏振角和波段的图像，通道1包括0°线偏振滤镜、光学镜头、C 口镜头接圈、滤光片座、470nm窄带滤光片和CMOS图像传感器;通道2包括90°线偏振滤镜、光 学镜头、C口镜头接圈、滤光片座、630nm窄带滤光片和CMOS图像传感器;FPGA主控板用于对 双通道CMOS图像传感器进行参数配置、同步采集、图像缓存及预处理，并通过USB接口传输 至PC机。软件模块运行于PC机上，依次执行双通道图像采集、图像畸变校正、双通道图像配 准、图像差分融合和图像目标检测任务。
[0059] 本发明的弱目标成像检测装置硬件结构立体示意图如图2所示。壳体前面板1的尺 寸为10〇111111\5〇111111\5111111，其上安装有用于固定光学镜头的(：口镜头接圈8、9，两个接圈的中 心间距为50mm，螺纹外径为25.1mm。壳体后框2的尺寸为lOOmmX 50mmX 30mm，通过前面板四 周的12颗规格为〇 3*6的螺丝与之相连;其左侧有一个B型USB接口 16，用来连接FPGA主控板 和PC机。三脚架固定座3位于壳体后框的下侧，通过中心规格为1/4-20(外径1/4英寸，螺距 20牙/英寸）的螺孔连接三脚架的云台。光学镜头6、7的焦距均为8mm定焦，光圈调节范围为 F1.4-F16,对焦范围为0.1m-〇〇,分别和前面板上的C 口镜头接圈8、9相连。两片旋转式线偏 振滤镜4、5通过尺寸为M30.5 X 0.5mm(外径30.5mm、螺距0.5mm)的接圈分别安装在光学镜头 6、7前;采用线偏振标定板将二者对应的线偏振滤镜的偏振方向分别调节至0°和90°。两片 窄带滤光片12、13分别通过的滤光片座10、11安装于CMOS图像传感器14、15的表面;滤光片 均米用镜面玻璃材质，尺寸为12mmX 12mmX0.7mm，中心波长分别为470nm和630nm，半带宽 为20nm，峰值透射率>90 %，截止深度〈1 % XM0S图像传感器14、15均采用130万像素的 MT9M00UMT9M001为1/2〃的单色面阵传感器，光谱响应范围为400-1050nm;成像信噪比和动 态范围分别为45dB和68 ? 2dB，已能够达到CCD的水平；5 ? 2圓X 5 ? 2圓的像素尺寸使其达到 2. lV/lux-sec的高弱光灵敏度;而1280 X 1024@30fps的连续图像捕获能力能够满足大多数 运动目标的探测需求。
[0060]本发明的FPGA主控板硬件电路框图如图3所示。为实现双通道CMOS图像传感器的 同步采集及控制，主控板的硬件设计以一片非易失性FPGA芯片为核心，并采用可编程片上 系统技术将32位的软核Nios II处理器及其部分外设集成在单芯片内，片外仅采用一片 USB2.0接口芯片和B型USB接口与PC机通信，大大提高了系统组件功能的集成度，并降低了 系统级成本。Nios II处理器以IP核的方式构建，通过Avalon总线控制用户RAM、用户FLASH、 USB控制器、双通道对应的2组双口 RAM控制器及图像采集模块等片内外设。其中，用户RAM用 作Nios II处理器的运行内存；用户FLASH用于存储Nios II处理器执行的程序代码;USB控 制器用于USB2.0接口芯片的配置和总线协议转换;双口 RAM是一个异步FIFO,用于图像行有 效数据的筛选和处理，并使数据在传输过程中保持同步；图像采集模块包括配置控制器和 时序控制器两部分，配置控制器通过I 2C双向数据串行总线SCLK、SDATA对CMOS图像传感器 内部寄存器进行配置，时序控制器通过时序信号3了如8￡、？^0^、1_￥4110、？_￥41^0和控制 信号STANDBY、TRIGGER、CLKIN控制CMOS图像传感器同步输出数据D0UT[ 9:0 ]。
[0061 ] 具体实施时，FPGA芯片采用ALTERA公司的MAX 10系列型号为10M08E144ES的芯片。 此芯片采用TSMC的55nm嵌入式N0R闪存技术制造，具有8K个逻辑单元、378Kb的嵌入式SRAM 资源，以及172KB的用户FLASH资源。由于CMOS图像传感器的最大像素阵列为1280X1024,量 化位数为8bit，缓存1行数据需要10Kbit的存储空间，因此从嵌入式SRAM资源中分配出2块 10Kb的空间用于构建2个双口 RAM，而将剩余的358Kb分配给用户RAMWSBS.O接口芯片采用 CYPRESS公司的CY7C68013A，其内部FIFO资源大小为4KB，外围设备和USB接口可以同时对此 FIFO资源进行操作，在不需要USB固件程序的参与下FIFO与外部电路可以进行数据传输，最 大传输速率为96MB/s。
[0062] FPGA主控板的工作流程为:主控板上电后首先进行系统初始化，然后令Nios II处 理器处于等待状态。PC通过USB接口向主控板发送起始信号后，Nios II处理器通过配置控 制器依次对双通道的CMOS图像传感器进行写寄存器操作，将其设置为抓拍模式，并配置图 像分辨率、曝光时间及电子增益等参数。设置完成后，配置控制器的I 2C总线进入空闲状态， 并令2组时序控制器同步发送TRIGGER脉冲。CMOS图像传感器收到TRIGGER脉冲后，内部进行 行复位，完成后输出STROBE脉冲，脉冲宽度标识像素积分时间的长度。STROBE信号由1跳变 为0后，正常输出数据D0UT[7:0]，同时输出同步信号时序控制器接收到 返回的数据和同步信号后，首先进行"与"操作。当结果为高时代表此 时数据有效，进而以像素时钟为工作时钟按照地址〇~1280将其存储在双口RAM中；当结果 由高变低时，代表一行有效数据传输完毕，此时将2组双口 RAM中的数据每512个字节打包为 一个数据包依次输出到USB2.0接口芯片的FIFO中，再经USB线传输至PC。当一帧数据传输完 毕后，Nios II处理器通过配置控制器设置CMOS图像传感器为STANDBY模式，停止数据输出 并等待下一个起始信号。
[0063] 本发明的弱目标成像检测方法软件流程框图如图4所示。弱目标成像检测方法包 括以下五个主要步骤：
[0064] (1)双通道图像采集。任务开始后，首先扫描USB端口并连接指定的成像装置;确认 连接后向成像装置发送控制字以设置成像参数，包括图像分辨率、曝光时间和电子增益等； 完成设置后发送一次采集指令并等待接收图像数据，当双通道的图像数据均传输完成后以 无损压缩的位图格式保存图像。
[0065] (2)图像畸变校正。为实现双通道图像的精确配准，需要分别对两幅图像进行畸变 校正。考虑到成像系统的双通道具有独立性，设计采用经典的张正友平面标定法标定成像 系统的光学畸变参数。光学畸变是非线性的，主要包括径向畸变、切向畸变、离心畸变及薄 棱镜畸变等，需要用非线性模型进行畸变参数的估计。其中径向畸变是图像产生误差的主 要因素，其模型可近似描述为： I = .v (k,r~ + /c.r4 + k,r° + )
[0066] ， - , (1) 卜、=v ("丨/H，4 + 人、厂6 + )
[0067] 其中，心和心是畸变值，它与投影点在图像中的像素位置有关。x、y是图像点在成像 平面坐标系下根据线性投影模型得到的归一化投影值，r = + /。h、k2、k3等为径向畸变 系数，这里只考虑二次畸变，畸变后的坐标为： xd = x + S^ = x + .V (/c, r" + )
[0068] { ； '(2) y, - v + r)； - v + .v(av-； )
[0069] 令(Ud，vd)、（u，v)分别为图像坐标系下空间点对应的实际坐标和理想坐标。则两者 关系为： (li-uAr1 (I?，一「灸1_|
[0070] ° , } 4 , = (3) Uv -v?)r (v-v0)r」p2」卜厂v」
[0071] 将线性标定结果作为参数初值，带入以下目标函数求最小值，实现非线性参数的 估计： n m 2
[0072] XS mij -m(A,kvk2,Ri,tnMj) (4) i=l
[0073] 其中，；^?,卜，/?,乂.，从,)是标定模板的第」点在第1幅图像上，利用估计参数得到 的投影点，Mj为标定模板第j点在世界坐标系下的坐标值，m为每幅图像特征点个数，n为图 像数目。利用LM迭代法优化所得的相机标定参数，最终得到较为精确的径向畸变系数，进而 反求无畸变的图像坐标。
[0074] (3)双通道图像配准。由于双通道在成像视场、波段、偏振角和光学畸变上的差异， 两幅图像需要进行配准才能使待融合的像素对齐。考虑到SURF特征点对图像旋转、平移、缩 放和噪声具有较好的鲁棒性，采用了一种基于SURF特征点的图像配准算法，包括以下五个 子步骤：
[0075] 1)检测SURF特征点，在构建积分图像的基础上，利用方框型滤波近似替代二阶高 斯滤波，并对待选特征点和它周围的点分别计算H e s s i a n值，如果该特征点具有最大的 He s s i an值，贝lj其为特征点。
[0076] 2)生成特征描述向量，使用的是特征点邻域的灰度信息，通过计算积分图像的一 阶Haar小波响应，得到灰度分布信息来产生128维的特征描述向量。
[0077] 3)两步法匹配特征点，通过基于最邻近次邻近比值法的粗匹配算法和基于RANSAC 的精匹配算法两个步骤，建立参考图像和待配准图像特征点之间正确的一一对应匹配关 系。其特征在于：当两幅图像的特征向量生成后，首先采用SURF特征描述向量的欧式距离作 为两幅图像中关键点的相似性判定度量，方法是通过K-d树得到一个特征点到最近邻特征 点的距离d ND，其到次近邻特征点的距离dNND，如果它们的比值小于阈值e，则保留该特征点与 其最近邻构成的匹配点对;然后随机选取4对初始匹配特征点，计算由这4对点所确定的透 视变换矩阵H，再用该矩阵衡量其余特征点的匹配程度： (\ v \ xi xi
[0078] y] ~H y,- <t (5) l .1 J l .1 J
[0079] 其中，t为阈值，小于等于t的特征点对为H的内点，大于t的特征点对则为外点。这 样不断更新内点集，由RANSAC的k次随机采样可得到最大的内点集合，此时也得到了优化后 的内点集合所对应的透视变换矩阵H。
[0080] 4)坐标变换及重采样。根据求得的透视变换矩阵H对图像像素的坐标进行线性变 换，并采用双线性插值法对图像像素的灰度值进行重采样。双线性插值法假定内插点周围 四个点围城的区域内的灰度变化是线性的，从而可以用线性内插方法，根据四个近邻像素 的灰度值，计算出内插点的灰度值。
[0081] 5)裁剪图像重叠区域。根据下式对图像坐标变换后的四个边界点进行判别，确定 图像配准后重叠区域的四个边界点坐标(X min，Ymin)、（ Xmin，Ymax)、（ Xmax，Ymin)、（ Xmax，Ymax): = max(jr0,jr3), Zmm = 0 ! < 0
[0082] /,、 = max%,。)，= 0 I rmm < 0 (6) 7，川,-\)
[0083]其中，W、H为图像的宽和高。按照以上边界点构成的矩形区域对双通道图像进行裁 剪，得到配准的0°和90°偏振图像1(0°)和1(90°)。
[0084] (4)图像差分融合。由于目标和背景的反射及散射光在0°和90°偏振方向上具有显 著的光强差异，采用双通道正交差分的图像融合方式不仅能够获得较好的图像信噪比，而 且具有极低的软件复杂度。融合得到的正交差分图像表示为：
[0085] Q=I(0°)-I(90°) (7)
[0086] (5)图像目标检测。数学形态学是分析几何形状和物体的轮廓结构的数学方法，主 要包括膨胀、腐蚀、开运算、闭运算等。在图像处理领域用于"保持物体的基本形状，去除不 相关特征"，可以提取到对于表达和描述形状有用的特征。通常形态学处理表现为一种基于 模板的邻域运算方式，即定义一种特殊的被称之为"结构元素"或模板的邻域，在要处理的 二值图像的每个像素点上将它与二值图像对应的区域进行某种逻辑运算，得到的结果就是 输出图像的像素值。结构元素的大小、内容以及运算的性质都将会影响到形态学处理的结 果。系统基于形态学的方法对正交差分偏振图像进行目标检测，具有物理意义明确、运算效 率高的特点，包括图像二值化、开运算操作、连通域识别三个子步骤。
[0087] 1)二值化处理。图像二值化处理是进行形态学滤波的前提，而选取合适的分割阈 值是其重要步骤。这里采用最大类间方差法自适应选取全局阈值，该算法由Otsu于1979年 提出，是基于整幅图像的统计特性来实现阈值的自动选取的，是全局二值化最杰出的代表。算 法的基本思想是用某一假定的灰度值将图像的灰度分成两组，当两组的类间方差最大时，此 灰度值就是图像二值化的最佳阈值。设图像有M个灰度值，取值范围在0 M-1，在此范围内选取 灰度值t，将图像分成两组Go和G^Go包含的像素的灰度值在0 t，Gi的灰度值在t+1 M-1，用N 表示图像像素总数，m表示灰度值为i的像素的个数，则每个灰度值i出现的概率为Pl = m/ t M-\ t M^\ N，G。和Gi类出现的概率为叫=Z/),，:句=Z巧=1 -爾>,均值为料=S，A = I]々,，则 i=U f=f+l :歸 类间方差为：
[0088] o(t)2=co〇?1(ii〇-iil) 2 (8)最佳阈值T就是使类间方差最大的t的取值，即：
[0089] T = argmax〇(t)2,tG [0,M-1] (9)
[0090] 2)开运算操作。开运算操作用于滤除细小的干扰物并获得较为精确的目标轮廓。 它定义为先腐蚀后膨胀的过程:腐蚀的主要作用是消除物体中不相关的细节，特别是边缘 点，使物体的边界向内部收缩。其表达式如下：
[0091] E ^ ?B = {-v, v|fi, , (= ^ j 1〇
[0092] 其中，E表示腐蚀后的二值图像;B表示结构元素即模板，它是由0或1组成的任何一 种形状的图形，在B中有一个中心点，以此点为中心进行腐蚀;X是原图像经过二值化处理后 的图像的像素集合。运算过程是在X图像域内滑动结构元素B，当其中心点与X图像上的某一 点（x，y)重合时，遍历结构元素内的像素点，如果每个像素点都与以（x，y)为中心的相同位 置中对应像素点完全相同，那么像素点（x，y)将被保留在E中，对于不满足条件的像素点则 被剔除掉，从而可达到收缩边界的效果。膨胀与腐蚀的作用相反，它对二值化物体轮廓的边 界点进行扩充，能够填补分割后物体中残留的空洞，使物体完整。其表达式如下：
[0093] S = X@B = ^x,y .SvrnX^^} (.11)
[0094] 其中，S表示膨胀后的二值图像像素点的集合;B表示结构元素即模板;X表示经过 二值化处理后的图像像素集合。运算过程是在X图像域内滑动结构元素B，当B的中心点移到 X图像上的某一点（x，y)时，遍历结构元素内的像素点，如果结构元素B内的像素点与X图像 的像素点至少有一个相同，那么就保留(x，y)像素点在S中，否则就去掉此像素点。
[0095] 3)连通域识别。对二值图像进行开运算后，图像被划分成多个连通区域。为了从中 筛选出候选目标，需要对连通域进行分割、标记，并提取特征用于目标识别。连通域分割的 目的是将一幅点阵二值图像中互相邻接的目标"1"值像素集合提取出来，并为图像中不同 的连通域填入不同的数字标记。算法通常分为两类:一类是局部邻域算法，基本思想是从局 部到整体，逐个检查每个连通成分，确定一个"起始点"，再向周围邻域扩展地填入标记；另 一类是从整体到局部，先确定不同的连通成分，再对每一个连通成分用区域填充的方法填 入标记。这里采用8邻接判据对图像中的连通域进行搜索、标记。8邻接连通域的定义是该区 域中每个像素，其所有8个方向的8个相邻像素中至少有一个像素仍然属于该区域。完成连 通域的分割和标记后，分别提取各连通域的像素周长和预先设定的目标阈值进行对比，如 果在阈值区间内则判定为候选目标，采用能够包围其连通域轮廓的最小矩形框在图像中标 识出目标。
【主权项】
1. 一种弱目标成像检测装置，由仪器壳体、光学系统和FPGA主控板三部分组成，其特征 在于:仪器壳体用于连接光学镜头、电路板和三脚架，包括壳体前面板、壳体后框及三脚架 固定座;光学系统采用双通道结构，用于获取两幅不同偏振角和波段的图像，通道1包括0° 线偏振滤镜、光学镜头、C口镜头接圈、滤光片座、470nm窄带滤光片和CMOS图像传感器;通道 2包括90°线偏振滤镜、光学镜头、C口镜头接圈、滤光片座、630nm窄带滤光片和CMOS图像传 感器;FPGA主控板用于对双通道CMOS图像传感器进行参数配置、同步采集、图像缓存及预处 理，并通过USB接口传输至PC机。2. 根据权利要求1所述的一种弱目标成像检测装置，其特征在于:所述的壳体前面板的 尺寸为100mm X 50mm X 5mm，其上安装有用于固定光学镜头的两个C口镜头接圈，两个接圈的 中心间距为50mm，螺纹外径为25 · 1mm;壳体后框的尺寸为100mm X 50mm X 30mm，通过前面板 四周的12颗规格为Φ3*6的螺丝与之相连，其左侧有一个B型USB接口，用来连接FPGA主控板 和PC机;三脚架固定座位于壳体后框的下侧，通过中心规格为1/4-20的螺孔连接三脚架的 云台。3. 根据权利要求1所述的一种弱目标成像检测装置，其特征在于:所述的通道1和通道2 的光学镜头的焦距均为8mm定焦，光圈调节范围为F1.4-F16,对焦范围为0.1m-m，和前面板 上的两个C 口镜头接圈相连;两片旋转式线偏振滤镜通过尺寸为M30.5 X 0.5mm的接圈分别 安装在两个光学镜头前;采用线偏振标定板将二者对应的线偏振滤镜的偏振方向分别调节 至0°和90°;两片窄带滤光片分别通过滤光片座安装于CMOS图像传感器的表面;滤光片均采 用镜面玻璃材质，尺寸为12mmX 12mmX0.7mm，中心波长分别为470nm和630nm，半带宽为 20nm，峰值透射率>90%，截止深度〈1 % ;CM0S图像传感器采用130万像素的1/2〃单色面阵传 感器，光谱响应范围为400-1050nm〇4. 根据权利要求1所述的一种弱目标成像检测装置，其特征在于:所述的FPGA主控板以 一片非易失性FPGA芯片为核心，并采用可编程片上系统技术将32位的软核Nios II处理器 及其部分外设集成在单芯片内，片外仅采用一片USB2.0接口芯片和B型USB接口与PC机通 信;Nios II处理器通过Avalon总线控制用户RAM、用户FLASH、USB控制器、双通道对应的2组 双口RAM控制器及图像采集模块等片内外设;用户RAM用作Nios II处理器的运行内存；用户 FLASH用于存储Nios II处理器执行的程序代码;USB控制器用于USB2.0接口芯片的配置和 总线协议转换;双口RAM是一个异步FIFO,用于图像行有效数据的筛选和处理，并使数据在 传输过程中保持同步；图像采集模块包括配置控制器和时序控制器两部分，配置控制器通 过I 2C双向数据串行总线SCLK、SDATA对CMOS图像传感器内部寄存器进行配置，时序控制器 通过时序信号 STROBE、PIXCLK、L_VALID、F_VALID和控制信号STANDBY、TRIGGER、CLKIN控制 CMOS图像传感器同步输出数据D0UT [ 9:0 ]。5. 基于权利要求1所述的一种弱目标成像检测装置的弱目标成像检测方法，其特征在 于:包括以下五个主要步骤： (1) 双通道图像采集，任务开始后首先扫描USB端口并连接指定的成像装置;确认连接 后向成像装置发送控制字以设置成像参数，包括图像分辨率、曝光时间和电子增益;完成设 置后发送一次采集指令并等待接收图像数据，当双通道的图像数据均传输完成后以无损压 缩的位图格式保存图像； (2) 图像畸变校正，设计采用张正友法标定成像系统的光学畸变参数，非线性畸变模型 仅考虑图像的径向畸变：其中，δχ和δγ是畸变值，它与投影点在图像中的像素位置有夫，X、y是图像点在成像平面 坐标系下根据线性投影模型得到的归一化投影值，r = khkhfe等为径向畸变系 数，这里只考虑二次畸变，畸变后的坐标为：令(Ud，Vd)、(u，v)分别为图像坐标系下空间点对应的实际坐标和理想坐标，则两者关系 为：将线性标定结果作为参数初值，带入以下目标函数求最小值，实现非线性参数的估计： / = 1 j=l其中，是标定模板的第j点在第i幅图像上，利用估计参数得到的投 影点，M」为标定模板第j点在世界坐标系下的坐标值，m为每幅图像特征点个数，η为图像数 目；利用LM迭代法优化所得的相机标定参数，最终得到较为精确的径向畸变系数，进而反求 无畸变的图像坐标； (3)双通道图像配准，用于实现不同成像视场、波段、偏振角和光学畸变条件下双通道 图像的像素对齐，采用一种基于SURF特征点的图像配准算法，包括以下五个子步骤： 1) 检测SURF特征点，在构建积分图像的基础上，利用方框型滤波近似替代二阶高斯滤 波，并对待选特征点和它周围的点分别计算Hessian值，如果该特征点具有最大的Hessian 值，则其为特征点； 2) 生成特征描述向量，使用特征点邻域的灰度信息，通过计算积分图像的一阶Haar小 波响应，得到灰度分布信息来产生128维的特征描述向量； 3) 两步法匹配特征点，通过基于最邻近次邻近比值法的粗匹配算法和基于RANSAC的精 匹配算法两个步骤，建立参考图像和待配准图像特征点之间正确的一一对应匹配关系，其 特征在于：当两幅图像的特征向量生成后，首先采用SURF特征描述向量的欧式距离作为两 幅图像中关键点的相似性判定度量，方法是通过K-d树得到一个特征点到最近邻特征点的 距离d ND，其到次近邻特征点的距离(1_，如果它们的比值小于阈值ε，则保留该特征点与其最 近邻构成的匹配点对;然后随机选取4对初始匹配特征点，计算由这4对点所确定的透视变 换矩阵Η，再用该矩阵衡量其余特征点的匹配程度：其中，t为阈值，小于等于t的特征点对为Η的内点，大于t的特征点对则为外点，这样不 断更新内点集，由RANSAC的k次随机采样可得到最大的内点集合，此时也得到了优化后的内 点集合所对应的透视变换矩阵Η; 4) 坐标变换及重采样，根据求得的透视变换矩阵Η对图像像素的坐标进行线性变换，并 采用双线性插值法对图像像素的灰度值进行重采样，双线性插值法假定内插点周围四个点 围城的区域内的灰度变化是线性的，从而可以用线性内插方法，根据四个近邻像素的灰度 值，计算出内插点的灰度值； 5) 裁剪图像重叠区域，根据下式对图像坐标变换后的四个边界点进行判别，确定图像 配准后重叠区域的四个边界点坐标(Xmin，Ymin )、（ Xmin，Ymax )、（ Xmax，Ymin )、（ Xmax，Ymax ):其中，W、H为图像的宽和高，按照以上边界点构成的矩形区域对双通道图像进行裁剪， 得到配准的0°和90°偏振图像1(0°)和1(90°); (4) 图像差分融合，采用双通道正交差分的方式融合得到的正交差分图像表示为： Q=I(0°)-I(90°); (5) 图像目标检测，系统基于形态学的方法对正交差分偏振图像进行目标检测，包括以 下三个子步骤： 1) 二值化处理，采用最大类间方差法自适应选取全局阈值，原理如下:设图像有Μ个灰度 值，取值范围在0Μ-1，在此范围内选取灰度值t，将图像分成两组Go和G^Go包含的像素的灰 度值在OtA的灰度值在t+ΙΜ-Ι，用N表示图像像素总数，m表示灰度值为i的像素的个数，则 每个灰度值i出现的概率为Pi=m/N，Go和&类出现的概率为均值戈，.，则类间方差为： σ(?)2= ω〇ωι(μ〇-μι)2 最佳阈值Τ就是使类间方差最大的t的取值，即： T = arg max〇(t)2,te [〇,Μ-1] 2) 开运算操作，开运算操作用于滤除细小的干扰物并获得较为精确的目标轮廓，它定 义为先腐蚀后膨胀的过程:腐蚀的作用是消除物体中不相关的细节，特别是边缘点，使物体 的边界向内部收缩，其表达式如下：其中，Ε表示腐蚀后的二值图像;Β表示结构元素即模板，它是由0或1组成的任何一种形 状的图形，在Β中有一个中心点，以此点为中心进行腐蚀;X是原图像经过二值化处理后的图 像的像素集合;运算过程是在X图像域内滑动结构元素 Β，当其中心点与X图像上的某一点 (X，y)重合时，遍历结构元素内的像素点，如果每个像素点都与以（X，y)为中心的相同位置 中对应像素点完全相同，那么像素点（x，y)将被保留在E中，对于不满足条件的像素点则被 剔除掉，从而可达到收缩边界的效果;膨胀与腐蚀的作用相反，它对二值化物体轮廓的边界 点进行扩充，能够填补分割后物体中残留的空洞，使物体完整，其表达式如下：其中，S表示膨胀后的二值图像像素点的集合;B表示结构元素即模板;X表示经过二值 化处理后的图像像素集合。运算过程是在X图像域内滑动结构元素 B，当B的中心点移到X图 像上的某一点(x，y)时，遍历结构元素内的像素点，如果结构元素 B内的像素点与X图像的像 素点至少有一个相同，那么就保留(x，y)像素点在S中，否则就去掉此像素点;对二值图像进 行开运算操作后，图像被划分成多个连通区域； 3)连通域识别，首先采用8邻接判据对图像中的连通域进行分割，8邻接连通域的定义 是:该区域中每个像素，其所有8个方向的8个相邻像素中至少有一个像素仍然属于该区域， 根据该定义将二值图像中不同的连通域填入不同的数字标记;然后分别提取各连通域的像 素周长，并和预先设定的目标阈值进行对比，如果在阈值区间内则判定为候选目标;最后采 用能够包围其连通域轮廓的最小矩形框在图像中标识出候选目标，完成目标检测。
【文档编号】H04N5/225GK105959514SQ201610248720
【公开日】2016年9月21日
【申请日】2016年4月20日
【发明人】张振, 顾朗朗, 梁苍, 孙启尧, 高红民, 陈哲
【申请人】河海大学