专利名称：运动背景的红外图像实时目标识别与跟踪器及方法
技术领域：
本发明涉及一种运动背景的红外图像实时目标识别与跟踪器。本发明还涉 及一种识别与跟踪方法。
背景技术：
随着红外探测器技术的发展，热像仪从过去采用有限探测元探测器加光机 扫描系统发展成为不用光机扫描的凝视型成像装置，并向凝视焦平面高密集探 测元、大阵列尺寸、多光谱、高探测率方向发展。基于凝视焦平面阵列的红外 热成像探测系统，无论从温度灵敏度和空间分辨率上，还是从帧频和光谱响应 上，都有了极大的提高。由于焦平面凝视热像仪所独有的优良特性，已成为世 界各国大力研发的一项高新技术。作为智能化信息处理的关键环节之一，红外 成像目标检测、识别与跟踪技术一直是困扰和制约红外成像探测使用性能的瓶 颈问题和技术难点而亟待解决。目前已引起国内外专家的高度重视，并围绕这 一课题开展了深入和广泛的研究。
在运动背景的红外图像实时目标检测、识别与跟踪过程中，需要尽早、尽快 地检测并锁定待识别目标，但是对于运动背景下的红外目标检测、识别与跟踪 还存在着许多技术难题，这些技术难题主要有
1. 背景运动，即探测器的移动致使图像晃动，同时目标有可能偏移出探测 器视场；
2. 数据量大，传统的图像处理方法难以实时处理；
3. 无法对大景深、远距离目标进行实时检测、识别与跟踪。
现有的红外热成像技术、实时图像处理技术和自动控制技术是完全成熟的， 然而只有将这些技术有机的结合为一体并进行集中控制，才能使其成为一个具 有精度高、探测范围广、抗干扰能力强、快速检测和实时目标自动识别跟踪的 运动背景的红外图像实时目标识别与跟踪器。
发明内容
本发明的目的在于提供一种能够改善红外图像成像质量、提高红外目标检 测识别与跟踪精度，达到实时处理与显示的运动背景的红外图像实时目标识别 与跟踪器。本发明的另一目的在于提供一种基于本发明的运动背景的红外图像 实时目标识别与跟踪器的识别与跟踪方法。
本发明的目的是这样实现的包括红外成像探测部件、红外图像信号处理 部件、伺服控制部件和通信模块四个部分；红外成像探测部件由红外光学系统、 凝视焦平面阵列探测器组件、A/D采样电路组成；探测器串行输出信号经过A/D 转换后，进入红外图像信号处理部件；红外图像信号处理部件以现场可编程门 阵列FPGA和高速数字信号处理器DSP为硬件平台，进行红外图像预处理与目标 检测、识别与跟踪，并计算出目标的俯仰与方位误差角，送给伺服控制部件及 通信模块进行跟踪控制及上位机结果显示；伺服控制部件由速率陀螺及平台伺 服控制系统构成，红外成像器安装在陀螺稳定平台上，平台提供一个在空间稳 定不变的方向基准，伺服控制部件接收红外图像信号处理部件输出的两路目标 角误差信息，经功率放大器形成控制电流给力矩电机，力矩电机输出与目标角 误差成比例的力矩作用给平台台体，最终形成对目标的两自由度跟踪，最后结 果以及原始图像数据通过通信模块1553B总线上传给上位机，图像与结果显示 部分将灰度分布在0~214-1的图像映射为0~28-1的图像进行显示。
所述的红外目标检测模块采用基于FPGA的中值滤波和形态学滤波硬件实现 图像预处理方法，然后通过采用模糊最大指数熵法确定阈值，进行图像分割处 理，得到检测结果，红外目标识别模块采用基于递归的二值图像标记方法进行 特征提取和分类，再利用目标外形特征进行变分辨率匹配目标跟踪。
本发明的创新点在于采用红外成像仪与高速的图像处理板以及伺服控制平 台和通信模块，建立了一整套运动背景的红外目标实时检测识别与跟踪器。
本发明的红外目标检测识别与跟踪器，包括红外成像探测、红外图像信号 处理、伺服控制平台和通信模块四个部分。其特征在于红外成像探测部件由红 外光学系统、凝视焦平面阵列探测器组件、A/D采样电路等组成。探测器串行 输出信号经过A/D转换后，进入红外图像信号处理器。红外图像信号处理部件 以现场可编程门阵列(FPGA)和高速数字信号处理器(双DSP)为硬件平台， 完成红外图像预处理器与目标检测、识别与跟踪功能，并计算出目标的俯仰与 方位误差角，送给伺服控制及通信模块进行跟踪控制及上位机结果显示。伺服 控制部件由速率陀螺及平台伺服控制系统构成，将红外成像器安装在陀螺稳定 平台上，利用平台提供一个在空间稳定不变的方向基准，克服了红外探测器的 运动使光轴产生的晃动，伺服控制部件接收红外图像信号处理部件输出的两路 目标角误差信息，经功率放大器形成控制电流给力矩电机，力矩电机输出与目 标角误差成比例的力矩作用给平台台体，最终形成对目标的两自由度跟踪，提 高搜索范围与跟踪精度。最后结果以及原始图像数据通过通信模块1553B总线 上传给上位机，图像与结果显示部分将灰度分布在0 214-1的图像映射为0 28-1 的图像进行显示。
本发明的运动背景的红外图像实时目标识别与跟踪方法是首先通过红外热
像仪得到红外图像，通过数字输出差分RS422端口以及差分转换电路，将数字 图像数据以及输出控制信号送到红外图像信号处理部件的FPGA数据输入端口 ， FPGA实时进行中值滤波和形态学滤波去噪、从DSP通过釆用模糊最大指数熵 法确定阈值，在FPGA内进行图像分割和数据压縮等预处理，在将检测结果二 值图像数据送入双口 RAM,为图像跟踪DSP提供图像处理数据，在主DSP中 的红外目标识别模块采用基于递归的二值图像标记方法进行特征提取和分类， 目标跟踪模块再利用目标外形特征进行变分辨率匹配目标跟踪，最终给出跟踪 角度数据通过通信模块1553B总线上传给上位机显示。红外探测器在指定范围 内(2° 6°)进行目标搜索，当在指定的视场内红外探测器无法搜索到目标时， 则主DSP启动红外探测器进入搜索状态，搜索视场为±18°。当系统检测出目标 后，则锁定目标，进入跟踪状态，连续输出方位与俯仰角度给控制系统。 本发明的红外目标检测识别与跟踪器具有如下有益效果 本发明的红外目标检测识别与跟踪器是基于先进凝视焦平面阵列的被动红 外探测器，具有作用距离远、探测范围广、定位精度高、识别能力强、实时目 标跟踪、全天候工作等优点，对于应用系统的后续处理工作具有重要意义和使 用价值。
图1为本发明的红外目标检测识别与跟踪器结构原理图。 图2为本发明的红外成像仪的输出信号的时序。
图3、 4、 5是本发明的第一组效果比较图像；其中图3是飞机实拍地面 图像；图4是经过预处理和图像分割后的二值化图像；图5是经过标记与几何 特征分析检测到的目标图像。
图6、 7、 8是本发明的第二组效果比较图像；其中图6是狮型建筑灰度 图像；图7是狮型建筑二值图像；图8-l、图8-2、图8-3是快速匹配跟踪用的
多分辨率模板。
图9、 10、 11、 12是本发明的第三组效果比较图像，是不同距离下识别的目 标建筑跟踪结果；其中图9是距离目标7000米；图10是距离目标3500米； 图11是距离目标IOOO米；图12是距离目标500米。
具体实施例方式
以下结合附图举例本发明的技术方案作进一步描述。
本发明的实施例中，利用高性能红外成像仪分别拍摄到图3和图6的对地 目标。采用本发明进行的红外目标检测、识别与跟踪，各部分具体实施细节如 下
结合图1，红外目标检测跟踪与识别器由四个部分组成包括红外成像探测、 红外图像信号处理、伺服控制平台和通信模块四个部分。高性能红外成像仪所 采用的红外成像前端是法国Sofradir公司生产的320x256中波制冷焦平面探测 器。该红外成像仪有两个输出端口和一个串行通信端口。两个输出端口其中的 一个是用于视频输出，利用一台视频监视器可以观察红外成像仪输出的视频模 拟图像；另一个输出端口是差分信号RS422数字输出。串行通信端口与主机相 连，主要作用是调节红外成像仪的性能，如调节数字图像的输出速率(50帧/ 秒、100帧/秒)，调节图像的积分时间以及校正图像以使成像效果达到最佳。
红外摄像头的数字输出格式是采用RS422差分信号，这种信号可以抑制传 输过程中信号之间产生的共模干扰，进行长距离传输。端口输出14位数据和4 位控制信号。4位控制信号分别为像素时钟信号、行复位信号、行使能信号和场
使能信号。为保证数据在较低的传输误码率情况下进行传输，必须根据这些控
制信号进行时序分析和硬件电路设计。红外探测器图像信号时序关系如图2所 示。
红外图像信号处理部件的硬件包括由FPGA和双DSP构成的图像预处理模 块和图像识别跟踪模块。预处理模块首先对红外探测器到来的信号进行去噪处 理，在FPGA中进行中值滤波与形态学滤波实现去噪，再将红外图像信号进行 压縮处理，将14位有符号图像数据处理成8位无符号图像数据。从DSP进行读 写时序的控制、数据空间译码、图像分割阈值选择以及与探测器前端的通信功 能。采用模糊最大指数熵法确定阈值后，在FPGA中进行实时图像分割，最后 将结果送给双口 RAM,为后续跟踪模块处理提供二值化图像。两块双口 RAM 采用兵乓式存储结构，保证图像处理实时性。跟踪模块DSP对二值化图像进行
识别与跟踪处理，采用基于递归的二值图像标记方法识别目标，通过标记孤立 目标并进行几何特征分析，最终提取出目标。识别成功后转跟踪模式，图像跟 踪采用基于目标外形特性的二值图像变分辨率分层搜索快速匹配方法，通过改 进搜索空间和搜索策略，采用四像元金字塔分层图像，进行先粗后细的匹配， 在不损失跟踪精度的前提下，运算速度得到提高。跟踪模块最终给出跟踪角误 差，转换成RS-422电平，串行发送给伺服控制部件。
伺服控制部件由速率陀螺及平台伺服控制系统构成，将红外成像器安装在陀 螺稳定平台上，利用平台提供一个在空间稳定不变的方向基准，克服了红外探 测器的运动使光轴产生的晃动，伺服控制部件接收红外图像信号处理器输出的 两路目标角误差信息，经功率放大器形成控制电流给力矩电机，力矩电机输出 与目标角误差成比例的力矩作用给平台台体，最终形成对目标的两自由度跟踪。
采用伺服控制装置控制搜索和跟踪视场，真正实现红外图像探测器对目标的实 时的检测、识别与跟踪。
通信模块采用1553B总线上传红外图像以及图像信号处理后跟踪结果显示。 显示部分采用C语言编程。
如图3、 4、 5所示，图3是飞机实拍地面图像，图4是经过预处理和图像分 割后的二值化图像，图5是经过标记与几何特征分析检测到的目标图像。如图6、 7、 8所示，图6是狮型建筑灰度图像，图7是狮型建筑二值图像，图8-l、图 8-2、图8-3是快速匹配跟踪用的多分辨率模板。如图9、 10、 ll所示，不同距 离下识别的目标建筑跟踪结果，图9距离目标7000米，图10距离目标3500米， 图11距离目标1000米，图12距离目标500米。目标检测概率能够达到99%， 虚警概率为0.1%;目标的识别正确率为95%，目标的跟踪概率可以达到96%。 整个算法在红外图像信号处理部件上的运行时间可以达到每秒钟50帧的实时效 果。可以看出，本发明具有搜索范围广、探测距离远、定位精度高、识别能力 强、实时目标跟踪、全天候工作等优点。
权利要求
1、一种运动背景的红外图像实时目标识别与跟踪器，其特征是包括红外成像探测部件、红外图像信号处理部件、伺服控制部件和通信模块四个部分；红外成像探测部件由红外光学系统、凝视焦平面阵列探测器组件、A/D采样电路组成；探测器串行输出信号经过A/D转换后，进入红外图像信号处理部件；红外图像信号处理部件以现场可编程门阵列FPGA和高速数字信号处理器DSP为硬件平台，进行红外图像预处理与目标检测、识别与跟踪，并计算出目标的俯仰与方位误差角，送给伺服控制部件及通信模块进行跟踪控制及上位机结果显示；伺服控制部件由速率陀螺及平台伺服控制系统构成，红外成像器安装在陀螺稳定平台上，平台提供一个在空间稳定不变的方向基准，伺服控制部件接收红外图像信号处理部件输出的两路目标角误差信息，经功率放大器形成控制电流给力矩电机，力矩电机输出与目标角误差成比例的力矩作用给平台台体，最终形成对目标的两自由度跟踪，最后结果以及原始图像数据通过通信模块1553B总线上传给上位机，图像与结果显示部分将灰度分布在0～214-1的图像映射为0～28-1的图像进行显示。
2、 一种基于运动背景的红外图像实时目标识别与跟踪器的识别与跟踪方 法，其特征是首先通过红外热像仪得到红外图像，通过数字输出差分RS422 端口以及差分转换电路，将数字图像数据以及输出控制信号送到红外图像信号 处理部件的FPGA数据输入端口 ， FPGA实时进行中值滤波和形态学滤波去噪、 从DSP通过采用模糊最大指数熵法确定阈值，在FPGA内进行图像分割和数据 压縮等预处理，在将检测结果二值图像数据送入双口 RAM，为图像跟踪DSP 提供图像处理数据，在主DSP中的红外目标识别模块采用基于递归的二值图像 标记方法进行特征提取和分类，目标跟踪模块再利用目标外形特征进行变分辨 率匹配目标跟踪，最终给出跟踪角度数据，并通过通信模块1553B总线上传给 上位机显示；红外探测器在指定的2° 6°范围内进行目标搜索，当在指定的视 场内红外探测器无法搜索到目标时，则主DSP启动红外探测器进入搜索状态， 搜索视场为士18。；当系统检测出目标后，则锁定目标，进入跟踪状态，连续输 出方位与俯仰角度给控制系统。
3、如权利要求2的所述的基于运动背景的红外图像实时目标识别与跟踪器 的识别与跟踪方法，其特征是图像预处理模块采用基于FPGA的中值滤波和形 态学滤波硬件实现图像预处理方法，然后通过采用模糊最大指数熵法确定阈值， 进行图像分割处理，得到检测结果；图像识别跟踪模块采用基于递归的二值图 像标记方法进行特征提取和分类，再利用目标外形特征进行变分辨率匹配目标
全文摘要
本发明提供的是一种运动背景的红外图像实时目标识别与跟踪器及方法。包括红外成像探测部件、红外图像信号处理部件、伺服控制部件和通信模块四个部分。采用红外热像仪采集数字化的红外图像，采用伺服控制部件控制搜索和跟踪视场内目标，采用红外图像信号处理部件实时地检测、识别与跟踪目标，采用1553B总线与上位机通信构成红外图像跟踪结果显示。能检测15公里以上的景深范围，能进行±18°度的大角度搜索和2°～6°度的小角度精确跟踪。具有检测距离远、探测范围广、定位精度高、识别能力强、实时目标跟踪、全天候工作等特点。
文档编号G06K9/62GK101105836SQ20071007248
公开日2008年1月16日 申请日期2007年7月6日 优先权日2007年7月6日
发明者刘云鹤, 司锡才, 焦淑红, 涛 陈 申请人:哈尔滨工程大学