专利名称：基于旋转不变形态学神经网络的红外目标识别方法
技术领域：
本发明涉及一种基于旋转不变形态学神经网络的红外目标识别方法，可以实现空中物体距离成像传感器较远，目标形状信息不完整及姿态发生变化情况时的识别，是红外检测与识别系统、红外预警系统、大视场目标监视系统的一项核心技术，在各类军、民用系统中均可有广泛的应用。
背景技术：
红外成像技术是一种非接触式的测试技术，它可以方便地检测目标发出的不可见热辐射并转换成可见图像。信息获取所涉及的一个关键领域是红外探测技术和方法的研究，其重要地位已日益突出。由于红外成像技术具有隐蔽性好、探测范围广、定位精度高、识别伪装能力强、作用距离远以及轻质小巧、低耗可靠等优点而备受青睐，可广泛应用于安全监视、国防军事和工业自动化检测等领域。
随着红外探测器技术的发展，热像仪从过去采用单元或多元分立式探测器加一维或二维光机扫描器，发展成了不用光机扫描的凝视型成像装置。基于凝视焦平面阵列的红外热成像探测系统，无论从温度灵敏度和空间分辨率上，还是从帧频和光谱响应上，都有了极大的提高。由于焦平面凝视热像仪所独有的优良性能，已经成为世界各国大力研发的一项高新技术。作为智能化信息处理的关键环节之一，红外目标成像、检测与识别技术一直是困扰和制约红外成像探测实用性能的瓶颈问题和技术难点而亟待解决，目前已引起国内外专家的高度重视，并围绕这一课题开展了深入、广泛的研究。
在红外目标检测与识别过程中，需要尽快地检测并锁定待识别目标，但是在对空条件下，当物体与成像传感器较远时，要实现识别的目的面临着众多的技术难题。这些技术难题主要有
1.目标与成像传感器较远，由于成像传感器精度等原因，目标形状信息不完整，传统的目标识别方法无法应用；2.成像平台自身振动以及目标的运动常常表现出目标的姿态发生变化，加大了识别的难度；3.数据量大，难以实时处理。
国内外研究人员针对目标识别提出了一些方法，如模板匹配，统计模式识别，句法或结构模式识别以及神经网络识别方法，但是但是当目标信息不完整时，或目标姿态发生变化时总是表现出计算量大的问题，难以实时处理视频图像序列。
发明内容
本发明的目的在于针对现有技术的上述不足，提供一种对空远距离红外目标的识别方法-旋转不变形态学神经网络方法，这种方法可与成像硬件系统配套进行信号分析与处理，提高系统识别的性能，满足实际系统的识别正确率及实时性等性能需求。
为实现这样的目的，本发明的技术方案中，先改进构造模式库方式，在存放完整模式的同时将满足拓扑结构的不完整模式按分级的方法存贮。利用这种构造方法，模式库中每一种完整模式派生出一系列的不完整模式，构成了一组模式类。根据目标检测阶段能够提供目标出现位置的先验信息，实现目标局部区域分割，以减少整幅图像进行分割的工作量。成像平台自身振动以及目标的运动常常表现出目标的姿态发生变化，利用泽尔尼克(Zernike)矩旋转不变的性质，将分割出的目标规范化。这种规范化处理提高了待识别的目标与已知模式中各模式类的可比性。当获得规范后的目标后，结合泽尔尼克矩提供的信息，按照最近邻法定位目标在模式库中的位置，根据形态学中“击中击不中”变换原理对目标形状信息实现提取，其输出结果作为分类网络的输入，最终实现目标的正确分类。
本发明的方法包括如下具体步骤
1.创建模式库。
模式库是识别算法的基础，本发明针对的是空中目标，则模式库中存放各种空中目标。本发明在构造模式库时充分利用模式的拓扑信息，即模式库中不仅存放完整的模式，而且还存放满足拓扑结构要求的非完整的模式，并按照分级模式布置。这样模式库中的一种完整模式派生出一组模式类。
2.根据实际红外图像的成像特点，利用目标检测算法实现目标定位。
本发明针对的是红外序列目标识别，但当目标距离成像传感器很远时，目标在成像平面表现为点目标，这时由于目标尚不具备可以识别所需要的信息，此时只能利用目标检测算法实现检测并对目标定位。
3.结合目标检测阶段提供的目标位置信息，实现目标的局部分割。
目标在运动过程中，当与成像传感器距离逐渐缩小时，目标的形状信息逐渐完整，这时目标也由点目标逐渐增大为斑点目标，最后形成面目标。目标检测阶段提供的目标的位置信息可以作为实现目标在局部小区域内分割的先验信息。
4.利用泽尔尼克矩的旋转不变性，将分割出的目标规范化。
对于一幅数字图像，计算泽尔尼克矩的实质就是把图像函数在泽尔多项式空间的投影，计算结果的模不随图像旋转发生变化。泽尔尼克矩规范化过程就是根据泽尔尼克多项式计算泽尔尼克矩的不同阶次的数值，并作为一维矢量存贮。
5.根据最近邻法确定特征提取层中用于形态学“击中击不中”变换的结构元素对。
将模式库中的各种模式类的泽尔尼克矩与目标泽尔尼克矩相比较，利用矢量的二范数距离，结合最近邻法实现目标在模式库中的定位，并确定用于形态学“击中击不中”变换的结构元素对。
6.将规范化的结果输入旋转不变神经网络的特征提取层，利用形态学的“击中击不中”变换实现目标形状特征提取，并将计算所得的特征值输入分类网络。经过分类网络计算最终得到是非目标的判决。
本发明首先改进传统模式库构造方法，将模式库利用拓扑信息进行完善，即模式库中不仅存放完整的模式，而且还存放满足拓扑结构要求的非完整的模式，并按照分级模式布置。目标检测结果实现了目标定位功能，利用这个信息达到目标局部分割的目的，使得目标检测与目标识别紧密结合，把目标识别的过程尽可能提前。利用泽尔尼克矩的旋转不变性对分割结果规范化，这种规范化的作用减化了构造模式库的难度，通常一个方位角只需一个模式类，而不必存贮大量不同旋转角度的同一模式。根据最近邻方法，把规范化的结果与模式库模式比较，确定特征提取层用于形态学“击中击不中”变换的结构元素对。分类网络是以特征提取层运算结果作为输入的，网络结构则是全联式前馈网络。本发明在保证算法识别性能的条件下，提高了算法的实时性，可以实现空中物体距离成像传感器较远，目标形状信息不完整及姿态发生变化情况时的识别，可广泛应用于各类军、民用系统，具有广阔的市场前景和应用价值。
图1为对空远距离红外目标识别的旋转不变形态学神经网络结构图。
如图1所示，对于一幅真实红外图像，先采用目标检测方法实现目标的局部区域分割。对分割的结果利用泽尔尼克矩规范化后，输入特征提取层进行形态学“击中击不中”变换，图中的k代表了结构元素的对数。把特征提取层的输出结果作为特征提取网络的输入。经训练好的分类网络计算后最终得出是非目标的判决。
图2为当训练样本与检验样本相关性较强时，用于旋转不变形态学神经网络训练及检验网络性能的真实红外图像样本。
图2(a)图属于目标侧向飞行训练样本，图2(b)、图2(c)属于目标正向飞行的训练样本，前者形状尚不完整，后者形状基本完整。
图3为当训练样本与检验样本相关性较弱时，用于旋转不变形态学神经网络训练及检验网络性能的真实红外图像样本。
图3(a)为训练用样本，图3(b)、图3(c)均为检验用样本，三种样本均来自相同方位角，不同之处在于图3(b)中的检验样本与图3(a)训练样本中的飞行姿态区别较大，图3(c)的样本中出现了大量杂波。
具体实施例方式为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。
本发明基于旋转不变形态学神经网络的红外目标识别方法的各部分具体实施细节如下1.创建模式库。
对空红外图像中目标成像，由于成像传感器成像精度及目标距离较远等因素的影响，会出现目标没有完全成像的现象。但只要成像的目标具有应有的拓扑结构，即目标区域内部是平整的，不存在很小的空洞时，是可以通过利用这些不完整的局部信息实现目标识别。本发明将模式库利用拓扑信息进行完善，即模式库中不仅存放完整的模式，而且还存放满足拓扑结构要求的非完整的模式，并按照分级模式布置。这样模式库中的一种完整模式派生出一组模式类。利用这种模式库可以很方便的确定用于形状特征提取的“击中击不中”变换中的结构元素对。
2.根据实际红外图像的成像特点，利用目标检测算法实现目标定位。
当目标距离成像传感器很远时，目标在成像平面表现为点目标，利用目标检测算法实现目标定位。目标检测算法是根据点目标运动时帧间相关性，背景分布均匀性及噪声分布的随机等特征实现目标运动航迹能量累积，提高图像信噪比的方法，实现点目标检测。
3.结合目标检测阶段提供的目标位置信息，实现目标的局部分割。
目标在运动过程中，当与成像传感器距离逐渐缩小时，目标的形状信息逐渐完整，这时目标也由点目标逐渐增大为斑点目标，最后形成面目标。结合目标检测阶段提供的目标位置信息，实现目标的局部分割。由于目标检测过渡到目标识别阶段是没有严格界限的，本发明利用目标检测阶段得到的目标位置信息，可以在目标出现位置的小区域内实现目标分割。这种方法将这个过程限制在了一个较小的的区域内，简化了图像分割复杂度。目标检测阶段得到的目标位置点不一定是待识别目标的质心，但其一定在目标区域内。空中目标在运动时与大气摩擦以及自身是发热体，使得目标温度相对于周围环境较高。由红外热成像原理，目标在红外图像中呈现高亮度区，而周围环境属于低亮度区。利用上述先验知识，可以将目标检测点做为种子点，设定一个给定的阈值，利用成像目标具有的连通拓扑结构约束利用种子生长方法可以将目标从背景中分割出来。进入目标识别阶段，目标需要表现出一定的形状或纹理等信息。本发明利用了目标检测阶段提供的先验信息，算法设计是从检测到识别这一连续过程，目标表现为由点目标到小目标，逐渐增大为面目标。当目标增大到一定面积时，这时由检测转入识别阶段，这个面积可以根据实际情况预先设定。
4.利用泽尔尼克(Zernike)矩的旋转不变性，将分割出的目标规范化。
泽尔尼克介绍了一组复数多项式，它们构成了单位圆(即x2+y2＝1)内部完备的正交集。设这组多项式由{Vnm(x，y)}表示，那么这组多项式的形式为Vnm(x，y)＝Vnm(ρ，θ)＝Rnm(ρ)exp(jmθ)上式中，n为非负整数，m为不等于0的整数，并满足条件，n-｜m｜为偶数且｜m｜≤n。ρ是从原点到象素(x，y)的向量长度，θ是向量ρ与x轴沿逆时针方向的夹角。
定义径向项式Rnm(ρ)如下Rnm(ρ)=Σs=0(n|m|)/2(-1)s·(n-s)!s!(n+|m|2-s)!(n-|m|2-s)!ρn-2s]]>上式具有Rn，-m(ρ)＝Rnm(ρ)。
这组多项式是正交的并且满足，∫∫x2+y2≤1[Vnm(x,y)]*Vpq(x,y)dxdy=πn+1δnpδmp]]>其中， 泽尔尼克矩是图像函数在这些正交基函数上的投影。对连续的图像函数进行m重循环在单位圆外消失的的n阶泽尔尼克矩为Anm=n+1π∫∫x2+y2≤1f(x,y)Vnm*(ρ,θ)dxdy]]>对于一幅数字图像来说，用求和代替积分得到，Anm=n+1πΣxΣyf(x,y)Vnm*---x2+y2≤1]]>计算一幅给定图像的泽尔尼克矩，把图像的中心作为坐标原点，象素的坐标映射到单位圆范围以内，而那些单位圆外面的象素不参与计算。在众多正交矩中选择泽尔尼克矩的重要原因在于它构造高阶矩时的方便性，更重要的是在于近乎完美的旋转不变特征。泽尔尼克矩的模｜Anm｜具有旋转不变性特性，可以将｜Anm｜作为目标的不变性特征。在实际的红外图像中，目标可能以不同的姿态或运动方向出现。将分割出的目标利用泽尔尼克矩规范化使得其与模式库中的不同模式具有可比性，并且可以减少构造模式库的工作量。泽尔尼克矩只是具有旋转不变的性质，但如要使其具有平移及尺度不变，只要通过规则矩来规范化。本发明研究的是在远距离成像的红外目标，由于作用距离较远，在实现识别目的过程中尺度无明显变化，故可在算法中略去这一步骤。
5.根据最近邻法确定特征提取层中用于形态学“击中击不中”变换的结构元素对。
特征提取层是对泽尔尼克矩规范化后的目标进行形状特征提取。其特征提取功能利用形态学“击中击不中”变换来实现的，这就要涉及一种用于“击中击不中”变换结构元素对的确定方法。对空红外图像中目标成像，由于成像传感器成像精度及目标距离较远等因素的影响，会出现目标没有完全成像的现象。但只要成像的目标具有应有的拓扑结构，即目标区域内部是平整的，不存在很小的空洞时，是可以通过利用这些不完整的局部信息实现目标识别。本发明将模式库利用拓扑信息进行完善，即模式库中不仅存放完整的模式，而且还存放满足拓扑结构要求的非完整的模式，并按照分级模式布置。这样模式库中的一种完整模式派生出一组模式类。利用这种模式库可以很方便的确定用于形状特征提取的“击中击不中”变换中的结构元素对。
按照形态学中的定义，对于图像A，需要确定这样的一对结构元素对B＝(E，F)一个探测图像内部，另一个探测图像外部，其定义为 当且仅当E平移到某一点时可填入A的内部，F平移到该点时可填入A的外部时，这表示输入图像满足“击中击不中”变换的形状要求。很显然，E和F应当是不相连接的，即E∩F＝φ。由前述模式库的的分级结构，当目标经泽尔尼克矩规范化与模式库中某一模式l最接近，则l可以做为结构元素E，而结构元素F则由l所处分级模式类中最高级模式的外轮廓表示。在实际运用时，通常要将分割出的目标利用主轴法校正之后，再进行“击中击不中”变换。
6.规范化的结果输入旋转不变神经网络的特征提取层，利用形态学的“击中击不中”变换实现目标形状特征提取，并将计算所得的特征值输入分类网络。经过分类网络计算最终得到是非目标的判决。
本发明在特征提取层之前对输入图像进行目标分割，并对分割出的目标进行泽尔尼克矩规范化。根据规范后的结果，利用最近邻法在不同的k个模式类中找到对应的k个模式，并根据这k个模式可以确定特征提取层中的结构元素对。特征提取网络中虚线或点线代表了不同的结构元素对(Ei，Fi)(i＝1…k)，所有的结构元素对(Ei，Fi)对分割出的目标模式分别进行“击中击不中”运算。这样，对于每一个待识别目标，分类识别网络是具有k个输入的前向传播网络，k与模式库中不同的模式类的个数相对应。
分类网络的输入是根据特征提取层中的变换结果确定的。当物体通过“击中击不中”运算时，取系数q＝1，否则为0。本发明定义一种目标特征显著性做为分类网络的输入。对于识别系统，当待识别的物体形状信息趋于完全时，这时物体被识别为目标的显著性也趋于1。令模式库中的最完整的模式的面积为A1，分割出的目标面积为A2，当q＝1时，则显著性定义为Sa1＝A2/A1。当q＝0时，Sa0＝0。这样定义显著性Sa＝q*A2/A1。网络输入为k个显著性值的加权和。
分类网络结构采用了反向传播(BP)神经网络结构。网络训练达到1000次循环或均方根误差低于0.001时停止。大量实验表明网络训练通常在50次循环以内可以达到均方根误差要求，证明网络具有很好收敛性。
以下为针对两组不同的训练样本的计算实例。
A.针对训练样本与检验样本具有较强相关时，旋转不变形态学神经网络识别效果。所谓样本相关性强是指，在目标处于相同方位角时，各组训练样本中总是包含与检验样本相类似的样本。选用3组连续的真实红外序列图像样，每组200帧，共计600帧。第一组，目标由点目标到面目标过渡时间段。这一阶段主要检测本文算法利用目标检测算法辅助定位目标，实现利用侧向部分目标信息(即目标形状信息不完整)完成目标识别。第二组，目标运动姿态发生改变，用于检测算法对目标姿态变化的识别性能，这一组数据不用于训练网络，而全部用于检验网络的识别能力。第三组，目标沿着垂直于传感器成像平面飞行，用于检测算法在不完整形状信息到完整形状信息过渡时间的识别性能。
训练样本由第一组及第三组共400帧数据中的隔帧抽取200帧组成。网络输入层的节点数由结构元素对的个数决定。结构元素对数是一个给定的常数，在网络训练前确定。实验中采用三组结构元素对(每组13个)，即侧向、正向及侧向飞行转向正向飞行的过渡阶段的结构元素对。隐层由3个单元组成。输出层由1个单元组成，输出的值在0与1之间，代表了识别的物体是目标或非目标的置信度，置信度大于0.5时表示输入为目标。网络的学习率取0.05，网络训练次数为1000次。所有网络权值取[-0.5，0.5]之间的随机数。图2为输入的真实的红外图像，图2(a)属于第一组训练样本，图2(b)，图2(c)属于第三组训练样本，前者形状尚不完整，后者形状基本完整。网络经过训练将检验样本输入网络，其识别结果见表1。
表1样本强相关时旋转不变形态学神经网络识别结果 B.针对训练样本与检验样本具有较弱相关时，旋转不变形态学神经网络识别效果。两组实验结果在训练样本与检验样本具有较强相关性时，旋转不变神经网络具有很好的识别性能。为了考察它在训练样本与检验样本相关性较弱时的识别性能比较，这一部分设计了第二组实验。上一组实验训练样本与检验样本是从同一连续序列中隔帧抽取，它们之间的相关性很强。本组实验采用了三组相关性较差的样本，这三组样本均是相同的方位角，即目标都是沿着正向成像平面的方向飞行，但是样本来自三个互不连续的序列。训练样本的200帧数据，目标正好处在侧向飞行转向正向飞行初始状态。检验样本一的目标飞行姿态与训练样本区别很大，而检验样本二的样本图像背景出现了较强的杂波干扰。图3(a)，图3(b)及图3(c)分别属于训练样本，第一组检验样本及第二组检验样本。采用使得对训练样本识别达到满足识别正确率要求(90％)的结构元素对，分类网络的参数选择与上一组实验完全相同，其识别结果见表2。
表2样本弱相关时旋转不变形态学神经网络识别结果 由表1及表2识别结果，不论训练样本与检验样本的相关性强弱，旋转不变形态学神经网络识别效果均能达到很高的识别正确率，识别性能很稳定。
权利要求
1.一种基于旋转不变形态学神经网络的红外目标识别方法，其特征在于包括如下具体步骤1)利用模式的拓扑信息构造模式库，模式库中不仅存放完整的模式，而且还存放满足拓扑结构要求的非完整的模式，并按照分级模式布置，使模式库中的一种完整模式派生出一组模式类；2)根据实际红外图像的成像特点，利用目标检测算法实现目标定位；3)结合目标检测阶段提供的目标位置信息，实现目标的局部分割，将目标检测阶段提供的目标的位置信息，作为实现目标在局部小区域内分割的先验信息；4)利用泽尔尼克矩的旋转不变性，将分割出的目标规范化，泽尔尼克矩规范化过程就是根据泽尔尼克多项式计算泽尔尼克矩的不同阶次的数值，并作为一维矢量存贮；5)将模式库中的各种模式类的泽尔尼克矩与目标泽尔尼克矩相比较，利用矢量的二范数距离，结合最近邻法实现目标在模式库中的定位，并确定用于形态学“击中击不中”变换的结构元素对；6)将规范化的结果输入旋转不变神经网络的特征提取层，利用形态学的“击中击不中”变换实现目标形状特征提取，并将计算所得的特征值输入分类网络，经过分类网络计算最终得到是非目标的判决。
全文摘要
本发明涉及一种基于旋转不变形态学神经网络的红外目标识别方法。改进了传统的构造模式库的方式，在存放完整模式的同时，将满足拓扑结构的不完整模式按分级的方法存贮，根据目标检测阶段提供目标出现位置的先验信息，实现目标局部区域分割，以减少整幅图像进行分割的工作量，利用泽尔尼克矩旋转不变的性质，将分割出的目标规范化，当获得规范后的目标后，结合泽尔尼克矩提供的信息，按照最近邻法定位目标在模式库中的位置，根据形态学中“击中击不中”变换原理对目标形状信息实现提取，其输出结果作为分类网络的输入，最终实现目标的正确分类。本发明可以实现空中物体距离成像传感器较远，目标形状信息不完整及姿态发生变化情况时的识别。
文档编号G06N3/06GK1482573SQ0314178
公开日2004年3月17日 申请日期2003年7月24日 优先权日2003年7月24日
发明者敬忠良, 张世俊, 李建勋 申请人:上海交通大学