一种动平台对地固定目标异构并行自动目标识别器的制造方法
【专利摘要】本发明公开了一种动平台对地固定目标异构并行自动目标识别器，所述目标识别器包括：交换式网络与至少一个处理部件，所述处理部件与所述交换式网络之间通过输入FIFO接口、同步存储器输出接口以及控制线连接，所述交换式网络用于动态链接不同的所述输入FIFO接口和所述同步存储器输出接口，所述处理部件用于完成自动目标识别过程中所需的各种算法功能，所述输入FIFO用于缓存输入的待处理图像数据，所述同步存储器输出接口用于缓存待输出的处理完的图像数据，所述控制线用于在图像数据传输过程中控制数据传输。由于使用统一的带缓存交换式网络，保证不同处理部件之间的动态全互联，减少资源消耗，提高了系统的资源利用效率。
【专利说明】—种动平台对地固定目标异构并行自动目标识别器
【技术领域】
[0001]本发明属于数字信号处理【技术领域】，更具体地，涉及一种动平台对地固定目标异构并行自动目标识别器。
【背景技术】
[0002]对地静止目标成像自动目标识别属于在复杂背景下对目标进行识别的技术。地面背景非常复杂，街道、树木、楼房等各种复杂的结构和不同的灰度对目标的识别造成了很大的困难。而且，目标的阴影、云层的遮挡、是否逆光等各种条件对目标的识别精度和识别的稳定性带来很大的影响。因此，对地静止目标成像自动目标识别中采用的算法尤其复杂。
[0003]对地静止目标成像自动目标识别系统需要处理的数据量大，算法复杂，这样就对系统的软硬件资源提出了很高的要求，特别是在动平台体积功耗受限的情况下，系统的设计难度非常大。
[0004]随着技术的发展、需求的增加，传统的图像处理系统的架构越来越不能满足或很难满足设计的需求。研究更合理、更高效的成像自动目标识别系统对在动平台软硬件计算资源有限和低功耗的要求条件下，提高目标识别精度和系统实时性方面有非常重要的意义。
【发明内容】
[0005]针对现有技术的以上缺陷或改进需求，本发明提供了一种动平台对地固定目标异构并行自动目标识别器，其目的在于解决在动平台软硬件计算资源有限和低功耗的要求下，对复杂背景下的地面静止目标进行识别的技术问题。
[0006]为实现上述目的，本发明提供了一种动平台对地固定目标异构并行自动目标识别器，包括:交换式网络与至少一个处理部件，所述处理部件与所述交换式网络之间通过输入FIFO接口、同步存储器输出接口以及控制线连接，所述交换式网络用于动态链接不同的所述输入FIFO接口和所述同步存储器输出接口，所述处理部件用于完成自动目标识别过程中所需的各种算法功能，所述输入FIFO用于缓存输入的待处理图像数据，所述同步存储器输出接口用于缓存待输出的处理完的图像数据，所述控制线用于在图像数据传输过程中控制数据传输。
[0007]本发明采用了动态缓存结构来链接不同的处理部件，输入FIFO和同步存储器输出接口的使用有效地解决了不同数据宽度、不同数据速率、不同接口之间的差异引起的互联问题。交换式网络的使用在保证不同处理部件之间的动态全互联的同时，减少了资源消耗，提高了系统的资源利用效率。
[0008]优选的，所述处理部件包括现场可编程门阵列(Field Programmable GateArray, FPGA)模块，以及非均勻校正片上系统(System on Chip, SoC)模块、旋转专用集成电路(Application Specific Integrated Circuit, ASIC)模块、多级滤波 ASIC 模块、轮廓跟踪与标记ASIC模块、数字信号处理器(Digital Signal Processor, DSP)模块中的至少一种、其中:
[0009]所述非均匀校正SoC模块、所述旋转ASIC模块、所述多级滤波ASIC模块、所述DSP模块、所述轮廓跟踪与标记ASIC模块分别通过所述交换式网络与所述FPGA模块相连，所述FPGA模块提供各模块之间的数据通道，并控制各模块协同有序地完成图像处理任务；
[0010]所述FPGA模块还用于接收图像输入，对输入的图像进行预处理；
[0011]所述非均匀校正SoC模块，用于接收所述FPGA模块经过预处理后的图像，对所述经过预处理后的图像进行非均匀校正处理，并将所述经过非均匀校正处理后的图像输出到所述FPGA模块；
[0012]所述旋转ASIC模块，用于从所述FPGA模块接收所述经过非均匀校正处理后的图像，并对所述经过非均匀校正处理后的图像进行旋转处理，以消除因成像角度因素对匹配结果的影响，并将所述经过旋转处理后的图像输出到所述FPGA模块；
[0013]所述多级滤波ASIC模块，用于从所述FPGA模块接收所述经过旋转处理后的图像，并对所述旋转处理后的图像进行多级滤波处理，对图像中的小目标进行增强，并将所述经过多级滤波处理后的图像输出到所述FPGA模块；
[0014]所述DSP模块，用于从所述FPGA模块接收所述多级滤波处理后的图像，并对所述多级滤波处理后的图像进行多值分割处理，初步分割出疑似目标和背景，并将所述经过多值分割处理后的图像输出到所述FPGA模块；
[0015]所述轮廓跟踪与标记ASIC模块，用于从所述FPGA模块接收所述多值分割处理后的图像，并对多值分割后的图像进行轮廓跟踪与标记处理，生成目标轮廓坐标信息，并将所述目标轮廓坐标信息输出到所述FPGA模块；
[0016]所述DSP模块还用于从所述FPGA模块接收所述目标轮廓坐标信息，并根据所述目标轮廓坐标信息对目标进行特征提取与特征匹配，输出真实目标的坐标信息。
[0017]本方案中，由于采用了多种专用的图像处理ASIC/SoC来完成相应的图像处理工作，ASIC/SoC具有处理效率高、功耗低的特点，专门针对图像处理算法应用而设计的ASIC/SoC可以在很低的功耗下，快速高效地完成相应的图像处理算法。而传统的对地固定目标成像自动目标识别系统一般采用多DSP或多DSP+FPGA的架构，DSP和FPGA虽然有很高的处理性能，但都属于通用的处理器，并不专门针对图像处理任务，存在功耗大、处理效率不高的问题。因此，本发明实施例所提出的方法，在对地固定目标成像自动目标识别系统中可以提高系统的实时性，并降低系统的功耗。相比较采用通用的处理器，在提高处理效率的基础上，既保证了系统的实时性，又降低了系统的整体功耗，同时降低了对DSP和FPGA等处理芯片对运算能力的要求。有利于国产化的实现，减少对国外高端芯片的依赖。同时，联合通用处理器DSP和FPGA的使用保证了系统的灵活性，可实现系统的重构，满足不同算法流程的需要。ASIC/SoC、DSP、FPGA这三种处理芯片协调并行工作，保证了成像自动目标识别系统的性能的高效率和体积功耗的高效率。
[0018]优选的，所述自动目标识别器还包括跨板处理部件，所述跨板处理部件通过串并转换器或并器转换器与所述交换式网络相连，所述交换式网络还用于链接所述处理单元的同步存储器输出接口与所述串并转换器或并器转换器，所述跨板处理部件用于控制板间数据的传输，所述串并转换器用于将串行数据转换成并行数据，所述并串转换器用于将并行数据转换成串行数据。[0019]通过所述跨板处理部件，为图像数据在预处理板与处理板之间传输提供了高速通路。
[0020]优选的，在所述自动目标识别器中，所述处理部件包括预处理板部分和处理板部分；图像先经过预处理板处理后传送到处理板进行进一步的处理，其中:
[0021]所述预处理板完成图像格式变换处理、滤波处理、非均匀校正处理、旋转处理、多级滤波处理；
[0022]所述处理板完成图像多值分割、轮廓跟踪与标记、特征提取与特征匹配等功能；
[0023]所述处理板还提供与PC和上位机通信的接口，以及与监视器连接的接口功能；
[0024]具体的，所述预处理板包括:
[0025]FPGA模块、非均勻校正SoC模块、同步动态随机存储器(Synchronous DynamicRandom Access Memory, SDRAM)模块、闪存(Flash EEPROM Memory, Flash)模块、旋转 ASIC模块、双口 RAM (DPRAM)模块、多级滤波ASIC模块、并串转换模块，其中:
[0026]所述非均匀校正SoC模块、所述旋转ASIC模块、所述双口 RAM (DPRAM)模块、所述多级滤波ASIC模块、所述并串转换模块分别与所述FPGA模块相连，所述FPGA模块提供各模块之间的数据通道，并控制各模块协同有序地完成图像处理任务；
[0027]所述FPGA模块还用于接收图像输入，对输入的图像进行预处理；
[0028]所述SDRAM模块、所述Flash模块分别与所述非均匀校正SoC模块相连，所述SDRAM模块存储所述非均匀校正SoC模块工作时的参数及数据，所述Flash模块存储所述非均匀校正SoC模块的程序，所述非均匀校正SoC模块在上电复位后，从所述Flash模块固定地址读取程序并进入到正常工作状态；
[0029]所述非均匀校正SoC模块，用于接收所述FPGA模块经过预处理后的图像，对所述经过预处理后的图像进行非均匀校正处理，并将所述经过非均匀校正处理后的图像输出到所述FPGA模块；
[0030]所述DPRAM模块与所述旋转ASIC相连，所述DPRAM用于存储所述旋转ASIC处理后的图像数据；
[0031]所述旋转ASIC模块，用于从所述FPGA模块接收所述经过非均匀校正处理后的图像，并对所述经过非均匀校正处理后的图像进行旋转处理，以消除因成像角度因素对匹配结果的影响，并将所述经过旋转处理后的图像输出到所述DPRAM模块，所述FPGA模块从所述DPRAM模块读取所述经过旋转处理后的图像；
[0032]所述DPRAM模块与所述多级滤波ASIC相连，所述DPRAM用于存储所述多级滤波ASIC处理后的图像数据；
[0033]所述多级滤波ASIC模块，用于从所述FPGA模块接收所述经过旋转处理后的图像，并对所述旋转处理后的图像进行多级滤波处理，对图像中的小目标进行增强，并将所述经过多级滤波处理后的图像输出到所述DPRAM模块，所述FPGA模块从所述DPRAM模块读取所述经过多级滤波处理后的图像；
[0034]所述并串转换模块，用于从所述FPGA模块接收所述多级滤波处理后的图像并将所述多级滤波处理后的图像传送到处理板；
[0035]所述处理板包括:
[0036]FPGA模块、轮廓跟踪与标记ASIC模块、DSP模块、SDRAM模块、Flash模块、串并转换模块、视频DAC模块、电平转换模块，其中:
[0037]所述轮廓跟踪与标记ASIC模块、DSP模块、串并转换模块、视频DAC模块、电平转换模块分别与所述FPGA模块相连，所述FPGA模块提供各模块之间的数据通道，并控制各模块协同有序地完成图像处理任务；
[0038]所述串并转换模块，用于接收从预处理板传送来的所述多级滤波处理后的图像，并将所述多级滤波处理后的图像传送到所述FPGA模块；
[0039]所述SDRAM模块和所述Flash模块分别与所述DSP模块相连，所述SDRAM模块存储所述DSP模块工作时的参数及数据，所述Flash模块存储所述DSP模块的程序，所述DSP模块在上电复位后，从所述Flash模块固定地址读取程序并进入到正常工作状态；
[0040]所述DSP模块，用于从所述FPGA模块接收所述多级滤波处理后的图像，并对所述多级滤波处理后的图像进行多值分割处理，并将所述经过多值分割处理后的图像输出到所述FPGA模块；
[0041]所述FPGA模块还用于对所述经过多值分割处理后的图像进行形态学滤波处理；
[0042]所述DPRAM模块与所述轮廓跟踪与标记ASIC相连，所述DPRAM用于存储所述轮廓跟踪与标记ASIC处理后的图像数据；
[0043]所述轮廓跟踪与标记ASIC模块，用于从所述FPGA模块接收所述形态学滤波处理后的图像，并对形态学滤波处理的图像进行轮廓跟踪与标记处理，生成目标轮廓坐标信息，并将所述目标轮廓坐标信息输出到所述FPGA模块；
[0044]所述DSP模块还用于从所述FPGA模块接收所述目标轮廓坐标信息，并根据所述目标轮廓坐标信息对目标进行特征提取与特征匹配，输出真实目标的坐标信息；
[0045]所述视频DAC模块，用于从所述FPGA模块接收处理完的图像数据或任意中间处理图像数据，并将所述处理完的图像数据或任意中间处理图像数据输出到监视器；
[0046]所述电平转换模块，用于提供所述目标识别器与PC之间的串口通信。
[0047]本方案中，由于系统体积的限制，采用了预处理板与处理板的双层结构，由预处理板完成图像格式变换处理、滤波处理、非均匀校正处理、旋转处理、多级滤波处理；而由处理板完成图像多值分割、轮廓跟踪与标记、特征提取与特征匹配等功能；从而实现了目标自动识别过程中算法处理的分离，提升了处理效率。并且由多种专用的图像处理ASIC/SoC来完成相应的图像处理工作，ASIC/SoC具有处理效率高、功耗低的特点，专门针对图像处理算法应用而设计的ASIC/SoC可以在很低的功耗下，快速高效地完成相应的图像处理算法。而传统的对地固定目标成像自动目标识别系统一般采用多DSP或多DSP+FPGA的架构，DSP和FPGA虽然有很高的处理性能，但都属于通用的处理器，并不专门针对图像处理任务，存在功耗大、处理效率不高的问题。因此，本发明实施例所提出的方法，在对地固定目标成像自动目标识别系统中可以提高系统的实时性，并降低系统的功耗。相比较采用通用的处理器，在提高处理效率的基础上，既保证了系统的实时性，又降低了系统的整体功耗，同时降低了对DSP和FPGA等处理芯片对运算能力的要求。有利于国产化的实现，减少对国外高端芯片的依赖。同时，联合通用处理器DSP和FPGA的使用保证了系统的灵活性，可实现系统的重构，满足不同算法流程的需要。ASIC/SoC、DSP、FPGA这三种处理芯片协调并行工作，保证了成像自动目标识别系统的性能的闻效率和体积功耗的闻效率。
[0048]优选的，所述自动目标识别器中的交换式网络具体包括:M个输入触发器、N个带使能控制的三态门、以及MXN的带使能的三态门阵列，所述MXN的带使能的三态门阵列用于全连接所述M个输入触发器和所述N个带使能控制的三态门，所述M个输入触发器用于连接M个不同的同步存储器输出接口，所述N个带使能控制的三态门用于连接N个不同的输入FIFO。
[0049]本方案中，通过触发器、三态门以及同步存储器输出接口和输入FIFO搭建的交换式网络，通过带使能的三态门的控制，既可以实现单一同步存储器输出接口的数据发送到单一的FIFO输入接口，同时，可实现一个同步存储器输出接口的数据同时传输到多个输入FIFO中，实现数据的广播发送。所述交换式网络减少了需要占用大量存储单元的FIFO存储器，实现了各处理部件间的动态全互联。在系统执行目标识别算法任务过程中，可以根据目标识别算法的需要改变数据流连接方式，重构目标识别算法的数据流。
[0050]进一步优选的，所述自动目标识别器中的非均匀校正SoC包括输入接口、输出接口、通用异步收发传输器(Universal Asynchronous Receiver/Transmitter, UART)接口、存储器控制器和专用控制引脚，所述输入接口用于从所述FPGA接收图像数据的输入；所述非均匀校正SoC对所述输入的图像数据进行非均匀校正，并通过所述输出接口将所述经过非均匀校正后的图像数据输出到所述FPGA ;所述UART接口用于与所述FPGA模块通信，传送控制命令等；所述存储器控制器用于连接并控制外部存储器，从所述外部存储器中读取数据或者向所述外部存储器中写入数据；所述专用控制引脚用于所述FPGA模块对非均匀校正SoC的控制。
[0051]进一步优选的，所述自动目标识别器中的旋转ASIC通过外部双口 RAM存储处理完的图像像素，所述旋转ASIC与所述FPGA模块之间通过数据总线、控制线、时钟来传送参数与图像数据，所述旋转ASIC与所述双口 RAM之间通过数据总线、地址总线、控制线来传送旋转处理后的图像数据，所述FPGA模块通过数据总线、地址总线、控制线来读取所述双口 RAM中的旋转处理后的图像数据。
[0052]进一步优选的，所述自动目标识别器中的多级滤波ASIC通过外部双口 RAM存储处理完的图像像素，所述多级滤波ASIC与所述FPGA模块之间通过数据总线、控制线、时钟来传送参数与图像数据，所述多级滤波ASIC与双口 RAM之间通过数据总线、地址总线、控制线来传送经过多级滤波后的图像数据，所述FPGA模块通过数据总线、地址总线、控制线来读取所述双口 RAM中的多级滤波后的图像数据。
【专利附图】
【附图说明】
[0053]图1是本发明中动平台对地固定目标异构并行自动目标识别器的整体结构示意图；
[0054]图2是本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器的主体结构示意图；
[0055]图3是本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器与外部接口连接示意图；
[0056]图4是本发明一个优选实施例中的非均匀校正SoC应用框图；
[0057]图5是本发明一个优选实施例中的非均匀校正SoC的操作方法流程图；
[0058]图6是本发明一个优选实施例中的旋转ASIC应用框图；[0059]图7是本发明一个优选实施例中的旋转ASIC的操作流程图；
[0060]图8是本发明一个优选实施例中的多级滤波ASIC应用框图；
[0061]图9是本发明一个优选实施例中的多级滤波ASIC的操作流程图；
[0062]图10是本发明一个优选实施例中的轮廓跟踪与标记ASIC应用框图；
[0063]图11是本发明一个优选实施例中的轮廓跟踪与标记ASIC的操作流程图；
[0064]图12是本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器的详细结构示意图；
[0065]图13是本发明一个优选实施例中的对地静止目标自动识别算法典型流程图；
[0066]图14是本发明一个优选实施例中的系统输入图像处理流程图；
[0067]图15是本发明一个优选实施例中的交互式网络示意图；
[0068]图16是本发明一个优选实施例中的远距离时，系统各处理部件之间的互联关系示意图；
[0069]图17是本发明一个优选实施例中的中距离时，系统各处理部件之间的互联关系示意图；
[0070]图18是本发明一个优选实施例中的近距离时，系统各处理部件之间的互联关系示意图；
[0071]图19是本发明一个优选实施例中的是远距离时，小地标图像处理流水线示意图；
[0072]图20是本发明一个优选实施例中的中距离时，场景匹配图像处理流水线示意图；
[0073]图21是本发明一个优选实施例中的近距离时，目标模板匹配图像处理流水线示意图。
【具体实施方式】
[0074]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0075]为了解决上述技术问题，本发明提供了一种自动目标识别器，以实现在动平台软硬件计算资源有限和低功耗的要求下，对复杂背景下的地面静止目标进行识别。
[0076]图1是本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器中的整体结构示意图。如图1所示，所述自动目标识别器由交换式网络与至少一个处理部件构成，所述处理部件与所述交换式网络之间通过输入FIFO接口、同步存储器输出接口以及控制线连接，所述交换式网络用于动态链接不同的所述输入FIFO接口和所述同步存储器输出接口，所述处理部件用于完成自动目标识别过程中所需的各种算法功能，所述输入FIFO用于缓存输入的待处理图像数据，所述同步存储器输出接口用于缓存待输出的处理完的图像数据，所述控制线用于在图像数据传输过程中起到控制作用，保证图像数据传输的准确有效。
[0077]ASIC/SoC作为专用的处理器，输入输出接口和通用的处理器如DSP和FPGA相比有很大的差异。针对图像处理的不同ASIC/SoC之间输入输出差异也很大。有的ASIC/SoC输入的是图像数据，输出也是图像数据；有的ASIC/SoC输入的是图像数据，输出是特征(如坐标等)。图像数据的位宽也不尽相同，有的是16bit，有的是8bit，有的甚至只有Sbit15ASIC/SoC的输入输出接口缓存也有差异，有些ASIC/SoC不需要缓存；有些ASIC/SoC需要缓存；有些ASIC/SoC自带缓存；有些不自带缓存。这些差异就导致不同ASIC/SoC之间的互联以及不同ASIC/SoC与通用处理器之间的互联设计是一个设计的难点。
[0078]本发明实施例中，采用了动态缓存结构来链接不同的处理部件。输入FIFO和同步存储器输出接口的使用有效地解决了不同数据宽度、不同数据速率、不同接口之间的差异引起的互联问题。交换式网络的使用在保证不同处理部件之间的动态全互联的同时，减少了资源消耗，提高了系统的资源利用效率。
[0079]进一步的，所述自动目标识别器还可以包括跨板处理部件，所述跨板处理部件通过串并转换器或并器转换器与所述交换式网络相连，所述交换式网络还用于链接所述处理单元的同步存储器输出接口与所述串并转换器或并器转换器，所述跨板处理部件用于控制板间数据的准确传输，所述串并转换器用于将串行数据转换成并行数据，所述并串转换器用于将并行数据转换成串行数据。
[0080]所述跨板处理部件为图像数据在预处理板与处理板之间传输提供了高速通路。
[0081]图2为本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器的主体结构示意图，提出了一种动平台对地固定目标异构并行自动目标识别器，通过采用多种专用的图像处理ASIC/SoC来完成相应的图像处理工作，在提高处理效率的基础上，既保证了系统的实时性，又降低了系统的整体功耗，同时降低了对DSP和FPGA等处理芯片对运算能力的要求。具体的如图2所示，所述目标识别器包括:现场可编程门阵列(Field Programmable Gate Array, FPGA)模块，非均勻校正片上系统(System onChip, SoC)模块,旋转专用集成电路(Application Specific Integrated Circuit, ASIC)模块，多级滤波ASIC模块，轮廓跟踪与标记ASIC模块，数字信号处理器(Digital SignalProcessor, DSP)模块，其中:
[0082]所述非均匀校正SoC模块、所述旋转ASIC模块、所述多级滤波ASIC模块、所述DSP模块、所述轮廓跟踪与标记ASIC模块分别与所述FPGA模块相连，所述FPGA模块提供各模块之间的数据通道，并控制各模块协同有序地完成图像处理任务；
[0083]所述FPGA模块还用于接收图像输入，对输入的图像进行预处理；例如所述预处理可以为:图像数据格式变换、中值滤波、均值滤波、高斯滤波等；
[0084]所述非均匀校正SoC模块，用于接收所述FPGA模块经过预处理后的图像，对所述经过预处理后的图像进行非均匀校正处理，并将所述经过非均匀校正处理后的图像输出到所述FPGA模块；通过非均匀校正可以校正因红外成像器成像特性引起的图像灰度畸变；
[0085]所述旋转ASIC模块，用于从所述FPGA模块接收所述经过非均匀校正处理后的图像，并对所述经过非均匀校正处理后的图像进行旋转处理，以消除因成像角度因素对匹配结果的影响，并将所述经过旋转处理后的图像输出到所述FPGA模块；
[0086]所述多级滤波ASIC模块，用于从所述FPGA模块接收所述经过旋转处理后的图像，并对所述旋转处理后的图像进行多级滤波处理，对图像中的小目标进行增强，并将所述经过多级滤波处理后的图像输出到所述FPGA模块；
[0087]所述DSP模块，用于从所述FPGA模块接收所述多级滤波处理后的图像，并对所述多级滤波处理后的图像进行多值分割处理，初步分割出疑似目标和背景，并将所述经过多值分割处理后的图像输出到所述FPGA模块；
[0088]所述轮廓跟踪与标记ASIC模块，用于从所述FPGA模块接收所述多值分割处理后的图像，并对多值分割后的图像进行轮廓跟踪与标记处理，生成目标轮廓坐标信息，并将所述目标轮廓坐标信息输出到所述FPGA模块；
[0089]所述DSP模块还用于从所述FPGA模块接收所述目标轮廓坐标信息，并根据所述目标轮廓坐标信息对目标进行特征提取与特征匹配，输出真实目标的坐标信息。
[0090]本发明实施例中，采用了多种专用的图像处理ASIC/SoC来完成相应的图像处理工作，ASIC/SoC具有处理效率高、功耗低的特点，专门针对图像处理算法应用而设计的ASIC/SoC可以在很低的功耗下，快速高效地完成相应的图像处理算法。而传统的对地固定目标成像自动目标识别系统一般采用多DSP或多DSP+FPGA的架构，DSP和FPGA虽然有很高的处理性能，但都属于通用的处理器，并不专门针对图像处理任务，存在功耗大、处理效率不高的问题。
[0091]因此，本发明实施例所提出的方法，在对地固定目标成像自动目标识别系统中可以提高系统的实时性，并降低系统的功耗。相比较采用通用的处理器，在提高处理效率的基础上，既保证了系统的实时性，又降低了系统的整体功耗，同时降低了对DSP和FPGA等处理芯片对运算能力的要求。有利于国产化的实现，减少对国外高端芯片的依赖。同时，联合通用处理器DSP和FPGA的使用保证了系统的灵活性，可实现系统的重构，满足不同算法流程的需要。ASIC/SoC、DSP、FPGA这三种处理芯片协调并行工作，保证了成像自动目标识别系统的性能的高效率和体积功耗的高效率。
[0092]图3是本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器与外部接口连接示意图；如图3所示，所述目标识别器与图像输入接口、PC机串口、模拟视频输出接口以及上位机串口相连，具体的，所述图像输入接口用于图像数据的输入，所述目标识别器对所述输入的图像数据进行处理，完成目标识别过程；所述PC机串口、上位机通信串口用于对系统进行调试及参数设置；所述模拟视频输出接口，将所述目标识别器识别的结果输出到监视器，通过监视器可观察图像处理结果或图像处理的中间结果。
[0093]图4是本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器中的非均匀校正SoC应用框图。如图4所示，所述非均匀校正SoC主要包括输入接口、输出接口、通用异步收发传输器(Universal Asynchronous Receiver/Transmitter,UART)接口、存储器控制器和专用控制引脚。所述输入接口用于图像数据的输入；所述非均匀校正SoC对所述输入的图像数据进行非均匀校正，并通过所述输出接口输出所述经过非均匀校正后的图像数据；所述UART接口用于与外部处理器通信，传送控制命令等；所述存储器控制器用于连接并控制外部存储器，从所述外部存储器中读取数据或者向所述外部存储器中写入数据；所述专用控制引脚用于外部处理器对非均匀校正SoC的控制。具体的，本发明实施例中，所述外部处理器可以为FPGA模块。
[0094]图5是本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器中的非均匀校正SoC的操作方法流程图。如图5所示，所述非均匀校正的操作方法包括:
[0095]所述非均匀校正SoC上电复位后，进入初始化状态，初始化完成后所述非均匀校正SoC载入配置参数并进入校正工作状态。所述非均匀校正SoC接收图像并根据校正参数对图像进行非均匀校正，并将非均匀校正后的图像输出。
[0096]当所述非均匀校正SoC初始化完成后，如果外部处理器通过串口对所述非均匀校正SoC的内部寄存器写旁路使能命令，则所述非均匀校正SoC进入到旁路功能状态，输出原始图像，不对图像进行校正。
[0097]同样的，在图像输入、校正、校正图像输出的过程中，如果所述非均匀校正SoC接收到串口中断或专用引脚出现中断信号，所述非均匀校正SoC将转入到中断处理程序，如果串口对寄存器写旁路使能命令，则所述非均匀校正SoC将转入旁路功能状态，输出原始图像，不对图像进行校正。
[0098]本发明实施例中，通过采用非均匀校正SoC进行图像的非均匀校正，与采用传统的FPGA加DSP进行图像的非均匀校正相比，提高了系统处理效率，降低了系统整体功耗。
[0099]图6是本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器中的旋转ASIC应用框图。如图6所示，所述旋转ASIC需要外部双口 RAM存储处理完的图像像素。所述旋转ASIC与外部处理器之间通过数据总线、控制线、时钟来传送参数与图像数据。所述旋转ASIC与所述双口 RAM之间通过数据总线、地址总线、控制线来传送旋转处理后的图像数据。所述外部处理器通过数据总线、地址总线、控制线来读取所述双口RAM中的旋转处理后的图像数据。具体的，本发明实施例中，所述外部处理器可以为FPGA模块。
[0100]图7为本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器中的旋转ASIC的操作方法流程图。如图7所示，所述旋转ASIC的操作流程包括:所述旋转ASIC上电复位后，进入旋转工作状态，等待图像数据输入。所述旋转ASIC接收待旋转图像的旋转角度、行数、列数以及像素值，依次对输入图像像素进行旋转处理，并依次将旋转处理后的图像输出。
[0101]在旋转处理过程中，一旦出现读、写错误，所述旋转ASIC放弃该帧图像，进入到等待下一帧图像状态。
[0102]本发明实施例中，通过采用旋转ASIC进行图像旋转处理，与采用传统的FPGA加DSP进行图像旋转处理相比，提高了系统处理效率，降低了系统整体功耗。
[0103]图8是本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器中的多级滤波ASIC应用框图。如图8所示，所述多级滤波ASIC需要外部双口 RAM存储处理完的图像像素。所述多级滤波ASIC与外部处理器之间通过数据总线、控制线、时钟来传送参数与图像数据。所述多级滤波ASIC与双口 RAM之间通过数据总线、地址总线、控制线来传送经过多级滤波后的图像数据。外部处理器通过数据总线、地址总线、控制线来读取所述双口 RAM中的多级滤波后的图像数据。具体的，本发明实施例中，所述外部处理器可以为FPGA模块。
[0104]图9是本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器中的多级滤波ASIC的操作流程图。如图9所示，所述多级滤波ASIC操作流程包括:所述多级滤波ASIC上电初始化后，等待外部处理器写入编程参数，外部处理器写入所述编程参数对输入图像的长度和宽度进行设置，并配置输出数据存储的外部SRAM的地址段。配置完成后，所述多级滤波ASIC进入多级滤波工作状态。所述多级滤波ASIC接收图像数据，并对图像进行多级滤波处理，并根据设定的地址依次将多级滤波后的图像像素发送到外部SRAM。
[0105]本发明实施例中，通过采用多级滤波ASIC进行图像多级滤波处理，与采用传统的FPGA加DSP进行图像多级滤波处理相比，提高了系统处理效率，降低了系统整体功耗。
[0106]图10是本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器中的轮廓跟踪与标记ASIC应用框图。如图10所示，所述轮廓跟踪与标记ASIC与外部处理器之间主要通过数据总线、地址总线、控制线、时钟等来传送数据、控制命令等。具体的，本发明实施例中，所述外部处理器可以为FPGA模块。
[0107]图11是本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器中的轮廓跟踪与标记ASIC的操作流程图。如图11所示，所述轮廓跟踪与标记ASIC的操作流程包括:所述轮廓跟踪与标记ASIC上电复位后，等待外部处理器写入待标记图像的参数及控制参数。外部处理器将待标记图像的参数及控制参数写入后，所述轮廓跟踪与标记ASIC进入轮廓跟踪与标记工作状态。所述轮廓跟踪与标记ASIC读取待标记图像并进行标记处理，并将标记的坐标信息输出。
[0108]在标记的过程中，一旦出现错误，所述轮廓跟踪与标记ASIC将放弃该帧图像，等待下帧图像输入。
[0109]本发明实施例中，通过采用轮廓跟踪与标记ASIC对图像中的疑似目标进行轮廓跟踪与标记处理，与采用传统的FPGA加DSP进行轮廓跟踪与标记相比，提高了系统处理效率，降低了系统整体功耗。
[0110]图12是本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器的详细结构示意图。如图12所示，由于在动平台自动目标识别应用中体积有严格的限制，所述目标识别器由两部分组成，包括预处理板部分和处理板部分；图像先经过预处理板处理后传送到处理板进行进一步的处理，其中:
[0111]所述预处理板主要完成图像格式变换处理、滤波处理、非均匀校正处理、旋转处理、多级滤波处理等功能。
[0112]所述处理板主要完成图像多值分割、轮廓跟踪与标记、特征提取与特征匹配等功倉泛。
[0113]所述处理板还提供与PC和上位机通信的接口，以及与监视器连接的接口功能。
[0114](I)具体的,如图12所示,所述预处理板包括:
[0115]FPGA模块、非均勻校正SoC模块、同步动态随机存储器(Synchronous DynamicRandom Access Memory, SDRAM)模块、闪存(Flash EEPROM Memory, Flash)模块、旋转 ASIC模块、双口 RAM (DPRAM)模块、多级滤波ASIC模块、并串转换模块，其中:
[0116]所述非均匀校正SoC模块、所述旋转ASIC模块、所述双口 RAM (DPRAM)模块、所述多级滤波ASIC模块、所述并串转换模块分别与所述FPGA模块相连，所述FPGA模块提供各模块之间的数据通道，并控制各模块协同有序地完成图像处理任务；
[0117]所述FPGA模块还用于接收图像输入，对输入的图像进行预处理；
[0118]所述SDRAM模块、所述Flash模块分别与所述非均匀校正SoC模块相连，所述SDRAM模块存储所述非均匀校正SoC模块工作时的参数及数据，所述Flash模块存储所述非均匀校正SoC模块的程序，所述非均匀校正SoC模块在上电复位后，从所述Flash模块固定地址读取程序并进入到正常工作状态；[0119]所述非均匀校正SoC模块，用于接收所述FPGA模块经过预处理后的图像，对所述经过预处理后的图像进行非均匀校正处理，并将所述经过非均匀校正处理后的图像输出到所述FPGA模块；
[0120]所述DPRAM模块与所述旋转ASIC相连，所述DPRAM用于存储所述旋转ASIC处理后的图像数据；
[0121]所述旋转ASIC模块，用于从所述FPGA模块接收所述经过非均匀校正处理后的图像，并对所述经过非均匀校正处理后的图像进行旋转处理，以消除因成像角度因素对匹配结果的影响，并将所述经过旋转处理后的图像输出到所述DPRAM模块，所述FPGA模块从所述DPRAM模块读取所述经过旋转处理后的图像；
[0122]所述DPRAM模块与所述多级滤波ASIC相连，所述DPRAM用于存储所述多级滤波ASIC处理后的图像数据；
[0123]所述多级滤波ASIC模块，用于从所述FPGA模块接收所述经过旋转处理后的图像，并对所述旋转处理后的图像进行多级滤波处理，对图像中的小目标进行增强，并将所述经过多级滤波处理后的图像输出到所述DPRAM模块，所述FPGA模块从所述DPRAM模块读取所述经过多级滤波处理后的图像；
[0124]所述并串转换模块，用于从所述FPGA模块接收所述多级滤波处理后的图像并将所述多级滤波处理后的图像传送到处理板。
[0125](2)具体的，如图12所示,所述处理板包括:FPGA模块、轮廓跟踪与标记ASIC模块、DSP模块、SDRAM模块、Flash模块、串并转换模块、视频DAC模块、电平转换模块，其中:
[0126]所述轮廓跟踪与标记ASIC模块、DSP模块、串并转换模块、视频DAC模块、电平转换模块分别与所述FPGA模块相连，所述FPGA模块提供各模块之间的数据通道，并控制各模块协同有序地完成图像处理任务；
[0127]所述串并转换模块，用于接收从预处理板传送来的所述多级滤波处理后的图像，并将所述多级滤波处理后的图像传送到所述FPGA模块；
[0128]所述SDRAM模块和所述Flash模块分别与所述DSP模块相连，所述SDRAM模块存储所述DSP模块工作时的参数及数据，所述Flash模块存储所述DSP模块的程序，所述DSP模块在上电复位后，从所述Flash模块固定地址读取程序并进入到正常工作状态；
[0129]所述DSP模块，用于从所述FPGA模块接收所述多级滤波处理后的图像，并对所述多级滤波处理后的图像进行多值分割处理，并将所述经过多值分割处理后的图像输出到所述FPGA模块；
[0130]所述FPGA模块还用于对所述经过多值分割处理后的图像进行形态学滤波处理；[0131 ] 所述DPRAM模块与所述轮廓跟踪与标记ASIC相连，所述DPRAM用于存储所述轮廓跟踪与标记ASIC处理后的图像数据；
[0132]所述轮廓跟踪与标记ASIC模块，用于从所述FPGA模块接收所述形态学滤波处理后的图像，并对形态学滤波处理的图像进行轮廓跟踪与标记处理，生成目标轮廓坐标信息，并将所述目标轮廓坐标信息输出到所述FPGA模块；
[0133]所述DSP模块还用于从所述FPGA模块接收所述目标轮廓坐标信息，并根据所述目标轮廓坐标信息对目标进行特征提取与特征匹配，输出真实目标的坐标信息；
[0134]所述视频DAC模块，用于从所述FPGA模块接收处理完的图像数据或任意中间处理图像数据，并将所述处理完的图像数据或任意中间处理图像数据输出到监视器；
[0135]所述电平转换模块，用于提供所述目标识别器与PC之间的串口通信。
[0136]以下对所述目标识别器工作过程作一说明:红外图像输入到预处理板的FPGA中，FPGA对输入的图像数据格式进行转换，然后传送给外部的非均匀校正SoC进行非均匀校正。非均匀校正SoC可以模拟成像器时序，直接把图像再通过FPGA传送给外部的旋转ASIC做图像的旋转处理，处理完成后写往外部的DPRAM。同时FPGA读取DPRAM里面经过旋转处理后的图像，然后再传送至多级滤波ASIC对图像进行多级滤波处理。多级滤波ASIC处理完后的图像通过FPGA外部的并串转换芯片传送到处理板。处理板经过串并转换芯片接收到图像数据后，将图像数据传送到FPGA中。然后FPGA将图像数据进行缓存并传送到DSP中，根据不同的应用，DSP执行不同的算法对图像进行多值分割处理。多值分割处理后的图像由DSP经过FPGA做形态学滤波处理后，再传送到轮廓跟踪与标记ASIC进行轮廓跟踪与标记处理，标记完后的图像经过FPGA再次传送到DSP进行后续目标识别的处理。处理过程中和处理完后的图像可以经过图像显示单元传送到监视器显示。
[0137]非均匀校正SoC、旋转ASIC、多级滤波ASIC、轮廓跟踪与标记ASIC四种专用图像处理器的使用提高了系统的处理效率、降低了系统的功耗；DSP和FPGA两种通用处理器的使用，保证了系统的灵活性和系统的可重构性。ASIC/SoC、DSP、FPGA这三种处理芯片协调并行工作，保证了成像自动目标识别系统的性能的高效率和体积功耗的高效率。
[0138]图13是本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器的对地静止目标自动识别算法典型流程图。如图13所示，对地静止目标成像自动目标识别一般采用模板匹配的方法，根据飞行器离目标的远近不同，分为远距离地标匹配、中距离场景匹配和近距离目标特征匹配。不同距离时，使用的算法不尽相同。
[0139]由于红外成像器的成像特性，需对红外图像进行非均匀校正处理。在识别过程中，由于动平台的姿态变化，需要对图像进行旋转处理，以便对实时图像和模板进行比较，判断是否为目标。
[0140]在远距离时，地标为小目标，针对包含小目标的红外图像的处理流程包括:非均匀校正、旋转、多级滤波、特征提取、特征匹配。
[0141]在中距离时，可以获得目标的场景信息，采用场景匹配的方法。红外图像的处理流程包括:非均匀校正、旋转、场景特征提取、场景特征匹配。
[0142]在近距离时，可以获得目标的特征信息，采用目标特征匹配的方法。红外图像的处理流程包括:非均匀校正、旋转、目标特征提取、目标特征匹配。
[0143]其中，在具体的应用中，所述特征提取的方法包括:阈值分割、轮廓标记、边缘周长、边缘面积、角点检测、形心等。所述特征匹配的方法包括:绝对平衡搜索(AbsoluteBalance Search, ABS)算法、归一化互相关匹配算法等。
[0144]图14是本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器的输入图像处理流程图。如图14所示，对每一帧图像，FPGA先进行预处理，然后由非均匀校正SoC进行校正处理，接着由旋转ASIC进行旋转处理，根据目标远近程度不同，选择进行多级滤波处理或不进行多级滤波处理，然后将处理后的图像进行并串转换和串并转换传送到DSP进行分割或特征提取，接着将处理完的图像数据送入轮廓跟踪与标记ASIC进行轮廓跟踪与标记处理，然后再由DSP进行特征匹配等算法处理，给出目标信息。最后图像可以通过FPGA的显示单元传送到监视器进行显示。
[0145]图15是本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器中的交互式网络示意图。如图15所示，所述目标识别器中的交互式网络由N X N的带使能的三态门阵列、N个输入触发器、N个带使能控制的三态门组成。所述N X N的带使能的三态门阵列用于全连接所述N个输入触发器和所述N个带使能控制的三态门，所述N个输入触发器用于连接N个不同的同步存储器输出接口，所述N个带使能控制的三态门用于连接N个不同的输入FIFO。
[0146]通过所述带使能的三态门的控制，既可以实现单一同步存储器输出接口的数据发送到单一的FIFO输入接口，同时，可实现一个同步存储器输出接口的数据同时传输到多个输入FIFO中，实现数据的广播发送。所述交换式网络减少了需要占用大量存储单元的FIFO存储器，实现了各处理部件间的动态全互联。在系统执行目标识别算法任务过程中，可以根据目标识别算法的需要改变数据流连接方式，重构目标识别算法的数据流。
[0147]图16是本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器在远距离时，系统各处理部件之间的互联关系示意图。如图16所示，图中实线表示物理层的连接关系；虚线表示逻辑层的数据通路连接关系。非均匀校正SoC、旋转ASIC、多级滤波ASIC、DPRAM、DSP、轮廓跟踪与标记ASIC、视频DAC与FPGA分别在物理层上通过不同的接口相连，通过所述FPAG内部的缓存结构，在逻辑层各处理单元建立起有效的数据流通路，具体如图所示，所述非均匀校正SoC与所述旋转ASIC之间有一条数据通路，用于传输经过非均匀校正处理后的图像数据，所述旋转ASIC与所述多级滤波ASIC之间有一条数据通路，用于传输经过旋转处理后的图像数据，所述多级滤波ASIC将经过多级滤波处理后的图像数据传输到DPRAM，所述DPRAM与所述DSP之间有一条数据通路，用于传输经过多级滤波处理后的图像数据，所述DSP与FPGA内部形态学滤波部分之间有一条数据通路，用于传输经过多值分割处理后的图像数据，所述FPGA内部形态学滤波部分与轮廓跟踪与标记ASIC之间有一条数据通路，用于传输经过形态学滤波处理后的图像数据，所述轮廓跟踪与标记ASIC与所述DSP之间有一条数据通路，用于传输经过轮廓跟踪与标记处理后的图像坐标数据，所述DSP与所述视频DAC之间有一条数据通路，用于传输需要进行显示的图像数据。
[0148]图17是本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器在中距离时，系统各处理部件之间的互联关系示意图。如图17所示，图中实线表示物理层的连接关系；虚线表示逻辑层的数据通路连接关系。非均匀校正SoC、旋转ASIC、多级滤波ASIC、DPRAM、DSP、轮廓跟踪与标记ASIC、视频DAC与FPGA分别在物理层上通过不同的接口相连，通过所述FPAG内部的缓存结构，在逻辑层各处理单元建立起有效的数据流通路，具体如图所示，所述非均匀校正SoC与所述旋转ASIC之间有一条数据通路，用于传输经过非均匀校正处理后的图像数据，所述旋转ASIC与所述DSP之间有一条数据通路，用于传输经过旋转处理后的图像数据，所述DSP与FPGA内部形态学滤波部分之间有一条数据通路，用于传输经过多值分割处理后的图像数据，所述FPGA内部形态学滤波部分与轮廓跟踪与标记ASIC之间有一条数据通路，用于传输经过形态学滤波处理后的图像数据，所述轮廓跟踪与标记ASIC与所述DSP之间有一条数据通路，用于传输经过轮廓跟踪与标记处理后的图像坐标数据，所述DSP与所述视频DAC之间有一条数据通路，用于传输需要进行显示的图像数据。[0149]图18是本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器在近距离时，系统各处理部件之间的互联关系示意图。如图18所示，图中实线表示物理层的连接关系；虚线表示逻辑层的数据通路连接关系。非均匀校正SoC、旋转ASIC、多级滤波ASIC、DPRAM、DSP、轮廓跟踪与标记ASIC、视频DAC与FPGA分别在物理层上通过不同的接口相连，通过所述FPAG内部的缓存结构，在逻辑层各处理单元建立起有效的数据流通路，具体如图所示，所述非均匀校正SoC与所述旋转ASIC之间有一条数据通路，用于传输经过非均匀校正处理后的图像数据，所述旋转ASIC与所述DSP之间有一条数据通路，用于传输经过旋转处理后的图像数据，所述DSP与FPGA内部形态学滤波部分之间有一条数据通路，用于传输经过多值分割处理后的图像数据，所述FPGA内部形态学滤波部分与轮廓跟踪与标记ASIC之间有一条数据通路，用于传输经过形态学滤波处理后的图像数据，所述轮廓跟踪与标记ASIC与所述DSP之间有一条数据通路，用于传输经过轮廓跟踪与标记处理后的图像坐标数据，所述DSP与所述视频DAC之间有一条数据通路，用于传输需要进行显示的图像数据。
[0150]在目标识别的不同阶段，识别算法有所不同，对图像的处理也不尽相同，识别器内部的数据流也不相同，动态缓存结构的使用提供了在目标识别的不同阶段，识别器内部的数据流的传输通道，并减少了资源的消耗。
[0151]图19是本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器在远距离时，系统对小地标图像处理的流水线示意图。如图19所示，图像数据依次有序地经过FPGA、非均匀校正SoC、旋转ASIC、多级滤波ASIC、DSP、轮廓跟踪与标记ASIC、DSP等处理单元处理，各处理单元协同工作，每一个时刻都有多帧图像在流水线上被有序地处理。
[0152]图20是本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器在中距离时，系统对场景特征匹配图像处理的流水线示意图。如图20所示，图像数据依次有序地经过FPGA、非均匀校正SoC、旋转ASIC、DSP、轮廓跟踪与标记ASIC、DSP等各个处理单元处理，各处理单元协同工作，每一个时刻都有多帧图像在流水线上被有序地处理。
[0153]图21是本发明一个优选实施例所构建的动平台对地固定目标异构并行自动目标识别器在近距离时，系统对目标特征匹配图像处理的流水线示意图。如图21所示，图像数据依次有序地经过FPGA、非均匀校正SoC、旋转ASIC、DSP、轮廓跟踪与标记ASIC、DSP等各个处理单元处理，各处理单元协同工作，每一个时刻都有多帧图像在流水线上被有序地处理。
[0154]本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种动平台对地固定目标异构并行自动目标识别器，其特征在于，所述目标识别器包括: 交换式网络与至少一个处理部件，所述处理部件与所述交换式网络之间通过输入FIFO接口、同步存储器输出接口以及控制线连接，所述交换式网络用于动态链接不同的所述输入FIFO接口和所述同步存储器输出接口，所述处理部件用于完成自动目标识别过程中所需的各种算法功能，所述输入FIFO用于缓存输入的待处理图像数据，所述同步存储器输出接口用于缓存待输出的处理完的图像数据，所述控制线用于在图像数据传输过程中控制数据传输。
2.如权利要求1所述的自动目标识别器，其特征在于，所述处理部件包括现场可编程门阵列(Field Programmable Gate Array, FPGA)模块，以及非均匀校正片上系统(System on Chip, SoC)模块、旋转专用集成电路(Application Specific IntegratedCircuit, ASIC)模块、多级滤波ASIC模块、轮廓跟踪与标记ASIC模块、数字信号处理器(Digital Signal Processor, DSP)模块中的至少一种、其中: 所述非均匀校正SoC模块、所述旋转ASIC模块、所述多级滤波ASIC模块、所述DSP模块、所述轮廓跟踪与标记ASIC模块分别通过所述交换式网络与所述FPGA模块相连，所述FPGA模块提供各模块之间的数据通道，并控制各模块协同有序地完成图像处理任务； 所述FPGA模块还用于接收图像输入，对输入的图像进行预处理； 所述非均匀校正SoC模块，用于接收所述FPGA模块经过预处理后的图像，对所述经过预处理后的图像进行非均匀校正处理，并将所述经过非均匀校正处理后的图像输出到所述FPGA模块； 所述旋转ASIC模块，用于从所述FPGA模块接收所述经过非均匀校正处理后的图像，并对所述经 过非均匀校正处理后的图像进行旋转处理，以消除因成像角度因素对匹配结果的影响，并将所述经过旋转处理后的图像输出到所述FPGA模块； 所述多级滤波ASIC模块，用于从所述FPGA模块接收所述经过旋转处理后的图像，并对所述旋转处理后的图像进行多级滤波处理，对图像中的小目标进行增强，并将所述经过多级滤波处理后的图像输出到所述FPGA模块； 所述DSP模块，用于从所述FPGA模块接收所述多级滤波处理后的图像，并对所述多级滤波处理后的图像进行多值分割处理，初步分割出疑似目标和背景，并将所述经过多值分割处理后的图像输出到所述FPGA模块； 所述轮廓跟踪与标记ASIC模块，用于从所述FPGA模块接收所述多值分割处理后的图像，并对多值分割后的图像进行轮廓跟踪与标记处理，生成目标轮廓坐标信息，并将所述目标轮廓坐标信息输出到所述FPGA模块； 所述DSP模块还用于从所述FPGA模块接收所述目标轮廓坐标信息，并根据所述目标轮廓坐标信息对目标进行特征提取与特征匹配，输出真实目标的坐标信息。
3.如权利要求1所述的自动目标识别器，其特征在于，还包括:跨板处理部件，所述跨板处理部件通过串并转换器或并器转换器与所述交换式网络相连，所述交换式网络还用于链接所述处理单元的同步存储器输出接口与所述串并转换器或并器转换器，所述跨板处理部件用于控制板间数据的传输，所述串并转换器用于将串行数据转换成并行数据，所述并串转换器用于将并行数据转换成串行数据。
4.如权利要求3所述的自动目标识别器，其特征在于，所述处理部件包括预处理板部分和处理板部分；图像先经过预处理板处理后传送到处理板进行进一步的处理，其中: 所述预处理板完成图像格式变换处理、滤波处理、非均匀校正处理、旋转处理、多级滤波处理； 所述处理板完成图像多值分割、轮廓跟踪与标记、特征提取与特征匹配等功能； 所述处理板还提供与PC和上位机通信的接口，以及与监视器连接的接口功能； 具体的，所述预处理板包括: FPGA模块、非均匀校正SoC模块、同步动态随机存储器(Synchronous Dynamic RandomAccess Memory, SDRAM)模块、闪存(Flash EEPROM Memory, Flash)模块、旋转 ASIC 模块、双口 RAM (DPRAM)模块、多级滤波ASIC模块、并串转换模块，其中: 所述非均匀校正SoC模块、所述旋转ASIC模块、所述双口 RAM (DPRAM)模块、所述多级滤波ASIC模块、所述并串转换模块分别与所述FPGA模块相连，所述FPGA模块提供各模块之间的数据通道，并控制各模块协同有序地完成图像处理任务； 所述FPGA模块还用于接收图像输入，对输入的图像进行预处理； 所述SDRAM模块、所述Flash模块分别与所述非均匀校正SoC模块相连，所述SDRAM模块存储所述非均匀校正SoC模块工作时的参数及数据，所述Flash模块存储所述非均匀校正SoC模块的程序，所述非均匀校正SoC模块在上电复位后，从所述Flash模块固定地址读取程序并进入到正常工作状态； 所述非均 匀校正SoC模块，用于接收所述FPGA模块经过预处理后的图像，对所述经过预处理后的图像进行非均匀校正处理，并将所述经过非均匀校正处理后的图像输出到所述FPGA模块； 所述DPRAM模块与所述旋转ASIC相连，所述DPRAM用于存储所述旋转ASIC处理后的图像数据； 所述旋转ASIC模块，用于从所述FPGA模块接收所述经过非均匀校正处理后的图像，并对所述经过非均匀校正处理后的图像进行旋转处理，以消除因成像角度因素对匹配结果的影响，并将所述经过旋转处理后的图像输出到所述DPRAM模块，所述FPGA模块从所述DPRAM模块读取所述经过旋转处理后的图像； 所述DPRAM模块与所述多级滤波ASIC相连，所述DPRAM用于存储所述多级滤波ASIC处理后的图像数据； 所述多级滤波ASIC模块，用于从所述FPGA模块接收所述经过旋转处理后的图像，并对所述旋转处理后的图像进行多级滤波处理，对图像中的小目标进行增强，并将所述经过多级滤波处理后的图像输出到所述DPRAM模块，所述FPGA模块从所述DPRAM模块读取所述经过多级滤波处理后的图像； 所述并串转换模块，用于从所述FPGA模块接收所述多级滤波处理后的图像并将所述多级滤波处理后的图像传送到处理板； 所述处理板包括: FPGA模块、轮廓跟踪与标记ASIC模块、DSP模块、SDRAM模块、Flash模块、串并转换模块、视频DAC模块、电平转换模块，其中: 所述轮廓跟踪与标记ASIC模块、DSP模块、串并转换模块、视频DAC模块、电平转换模块分别与所述FPGA模块相连，所述FPGA模块提供各模块之间的数据通道，并控制各模块协同有序地完成图像处理任务； 所述串并转换模块，用于接收从预处理板传送来的所述多级滤波处理后的图像，并将所述多级滤波处理后的图像传送到所述FPGA模块； 所述SDRAM模块和所述Flash模块分别与所述DSP模块相连，所述SDRAM模块存储所述DSP模块工作时的参数及数据，所述Flash模块存储所述DSP模块的程序，所述DSP模块在上电复位后，从所述Flash模块固定地址读取程序并进入到正常工作状态； 所述DSP模块，用于从所述FPGA模块接收所述多级滤波处理后的图像，并对所述多级滤波处理后的图像进行多值分割处理，并将所述经过多值分割处理后的图像输出到所述FPGA模块； 所述FPGA模块还用于对所述经过多值分割处理后的图像进行形态学滤波处理； 所述DPRAM模块与所述轮廓跟踪与标记ASIC相连，所述DPRAM用于存储所述轮廓跟踪与标记ASIC处理后的图像数据； 所述轮廓跟踪与标记ASIC模块，用于从所述FPGA模块接收所述形态学滤波处理后的图像，并对形态学滤波处理的图像进行轮廓跟踪与标记处理，生成目标轮廓坐标信息，并将所述目标轮廓坐标信息输出到所述FPGA模块； 所述DSP模块还用于从所述FPGA模块接收所述目标轮廓坐标信息，并根据所述目标轮廓坐标信息对目标进行特征 提取与特征匹配，输出真实目标的坐标信息； 所述视频DAC模块，用于从所述FPGA模块接收处理完的图像数据或任意中间处理图像数据，并将所述处理完的图像数据或任意中间处理图像数据输出到监视器； 所述电平转换模块，用于提供所述目标识别器与PC之间的串口通信。
5.如权利要求1至4任一项所述的自动目标识别器，其特征在于，所述交换式网络具体包括:M个输入触发器、N个带使能控制的三态门、以及MXN的带使能的三态门阵列，所述MXN的带使能的三态门阵列用于全连接所述M个输入触发器和所述N个带使能控制的三态门，所述M个输入触发器用于连接M个不同的同步存储器输出接口，所述N个带使能控制的三态门用于连接N个不同的输入FIFO。
6.如权利要求2或4所述的自动目标识别器，其特征在于，所述非均匀校正SoC包括输入接口、输出接口、通用异步收发传输器(Universal Asynchronous Receiver/Transmitter, UART)接口、存储器控制器和专用控制引脚，所述输入接口用于从所述FPGA接收图像数据的输入；所述非均匀校正SoC对所述输入的图像数据进行非均匀校正，并通过所述输出接口将所述经过非均匀校正后的图像数据输出到所述FPGA ;所述UART接口用于与所述FPGA模块通信，传送控制命令等；所述存储器控制器用于连接并控制外部存储器，从所述外部存储器中读取数据或者向所述外部存储器中写入数据；所述专用控制引脚用于所述FPGA模块对非均匀校正SoC的控制。
7.如权利要求2或4所述的自动目标识别器，其特征在于，所述旋转ASIC通过外部双口 RAM存储处理完的图像像素，所述旋转ASIC与所述FPGA模块之间通过数据总线、控制线、时钟来传送参数与图像数据，所述旋转ASIC与所述双口 RAM之间通过数据总线、地址总线、控制线来传送旋转处理后的图像数据，所述FPGA模块通过数据总线、地址总线、控制线来读取所述双口 RAM中的旋转处理后的图像数据。
8.如权利要求2或4所述的自动目标识别器，其特征在于，所述多级滤波ASIC通过外部双口 RAM存储处理完的图像像素，所述多级滤波ASIC与所述FPGA模块之间通过数据总线、控制线、时钟来传送参数与图像数据，所述多级滤波ASIC与双口 RAM之间通过数据总线、地址总线、控制线来传送经过多级滤波后的图像数据，所述FPGA模块通过数据总线、地址总线、控制线来读取所述 双口 RAM中的多级滤波后的图像数据。
【文档编号】G06K9/00GK103544471SQ201310336494
【公开日】2014年1月29日 申请日期:2013年8月5日 优先权日:2013年8月5日
【发明者】钟胜, 张天序, 高士英, 桑红石, 颜露新, 杨卫东, 王建辉, 徐文辉, 王斌, 张钊钊, 解涛 申请人:华中科技大学