用于高速视觉测量的基于合作目标的实时全局搜索方法
【专利摘要】用于高速视觉测量的基于合作目标的实时全局搜索方法，涉及标记点搜索方法。它为了解决高速视觉测量中，全局搜索过程耗时过长、对相机分辨率敏感、系统更新率受制于目标的运动速度的问题。本发明的数据预处理模块中并行化的数据同时输出到数据缓冲控制模块和标记点实时检测模块。标记点实时检测模块检测到标记点像素后，将标记点后续相关数据发送到运算模块，运算模块为多流水线结构，当一帧图像传输结束后，即可输出所有标记点的坐标，经计算得出标记点质心数据并存入对应缓存。本发明具有全局搜索过程耗时短、鲁棒性好、对相机分辨率不敏感、对目标的运动速度不敏感的优点。本发明适用于图像处理领域及视觉测量领域。
【专利说明】用于高速视觉测量的基于合作目标的实时全局搜索方法
【技术领域】
[0001]本发明涉及一种标记点实时搜索方法，属于图像处理领域及视觉测量领域。
【背景技术】
[0002]在视觉测量中，合作目标的实现方式通常采用红外主动或被动光源结合滤光片的方法，将被测目标与背景进行良好的分离，进而简化后端处理算法，在保证精度的前提下提高系统的实时性。在图像处理过程中，需对合作目标的标记点进行搜索，以确定其质心，而后进行空间坐标解算。其搜索方式主要分为全局搜索和邻域搜索两种。全局搜索即在图像中，将所有像素与阈值逐点比较，搜索到大于阈值的点后，在其周围完成所属合作目标的像素遍历，而后得出该标记点的质心特征。然而全局搜索的耗时随着视觉传感器分辨率的增加而增加。在分辨率为2048X2048的嵌入式双目视觉测量系统中，采用工作频率为IGHz的DSP对来自两台相机的图像进行标记点全局搜索时，耗时约为100?200ms，严重影响了视觉测量系统的数据更新率。
[0003]为解决这一问题，基于邻域的搜索方式得到了广泛的应用，即仅在系统初始化时执打全局搜索，确定标记点在当如巾贞中的位直；在后续巾贞中，以上一巾贞标记点质心为中心，设定邻域范围，仅搜索邻域范围中的像素。通过这种方式，使标记点的搜索耗时减少95%以上。
[0004]然而采用邻域搜索方式时还需要解决以下问题:
[0005]第一，系统的数据更新率要与目标的运动速度相匹配。当帧频保持不变、目标在与像面平行的平面中运动时，目标的运动速度决定了图像中，同一标记点在相邻帧间的移动距离。随着目标速度的增加，简单的邻域设定已经不再适合，为了避免邻域范围设置过大带来的种种问题，需加入对目标运动轨迹的估计。此时，邻域的范围取决与估计的偏差。当目标进行高速复杂运动时，较大的估计偏差会造成多点邻域重合等情况，对标记点的识别造成干扰。同时，较大的邻域增加了像素读取数量，使更新率进一步降低。这种情况在高速运动目标的测量领域中尤为明显，如航空航天、交通安全、军事侦察、靶场测试、运动分析等。
[0006]第二，当被测目标存在俯仰、偏航、滚转等运动或测量过程中受到其他物体遮挡时，置于其上的标记点在图像中会有消失和重现的现象发生。当标记点消失时，视觉测量系统需将搜索方式重新从邻域搜索切换到全局搜索进行初始化。此时，受到搜索耗时的影响，系统的数据更新率会产生一定的波动，从而影响了系统的实时性。当标记点重现时，帧间的邻域搜索方式并不能及时的发现重现的标记点，直到下一次切换到全局搜索时，该标记点才被搜索到，在一定程度上影响了目标的位姿解算过程。
[0007]综上所述，视觉测量中，在串行结构体系的计算机、DSP等处理器上执行全局、邻域搜索都有各自的局限性，在高速运动目标的测量中尤为明显。若能找到一种高速的全局搜索方法或逻辑结构，解决全局搜索中实时性差的缺点，并将其应用在视觉测量系统中，则会大大扩展测量系统的应用领域，使对高速运动目标的测量成为可能。
【发明内容】
[0008]本发明目的是为了解决高速视觉测量中，全局搜索过程耗时过长、对相机分辨率敏感、系统更新率受制于目标的运动速度的问题，提供一种在FPGA中实现的用于高速视觉测量的基于合作目标的实时全局搜索方法。
[0009]本发明所述的用于高速视觉测量的基于合作目标的实时全局搜索方法中的FPGA内部嵌入有相机数据传输与控制模块、数据预处理模块、数据缓存控制模块、标记点实时检测模块和运算模块，所述运算模块通过DSP EMIF数据通信接口与外部的DSP芯片相连；
[0010]相机数据传输与控制模块:用于完成相机通讯接口控制，并将高速相机的像素数据并行输入到数据预处理模块，同时输出相机的同步时钟信号给数据预处理模块；
[0011]数据预处理模块:用于保证后续的时钟频率在50MHz以下，该时钟频率来自于相机数据传输与控制模块输出的同步时钟信号；若该同步时钟信号在50MHz以上，则通过将数据位宽倍增的方式将该信号二分频；在本方法应用的嵌入式系统中，输入时钟为85MHz，数据预处理模块将二分频后并行的16像素数据同时输出到数据缓存控制模块和标记点实时检测模块；
[0012]数据缓存控制模块:用于对h行像素进行缓冲，为t时刻高阈值搜索到的标记点像素提供t时刻之前h行的像素数据；
[0013]标记点实时检测模块:采用双阈值法对合作目标的标记点进行搜索；
[0014]运算模块:用于通过多级流水线实时计算出标记点的质心坐标，所述质心坐标
(1$)的计算公式为:
【权利要求】
1.用于高速视觉测量的基于合作目标的实时全局搜索方法，其特征在于=FPGA内部嵌入有相机数据传输与控制模块、数据预处理模块、数据缓存控制模块、标记点实时检测模块和运算模块，所述运算模块通过DSP EMIF数据通信接口与外部的DSP芯片相连； 相机数据传输与控制模块:用于完成相机通讯接口控制，并将高速相机的像素数据并行输入到数据预处理模块，同时输出相机的同步时钟信号给数据预处理模块； 数据预处理模块:用于保证后续的时钟频率在50MHz以下，该时钟频率来自于相机数据传输与控制模块输出的同步时钟信号；若该同步时钟信号在50MHz以上，则通过将数据位宽倍增的方式将该信号二分频；所述的实时全局搜索方法所应用的嵌入式系统，输入时钟为85MHz，数据预处理模块将二分频后并行的16像素数据同时输出到数据缓存控制模块和标记点实时检测模块； 数据缓存控制模块:用于对h行像素进行缓冲，为t时刻高阈值搜索到的标记点像素提供t时刻之前h行的像素数据； 标记点实时检测模块:采用双阈值法对合作目标的标记点进行搜索； 运算模块:用于通过多级流水线实时计算出标记点的质心坐标，所述质心坐标(X.y)的计算公式为:
2.根据权利要求1所述的用于高速视觉测量的基于合作目标的实时全局搜索方法，其特征在于:所述的标记点实时检测模块对标记点进行检测的方法为: 每个时钟周期内，进入标记点实时检测模块的并行的16像素数据经过两级D触发器缓冲后，以高阈值Th_H进行判断: 相邻的三个像素定义为一个像素段，16个像素段的首像素分别分第1至第16像素，第15个像素段的三个像素为第15像素、第16像素和下一时钟周期的第1像素，第16个像素段的三个像素为第16像素和下一时钟周期的前两个像素，下一时钟周期的像素数据可从上一级D触发器的缓存中读取，并将标记点判定条件定义为同一像素段中的三个像素的灰度值同时大于高阈值Th_H，在同一周期内完成该时钟周期内所有像素段的判别，当在检测中发现某一像素段满足标记点判定条件后，将该像素段中首像素Pth在当前16像素中的偏移量Λ X输出给状态机与地址生成模块，所述偏移量Λ X为所述该像素段中的首像素Pth与该时钟周期的第I像素在X方向上的差值，状态机与地址生成模块根据Λ X计算生成地址后，分别与标记点实时检测模块中的η个标记点位置子模块中，已使能的k个标记点位置子模块中的标记点位置计算水平方向的欧式距离，判定该像素段所属的标记点区域，即通过公式(6)判定该像素段所属的标记点区域，所述标记点区域为矩形，其长和宽分别为a和b,
3.根据权利要求2所述的用于高速视觉测量的基于合作目标的实时全局搜索方法，其特征在于:所述的状态机与地址生成模块中的状态机包括以下状态: IDLE状态:变量初始化，并判断fval是否到达上升沿，如果判断结果为是，跳转到FVAL_H1状态；否则，跳转回IDLE状态； FVAL_H1状态:判断是否发现标记点，如果判断结果为是，跳转到FVAL_H2状态；否则，判断fval是否到达下降沿，如果判断结果为是，跳转到FVAL_L状态；否则，跳转到FVAL_H1状态； FVAL_H2状态:判断fval是否到达下降沿，如果判断结果为是，跳转到FVAL_L状态；否贝U，跳转回FVAL_H2状态； FVAL_L状态:判断延时是否结束，如果判断结果为是，跳转到FVAL_WT状态；否则，跳转回FVAL_L状态； FVAL_WT状态:判断fval是否到达上升沿，如果判断结果为是，跳转到FVAL_H1状态；否则，跳转回FVAL_WT状态； 所述的fval为相机输出的帧有效信号。
4.根据权利要求1所述的用于高速视觉测量的基于合作目标的实时全局搜索方法，其特征在于:目标识别与集中运算单元计算获得Pi2JiPi2^iPi2等参数的方法为: 同一时钟周期内的16个像素数据即像素灰度Pixel_Rl至Pixel_R16从数据缓冲控制模块输出，进行低阈值Th_L比较，当像素灰度值低于低阈值Th_L时，比较结果为0，当像素灰度值高于低阈值Th_L时，比较结果为该像素的灰度值，计算16个比较结果的平方单元，获得ρλ而后求得
5.根据权利要求1所述的用于高速视觉测量的基于合作目标的实时全局搜索方法，其特征在于:目标像素积分单元用来完成属于同一标记点，且其像素分布在多行间的
【文档编号】G06T7/00GK103617624SQ201310681591
【公开日】2014年3月5日 申请日期:2013年12月13日 优先权日:2013年12月13日
【发明者】叶东, 于潇宇, 郭玉波, 陈刚, 赵振庆 申请人:哈尔滨工业大学