无人机载视频中特定建筑匹配跟踪方法与流程

本发明实施例涉及遥感视频目标跟踪领域，具体涉及一种无人机载视频中特定建筑匹配跟踪方法。

背景技术

机载平台目前已经逐渐成为军民用领域的重要数据获取手段之一，随着遥感技术的发展及其应用领域的逐步扩大，具有重大意义，其中，机载遥感视频处理中的目标跟踪是关键技术之一。

作为众多的遥感具体应用中的一个重要方面，机载遥感视频中指定建筑区跟踪技术，在军事领域及民用领域都有着广泛的应用和发展前景。其军事领域的主要应用有：实时监察军备调动、打击效果等战场状态；制导武器自动引导，保证远程打击的精确制导以及对来袭导弹的准确预警。在民用方面的主要应用包括：城市规划及银行、机场等重要场所的安全监控等。

机载遥感视频中的背景很复杂且指定建筑目标可能所占的面积很小，往往使得跟踪实时性不高。因此在特定条件下，如何在复杂地面场景中对感兴趣的、有价值的指定建筑区进行稳定实时跟踪是关键问题。

现在常用的跟踪方法有基于核相关滤波器的目标跟踪方法，如j.henriques等人在csk基础上利用hog特征，提出了核相关滤波器(kernelizedcorrelationfilters，kcf)跟踪算法，使跟踪结果更加鲁棒。但是此类算法对于快速移动和形状变化大的目标，跟踪效果不好。另基于深度学习的跟踪方法也在日渐强大，如kaihuazhang提出了基于压缩感知的目标跟踪算法。但是由于训练数据缺失，且需依赖硬件条件，目前效果优势还没有发挥出来。还有基于模板匹配的目标跟踪算法，但常用的模板匹配，当模板需要进行平移、旋转、缩放等仿射变换时会带来计算量爆炸增长问题。simonkorman等人在2013年提出的fast-match算法，解决了仿射变换时计算量增长的问题，该算法采用目标自身信息估计目标的运动状态，可实现对目标的稳定跟踪，并且对旋转、缩放及视角等都有很好的鲁棒性，亦无须训练数据。但其对光照变化比较敏感、算法网络参数较多计算量较大，实时性不高、容易引入冗余的背景信息。

技术实现要素：

针对现有技术存在的不足和缺陷，本发明实施例提供一种无人机载视频中特定建筑匹配跟踪方法。

本发明实施例提出一种无人机载视频中特定建筑匹配跟踪方法，包括：

s1、获取特定建筑的模板图像，并利用所述模板图像对当前待匹配的目标图像进行直方图规定化，得到规定化后的直方图；

s2、根据上一帧已匹配的目标图像的最佳仿射变换参数设置所述当前待匹配的目标图像的仿射变换参数范围，根据所述仿射变换参数范围构建仿射变换参数网络，根据所述仿射变换参数网络生成仿射变换矩阵，利用所述仿射变换矩阵和规定化后的直方图确定出最佳仿射变换；

s3、利用所述最佳仿射变换确定出所述模板图像在所述目标图像中的位置，并将所述模板图像在所述目标图像中的位置作为匹配跟踪结果。

本发明实施例提供的无人机载视频中特定建筑匹配跟踪方法，采用改进的fast-match算法，利用模板图像对当前待匹配的目标图像进行直方图规定化，使得算法能够适应光照的变化，克服了fast-match算法本身对光照敏感的缺点；在构建仿射变换参数网络时，根据上一帧得到的最佳仿射变换参数限制当前帧图像仿射变换参数范围，因为根据上一帧最佳参数只构建了部分参数网络，所以后续视频帧仿射变换参数网络中参数会减少很多，参数越少，计算量越小，算法运行时间越短，进一步提高算法的实时性，该方法增强了对光照的鲁棒性，减小了仿射变换时的计算量，实现了对目标的稳定跟踪，且跟踪精度高。

附图说明

图1为本发明无人机载视频中特定建筑匹配跟踪方法一实施例的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明实施例保护的范围。

参看图1，本实施例公开一种无人机载视频中特定建筑匹配跟踪方法，包括：

s1、获取特定建筑的模板图像，并利用所述模板图像对当前待匹配的目标图像进行直方图规定化，得到规定化后的直方图；

s2、根据上一帧已匹配的目标图像的最佳仿射变换参数设置所述当前待匹配的目标图像的仿射变换参数范围，根据所述仿射变换参数范围构建仿射变换参数网络，根据所述仿射变换参数网络生成仿射变换矩阵，利用所述仿射变换矩阵和规定化后的直方图确定出最佳仿射变换；

s3、利用所述最佳仿射变换确定出所述模板图像在所述目标图像中的位置，并将所述模板图像在所述目标图像中的位置作为匹配跟踪结果。

本发明实施例提供的无人机载视频中特定建筑匹配跟踪方法，利用模板图像对当前待匹配的目标图像进行直方图规定化，使得算法能够适应光照的变化，克服了fast-match算法本身对光照敏感的缺点；在构建仿射变换参数网络时，根据上一帧得到的最佳仿射变换参数限制当前帧图像仿射变换参数范围，因为根据上一帧最佳参数只构建了部分参数网络，所以后续视频帧仿射变换参数网络中参数会减少很多，参数越少，计算量越小，算法运行时间越短，进一步提高算法的实时性，该方法增强了对光照的鲁棒性，减小了仿射变换时的计算量，实现了对目标的稳定跟踪，且跟踪精度高。

在前述方法实施例的基础上，所述利用所述模板图像对当前待匹配的目标图像进行直方图规定化，可以包括：

利用所述模板图像对当前待匹配的目标图像的搜索区域进行直方图规定化。

本实施例中，在获取特定建筑的模板图像时，还需要获取特定建筑在模板图像中的位置。而目标图像的搜索区域根据特定建筑在模板图像中的位置设置，一般情况下以其中心位置为搜索区域的中心，搜索区域的长宽分别为特定建筑图像的长和宽的3倍。

在前述方法实施例的基础上，所述利用所述模板图像对当前待匹配的目标图像的搜索区域进行直方图规定化，可以包括：

对所述搜索区域进行灰度级均衡化；

对所述模板图像规定所期待的直方图并计算所述所期待的直方图进行直方图均衡化所使用的变换；

将所述所期待的直方图进行直方图均衡化所使用的变换反转过来，得到反转后的变换，利用所述反转后的变换将所述目标图像的直方图对应映射到所述所期待的直方图上。

本实施例中，直方图是关于灰度级的函数，描述了图像中像素值在该灰度级的像素个数。在灰度级均衡化时首先确定图像像素的灰度值范围，用适当的灰度间隔将灰度值划分成若干等级。对图像中像素个数多的灰度级进行展宽，而对图像中像素个数少的灰度进行压缩，从而扩展像元取值的动态范围，提高了对比度和灰度色调的变化，使图像更加清晰。

直方图规定化(即直方图匹配)是一种图像增强方法，将一幅图像的直方图变成我们想得到的规定形状的直方图。也就是将某幅图像或某一区域的直方图匹配到另一幅图像上，使两幅图像的对比度或亮度保持一致。

对连续图像，假设r,z,u,v为随机变量，pr(r)和pz(z)分别为目标图像(待匹配图像)和模板图像的概率密度函数，同时利用下式进行直方图均衡化：

则有，

z＝g^-1(v)。

由于对目标图像(待匹配图像)和模板图像进行了均衡化处理，因此二者具有相同的分布密度。于是可以用目标图像中得到的灰度u代替逆过程中的v，则：z＝g^-1(v)＝g^-1[t(r)]就是所求的概率密度函数，利用该概率密度函数将目标图像的直方图对应映射到所规定的直方图上。

在前述方法实施例的基础上，所述当前待匹配的目标图像的平移仿射变换参数的最小值大于所述上一帧已匹配的目标图像的最佳仿射变换参数中平移仿射变换参数与20的差值，且所述当前待匹配的目标图像的平移仿射变换参数的最大值小于所述上一帧已匹配的目标图像的最佳仿射变换参数中平移仿射变换参数与20的和，所述当前待匹配的目标图像的旋转仿射变换参数的最小值大于所述上一帧已匹配的目标图像的最佳仿射变换参数中旋转仿射变换参数与的差值，且所述当前待匹配的目标图像的旋转仿射变换参数的最大值小于所述上一帧已匹配的目标图像的最佳仿射变换参数中旋转仿射变换参数与的和，所述当前待匹配的目标图像的缩放仿射变换参数的最小值大于所述上一帧已匹配的目标图像的最佳仿射变换参数中缩放仿射变换参数与0.5的差值，且所述当前待匹配的目标图像的缩放仿射变换参数的最大值小于所述上一帧已匹配的目标图像的最佳仿射变换参数中缩放仿射变换参数与0.5的和，所述当前待匹配的目标图像的旋转仿射变换参数的最小值属于[-π,0]，所述当前待匹配的目标图像的旋转仿射变换参数的最大值[0,π]，所述当前待匹配的目标图像的缩放仿射变换参数的最小值属于[0,1]，所述当前待匹配的目标图像的缩放仿射变换参数的最大值[1,5)。

本实施例中，仿射变换有6个参数分别为平移、旋转、缩放参数，记为(tx,ty,r2,sx,sy,r1)，根据上一帧最佳仿射变换参数设置本帧仿射变换参数范围，,若上一帧最佳仿射变换参数为(tx,ty,r2,sx,sy,r1)，则本帧的仿射变换参数范围为同时必须保证：

r1min,r2min∈[-π,0]，

r1max,r2max∈[0,π]，

其中：r1和r2为旋转变换；sx和sy为缩放变换；tx和ty为平移变换。因为根据上一帧最佳参数只构建了部分参数网络，所以后续视频帧仿射变换参数网络中参数会减少很多，参数越少，计算量越小，算法运行时间越短。

在前述方法实施例的基础上，所述利用所述仿射变换矩阵和规定化后的直方图确定出最佳仿射变换，可以包括：

采用随机算法在所述模板图像上随机选取采样点，对于所述仿射变换参数网络中的每一个仿射变换，利用该仿射变换计算所述采样点在所述规定化后的直方图中的位置，计算所述采样点与所述规定化后的直方图中对应位置处的像素点的像素值的差值，并求和得到绝对误差和sad；

将满足如下6个条件中任意条件，且值最小的绝对误差和sad对应的仿射变换确定为最佳仿射变换，其中，所述6个条件为：

(1)sad＜0.005；

(2)level＞5且sad＜0.01；

(3)level＞＝20；

(4)level＞3且sad＞mean(sad(level-3：level-1)*0.97)；

(5)level＞2且numgoodconfigs＞1000且extremelyhighpercentage；

(6)level＞3且numgoodconfigs＞1000且numgoodconfigs＞50*min(perroundnumgoodconfigs)，所述level为所述仿射变换参数网络从粗到细的层数，mean(sad(level-3：level-1)*0.97)表示求sad从level-3到level-1层的均值，extremelyhighpercentage为极高占比(为fast-match算法中的名词)，numgoodconfigs为本层保留的一定范围内的仿射变换参数数量，perroundnumgoodconfigs为每层保留的较好的仿射变换参数数量，min(perroundnumgoodconfigs)表示perroundnumgoodconfigs的最小值。

本实施例中，在根据参数范围构造仿射变换参数网络时，若没有规定δ(决定初始参数网络的密度)的值，则默认δ＝0.25。

仿射变换有6个参数分别为平移、旋转、缩放参数，记为(tx,ty,r2,sx,sy,r1)，定义：

r1＝[cos(r1)-sin(r1)；sin(r1)cos(r1)]，

r2＝[cos(r2)-sin(r2)；sin(r2)cos(r2)]，

s＝[sx0；0sy]，

其中：r1和r2为旋转变换；s为缩放变换。假定a为3x3的仿射变换矩阵，对给定的6个参数(tx,ty,r2,sx,sy,r1)，有a(1:2,1:2)＝r1*r2*s；a(1,3)＝a(2,3)＝0；a(3,:)＝(tx,ty,1)，也就是说给定6个参数后就可以求出相应的仿射变换矩阵，然后去掉超过目标图像边界的矩阵。

在采用随机算法在模板图像上随机取点时，若没有规定ε(决定采样点数)则默认ε＝0.15。根据采样点评估参数网络中所有仿射变换。

采用随机算法，即在模板图像随机取点，随机采样点的数量由参数ε决定，通过仿射变换求出模板中采样点在目标图像中的位置，对应点像素值差的和即为绝对误差和sad。

在前述方法实施例的基础上，所述利用所述仿射变换矩阵和规定化后的直方图确定出最佳仿射变换，还可以包括：

若所述仿射变换参数网络中的每一个仿射变换均不满足所述6个条件，则采用分支界定方法重新初始化所述仿射变换参数网络，根据重新初始化后的仿射变换参数网络生成仿射变换矩阵，利用所述仿射变换矩阵和规定化后的直方图确定出最佳仿射变换，执行步骤s3。

本实施例中，若sad值均不满足以上6条件则采用分支界定(branch-and-boundscheme)方法重新初始化仿射变换参数网络并估计sad，增大参数网络密度得到更精细的网络，并更新模板图像采样点进行下一轮的最佳仿射变换的寻找。

在前述方法实施例的基础上，在所述最佳仿射变换对应的绝对误差和sad＜0.005时更新模板图像，其中，更新后的模板图像为将匹配跟踪结果通过所述最佳仿射变换的逆仿射变换映射成的矩形图像。

本实施例中，通过最佳仿射变换求得模板图像在目标图像中的位置，并判断是否更新模板图像。若sad＜0.005，则对模板进行更新，否则不更新。在更新模板时，由于仿射变换求得的目标不一定是矩形，一般情况下是平行四边形且边不一定与图像边缘平行。一般的模板匹配通常是求得目标图像的最大外接矩形作为新的模板，但是这是种方法会带入除了目标之外的背景信息，会使后续匹配有一定的误差，这些误差逐渐累积最终会使误差越来越大，导致目标丢失。本实施例中将匹配到的平行四边形目标图像通过最佳仿射变换的逆仿射变换映射成矩形图像作为下一帧模板，以减少背景信息对目标的影响。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。