一种搜跟系统中航拍视频的快速自动拼接技术的制作方法
【专利摘要】本发明提出一种搜跟系统中航拍视频的快速自动拼接技术。首先将航拍视频序列中连续两帧彩色图像转化成灰度图像；利用图像三值化方法对灰度图像进行三值化处理、利用边缘检测sobel算子提取边缘特征信息图像、使用Harris算法提取特征点；利用光流金字塔算法完成特征点匹配；结合DLT算法和RANSAC算法计算彩色图像的最优单应性矩阵；利用修正几何转换矩阵对彩色图像进行图像修正后完成图像全景的拼接；在图像全景拼接过程中动态调整图像三值化的上下限阈值以及sobel算子的边缘检测的阈值。本发明提高了图像拼接的准确度和稳健性。
【专利说明】一种搜跟系统中航拍视频的快速自动拼接技术
【技术领域】
[0001]本发明属于图像自动拼接【技术领域】，具体涉及一种搜跟系统中航拍视频的快速自动拼接技术。
【背景技术】
[0002]图像拼接中最关键的步骤是图像特征点的寻找及匹配。杨涛等人(基于场景复杂度与不变特征的航拍视频实时配准算法.电子学报，2010.5，5期38卷)提出了利用Harris角点和SIFT描述子相结合的方式进行图像匹配，保证了算法具有良好的旋转、尺度、亮度不变性和配准精度使算法。但由于前期特征点提取的数量较多，导致后期计算量过大，无法真正意义上实现图像拼接的实时性。针对这个问题，需要从简化特征点的提取与匹配运算量入手优化算法。
[0003]很多人提出了多种图像自动拼接技术的实现方法，主要有基于特征点的方法、基于光流的方法，基于图像融合的方法等等。这些方法主要是利用图像的几何变换矩阵完成对图像的修正。这种方法对于帧数较少的图像序列来说，拼接效果很好，但随着视频序列帧数的增加，图像拼接的几何变换矩阵就会因为前期不断地叠加而产生误差的累积与放大；同时，由于飞机的抖动和场景变换明显，也会导致图像拼接的准确率降低，同时还会导致图像拼接过程的中断
【发明内容】
[0004]本发明公开了一种搜跟系统中航拍视频的快速自动拼接技术，提高了图像拼接的准确度和稳健性。
[0005]为了解决上述技术问题，本发明提出一种搜跟系统中航拍视频的快速自动拼接技术，包括以下步骤:
[0006]步骤一:将航拍视频序列中连续两帧彩色图像I和J转化成灰度图像Ig和Jg,并记录帧序号Z和Z+1 ；
[0007]步骤二:利用图像三值化方法对灰度图像Ig进行三值化处理获得三值化图像，利用边缘检测sobel算子提取三值化图像的边缘特征信息获得边缘特征信息图像If，使用Harris算法提取边缘特征信息图像If的特征点，在提取三值化图像边缘特征信息的过程中，设定sobel算子的边缘检测阈值为S1和S2A1代表水平方向的边缘计算参数阈值，S2代表垂直方向的边缘计算参数阈值；
[0008]步骤三:利用光流金字塔(KLT)算法计算光流，完成灰度图像Ig和Jg的特征点匹配；
[0009]步骤四:结合DLT算法和RANSAC算法计算得出彩色图像I和J的最优单应性矩阵Hu和图像拼接的修正矩阵H’ z，并求解出图像拼接的修正几何转换矩阵P ；
[0010]步骤五:利用修正几何转换矩阵P对彩色图像J进行图像修正得到图像J’，设置一个长宽为彩色图像J长宽两倍的黑色背景，将修正后的图像J’的像素信息J’(X’，y’)贴至黑色背景中，完成图像全景的拼接；
[0011]步骤六:将当前帧图像的单应性矩阵Hu与已保存的前帧图像的单应性矩阵Hm比较，将准确匹配的特征点对数目N与特征点对数目阈值Nf进行比较，根据比较结果动态调整图像三值化的上下限阈值T1和T2以及sobel算子的边缘检测的阈值S1和S2。
[0012]本发明与现有技术相比，其显著优点在于，采用图像三值化、边缘提取和Harris角点检测三者结合的方法来降低特征点的数量，并筛选出图像中最为稳定的、特征最为突出的特征点；采用了 RANSAC算法与DLT算法结合的方法，求解出带有修正矩阵的图像几何转换矩阵矩阵，提高图像拼接的准确度；阈值动态调整有效解决了因图像场景变换明显或飞机抖动等原因造成的程序中断问题。
【专利附图】
【附图说明】
[0013]图1是本发明简要流程图。
[0014]图2是本发明详细流程图。
[0015]图3 (a)是仅利用Harris算法提取特征点效果图；图3 (b)是本发明步骤二中经过图像三值化和sobel算子边缘检测后，再利用Harris算法提取特征点的效果图。
[0016]图4 Ca)和图4 (b)分别为本发明实施例自动拼接70帧和150帧的总场景图。
【具体实施方式】
[0017]如图1和图2所示，本发明一种搜跟系统中航拍视频的快速自动拼接技术，包括以下步骤:
[0018]步骤一:将航拍视频序列中连续两帧彩色图像I和J转化成灰度图像Ig和Jg,并记录帧序号Z和Z+1。
[0019]图像灰度化可以将R，G, B任何一个分量作为图像的灰度值，也可以用R，G, B三者的平均值作为灰度值，也可以利用亮度公式将R，G, B分量转换成灰度值。本发明采用亮度公式的方法，将彩色图像I和J转换成只包含亮度信息的灰度图像Ig和Jg，亮度公式为公式(1):
[0020]Y = 0.3R+0.59G+0.1lB (1)
[0021]步骤二:利用图像三值化方法对灰度图像Ig进行三值化处理获得三值化图像，利用边缘检测sobel算子提取三值化图像的边缘特征信息获得边缘特征信息图像If，使用Harris算法提取边缘特征信息图像If的特征点，在提取三值化图像边缘特征信息的过程中，设定sobel算子的边缘检测阈值为S1和S2A1代表水平方向的边缘计算参数阈值，S2代表垂直方向的边缘计算参数阈值；
[0022]所述获得三值化图像的计算方法如公式(2)所示，
[0023]
【权利要求】
1.一种搜跟系统中航拍视频的快速自动拼接技术，其特征在于，包括以下步骤: 步骤一:将航拍视频序列中连续两帧彩色图像I和J转化成灰度图像Ig和Jg，并记录帧序号Z和Z+1 ； 步骤二:利用图像三值化方法对灰度图像Ig进行三值化处理获得三值化图像，利用边缘检测SObel算子提取三值化图像的边缘特征信息获得边缘特征信息图像If，使用Harris算法提取边缘特征信息图像If的特征点，在提取三值化图像边缘特征信息的过程中，设定sobel算子的边缘检测阈值为S1和S2，S1代表水平方向的边缘计算参数阈值，S2代表垂直方向的边缘计算参数阈值； 步骤三:利用光流金字塔(KLT)算法计算光流，完成灰度图像Ig和Jg的特征点匹配；步骤四:结合DLT算法和RANSAC算法计算得出彩色图像I和J的最优单应性矩阵Hu和图像拼接的修正矩阵H’ z，并求解出图像拼接的修正几何转换矩阵P ； 步骤五:利用修正几何转换矩阵P对彩色图像J进行图像修正得到图像J’，设置一个长宽为彩色图像J长宽两倍的黑色背景，将修正后的图像J’的像素信息J’(x’，y’)贴至黑色背景中，完成图像全景的拼接； 步骤六:将当前帧图像的单应性矩阵Hu与已保存的前帧图像的单应性矩阵Hm比较，将准确匹配的特征点对数目N与特征点对数目阈值Nf进行比较，根据比较结果动态调整图像三值化的上下限阈值T1和T2以及sobel算子的边缘检测的阈值S1和S2。
2.如权利要求1所述的搜跟系统中航拍视频的快速自动拼接技术，其特征在于，所述步骤一中，采用亮度公式将彩色图像I和J转换成只包含亮度信息的灰度图像Ig和Jg。
3.如权利要求1所述的搜跟系统中航拍视频的快速自动拼接技术，其特征在于，步骤二中， 所述获得三值化图像的计算方法如公式(I)所示，
4.如权利要求1所述的搜跟系统中航拍视频的快速自动拼接技术，其特征在于，所述步骤三的计算过程如下: 4.1利用下采样公式分别对灰度图18和Jg进行下采样，获得灰度图18和Jg的图像金字塔，计算方法如公式(5)所示，
5.如权利要求1所述的搜跟系统中航拍视频的快速自动拼接技术，其特征在于，步骤四中， 所述最优单应性矩阵Hu的计算过程如下: 5.1利用公式(8)判断每一对特征点对是否为准确匹配的特征点对，将误差较大的特征点对剔除，将准确匹配的特征点对存入特征点对集合S中，并统计出准确匹配的特征点对数N ；
Dpq ≥ |ρ[χ” yj-qlix，” y，J |(8) 式(8)中，Dpq为特征点对的平均距离，计算方式如公式(9)所示，
6.如权利要求1所述的搜跟系统中航拍视频的快速自动拼接技术，其特征在于，步骤五中，利用修正几何转换矩阵P对彩色图像J进行图像修正获得图像J’的计算方式如公式(17)所示，
7.如权利要求1所述的搜跟系统中航拍视频的快速自动拼接技术，其特征在于，步骤六的具体计算过程为:按照公式(18)或公式(19)，将当前帧图像的单应性矩阵Hu与已保存的前帧图像的单应性矩阵H^1,比较，将准确匹配的特征点对数目N与特征点对数目阈值Nf进行比较， 若公式(18)和公式(19)有任意一个公式成立的，则将图像三值化的上下限阈值T1和T2调整为T1-0.1和T2+0.1，将sobel算子的边缘检测的阈值S1和S2调整为S1-0.1和S2-0.1，用于下帧图像的处理， 若公式(18)和公式(19)都不成立的，则保持图像三值化的上下限阈值T1和T2以及sobel算子的边缘检测的阈值S1和S2不变，
Iiij-YijI ≥ 1.0，i = 1,2,3, j = 1,2,3 (18) N ^ Nf(19) 式(18)中,Iiij为矩阵Hu中第i行第j列的参数，n’u为矩阵Hm中第i行第j列的参数；式(19)中Nf为准确匹配的特征点对数目阈值。
【文档编号】G06T5/50GK103745449SQ201310721570
【公开日】2014年4月23日 申请日期:2013年12月24日 优先权日:2013年12月24日
【发明者】顾国华, 韩鲁, 刘恒建, 刘琳, 廖逸琪, 钱惟贤, 任侃 申请人:南京理工大学