一种图像拼接的实时性优化方法
【专利摘要】本发明属于计算机视觉技术领域，具体涉及一种图像拼接的实时性优化方法。本发明包括图像NCC区域匹配；SURF阈值估算；特征点匹配。本发明在精确求取变换矩阵的情况下，经过算法优化使检测特征点数得到大幅度下降；同时通过局部区域匹配算法NCC预估图像重叠区域的大小，通过锁定重叠区域来减少图像拼接过程中特征点搜索范围。NCC算法获取互相关最大值窗口来估计图像的大致匹配情况，避免了在全局图像之间进行特征点查找，两种方法的叠加使用能使图像拼接的实时性得到提升。
【专利说明】
一种图像拼接的实时性优化方法
技术领域
[0001] 本发明属于计算机视觉技术领域，具体涉及一种图像拼接的实时性优化方法。
【背景技术】
[0002] 如文献邵向鑫等发表的数字图像拼接核心算法研究所述传统相机在视野上存在 很大限制，由于其只能获取正前方的图像，将会导致只能获取环境的部分信息，民用的视频 监控方面以及军用航海航天都对图像分辨率提出了更高的要求，图像拼接技术同时应运而 生。用于图像拼接技术的算法主要有相位相关法，基于区域的方法和基于特征的方法，本发 明采用基于特征的方法，对算法进行改进。
[0003] 图像拼接在多个领域中有所应用。在航海领域，使用单个传统相机无法检测到船 体周围的360°环境信息，无法及时发现海上的突发情况，而多台相机必然造成费用的大幅 度上升，使用图像拼接技术配合旋转云台可以获取海面的全景图像，满足了对大视场的要 求，及时掌握特定场景的全面信息。在民用领域的视频监控方面，主要通过设置多台相机分 别进行观察，图像拼接技术可以将多张图像融合为一张图像，避免了多幅图像的重复观察。
[0004] 目前的基于特征点的图像拼接技术主要采用SURF算法和SIFT算法，其中SURF算法 的实时性更加优秀，然而及时SURF在时间上存在优势，但是在应用于实际环境中时，仍然不 能满足实时性要求。本发明通过提出一种改进SURF算法和重合区域检测算法，可以同时减 少图像拼接的检索图像区域以及检索的特征点数，从而在保证图像特征点个数的情况下， 极大了降低了冗余特征点的检测，匹配数量，提高了图像拼接的时间。
【发明内容】
[0005] 本发明的目的在于提供一种加速的图像拼接技术，实现图像间的快速拼接的图像 拼接的实时性优化方法。
[0006] 本发明的目的是这样实现的：
[0007] -种图像拼接的实时性优化方法，包括以下步骤：
[0008] (1)图像NCC区域匹配
[0009] 输入图像A和图像B两张待拼接图像，以图像A为模板图像，图像B为待匹配图像，通 过NCC算法寻找图像A与图像B之间互相关最大时的搜索窗口位置，通过搜索窗口位置初步 确定图像间的位置关系，将图像A和图像B的重合区域锁定为图像A'和图像B'；
[0010] (2) SURF阈值估算
[0011] 获取不同环境下的若干分辨率不同的图像，通过高斯滤波的得到统一的不同尺度 图像，计算每张图像的图像熵值，同时不断调整SURF阈值制导图像特征点个数满足要求，通 过RANSAC算法来预测图像熵与SURF阈值之间的最优模型;输入图像A'和图像B'，得到两个 阈值a和b;
[0012] (3)特征点匹配
[0013] 在检测到的图像特征点间利用KNN最近邻匹配算法以及RANSAC优化算法进行图像 特征点匹配以及排除误匹配特征点，从而得到经过细化的准确匹配点，经过图像坐标系变 换后，得到匹配特征点在原图像内的特征点坐标，通过匹配点来计算图像之间单应性矩阵 进行图像拼接。
[0014] 所述步骤(1)图像NCC区域匹配具体包含以下步骤：
[0015] (1.1)定义模板窗口ηΧη，设定ncc阈值，获取图像A模板像素并计算均值，标准方 差；
[0016] (1.2)根据模板大小，在目标图形上从左到右，从上到下移动窗口，计算每移动一 个像素后窗口内像素与模板像素的ncc值，与阈值比较，若大于阈值则记录此时的位置信 息；
[0017] (1.3)比较得到的位置信息，选取ncc值中最大的k个数据，比较k个数据的坐标信 息，找到表示图像间重叠区域最大时的坐标，通过该坐标得到图像A和图像B的估算重合区 域图像A'和图像B'。
[0018] 所述步骤(2) SURF阈值估算具体包含以下步骤：
[0019] (2.1)图像采集，获取不同场景下不同分辨率大小的图像，通过高斯滤波得到统一 的不同尺度的L组图像，然后分别计算每幅相同分辨率图像的图像熵；
[0020] (2.2)以每个分辨率统一的图像为一组，共L组，分别通过调整SURF阈值，直到满足 计算单应性矩阵的特征点匹配点数，记录此时的阈值大小；
[0021 ] (2.3)RANSAC估算最优模型，将图像熵作为自变量，阈值为因变量，通过RANSAC算 法估计最优模型，得到L组不同的最优模型，将经过步骤（1)得到的图像A'和图像B'输入分 辨率最优模型中得到阈值a和b。
[0022]所述步骤(3)的特征点匹配，具体包含以下步骤：
[0023] (3.1)特征点粗匹配，通过KNN最近邻算法提取欧氏距离最近的特征点对作为初匹 配结果；
[0024] (3.2)再次利用RANSAC算法进行特征点提纯，去除误匹配，通过提纯的特征点得到 单应性变换矩阵。
[0025]本发明的有益效果在于：
[0026]本发明公开了一种图像拼接技术的实时性优化方法，主要包括算法优化和图像重 叠区域预估。与现有的图形拼接技术相比，在精确求取变换矩阵的情况下，经过算法优化使 检测特征点数得到大幅度下降；同时通过局部区域匹配算法NCC预估图像重叠区域的大小， 通过锁定重叠区域来减少图像拼接过程中特征点搜索范围。本发明通过RANSAC算法来估算 图像单位区域熵与图像被检测的特征点像素占比之间的模型，估算一副图像的SURF算法初 始特征点阈值大小，与现有的对一副图像进行SURF算法阈值最小化检测相比能够快速提高 实时性。NCC算法获取互相关最大值窗口来估计图像的大致匹配情况，避免了在全局图像之 间进行特征点查找，两种方法的叠加使用能使图像拼接的实时性得到提升。
【附图说明】
[0027]图1位本发明图像拼接优化处理过程框图。
[0028]图2为本发明中NCC算法流程图。
[0029]图3位本发明RANSAC算法训练数据流程图。
[0030] 图4为本发明图像匹配流程图。
【具体实施方式】
[0031] 下面结合附图对本发明作进一步描述。
[0032] 传统基于特征点的图像拼接方法主要的不足存在实时性方面，目前加速的特征点 检测算法只能达到秒级，多幅图像拼接过程中仍然消耗大量时间。本发明公开了一种优化 的加速图像拼接算法，可以通过预测图像重叠区域以及图像特征点阈值来最大可能的减少 图像特征点检测以及特征点匹配的时间。
[0033] 如附图1所示，对于待匹配的图像A和图像B，经过NCC算法找到最优的重叠区域，在 该重叠区域内进行特征点检测。特征点检测采用优化的SURF算法进行，通过将图像A和图像 B输入经过RANSAC算法找到的最优模型中得到输出的阈值a和b，通过阈值对图像特征点个 数进行初步筛选，去除特征比较弱的特征点。相对于传统的基于特征点的拼接算法，本发明 通过结合两种方法来提高特征点检测的速度，加速图像匹配过程。
[0034]如附图1所示，本发明图像拼接优化处理的具体过程如下：
[0035] 第一步，输入待拼接图像A，图像B。输入带拼接图像之后对图像进行初步的图像处 理，如图像去噪等。
[0036] 第二步，对待拼接图像作图像NCC区域匹配如附图2所示。
[0037] Stepl:首先计算模板像素的均值与标准差用U#P〇t表示，移动模板，计算模板与检 测图像之间的ncc值，计算公式如下：
[0039]其中，f(x，y)表示检测图像的灰度值，uf和(^表示检测图像模板大小内像素的均值 和标准差，η表示模板像素总数。
[0040] Step2:设定阈值threshold，阈值范围[-1，1]，其中-1代表模板图像与检测图像之 间的毫无关系，1表示模板图像与检测图像直接按的相关性很高。通过比较ncc与threshold 之间的关系，当ncc值大于thresho Id阈值时，记录此时的位置信息。
[0041] Step3:由于阈值设定的不同，选出的位置信息有多个，通过选取ncc值钱k个最大 值进行筛选。
[0042] Step4:通过筛选的最大值位置计算图像重叠区域。计算方法如下：假设此时选取 三个最大ncc值以及图像为左右拼接的情况，得到该情况下的位置信息图A中为(XA1，yA1)， (XA2，yA2 )和（XA3，yA3 )，图B中为（XB1，yBl)，（ XB2，yB2 )和（XB3，yB3 )。为保证能够获取足够的拼接 区域，比较坐标信息。对于左侧图像A而言，比较XA1，XA2和XA3的值，选择最小值作为图A重叠 区域分界线，由于图像为左右拼接的情况，此时位于 XAmln右侧的图像均纳入特征点检测区 域；同时比较yAl，yA2和yA3，选择最小值和最大值yAmin和yAmax，则左侧图像的检测区域为 {xAmin，A.cols，yAmin，yAmax}，其中A.cols表示图像A的图像宽度。同理可以得到右侧图像的检 测区域为{ 〇，XBmax，y Bmin，yBmax } 〇
[0043]第三步，SURF算法阈值估算。由于SURF算法在选择特征点的过程中会利用HESSIAN 矩阵对特征点进行初步筛选。HESSIAN矩阵阈值的选取是特征点匹配量的关键。考虑到图像 特征点与图像的复杂度具有密切关系，因此通过估算图像熵与图像阈值之间的关系来得到 在满足图像匹配特征点数下的最小特征点数。具体过程如附图3所示。
[0044] Stepl:采集图像，图像信息源可以通过不同设备，在不同环境下获取复杂度不同 的以及分辨率不同的若干图像。
[0045] Step2:利用高斯滤波对图像进行统一多尺度变换，得到不同尺度相同分辨率的N 组图像。
[0046] Step3:计算每一幅图像的图像熵，离散图像二维熵的计算公式如下：
[0047]
，其中i表示像素灰度值，j表示领域灰度均 值，N为图像尺度。
[0048] Step4:对每一幅图像进行特征点检测，通过调节阈值直到特征点个数下降到满足 求解图像变换矩阵的情况下尽可能的少，并记录此时的阈值。
[0049] Step5:将图像熵作为自变量，阈值作为因变量输入RANSAC算法中，经过训练得到 最优的模型，计算待拼接图像的图像A'图像B'的熵值，并输入最优模型分别得到阈值a和b。
[0050] 第四步：图像拼接。经过阈值估算后得到适当的特征点数，通过KNN最近领算法进 行特征点匹配并用RANSAC进行特征点细化得到图像变换矩阵进行图像拼接。
【主权项】
1. 一种图像拼接的实时性优化方法，其特征在于，包括以下步骤： (1) 图像NCC区域匹配 输入图像A和图像B两张待拼接图像，以图像A为模板图像，图像B为待匹配图像，通过 NCC算法寻找图像A与图像B之间互相关最大时的搜索窗口位置，通过搜索窗口位置初步确 定图像间的位置关系，将图像A和图像B的重合区域锁定为图像A'和图像B'； (2) SURF阈值估算 获取不同环境下的若干分辨率不同的图像，通过高斯滤波的得到统一的不同尺度图 像，计算每张图像的图像熵值，同时不断调整SURF阈值制导图像特征点个数满足要求，通过 RANSAC算法来预测图像熵与SURF阈值之间的最优模型；输入图像A '和图像B '，得到两个阈 值a和b; (3) 特征点匹配 在检测到的图像特征点间利用KNN最近邻匹配算法以及RANSAC优化算法进行图像特征 点匹配以及排除误匹配特征点，从而得到经过细化的准确匹配点，经过图像坐标系变换后， 得到匹配特征点在原图像内的特征点坐标，通过匹配点来计算图像之间单应性矩阵进行图 像拼接。2. 根据权利要求1所述的一种图像拼接的实时性优化方法，其特征在于，所述步骤（1) 图像NCC区域匹配具体包含以下步骤： (1.1) 定义模板窗口 η X η，设定ncc阈值，获取图像A模板像素并计算均值，标准方差； (1.2) 根据模板大小，在目标图形上从左到右，从上到下移动窗口，计算每移动一个像 素后窗口内像素与模板像素的ncc值，与阈值比较，若大于阈值则记录此时的位置信息； (1.3) 比较得到的位置信息，选取ncc值中最大的k个数据，比较k个数据的坐标信息，找 到表示图像间重叠区域最大时的坐标，通过该坐标得到图像A和图像B的估算重合区域图像 A'和图像B'。3. 根据权利要求1所述的一种图像拼接的实时性优化方法，其特征在于，所述步骤(2) SURF阈值估算具体包含以下步骤： (2.1) 图像采集，获取不同场景下不同分辨率大小的图像，通过高斯滤波得到统一的不 同尺度的L组图像，然后分别计算每幅相同分辨率图像的图像熵； (2.2) 以每个分辨率统一的图像为一组，共L组，分别通过调整SURF阈值，直到满足计算 单应性矩阵的特征点匹配点数，记录此时的阈值大小； (2.3) RANSAC估算最优模型，将图像熵作为自变量，阈值为因变量，通过RANSAC算法估 计最优模型，得到L组不同的最优模型，将经过步骤（1)得到的图像A'和图像B'输入分辨率 最优模型中得到阈值a和b。4. 根据权利要求1所述的一种图像拼接的实时性优化方法，其特征在于，所述步骤(3) 的特征点匹配，具体包含以下步骤： (3.1) 特征点粗匹配，通过KNN最近邻算法提取欧氏距离最近的特征点对作为初匹配结 果； (3.2) 再次利用RANSAC算法进行特征点提纯，去除误匹配，通过提纯的特征点得到单应 性变换矩阵。
【文档编号】G06T5/50GK105869120SQ201610423395
【公开日】2016年8月17日
【申请日】2016年6月16日
【发明人】蔡成涛, 汪鹏飞, 刘安, 翁翔宇
【申请人】哈尔滨工程大学