一种基于特征筛选的室外场景图像拼接方法

本发明属于图像处理领域，具体涉及一种基于特征筛选的室外场景图像拼接方法。

背景技术：

随着社会的不断发展，在安防、自动驾驶、医疗成像等领域，对大视场图像的需求越发强烈，受限于现有的单个标准镜头无法获得大视场图像，而广角和超广角镜头会造成严重的图像畸变问题，图像拼接技术应运而生。图像拼接是指将同一场景下若干幅具有一定重叠区域的图像，通过一系列技术手段，拼合在一起，形成一幅包含全部场景的大视角图像。

室外场景下多视角拍摄的图像，常常视角变化大、图像重叠度小，造成同名点局部分布，现有拼接方法的结果常常出现图像匹配精度低、整体几何变形大、重叠区重影等问题，难以在实际中应用。

技术实现要素：

发明目的：为了克服现有技术中存在的不足，提供一种基于特征点筛选的室外场景图像拼接方法，通过对特征点多次优化，并采用全局配准和局部配准相结合的策略，较好地解决了现有拼接方案在室外场景中配准精度降低等问题。

技术方案：为实现上述目的，本发明提供一种基于特征筛选的室外场景图像拼接方法，包括如下步骤：

s1：采用sift特征点提取算法提取参考图像和目标图像的特征点并利用ransac算法获得特征点的对应关系；

s2：根据基于贝叶斯模型的特征点筛选算法得到精确的特征点集p1；

s3：根据特征点集p1，基于距离的特征筛选方法筛选出用于全局单应计算的特征点集p2；

s4：利用特征点集p2计算全局单应变换矩阵，进行全局配准；

s5：利用特征点集p1和基于网格的形变模型计算进行局部配准；

s6：利用相似变换模型与最佳拼接缝方法，消除图像重影和形变，实现图像拼接。

进一步地，所述步骤s2中特征点集p1的获取方法为：根据薄板样条函数的特性计算每一对匹配点的权重，再根据贝叶斯定理，去除误匹配点，筛选出精确的匹配点对。

进一步地，所述步骤s2中特征点集p1的具体获取过程为：

对于一对有重叠区域的待拼接图像i和j，图像i和j分别为参考图像和目标图像，记其中的一对匹配点为(pi,pj)，在经过全局配准之后，记为p'i＝(x'i,y'i)^t，p'i为根据全局单应模型得到的点pi在图像平面j内的投影点，p'i处的视差用投影偏差gi＝p'i-pj＝(gi,hi)^t表示，其中(gi,hi)^t表示x方向和y方向的形变分量，根据薄板样条函数的特性，权重(ωi,υi)由p'i处的投影偏差gi和p'i附近区域其他特征点对的投影偏差之间的差异决定，各个特征点对的权重系数与通过求解如下线性方程组得到：

其中，k＝(rij²lnrij)∈rn×n，

g＝(g1,...,gn)^t∈rn×2，λ为一个常量；

最终计算出各个特征点的权重(ωi,υi)，权重系数(ωi,υi)的取值近似地服从正态分布，即ωi～n(0,σω),υi～n(0,συ)，其中σω和συ分别代表了ωi和υi的标准差；

根据贝叶斯定理，在|ωi|＞tσω的情况下，匹配点对{pi,qi}是误匹配的后验概率是：

根据3σ原则，取t＝3，则φ(t)＝0.9987，当p1∈[0,0.9973]时，有p(τi＝0|ai)≥0.5，即事件ai＝{|ωi|＞3σω}发生时，匹配点对{pi,qi}是误匹配的概率不小于50％；

因此pi∈[0,0.9973]的前提下，当出现|ωi|＞3σω或|υi|＞3συ时，即认为匹配点对{pi,qi}是误匹配并将其删除。

进一步地，所述步骤s3中特征点集p2的筛选方法为：计算每个特征点在y方向上与其他点的平均距离，并筛选出平均距离最大的点，同时保留部分平均距离较小的特征点，即密集区域的特征点，以保证模型的鲁棒性，并确定用于全局配准的特征点集。

所述步骤s3中在室外场景中，特征点的分布不均主要体现在y方向上的分布不均，而且特征点分布越稀疏的区域，它和其他特征点的平均距离越大，因此，仅计算每个特征点在y方向上与其他点的平均距离，并筛选出平均距离最大的点。同时保留部分平均距离较小的特征点，即密集区域的特征点，以保证模型的鲁棒性。通过这样的筛选策略，使得用于全局配准的特征点，密集与稀疏区域的特征点比例由原来的1:4变为1:1，提高了稀疏区域的特征点在计算全局配准模型中的权重，使得计算出的全局配准模型更侧重于特征点分布稀疏的配准。

进一步地，所述步骤s3中特征点集p2的筛选过程为：

a1：首先计算每个特征点在y方向上与其他点的平均距离；

将特征点集p1作为初始特征点集，lij_y表示第i特征点与其他点在y方向上的平均距离，计算公式如下：

其中，pi表示第i特征点，pj表示除了第i点以外的其他特征点；

a2：将每个特征点的距离lij_y构建成集合，并进行排序，得到集合lij_y；

a3：在集合lij_y中，选出距离最大的前α％的值，并对剩余的1-α％的值进行采样，采样频率设置为μ，获得集合lij_y_select；

a4：利用映射关系，将集合lij_y_select映射到对应的点上，得到特征点集p2。

这里的映射关系指每个特征点和特征点计算出的距离的映射关系。这个映射关系具体就是，集合p1中的每个点pi映射到集合lij_y中的每个点对应的距离lij_y上，每个点pi都可以算出它的距离lij_y。在得到集合lij_y_select后，也可以映射回对应的点集p2。

进一步地，所述步骤s4中进行全局配准是通过已知的点集p2中的所有匹配点，将其带入全局单应性近似模型，通过估计全局单应变换矩阵，使得所有匹配点的累积平方和误差最小。具体为：

利用特征点集p2中的匹配点(p,q)估计全局单应性模型，其中匹配点的横纵坐标分别表示为(xp,yp)，(xq,yq)；

首先将单应性近似模型q～hp表达为如下公式：

将其展开得到两个线性方程为如下公式：

对该公式进行直接线性变化，将待估计的全局单应性矩阵转变为变量向量h＝(h1,h2,…h9)^t，同时将匹配特征点对(p,q)的已知变量关系转变成已知线性参数矩阵为如下公式：

因而，得到如下公式：

ah＝0

通过累积平方和误差最小来评估求解h，公式如下：

其中，|·|表示l2范式，即欧式距离；组合矩阵a满足以下等式：

表示所有ai(i＝1,2,…,n)的纵向排列；

利用svd分解a矩阵，获得最小二乘解

进一步地，所述步骤s5是利用点集p1，构造用于最优形变的能量函数，并以网格的形式表现，通过将能量函数最小化，实现局部配准。具体为：

构造形变函数如下公式：

g(x,y)＝(g(x,y),h(x,y))^t

该公式表示图像iq的形变量，其中，g(x,y)和h(x,y)分别表示x方向和y方向的形变分量；根据薄板样条的理论，对于g(x,y)，用于估计最优形变的能量函数为：

jλ＝jd+λjs

其中，配准项jd和平滑项js的取值分别为：

将能量函数jλ最小化，得到其关于x方向和y方向的解g(x,y)和h(x,y)，完整的形变函数统一表示为：

其中，

进一步地，所述步骤s6是通过将单应变换模型与相似变换模型结合，从重叠区域到非重叠区域缓慢地由单应变换模型过渡到相似变换模型，用于减少图像非重叠区域中的投影失真。具体为：

利用相似变换模型消除图像形变；

在获得精确的特征匹配{pi,qi}之后，通过最小化公式来估计全局相似性变换s：

式中，为待估计的相似变换模型；

hq＝μhh+μshs

其中，hs是通过将行(0，0，1)添加到全局相似性变换s底部而构成的，并且μh和μs是具有约束μh+μs＝1的加权系数，μh在扭曲的源图像i'中，从1到0线性变化，使得图像的变换模型逐渐过渡到hs；

利用最佳拼接缝消除图像重影：

通过配准的源图像i'和目标图像j得到重叠区域ω(δi')和ω(δj)；

寻求最佳缝合线，使得拼接缝左边取左图信息，右边取右图信息，消除图像重影，最佳拼接缝的选取要求拼接缝两边的色彩差异尽可能小和拼接缝两边邻近像素尽可能相似；最佳拼接缝的寻找遵循两个原则：(a)拼接线两边的色彩差异尽可能小；(b)拼接线两边邻近像素尽可能相似；

对于(a)，对扭曲后的图像对之间做rgb分量差分，标准化后得到差异矩阵eij，

其中，ω(δi')和ω(δj)分别表示在扭曲后的图像重叠区域的rgb分量向量[rij,gij,bij]^t；

对于(b)，用局部相似性，即用梯度差异矩阵来进行量化，将扭曲后的图像转换到梯度域，并对其做差分，得到差异矩阵eij^grad；

eij^grad＝||grad(ω(δi'))ij-grad(ω(δj))ij||

通过结合差异矩阵eij和差异矩阵eij^grad得到能量矩阵eij，在其中搜索一条能量最小的路径来实现；

eij＝ωceij^c+(1-ωc)eij^grad

将图像中的每一个像素视作结点，而能量值作为权重，最终得到一条能量最小的最佳拼接缝。

进一步地，所述步骤s3中采用欧式距离为度量进行特征筛选。

有益效果：本发明与现有技术相比，针对室外场景图像的特征分布特点，通过对图像特征的有效筛选和基于网格的形变模型，提高了图像的配准精度，取得了精确，自然的拼接效果，解决了现有拼接方案在室外场景中配准精度降低、整体几何变形大、重叠区重影等问题，使得室外场景图像的拼接效果得到明显提升，具备很好的应用前景。

附图说明

图1为本发明方法的流程图；

图2为基于贝叶斯模型的特征点筛选算法得到精确的特征点集p1示意图；

图3为基于距离的特征筛选方法筛选出用于全局单应计算的特征点集p2示意图；

图4为本发明中经过图像配准后的结果图；

图5为利用相似变换模型后得到的拼接结果图；

图6为利用最佳拼接缝方法后得到的拼接结果图；

图7为利用现有方法得到的拼接结果图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，本发明提供一种基于特征筛选的室外场景图像拼接方法，包括如下步骤：

s1：采用sift特征点提取算法提取参考图像和目标图像的特征点并利用ransac算法获得特征点的对应关系；

s2：基于贝叶斯模型的特征点筛选算法得到精确的特征点集p1。

获取的特征点集p1如图2所示，其具体的过程为：

对于一对有重叠区域的待拼接图像i和j，记其中的一对匹配点为(pi,pj)，在经过全局配准之后，记为p'i＝(x'i,y'i)^t，p'i为根据全局单应模型得到的点pi在图像平面j内的投影点，p'i处的视差用投影偏差gi＝p'i-pj＝(gi,hi)^t表示，其中(gi,hi)^t表示x方向和y方向的形变分量。根据薄板样条函数的特性，权重(ωi,υi)主要由p'i处的投影偏差gi和p'i附近区域其他特征点对的投影偏差之间的差异决定。各个特征点对的权重系数与可通过求解如下线性方程组得到：

其中，k＝(rij²lnrij)∈rn×n，

g＝(g1,...,gn)^t∈rn×2，λ为一个常量；

最终计算出各个特征点的权重(ωi,υi)，权重系数(ωi,υi)的取值近似地服从正态分布，即ωi～n(0,σω),υi～n(0,συ)，其中σω和συ分别代表了ωi和υi的标准差。在限定了的前提下，ωi和υi的均值都等于0。

根据贝叶斯定理(bayes’rule)，在|ωi|＞tσω的情况下，匹配点对{pi,qi}是误匹配的后验概率是：

根据3σ原则，取t＝3，则φ(t)＝0.9987，当p1∈[0,0.9973]时，有p(τi＝0|ai)≥0.5，即事件ai＝{|ωi|＞3σω}发生时，匹配点对{pi,qi}是误匹配的概率不小于50％。

因此pi∈[0,0.9973]的前提下，当出现|ωi|＞3σω或|υi|＞3συ时，即认为匹配点对{pi,qi}是误匹配并将其删除。

在实际操作中，由于正确匹配点所对应的权重分布σω和συ未知，因此以当前所有匹配点的权重标准差和作为近似，并以循环逼近的方式消除误匹配点。误匹配的消除通常能够在10次循环内完成，本实施例中设置最大循环次数l＝10。

s3：根据基于距离的特征筛选方法筛选出用于全局单应计算的特征点集p2。

获取的特征点集p2如图3所示，其具体的过程为：

经过贝叶斯模型筛选出来的特征点集表示为p1，基于空间分布的特征点筛选策略如下：

(1)首先计算每个特征点在y方向上与其他点的平均距离。初始特征点集为p1，表示经过贝叶斯模筛选出来的特征点集，lij_y表示第i特征点与其他点在y方向上的平均距离，计算公式如下：

其中，pi表示第i特征点，pj表示除了第i点以外的其他特征点。

(2)将每个特征点的距离lij_y构建成集合，并进行排序，得到集合lij_y。

(3)在集合lij_y中，选出距离最大的前α％的值，并对剩余的(1-α)％的值进行采样，采样频率设置为μ，获得集合lij_y_select。本实施例中将α设置为20，μ设置为1/4。

(4)利用映射关系，将集合lij_y_select映射到对应的点上，得到点集p2。

这里的映射关系指每个特征点和特征点计算出的距离的映射关系。这个映射关系具体就是，集合p1中的每个点pi映射到集合lij_y中的每个点对应的距离lij_y上，每个点pi都可以算出它的距离lij_y。在得到集合lij_y_select后，也可以映射回对应的点集p2。

由于在室外场景中，特征点的分布不均主要体现在y方向上的分布不均，而且特征点分布越稀疏的区域，它和其他特征点的平均距离越大，因此，仅计算每个特征点在y方向上与其他点的平均距离，并筛选出平均距离最大的点。同时保留部分平均距离较小的特征点，即密集区域的特征点，以保证模型的鲁棒性。通过这样的筛选策略，使得用于全局配准的特征点，密集与稀疏区域的特征点比例由原来的1:4变为1:1,提高了稀疏区域的特征点在计算全局配准模型中的权重，使得计算出的全局配准模型更侧重于特征点分布稀疏的配准。需要注意的是特征点集p2只在计算全局单应时使用，为了保证特征点的数量和准确性，计算局部配准时还是使用特征点集p1。

s4：利用特征点集p2计算全局单应变换矩阵，进行全局配准。

利用特征点集p2中的匹配点(p,q)估计全局单应性模型。其中匹配点的横纵坐标分别表示为(xp,yp)，(xq,yq)。

首先将单应性近似模型q～hp详细地表达为如下公式：

将其展开可得到两个线性方程为如下公式：

对该公式进行直接线性变化，将待估计的全局单应性矩阵转变为变量向量h＝(h1,h2,…h9)^t，同时将匹配特征点对(p,q)的已知变量关系转变成已知线性参数矩阵为如下公式：

因而，可以得到如下公式：

ah＝0

在待配准图像中通常有多对匹配点，实际上在求解h时，通常是通过累积平方和误差最小来评估，公式如下：

此处，该公式是一个超定方程的最小二乘解(当n＞4时)，其利用|h|2＝1来限制h的自由度为8，其中|·|表示l2范式，即欧式距离。此外，其中的组合矩阵a满足以下等式：

其中，组合矩阵a表示所有ai(i＝1,2,…,n)的纵向排列。本实施例中大小为2n×9。

本实施例中利用svd分解a矩阵，获得最小二乘解

s5：利用点集p1和基于网格的形变模型计算进行局部配准。

构造形变函数如下公式：

g(x,y)＝(g(x,y),h(x,y))^t

该公式表示图像iq的形变量，其中，g(x,y)和h(x,y)分别表示x方向和y方向的形变分量。根据薄板样条的理论，对于g(x,y)，用于估计最优形变的能量函数为：

jλ＝jd+λjs

其中配准项jd和平滑项js的取值分别为：

将能量函数jλ最小化，可得到其关于x方向和y方向的解g(x,y)和h(x,y)。完整的形变函数可统一表示为：

其中，各个特征点对的权重系数数与在步骤s2中已经求出。

本实施例中经过步骤s4的全局配准和步骤s5的局部配准后，获得如图4所示的配准结果图。

s6：利用相似变换模型与最佳拼接缝方法，消除图像重影和形变，实现图像拼接。

1、利用相似变换模型消除图像形变。

获得如图5所示的拼接结果图，其具体的获取过程为：

在获得精确的特征匹配{pi,qi}之后，我们通过最小化公式来估计全局相似性变换s：

式中为待估计的相似变换模型。

hq＝μhh+μshs

其中，hs是通过将行(0，0，1)添加到s底部而构成的，并且μh和μs是具有约束μh+μs＝1的加权系数。μh在扭曲的源图像i'中，从1到0线性变化，使得图像的变换模型逐渐过渡到hs。

2、利用最佳拼接缝消除图像重影。

获得如图6所示的拼接结果图，其具体的获取过程为：

通过配准的源图像i'和目标图像j得到重叠区域ω(δi')和ω(δj)。

寻求最佳缝合线，使得拼接缝左边取左图信息，右边取右图信息。最佳拼接缝的寻找遵循两个原则：(a)拼接线两边的色彩差异尽可能小；(b)拼接线两边邻近像素尽可能相似。

对于(a)，对扭曲后的图像对之间做rgb分量差分，标准化后得到差异矩阵eij，

其中，ω(δi')和ω(δj)分别表示在扭曲后的图像重叠区域的rgb分量向量[rij,gij,bij]^t。

对于(b)，用局部相似性，即用梯度差异矩阵来进行量化，将扭曲后的图像转换到梯度域，并对其做差分，得到差异矩阵eij^grad，差异值越小表示局部相似性越高。

eij^grad＝||grad(ω(δi'))ij-grad(ω(δj))ij||

这些准则可以通过结合两个差异矩阵得到能量矩阵eij在其中搜索一条能量最小的路径来实现。因为结构差异越大的物体将有越大的能量，搜索的时候会尽量绕开，因此抑制了鬼影的产生。

eij＝ωceij^c+(1-ωc)eij^grad

将图像中的每一个像素视作结点，而能量值作为权重，最终可以得到一条能量最小的最佳拼接缝。本实施例中ωc取0.5。

本实施例中为了更加直观体现本发明方法的效果，利用现有的拼接方法获取到如图7所示的拼接图，对比图6和图7可见，图7的配准精度较低，关键是具有重叠区重影的问题，而图6的配准精度高，没有重叠区重影的问题，所以很好的验证了本发明方法的有效性。