1.本发明涉及摄影测量与遥感中数字图像处理相关技术领域,具体的说是一种高精度自适应同名像素插值与优化方法。
背景技术:
2.同名像素插值与优化,是在立体影像中逐像素或者接近逐像素地确定影像之间的同名像点,并依据同名光线对对相交原理,在物方空间获得最佳三维点云的过程。由于该技术获得匹配成果,具有点云密度大、成本低廉且匹配结果稳定逼真等突出优势,因此可广泛应用于地形图测绘、变化检测、智能驾驶、虚拟现实等领域。然而,目前的三维重建技术已相对较为成熟,而立体影像中所蕴含的密集匹配仍然依赖人机交互来批量采集,耗费了大量的人力和物力成本,并且量测精度往往受限于作业人员的技术水平。总之,立体影像的稠密同名像点高精度可靠插值,一直是该技术发展和实际应用中的瓶颈问题,同时亦成为当今遥感技术与人工智能领域亟需攻关的重难点问题之一。
3.纵观现有的影像密集插值方法,根据所采用的影像基元可以将其分为基于灰度的密集插值、基于特征的密集插值和基于相位的密集插值等三大类型。首先,基于灰度的密集插值能够获得非常稠密的同名点云,但其精度和稳定性容易受影像几何和辐射变形的影响,在插值过程中像素点约束窗口的大小和形状难以合理确定;其次,基于特征的密集插值能够较好地适应影像的各类畸变情况,但特征提取计算代价太大,并且匹配精度容易受到地物遮蔽、纹理重复等因素的影响;再次,基于相位的密集插值一般不太适合于光学立体影像。
4.根据所采用的优化理论又可以将影像密集插值分为局部最优密集插值和全局最优密集插值两种。前者误匹配点较多,精度比较低;后者仅适用于平面场景或分层平面场景的匹配,极大地制约了复杂场景密集匹配可靠性。
技术实现要素:
5.如何充分融合全局核线几何与局部空间互补同名特征邻域信息,构建严密约束下的逐像素稠密插值及密集匹配策略,则成为本发明解决的关键问题。针对上述影像纹理匮乏、视差断裂、阴影以及遮挡等所有典型困难区域的稠密像素连接问题,本发明提出以下技术方案:
6.一种高精度自适应同名像素插值与优化方法,至少包括步骤:
7.(1)顾及特征空间分布的自适应误匹配剔除策略;
8.(2)互补特征邻域自适应增长及迭代优化算法,获得影像各局部邻域高精度几何变换参数,继而进行全局与局部融合约束的初始密集匹配;
9.(3)空洞匹配区域的自动检测与同名像素插值,获得复杂场景立体像对的可靠密集匹配结果。
10.优选的,步骤(1)利用核线约束来剔除错误匹配,尽量保持同名特征的空间分布均
匀性,以有利于引导后续高精度同名像素匹配插值。
11.优选的,核线约束包括步骤:
12.(1a)增加匹配稀疏区域的同名特征权重,根据公式
[0013][0014]
分别计算各对同名特征的权值pi,当满足条件pi》1,则复制当前同名特征数目为pi,并添加到用于核线几何估计的同名特征集中,其中i∈[1,k],k为同名特征数目,int为四舍五入取整运算;
[0015]
(1b)估算基本矩阵,基于上步得到的匹配特征集,估算基本矩阵f;
[0016]
(1c)排除误匹配,基于f生成立体像对的核线几何,继而在同名核线几何约束下排除误匹配。
[0017]
优选的,步骤(2)包括分类分级邻域互补增长与迭代优化分割策略,具体步骤为:
[0018]
(2a)面特征邻域增长与优化,基于面特征协方差矩阵及其邻域主梯度方位进行邻域增长与优化;
[0019]
(2b)线特征邻域增长与优化,采用各侧独立增长策略进行线段邻域扩展与优化;
[0020]
(2c)点特征邻域增长与优化,针对影像剩余区域的同名点特征进行仿射邻域扩展与优化。
[0021]
优选的,步骤(3)包括:
[0022]
(3a)基于自适应分水岭与影像二值化分割匹配空洞区域;
[0023]
(3b)采用格式塔准则对可能的遮挡区域进行判定与逼近,并采用自适应薄板样条函数模型对非遮挡区域进行邻近同名匹配插值,获得空洞区域的可靠匹配点;
[0024]
(3c)剔除局部可能重复的同名像素。
[0025]
本发明顾及特征空间分布的自适应误匹配剔除策略能够最大限度保留低稠密度区域的同名特征;互补特征邻域自适应增长及迭代优化算法,尤其是设计一种分类分级邻域互补增长与迭代优化分割策略,获得了影像各局部邻域高精度几何变换参数,继而有利于进行全局与局部融合约束的初始密集匹配;空洞匹配区域的自动检测与同名像素插值保证获得稠密匹配结果。
[0026]
综上所述,针对影像纹理匮乏、视差断裂、阴影以及遮挡等所有典型困难区域的稠密像素连接问题,本发明建立了一种高精度自适应同名像素插值与优化方法,该方法充分利用了立体影像反演技术及融合全局核线几何与局部空间互补同名特征邻域信息,构建了严密约束下的逐像素稠密插值及密集匹配策略,为困难区域稠密匹配提供了一种可行的思路,并为下一步多源新型数据的融合处理及分析奠定技术基础。
附图说明
[0027]
图1为本发明流程示意图;
[0028]
图2为同名面特征邻域增长与优化示意图;
[0029]
图3为同名线特征邻域增长的三种情况;
[0030]
图4为同名点特征三角邻域仿射变换估计;
matching,lsm),得到ncc系数值为lncc,并更新局部仿射变换矩阵a1;
[0047]
②
计算窗口自适应增长指标
[0048]rlncc
=lnccfo
rmer
/lncc
later
[0049]
其中lncc
former
和lncc
later
分别为相关窗口每次增长前和增长后的lncc值。如r
lncc
大于阈值(取值为0.99),则继续执行增长操作;否则,停止增长,并保存当前邻域窗口ωg;
[0050]
③
向其中一个方向执行步长为δ(取值为4)像素的邻域增长操作,并计算每次邻域增长后的r
lncc
值;如果r
lncc
不满足阈值,则停止该方向增长;对邻域ωf四个方向依次进行该增长操作;
[0051]
④
重复执行
①
到
③
,直到r
lncc
不满足阈值条件,则退出迭代。同理,按上述步骤完成所有面特征的邻域增长与优化(注意,对已完全落入增长区域的同名特征不再重复执行增长)。
[0052]
s5.线特征邻域增长与优化。
[0053]
考虑到多数线段特征位于多平面场景的交界处,其两侧邻域存在显著视差突变,难以利用统一的局部仿射变换关系进行描述。因此,采用各侧独立增长策略进行线段邻域扩展与优化,以有效规避视差断裂,图3给出同名线邻域自动增长的三种情况。具体步骤如下:
[0054]
①
选择线段单侧进行邻域增长,搜索该单侧基础邻域范围内所有的同名像点,并采用最小二乘平差法估计初始仿射变换矩阵a2,继而利用a2对该单侧基础邻域求取ncc系数,如果ncc系数大于给定阈值(取值为0.85),则参照面特征邻域增长策略进行线特征单侧邻域增长,否则放弃该侧邻域增长;
[0055]
②
基于
①
策略对线段另一侧进行独立增长与优化。同样的方式,完成所有同名线特征邻域的自动增长与优化。
[0056]
s6.点特征邻域增长与优化。
[0057]
前文方法已完成影像大部分区域的增长与优化,本节主要针对影像剩余区域的同名点特征进行仿射邻域扩展与优化,具体步骤包括:
[0058]
①
对左影像同名点构建delaunay三角网,并记录每个三角形顶点索引,继而根据右影像上同名点构建对应索引的同名三角网;
[0059]
②
对任意同名三角形,完成对应邻域仿射变换估计。如图4所示,基于e和e'、f和f'、g和g'三对同名特征点坐标,可估计对应三角区域仿射变换矩阵a3,并求取同名三角形的重心坐标x和x',以x为中心取大小为l
×
l的邻域窗口w,其中,l可取值为所属三角形三个边长的平均值;并进一步利用a3求取以x'为中心的同名邻域窗口w',继而计算w和w'的ncc系数,如ncc系数大于给定阈值(取值为0.75),则基于lsm迭代求取最优局部仿射变换矩阵a3,并传递给当前同名三角形邻域,否则,放弃当前同名三角形处理;
[0060]
③
利用
②
策略依次遍历所有同名三角形,继而完成点特征邻域的增长与优化。图5示意了面向大倾角复杂场景立体像对基于上述分类分级策略,产生的互补同名特征邻域自适应增长与分割优化结果,其中立体像对中的同名邻域用相同灰度表示,而不同灰度区域则代表着所满足的局部仿射变换关系的差异性,且所增长的邻域应具有较好的空间分布互
补性。至此,即可在全局核线几何与局部仿射变换融合约束下分别进行逐像素的匹配,得到立体像对初始密集匹配结果。
[0061]
(3)匹配空洞区域检测与同名像素插值
[0062]
由于受单一纹理、光照阴影或遮挡等因素影响,初始密集结果仍可能存在少许的匹配空洞区域。对初始密集匹配,首先,基于自适应分水岭(watershed)与影像二值化,分割出匹配空洞区域;然后,在边缘线、核线关系及视差一致性等约束下,采用格式塔准则(gestalt laws)对可能的遮挡区域进行判定与逼近,并采用自适应薄板样条函数模型对非遮挡区域进行邻近同名匹配插值;最后,剔除局部可能重复的同名像素,最终获得复杂场景立体像对的可靠密集匹配结果。最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。