本发明涉及电镜图像处理技术领域,具体涉及一种扫描电镜图像漂移的快速矫正方法。
背景技术:
随着纳米科学的发展,新的纳米材料及其卓越性能不断被人们发现和认识,并显示了非常广阔的应用前景。相比于传统的光学显微镜,扫描电镜(sem)由于其制样简单、放大倍数可调范围宽、图像的分辨率高、景深大等特点,已广泛地应用在于纳米材料的性能表征,微小形变测量等。然而在高倍下,电子束漂移,电磁干扰等原因导致的图像漂移,会影响sem对纳米材料的尺寸测量以及性能的表征。
目前,国内外学者积极投入到sem图像漂移的矫正方法,但其算法复杂且计算量大,难以满足实时性的要求,且受限于图像漂移矫正的通用模型难以建立等问题。
技术实现要素:
本发明要解决的技术问题是提供一种扫描电镜图像漂移的快速矫正方法,其算法简单,速度快,能够实现实时反馈,图像漂移矫正效果好。
为了解决上述技术问题,本发明提供了一种扫描电镜图像漂移的快速矫正方法,所述方法包括以下步骤:
对扫描电镜的基准图像进行特征检测;
对扫描电镜的实时图像进行特征检测;
将所述基准图像的特征检测结果和实时图像的特征检测结果进行特征初匹配,并剔除误匹配对;
计算得到所述基准图像和实时图像之间的单应矩阵;
对所述实时图像的特征点进行单应矩阵帧映射,再次剔除误匹配对,并获取精确匹配对;
重新计算得到所述基准图像和实时图像之间的单应矩阵,并对实时图像进行透视变换。
作为本发明的进一步改进,所述对扫描电镜的基准图像进行特征检测,具体包括:采用surb算法对所述基准图像进行特征检测。
作为本发明的进一步改进,所述对扫描电镜的实时图像进行特征检测,具体包括:采用surb算法对所述实时图像进行特征检测。
作为本发明的进一步改进,所述将所述基准图像的特征检测结果和实时图像的特征检测结果进行特征初匹配,并剔除误匹配对,具体包括:
s31:利用汉明距离计算基准图像所有特征点在实时图像上所对应的匹配点,获得多组第一匹配对;
s32:利用汉明距离计算实时图像所有特征点在基准图像上所对应的匹配点,获得多组第二匹配对;
s33:比较s31和s32中的第一匹配对和第二匹配对,剔除不同的匹配对,留下相同的匹配对。
作为本发明的进一步改进,所述计算得到所述基准图像和实时图像之间的单应矩阵,具体包括:采用ransac的优化算法prosac计算扫描电镜基准图像和实时图像之间的单应矩阵h。
作为本发明的进一步改进,采用ransac的优化算法prosac计算扫描电镜基准图像和实时图像之间的单应矩阵h,具体包括:
s41:设置内点判断阈值,内点数目阈值,最大迭代次数,迭代次数初值设置为0;
s42:按匹配质量将数据排序,选取前n个高质量匹配的数据(n为大于等于1的整数);
s43:从所述n个数据中随机去除m个,计算模型参数,计算符合此模型的内点数目是否大于设定的内点数目阈值,若不符合,迭代次数加1,返回s52(m为大于等于1的整数,m小于n)。
作为本发明的进一步改进,所述对所述实时图像的特征点进行单应矩阵帧映射,再次剔除误匹配对,并获取精确匹配对,具体包括:对所述实时图像的特征点进行单应矩阵帧映射,计算映射点的特征描述子与基准图上特征点的描述子的欧式距离,如果欧式距离大于设定的欧式距离阈值,则剔除误匹配对,获取精确匹配对。
作为本发明的进一步改进,所述重新计算得到所述基准图像和实时图像之间的单应矩阵,对实时图像进行透视变换,实现扫描电镜图像的实时矫正,具体包括:
设i0和it是扫描电镜分别在t0和t1时刻获取的图像,p0(x,y)和p1(x',y')是分别位于两幅图像上的像素,p0(x,y)∈i0,p1(x',y')∈it,
则p0≈h1p1,其中h1为重新计算得到的单应矩阵,
则i=h1p1,其中i为漂移矫正后的图像。
与现有技术相比,本发明的有益效果是:
1、本发明扫描电镜图像漂移矫正方法,其算法简单,运算量不大,能够实现图像漂移快速矫正,实现实时反馈。
2、本发明经初匹配与精确匹配,获得基准图像和实时图像之间的精确度较高的单应矩阵,使得最终透视变换所获得的图像还原度高,画质好。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明如下。
附图说明
为了更清楚的说明本发明实施例技术中的技术方案,下面将对实施例技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还能够根据这些附图获得其他的附图。
图1为本发明扫描电镜图像漂移的快速矫正方法示意图。
图2为未加入漂移矫正的普通sem图像。
图3为本发明加入漂移矫正所获得的sem图像。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本实用型中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例
参照图1所示,本发明公开了一种扫描电镜图像漂移的快速矫正方法,包括以下步骤:
步骤s101、采用surb算法对扫描电镜的基准图像进行特征检测。
其中surb算法将surf与orb算法融合优化,具有较强的鲁棒性和快速性,具体包括:
1.1、采用surf算法的核心hessian进行特征点检测.
假设函数f(x,y)为二阶可微函数,hessian矩阵h是函数、偏导数组成,则图像中某个像素点的hessian矩阵为:
若h的行列式值det(h)为正数,即为特征点。
1.2、使用orb算法的brief描述子对特征点进行描述,使用brief在特征点周围区域随机选取若干点来组成小特征区域,进行比较,即可得到长度为n的二进制串,这个二进制串是由特征点周围m个点对生成的,将这m个点(xi,yi),i=1,2,···,m组成一个矩阵s:
特征点邻域构成图像块的主方向θ,对应的旋转矩阵rθ构建矩阵s的校正版本sθ满足:
sθ=rθs
采用贪婪搜索,找出256个像素块对使其相关性最低,并构成所需的特征描述子。
步骤s102、采用surb算法对扫描电镜的实时图像进行特征检测。
其特征检测原理与s101相同。
步骤s103、使用汉明距离实现特征的初匹配,利用交叉匹配剔除误匹配对。即将基准图像的特征检测结果和实时图像的特征检测结果进行特征初匹配,并剔除误匹配对。具体包括:
3.1、选取基准图像上的一个基准图像特征点;
3.2、依次选取实时图像上的所有特征点,计算该基准图像特征点描述子与实时图像上所有特征点描述子之间的汉明距离,并将所得到的汉明距离进行排序;
3.3、选取汉明距离最近的特征点作为该基准图像特征点的匹配点,该基准图像特征点与获得的匹配点为一组第一匹配对;
3.4、重复3.1~3.3的步骤,获得多组第一匹配对;
3.5、选取实时图像上的一个实时图像特征点;
3.6、依次选取基准图像上的所有特征点,计算该实时图像特征点描述子与基准图像上所有特征点描述子之间的汉明距离,并将所得到的汉明距离进行排序;
3.7、选取汉明距离最近的特征点作为该实时图像特征点的匹配点,该实时图像特征点与获得的匹配点为一组第二匹配对。
3.8、重复3.5~3.7的步骤,获得多组第二匹配对;
3.9、比较3.4中多组第一匹配对和3.8中多组第二匹配对,剔除不同的匹配对,留下相同的匹配对。
其中,汉明距离是描述两个长比特序列x=(x1,x2,···,xn)和y=(y1,y2,···,yn)之间的距离计算公式为:
其中
汉明距离越近,匹配度越高,匹配质量越好。
步骤s104、采用ransac的优化算法prosac计算扫描电镜基准图和实时图之间的单应矩阵h,对传统的ransac进行改进,将初匹配的结果作为排序的依据,使得在采样时根据匹配质量由高到低进行排序。这种采样时根据匹配质量从高到低进行排序,选取一部分高质量匹配对,使得最佳参数的采样较早出现,提高了计算速度。具体包括:
4.1、设置内点判断阈值,内点数目阈值,最大迭代次数,其中迭代次数初值设置为0;
4.2、按匹配质量将数据由高向低排序,选取前n个高质量数据;(n为大于等于1的整数)
4.3、从n个数据中随机去除m个,计算单应矩阵h模型参数,计算符合此模型的内定数目是否大于设定阈值,若不符合,迭代次数加1,返回步骤4-2。其中,内点为正确匹配对中的特征点。(m为大于等于1的整数,m小于n)
步骤s105、对实时图像的特征进行单应矩阵映射,再次剔除误匹配对,并获取精确匹配对。
具体的,对实时图像的特征点进行单应矩阵帧映射,计算映射点的特征描述子与基准图上特征点的描述子的欧式距离,如果欧式距离大于设定的欧式距离阈值,则剔除误匹配对,获取精确匹配。
其中,欧氏距离是两点x=(x1,x2,···,xn)和之y=(y1,y2,···,yn)之间的距离,计算公式为:
步骤s106、使用算法prosac重新计算单应矩阵,获得单应矩阵h1,对实时图像进行单应矩阵映射,实现扫描电镜图像实时矫正。
假设i0和it是sem分别在t0和t1时刻获取的图像,其中,i0为扫描电镜的基准图像,it为扫描电镜的未矫正的实时图像。
假设p0(x,y)和p1(x',y')是分别位于两幅图像上的像素,p0(x,y)∈i0,p1(x',y')∈it,则他们之间的运动可以通过单应矩阵(h1)进行描述,即:p0≈h1p1。
但是,sem图像在t1时刻发生了漂移需要进行漂移补偿。
假设i为漂移矫正后的图像,则:i=h1p1。
步骤s107、输出sem漂移矫正后的图像。
图2为未加入漂移矫正的普通sem图像。其中,图2(a)为扫描电镜的基准图像,图2(b)为扫描电镜的实时图像。对比图2(a)和图2(b),图像发生明显的漂移,影响测试。
图3为本发明加入漂移矫正所获得的sem图像。图3(a)为扫描电镜的基准图像,图3(b)为扫描电镜漂移矫正后的实时图像。对比图3(a)和图3(b),可以看出,经引入本发明所述的“扫描电镜图像漂移快速矫正方法”后,图3(b)的图像相对稳定,框内为感兴趣的目标区域,随着时间推移,目标区域在所显示的图像没有发生变动,由此可见,本发明能够有效实现图像漂移矫正。
图2和图3所使用的sem为美国feiquantaesem300的扫描电镜。本发明所采用的扫描电镜漂移矫正方法也可用于其它品牌和型号的扫描电镜上。
本发明所采用的扫描电镜图像漂移快速矫正方法,其矫正速度快,一秒钟至少可以对20张图片进行漂移矫正处理,能够实现实时反馈,效率高;此外,其经漂移矫正后的图像,还原度高,画质佳。并且,这种漂移矫正方法效果明显,实用价值高,节约操作者测试时间,提高其工作效率,避免操作者因为图像漂移耗费过多的时间反复操作以寻找目标区域,也避免图像漂移引起成像质量差等情况的产生。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理能够在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖点相一致的最宽的范围。