一种图像拼接的方法和装置的制作方法

文档序号:6483640阅读:601来源:国知局

专利名称::一种图像拼接的方法和装置的制作方法
技术领域
:本发明涉及图像数据处理
技术领域
,特别是涉及一种对多幅图像进行拼接处理的方法和装置。
背景技术
:随着拍照摄像技术的进步,越来越多的移动终端类设备都具有了拍照/摄像的功能,例如,手机、PDA设备等等,使得人们在生活或工作中,可以及时方便的纪录周围的景色和事物与朋友分享。但是由于这些普通摄像装置的拍摄角度较小,难以直接获取场景较大情况下的全景图,因此,在图像分享的过程中,人们有一个普遍的需求,就是希望将多张图像组成一张大图,展示出来;例如,用于展示更大视野范围的景物,甚至希望用于展示360。视野的全景图。现有技术已经存在获取全景图的一些解决方案,例如,公开号为CN101082766的中国专利申请就公开了一种可在移动过程中快速拍摄全景图像或全景图像序列的设备和方法。所述的设备包括复数台图像采集装置、同步控制系统以及全景图像处理工作站;复数台图像采集装置固定在同一水平面上,且其成像点近似重合于同一圆弧的圓心处。所述的方法包括步骤在移动过程中对某一点或运动线路上的连续多个点的四周进行360度的同步拍摄,所拍摄的图像经处理得到该点的全景图或连续的全景图像序列。该方案在得到多幅图像后,釆用比较简单的组合方式就可以获得全景图或连续的全景图像序列;但是其需要比较苛刻的硬件设备、要求较高、架构昂贵,不适合移动终端。为了避开昂贵苛刻的硬件设备要求,公开号为CN101079151的中国专利申请还公开了一种序列静态图像的全景生成方法,用于将一组静态图像拼接成一个柱形全景图,该方法包括序列图像的拍摄;对拍摄图像的预处理;图{象的4并4妻。该解决方案不需要昂贵的硬件投入,就可以得到较好的全景图像,但是其要求至少包括从不同角度拍摄的12幅或者更多幅图像组成图像序列(各个图像间必须要20%以上的重合区域),并且无法对不同分辨率,拍摄角度变化较大,或者被旋转的图像进行拼接,也就是说,上述解决方案对拍照摄像人员的拍照要求较高,可以适用于专业拍照人员,但是无法适用于移动终端的大多数用户(一般拍照水平);并且该解决方案的计算方法比较复杂,无法满足移动终端实时拼接展示的需求。总之,需要本领域技术人员迫切解决的一个技术问题就是如何能够创造性的提供一种图像拼接的方法,无需对拍照设备、拍照人员以及所拍摄的各个图像作较多的限制要求。
发明内容本发明所要解决的技术问题是提供一种对多幅图像进行拼接处理的方法以及一种具有图像拼接功能的移动终端,其能够对多幅图像进行组合拼接展示,并且可以适用于一般拍照水平的大多数用户所拍摄的普通图像。为了解决上述问题,本发明公开了一种图像拼接的方法,包括针对待拼接的第一图像和第二图像,分别提取各图像的关键点及关键点的特征参数;获取第一图像与第二图像之间对应的关键点对;依据所述的关键点对,获取两幅图像的图像点位置坐标间的变换关系;依据所述变换关系,对第二图像上的各个图像点进行变换;将变换后的第二图像与第一图像进行拼接,得到拼接后的图像。优选的,该方法可以采用尺度不变特征变换算法提取各个图像的关键点及关键点的特征参数。优选的,该方法可以通过以下方式获取第一图像与第二图像之间对应的关键点对依据第一图像的关键点及其特征参数,创建K-d树;对于第二图像的每个关键点,采用最邻近点搜索算法,获取第一图像中与其对应的关键点,得到关键点对。或者,该方法也可以通过以下方式获取第一图像与第二图像之间对应的关键点对依据第一图像的关键点及其特征参数,创建K-d树;对于第二图像的每个关键点,釆用最邻近点搜索算法,获取第一图像中与其对应的最邻近关键点和次邻近关键点;获取第二图像的该关键点与最邻近关键点的距离,以及该关键点与次邻近关键点的距离;比较上述两个距离,如果满足预置条件,则确定该关键点与最邻近关键点为匹配的关键点对。优选的,该方法还可以包括依据第一图像调整第二图像的图像特性,所述图像特性包括光照特性或者分辨率。优选的,该方法还可以包括对待拼接图像进行预处理,所述预处理包括降噪或者灰度变换。依据本发明的另一实施例,还公开了一种图像拼接的方法,包括步骤a、针对待拼接的多个图像,分别提取各个图像的关键点及关键点的特征参数;步骤b、获取第一图像与其他图像之间对应的关键点对;步骤c、依据关键点对的匹配情况,从所述多个待拼接图像中,确定与第一图像最匹配的第二图像;步骤d、对第一图像和第二图像进行拼接;步骤e、以拼接后的图像为第一图像返回步骤b,直至拼接完所有待拼接图像;其中,步骤d具体包括依据第一图像和第二图像的关键点对,获取两幅图像的图像点位置坐标间的变换关系;依据所述变换关系,对第二图像上的各个图像点进行变换;将变换后的第二图像与第一图像进行拼接,得到拼接后的图像。优选的,所述最匹配的情况可以包括关键点对的数目最多;和/或,各个关键点对中两个关键点之间的距离的和为最小。优选的,该方法可以采用尺度不变特征变换算法提取各个图像的关键点及关键点的特征参数。优选的,该方法可以通过以下方式获取第一图像与另一图像之间对应的关键点对依据第一图像的关键点及其特征参数,创建K-d树;对于另一图像的每个关键点,采用最邻近点搜索算法,获取第一图像中与其对应的关键9点,得到关键点对。或者,该方法也可以通过以下方式获取第一图像与另一图像之间对应的关键点对依据第一图像的关键点及其特征参数,创建K-d树;对于另一图像的每个关键点,采用最邻近点搜索算法,获取第一图像中与其对应的最邻近关键点和次邻近关键点;获取另一图像的该关键点与最邻近关键点的距离,以及该关键点与次邻近关键点的距离;比较上述两个距离,如果满足预置条件,则确定该关键点与最邻近关键点为匹配的关键点对。依据本发明的另一实施例,还公开了一种图像拼接的装置,包括关键点提取单元,用于针对待拼接的第一图像和第二图像,分别提取各个图像的关键点及关键点的特征参数;关键点对获取单元,用于获取第一图像与第二图像之间对应的关键点对;变换单元,用于依据所述的关键点对,获取两幅图像的图像点位置坐标间的变换关系;以及,依据所述变换关系,对第二图像上的各个图像点进行变换;拼接执行单元,用于将变换后的第二图像与第一图像进行拼接,得到拼接后的图像。优选的,所述关^:点提取单元可以采用尺度不变特征变换算法提取各个图像的关键点及关键点的特征参数。优选的,所述关键点对获取单元可以包括K-d树创建模块,用于依据第一图像的关键点及其特征参数,创建K-d树;搜索模块,用于对于第二图像的每个关键点,采用最邻近点搜索算法,获取第一图像中与其对应的关键点,得到关键点对。或者,所述关键点对获取单元也可以包括K-d树创建模块,用于依据第一图像的关键点及其特征参数,创建K-d树;搜索模块,用于对于第二图像的每个关键点,采用最邻近点搜索算法,获取第一图像中与其对应的最邻近关键点和次邻近关键点;过滤模块,用于获取第二图像的该关键点与最邻近关键点的距离,以及该关键点与次邻近关键点的距离;比较上述两个距离,如果满足预置条件,则确定该关键点与最邻近关键点为匹配的关键点对。优选的,所述图像拼接装置设置在具有摄像功能的移动终端中。依据本发明的另一实施例,还公开了一种图像拼接的装置,包括关键点提取单元,用于针对待拼接的多个图像,分别提取各个图像的关键点及关键点的特征参数;关键点对获取单元,用于获取第一图像与其他图像之间对应的关键点对;图像选择单元,用于依据关键点对的匹配情况,从所述多个待拼接图像中,确定与第一图像最匹配的第二图像;拼接单元,用于对第一图像和第二图像进行拼接;循环控制单元,用于以拼接后的图像为第一图像,通知关键点对获取单元、图像选择单元和拼接单元继续执行,直至拼接完所有待拼接图像;其中,拼接单元具体包括变换模块,用于依据第一图像和第二图像的关键点对,获取两幅图像的图像点位置坐标间的变换关系;以及,依据所述变换关系,对第二图像上的各个图像点进行变换;拼接处理模块,用于将变换后的第二图像与第一图像进行拼接,得到拼接后的图像。优选的,所述最匹配的情况可以包括关键点对的数目最多;和/或,各个关键点对中两个关键点之间的距离的和为最小。优选的,所述关键点提取单元可以采用尺度不变特征变换算法提取各个图像的关键点及关键点的特征参数。优选的,所述关^:点对获取单元可以包括K-d树创建模块,用于依据第一图像的关键点及其特征参数,创建K-d树;搜索模块,用于对于另一图像的每个关键点,采用最邻近点搜索算法,获取第一图像中与其对应的关键点,得到关键点对。优选的,所述关键点对获取单元也可以包括K-d树创建模块,用于依据第一图像的关键点及其特征参数,创建K-d树;搜索模块,用于对于另一图像的每个关键点,采用最邻近点搜索算法,荻取第一图像中与其对应的最邻近关键点和次邻近关键点;过滤模块,用于获取另一图像的该关键点与最邻近关键点的距离,以及该关键点与次邻近关键点的距离;以及,比较上述两个距离,如果满足预置条件,则确定该关键点与最邻近关键点为匹配的关键点对。优选的,所述图像拼接装置可以设置在具有才聂像功能的移动终端中。与现有技术相比,本发明具有以下优点本发明直接针对各个图像提取特征点参数,然后依据各个特征点确定不同图像间的匹配程度;进而再对匹配度较高的相邻图像,依据特征点的映射关系进行拼接,可以适用于两幅及以上的图像的拼接。由于本发明是直接依据特征点进行计算和拼接的,因此不需要事先知道各个图像的排列顺序、不需要事先确定各个图像的重合区域位置和多少(占百分比),不需要限制各个图像的拍摄角度,完全可以适用于一般拍照水平的移动终端大多数用户。本发明可以适用于旋转、缩放、角度变换等等复杂图像间的拼接,简单方便,非常适合移动终端的实时应用。图1是本发明一种图像拼接的方法实施例1的步骤流程图2是方法实施例1中寻找尺度空间的极值点的示意图3是方法实施例1中采用直方图统计邻域像素的梯度方向的示意图4是方法实施例1中生成关键点描述子的示意图5是本发明一种图像拼接的方法实施例2的步骤流程图6是本发明一种图像拼接的装置实施例1的结构框图7是本发明一种图像拼接的装置实施例2的结构框图。具体实施例方式为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类块可以位于包括存储设备在内的本地和远程计算机存储介质中。参照图1,示出了本发明一种图像拼接的方法实施例1,具体可以包括步骤IOI、针对待拼接的第一图像和第二图像,分别提取各图像的关键点及关键点的特征参数;所述第一图像和第二图像可以为用户从图像库中选取的;步骤102、获取第一图像与第二图像之间对应的关键点对;步骤103、依据所述的关键点对,获取两幅图像的图像点位置坐标间的变换关系;例如,采用多项式拟合回归得到所述变换关系Jm=a0+a;+a2_y+a3x2+a^Ay+a5<y2Lv=60++62_y+63x2++Z)5y将得到的关键点对的位置数据(x,y)代入上面的方程,建立齐次最小二乘方程组并求解可以得到参数a"&,,其中,i=0-5。步骤104、依据所述变换关系,对第二图像上的各个图像点进行变换;例如,釆用上述参数《,^所确定的变换关系方程对第二图像上的各个图像点进行坐标变换;步骤105、将变换后的第二图像与第一图像进行拼接,得到拼接后的图像。实际上,步骤104中的变换过程就得到了第二图像的各个图像点拼接到第一图像上时的新坐标,在同一个坐标维度内,就可以很容易的实现二者的拼接。由于用户通过摄像装置所釆集(一般为动态釆集)的图像可能存在模糊、噪声干扰等问题,为保证图像质量,在本发明的另一优选实施例中,在步骤101之前还可以包括步骤100:对待拼接图像进行预处理,所述预处理可以包括降噪或者灰度变换等等,必要时还可以进行坐标变换等预处理过程。13另外,由于用户所选取的待拼接图像可能在原摄像角度、亮度等各种釆集条件上存在差异,所以两个拼接后的图像,可能会存在不同的图像特性,因此,在本发明的另一优选实施例中,在步骤105之后还可以包括步骤106:依据第一图像调整第二图像的图像特性,所述图像特性包括光照特性或者分辨率等等。例如,按照第一图像的光照特性调整第二图像的光照特性,以适应第一图像;或者,按照第一图像的分辨率通过上采样或者下采样调整第二图像的分辨率,以适应第一图像;或者,对两个图像的拼接边界进行平滑处理等等。下面简单介绍一种可行的获取图像关键点及其特征参数的方式采用尺度不变特征变换算法(SIFT算法)提取各个图像的关键点及关键点的特征参数。SIFT算法提取的结果是得到大量的分布于不同尺度上的高维描述字表示的特征。简单描述SIFT算法过程如下(1)、检测尺度空间极值点为了有效的在尺度空间检测到稳定的关键点,本发明可以采用高斯差分尺度空间(DOGscale-space),利用不同尺度的高斯差分核与图像巻积,构建图像金字塔,生成所需的尺度空间。_y,cr)=(C(;c,y,A:cr)—G(x,少,cr))*/(x,y)=丄(x,y,A:cr)—少,cr)其中,(X,y)是空间坐标,O"是尺度坐标,G(JC,少,C7)是尺度可变高斯函数,具体的,假设所构建的图像金字塔共p组,每组有s层,其中,下一组的图像由上一组图像降采样得到。(2)、精确定位极值点为了寻找尺度空间的极值点,每一个釆样点要和它所有的相邻点比较,看其是否比它的图像域和尺度域的相邻点大或者小。如图2所示,中间的检测点"X"和它同尺度的8个相邻点和上下相邻尺度对应的9x2个点共26个点"O"比较,以确保在尺度空间和二维图像空间都检测到极值点。(3)、为每个关键点指定方向参数本步骤可以利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数,使DOG算子具备旋转不变性。(xj)=V(i(x+1,力—£(x—l,力)2+("x,少+l)-"x,jK-l))2e(x,力="an2(("x,少+l)-丄(x,少-l))/(£(x+l,>)—£(x-l,力))上式为坐标(x,y)处的梯度的模值和方向公式。其中L所用的尺度为每个关键点各自所在的尺度。在实际计算时,本发明可以在以关键点为中心的邻域窗口内采样,并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0~360度,其中每10度一个柱,总共36个柱。直方图的峰值则代表了该关键点处邻域梯度的主方向,即作为该关键点的方向。图3是采用7个柱时使用梯度直方图为关一建点确定主方向的示例。在梯度方向直方图中,当存在另一个相当于主峰值80%能量的峰值时,则将这个方向认为是该关键点的辅方向。一个关键点可能会被指定具有多个方向(一个主方向,多个辅方向),这可以增强匹配的鲁棒性。至此,图像的关键点已基本检测完毕,每个关键点包括三个信息位置、所处尺度、方向;由此可以确定一个SIFT特征区域。(4)、生成关键点描述子本步骤用于将上述的关键点的三个信息,生成描述子(特征参数),以便于后续计算;当然,特征参数的具体形式,本发明并不需要加以限制。首先,将坐标轴旋转为关键点的方向,以确保旋转不变性。接下来,以关键点为中心取8x8的窗口。参照图4,左部分为领域梯度方向示意,其中的中央黑点为当前关键点的位置,每个小格代表关键点邻域所在尺度空间的一个像素,箭头方向代表该像素的梯度方向,箭头长度代表梯度模值,图中外围的圈代表高斯加权的范围(越靠近关键点的像素梯度方向信息贡献越大)。然后,在每4x4的小块上计算8个方向的梯度方向直方图,绘制每个梯度方向的累加值,即可形成一个种子点,如图4右部分所示(关键点特征向量示意)。此图中一个关键点由2x2共4个种子点组成,每个种子点有8个方向向量信息。这种邻域方向性信息联合的思想增强了算法抗噪声的能力,同时对于含有定位误差的特征匹配也提供了较好的容4晉性。优选的,为了增强匹配的稳健性,本发明可以对每个关键点使用4x4共16个种子点来描述,这样对于一个关键点就可以产生128个数据,即最终形成128维的SIFT特征向量。此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响,再继续将特征向量的长度归一化,则可以进一步去除光照变化的影响。需要说明的是,除了上述的实现算法,本发明还可以采用角点检测算法或者基于边缘检测的匹配算法等等。其中,角点检测算法是一种直接利用图像灰度有效地进行边缘、角点检测的图像处理算法。下面简单介绍,如何从两个图像的各个关键点之间获取所需的关键点对。例3。,参照下表<table>tableseeoriginaldocumentpage16</column></row><table>实施方式1本发明可以通过以下方式获取第一图像与第二图像之间对应的关键点对依据第一图像的关键点及其特征参数,创建K-d树;对于第二图像的每个关键点,采用最邻近点搜索算法,获取第一图像中与其对应的关键点,得到关键点对。本发明中采用的KD-tree技术,检索速度快,其空间复杂度与数据集的维数成线性关系,且与二级存储器实现相容,因此是非常有效的一种索引算法(可以满足移动终端的实时性需求)。它的基本思想是按照一定的准则将数据集切分为两个子数据集,再对此两个子数据集递归切分,形成一棵^r索树。K最近邻(k-NearestNeighbor,KNN)搜索算法,是一个理论上比较成熟的方法,可以较好的在KD-tree中,获取一个样本在特征空间中的一个或多个最相似(即特征空间中最邻近)的样本;在此本发明不再详述。实施方式2本发明也通过以下方式获取第一图像与第二图像之间对应的关键点对(1)依据第一图像的关键点及其特征参数,创建K-d树;(2)对于第二图像的每个关键点,采用最邻近点搜索算法,获取第一图像中与其对应的最邻近关键点和次邻近关键点;(3)获取第二图像的该关键点kp与最邻近关键点kpl的距离|kpkPi|,以及该关键点kp与次邻近关键点kp2的距离lkpokp2l;(4)比较上述两个距离,如果满足预置条件,则确定该关键点与最邻近关键点为匹配的关键点对。实施方式2与实施方式1的改进之处在于,增加了筛选过滤步骤,以排除一些匹配误差较大的特征点对。因为基于最邻近点搜索算法,对于第二图像的一个关4建点,可以在第一图像的KD-tree中,找到至少一个最邻近关4建点,但是其是否为真正的较佳匹配,并不能确定。对于具有最邻近关键点kpl和次邻近关键点kp2的一个关键点而言,其和kpl匹配程度越高,与kp2的匹配程度越低,说明该关键点与kpl为匹配的关键点对。具体的,可以通过比较lkpokpll和lkpokp21,如果前者越小,而后者越大,那么说明该关键点kp与最邻近关键点kpl匹配的质量越好,那么匹配误差的可能性就越低。因此,可以用两者之比来衡量匹配的质量,如果满足|kpokpl|J|kpkp2|则认为kp与kpl匹配,其中义为常量且0<;1<1,—般的义取0.65、0.7或者0.75等经验值,这样就可以排除一些匹配误差较大的特征点对。参照图5,示出了本发明一种图像拼接的方法实施例2,具体包括步骤501、针对待拼接的多个图像,分别提取各个图像的关键点及关键点的特征参数;步骤502、获取第一图像与其他图像之间对应的关键点对;步骤503、依据关键点对的匹配情况,从多个待拼接图像中,确定与第一图像最匹配的第二图像;步骤504、对第一图像和第二图像进行拼接;步骤505、以拼接后的图像为第一图像返回步骤502,直至拼接完所有待拼接图像;其中,步骤504具体包括依据第一图像和第二图像的关键点对,获取两幅图像的图像点位置坐标间的变换关系;依据所述变换关系,对第二图像上的各个图像点进行变换;将变换后的第二图像与第一图像进行拼接,得到拼接后的图像。对于步骤504的具体执行过程,在实施例1中已经详细描述,所以在此不再赘述。实施例2与实施例1的区别在于,实施例2可以适用于多幅图像的拼接。其中,主要增加了待拼接的第二图像的选择,以及对步骤循环的控制过程。例如,假设用户随意确定了其中一副图像为参考图像(第一图像),则从其余图像中与该第一图像最相匹配的作为首先拼接的对象,然后再以拼接后的图像作为参考图像,在其余图像中寻找最匹配的图像,作为下一个拼接的对象;这样对于多幅图像而言,可以获得较佳的匹配效果,提高拼接质量。对于判定两个图像是否为最相匹配的方式,本领域技术人员可以釆用各种可行方案;例如,当某一图像与所述参考图像相匹配的关键点对的数目最多,就说明二者是最匹配的图像,可以用于拼接。再例如,也可以计算两个图像所对应的各个关键点对中两个关键点之间的距离的和HIkpiokp';I;如果距离和为最小,也可以在一定程度上说明两个图像的匹配程度比较高。当然,后面的计算距离和的方式也可以结合关键点对数目的方式实施,例如,当存在多个图像与所述参考图像的关键点对的数目相同时,则可以采用比较距离和的方式获取最匹配的图像作为本次拼接对象。在本实施例中,也可以采用尺度不变特征变换算法提取各个图像的关键点及关键点的特征参数。对于获取两个图像之间的关键点对的方式,可以采用实施例1中所述的任意实现方式,在此不再详述。参照图6,示出了本发明一种图像拼接的装置实施例1,具体可以包括关键点提取单元601、用于针对待拼接的第一图像和第二图像,分别提取各个图像的关键点及关键点的特征参数;例如,可以采用尺度不变特征变换算法提取各个图像的关键点及关键点的特征参数;关键点对获取单元602,用于获取第一图像与第二图像之间对应的关键点对;变换单元603,用于依据所述的关键点对,获取两幅图像的图像点位置坐标间的变换关系;以及,依据所述变换关系,对第二图像上的各个图像点进行变换;拼接执行单元604,用于将变换后的第二图像与第一图像进行拼接,得到拼接后的图像。当采用图1所示方法实施例中所述的关键点对获取方式1时,所述关键点对获取单元602可以包括以下两个模块K-d树创建模块,用于依据第一图像的关键点及其特征参数,创建K-d树;搜索模块,用于对于第二图像的每个关键点,采用最邻近点搜索算法,获取第一图像中与其对应的关键点,得到关键点对。19当采用图1所示方法实施例中所述的关键点对获取方式2时,所述关键点对获取单元602可以包括以下三个模块K-d树创建模块,用于依据第一图像的关键点及其特征参数,创建K-d树;搜索模块,用于对于第二图像的每个关键点,采用最邻近点搜索算法,获取第一图像中与其对应的最邻近关键点和次邻近关键点;过滤模块,用于获取第二图像的该关键点与最邻近关键点的距离,以及该关键点与次邻近关键点的距离;比较上述两个距离,如果满足预置条件,则确定该关键点与最邻近关键点为匹配的关键点对。在本发明的另一优选实施例中,本装置实施例还可以包括调整单元605,用于依据第一图像调整第二图像的图像特性,所述图像特性包括光照特性或者分辨率;以提高两个图像的拼接融合效果。在本发明的另一优选实施例中,本装置实施例还可以包括预处理单元606,用于对待拼接图像进行预处理,所述预处理包括降噪或者灰度变换,以提高待拼接图像的质量。需要说明的是,本装置实施例可以应用在各种具有图像处理功能的移动终端中,以满足用户随时随地对图像拼接的需求;当然,最佳的,本装置实施例可以应用在具有摄像功能的移动终端中,例如,拍照手机、拍照PDA等等,以满足用户随拍随拼的需求。参照图7,示出了本发明一种图像拼接的装置实施例2,具体可以包括关键点提取单元701,用于针对待拼接的多个图像,分别提取各个图像的关键点及关键点的特征参数;关键点对获取单元702,用于获取第一图像与其他图像之间对应的关键点对;图像选择单元703,用于依据关键点对的匹配情况,从多个待拼接图像中,确定与第一图像最匹配的第二图像;优选的,用于确定是否最匹配的方式可以为关键点对的数目最多;和/或,各个关键点对中两个关键点之间的距离的和为最小;拼接单元704,用于对第一图像和第二图像进行拼接;循环控制单元705,用于以拼接后的图像为第一图像,通知关键点对获取单元、图像选择单元和拼接单元继续执行,直至拼接完所有待拼接图像;其中,4并接单元704具体包括变换模块7041,用于依据第一图像和第二图像的关键点对,获取两幅图像的图像点位置坐标间的变换关系;以及,依据所述变换关系,对第二图像上的各个图像点进行变换;拼接处理模块7042,用于将变换后的第二图像与第一图像进行拼接,得到拼接后的图像。本实施例也可以采用尺度不变特征变换算法提取各个图像的关键点及关键点的特征参数。本实施例中,所述关键点对获取单元的实现方案与图6所示的装置实施例基本相同,在次不再赘述。需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。以上对本发明所提供的一种图像拼接的方法和装置,进行了详细介绍,的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。权利要求1、一种图像拼接的方法,其特征在于,包括针对待拼接的第一图像和第二图像,分别提取各图像的关键点及关键点的特征参数;获取第一图像与第二图像之间对应的关键点对;依据所述的关键点对,获取两幅图像的图像点位置坐标间的变换关系;依据所述变换关系,对第二图像上的各个图像点进行变换;将变换后的第二图像与第一图像进行拼接,得到拼接后的图像。2、如权利要求l所述的方法,其特征在于,采用尺度不变特征变换算法提取各个图像的关键点及关键点的特征参数。3、如权利要求1或2所述的方法,其特征在于,通过以下方式获取第一图像与第二图像之间对应的关键点对依据第一图像的关键点及其特征参数,创建K-d树;对于第二图像的每个关键点,采用最邻近点搜索算法,获取第一图像中与其对应的关键点,得到关键点对。4、如权利要求1或2所述的方法,其特征在于,通过以下方式获取第一图像与第二图像之间对应的关键点对依据第一图像的关键点及其特征参数,创建K-d树;对于第二图像的每个关键点,采用最邻近点搜索算法,获取第一图像中与其对应的最邻近关^:点和次邻近关键点;获取第二图像的该关键点与最邻近关键点的距离,以及该关键点与次邻近关键点的距离;比较上述两个距离,如果满足预置条件,则确定该关键点与最邻近关键点为匹配的关键点对。5、如权利要求2所述的方法,其特征在于,还包括依据第一图像调整第二图像的图像特性,所述图像特性包括光照特性或者分辨率。6、如权利要求2所述的方法,其特征在于,还包括对待拼接图像进行预处理,所述预处理包括降噪或者灰度变换。7、一种图俜Jf接的方法,其特征在于,包括步骤a、针对待拼接的多个图像,分别提取各个图像的关键点及关键点的特征参数;步骤b、获取第一图像与其他图像之间对应的关键点对;步骤c、依据关键点对的匹配情况,从所述多个待拼接图像中,确定与第一图像最匹配的第二图像;步骤d、对第一图像和第二图像进行拼接;步骤e、以拼接后的图像为第一图像返回步骤b,直至拼接完所有待拼接图像;其中,步骤d具体包括依据第一图像和第二图像的关键点对,获取两幅图像的图像点位置坐标间的变换关系;依据所述变换关系,对第二图像上的各个图像点进行变换;将变换后的第二图像与第一图像进行拼接,得到拼接后的图像。8、如权利要求7所述的方法,其特征在于,所述最匹配包括关键点对的数目最多;和/或,各个关键点对中两个关键点之间的距离的和为最小。9、如权利要求7所述的方法,其特征在于,采用尺度不变特征变换算法提取各个图像的关键点及关键点的特征参数。10、如权利要求7或9所述的方法,其特征在于,通过以下方式获取第一图像与另一图像之间对应的关键点对依据第一图像的关键点及其特征参数,创建K-d树;对于另一图像的每个关键点,采用最邻近点搜索算法,获取第一图像中与其对应的关键点,得到关键点对。11、如权利要求7或9所述的方法,其特征在于,通过以下方式获取第一图像与另一图像之间对应的关键点对依据第一图像的关键点及其特征参数,创建K-d树;对于另一图像的每个关键点,采用最邻近点搜索算法,获取第一图像中与其对应的最邻近关键点和次邻近关键点;获取另一图像的该关键点与最邻近关键点的距离,以及该关键点与次邻近关键点的距离;比较上述两个距离,如果满足预置条件,则确定该关键点与最邻近关键点为匹配的关键点对。12、一种图像拼接的装置,其特征在于,包括关键点提取单元,用于针对待拼接的第一图像和第二图像,分别提取各个图像的关键点及关键点的特征参数;关键点对获取单元,用于获取第一图像与第二图像之间对应的关键点对;变换单元,用于依据所述的关键点对,获取两幅图像的图像点位置坐标间的变换关系;以及,依据所述变换关系,对第二图像上的各个图像点进行变换;拼接执行单元,用于将变换后的第二图像与第一图像进行拼接,得到拼接后的图像。13、如权利要求12所述的装置,其特征在于,所述关键点提取单元采用尺度不变特征变换算法提取各个图像的关键点及关键点的特征参数。14、如权利要求12或13所述的装置,其特征在于,所述关键点对获取单元包括K-d树创建模块,用于依据第一图像的关键点及其特征参数,创建K-d树;搜索模块,用于对于第二图像的每个关键点,采用最邻近点搜索算法,获取第一图像中与其对应的关键点,得到关键点对。15、如权利要求12或13所述的装置,其特征在于,所述关键点对获取单元包括K-d树创建模块,用于依据第一图像的关键点及其特征参数,创建K-d树;搜索模块,用于对于第二图像的每个关键点,采用最邻近点搜索算法,获取第一图像中与其对应的最邻近关键点和次邻近关键点;过滤模块,用于获取第二图像的该关键点与最邻近关键点的距离,以及该关键点与次邻近关键点的距离;比较上述两个距离,如果满足预置条件,则确定该关键点与最邻近关键点为匹配的关键点对。16、如权利要求12或13所述的装置,其特征在于,所述图像拼接装置设置在具有摄像功能的移动终端中。17、一种图像拼接的装置,其特征在于,包括关键点提取单元,用于针对待拼接的多个图像,分别提取各个图像的关键点及关键点的特征参数;关键点对获取单元,用于获取第一图像与其他图像之间对应的关键点对;图像选择单元,用于依据关键点对的匹配情况,从所述多个待拼接图像中,确定与第一图像最匹配的第二图像;拼接单元,用于对第一图像和第二图像进行拼接;循环控制单元,用于以拼接后的图像为第一图像,通知关键点对获取单元、图像选择单元和拼接单元继续执行,直至拼接完所有待拼接图像;其中,拼接单元具体包括变换模块,用于依据第一图像和第二图像的关键点对,获取两幅图像的图像点位置坐标间的变换关系;以及,依据所述变换关系,对第二图像上的各个图像点进行变换;拼接处理模块,用于将变换后的第二图像与第一图像进行拼接,得到拼接后的图像。18、如权利要求17所述的装置,其特征在于,所述最匹配包括关键点对的数目最多;和/或,各个关键点对中两个关键点之间的距离的和为最小。19、如权利要求17所述的装置,其特征在于,所述关键点提取单元采用尺度不变特征变换算法提取各个图像的关键点及关键点的特征参数。20、如权利要求17或19所述的装置,其特征在于,所述关键点对获取单元包括K-d树创建模块,用于依据第一图像的关键点及其特征参数,创建K-d树;搜索模块,用于对于另一图像的每个关键点,采用最邻近点搜索算法,荻取第一图像中与其对应的关键点,得到关键点对。21、如权利要求17或19所述的装置,其特征在于,所述关键点对获取单元包括K-d树创建模块,用于依据第一图像的关键点及其特征参数,创建K-d树;搜索模块,用于对于另一图像的每个关键点,采用最邻近点搜索算法,获取第一图像中与其对应的最邻近关键点和次邻近关键点;过滤模块,用于获取另一图像的该关键点与最邻近关键点的距离,以及该关键点与次邻近关键点的距离;以及,比较上述两个距离,如果满足预置条件,则确定该关键点与最邻近关键点为匹配的关键点对。22、如权利要求17或19所述的装置,其特征在于,所述图像拼接装置设置在具有摄像功能的移动终端中。全文摘要本发明提供了一种图像拼接的方法,包括针对待拼接的第一图像和第二图像,分别提取各图像的关键点及关键点的特征参数;获取第一图像与第二图像之间对应的关键点对;依据所述的关键点对,获取两幅图像的图像点位置坐标间的变换关系;依据所述变换关系,对第二图像上的各个图像点进行变换;将变换后的第二图像与第一图像进行拼接,得到拼接后的图像。本发明是直接依据图像特征点进行计算和拼接的,可以适用于一般拍照水平的移动终端大多数用户;可以适用于旋转、缩放、角度变换等等复杂图像间的拼接,简单方便,非常适合移动终端的实时应用。文档编号G06T3/00GK101504761SQ20091007681公开日2009年8月12日申请日期2009年1月21日优先权日2009年1月21日发明者卢晓鹏申请人:北京中星微电子有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1