图像缝合方法及装置与流程

本发明是关于图像处理，尤其是关于图像缝合(imagestitching)。

背景技术：

图像缝合技术应用于将两张图像组合以得到较大的图像。其中，当两张图像中的同一物体由一移动中的相机所拍摄时，由于拍摄距离不同，该物体在两张图像中会产生视差(parallax)；此外，当两张图像中的同一物体由两颗不同的镜头所拍摄时，例如鱼眼镜头，该物体在两张图像中的变形(distortion)程度不同。

当物体在两张图像中有视差或是变形程度不同时，在习知的图像缝合技术中，缝线会穿过该物体，导致在缝合图像中该物体无法对准(misalignment)，使得缝合图像的质量降低。因此有需要提出较佳的图像缝合技术以解决习知技术所面临的问题。

技术实现要素：

鉴于先前技术的不足，本发明的一目的在于提供一种图像缝合方法及装置，以提高缝合图像(stitchedimage)的质量。

本发明揭露一种图像缝合(imagestitching)方法，用来缝合一第一图像与一第二图像，该方法包含：根据该第一图像与该第二图像于一重叠区域(overlappingareas)中的像素值，计算多个成本(costs)，其分别对应于该重叠区域中多个位置；根据该多个成本与该多个位置间的相对距离，计算多个前向正规化累积成本(forwardregularizedaccumulativecosts)，其分别对应于该重叠区域中该多个位置；根据该多个前向正规化累积成本，决定该重叠区域中的一条缝线(seam)，该条缝线包含多个缝线位置；以及基于该条缝线缝合该第一图像与该第二图像，以产生一缝合图像(stitchedimage)。

本发明另揭露一种图像缝合(imagestitching)装置，用来缝合一第一图像与一第二图像，该装置包含一成本计算单元、一累积成本计算单元、一缝线决定单元以及一缝合单元。该成本计算单元根据该第一图像与该第二图像于一重叠区域(overlappingarea)中的像素值，计算多个成本(costs)，分别对应于该重叠区域中多个位置。该累积成本计算单元根据该多个成本与该多个位置，计算多个前向正规化累积成本(forwardregularizedaccumulativecosts)，分别对应于该重叠区域中该多个位置。该缝线决定单元根据该多个前向正规化累积成本，决定该重叠区域中的一条缝线(seam)。该缝合单元基于该条缝线缝合该第一图像与该第二图像，以产生一缝合图像(stitchedimage)。

有关本发明的特征、实作与功效，兹配合图式作实施例详细说明如下。

附图说明

图1为本发明图像缝合装置的一实施例的功能方块图；

图2为本发明图像缝合方法的一实施例的流程图；

图3为一重叠区域oa的示意图；

图4为第一图像与第二图像在重叠区域的像素值的一范例；

图5显示多个成本c；

图6显示多个前向正规化累积成本；

图7为步骤s230的细部流程图；

图8显示多个后向正规化累积成本；

图9显示对应于重叠部分的缝合图像；

图10为本发明图像缝合装置的另一实施例的功能方块图；

图11为本发明图像缝合方法的另一实施例的流程图；

图12显示多个正规化累积成本及相对应的多个来源位置；以及

图13基于习知技术所得到的缝合图像。

符号说明

100、800图像缝合装置

110成本计算单元

120累积成本计算单元

130、520缝线决定单元

140缝合单元

510记录单元

s210～s240、s2301～s2303、s910、s920、s9202步骤

具体实施方式

本发明的图像缝合方法由本发明的图像缝合装置或其等效装置执行。在一个实施例中，图像缝合装置可以由具程序执行能力的计算电路(例如中央处理单元、微处理器、微控制器、数字信号处理器等)与存储器所构成。存储器储存多个程序代码或程序指令。计算电路藉由执行该些程序代码或程序指令来实现本发明的图像缝合方法。

图1是本发明图像缝合装置的一实施例的功能方块图。图像缝合装置100包含成本计算单元110、累积成本计算单元120、缝线决定单元130及缝合单元140。图像缝合装置100用于将第一图像i1及第二图像i2的一重叠区域oa缝合。图3为一重叠区域oa的示意图，举例来说，重叠区域oa可为一左右重叠区域，在其他实施例中，重叠区域oa可为一上下重叠区域。图4为第一图像i1与第二图像i2在重叠区域oa的像素值的一范例，在此范例中，重叠区域包含10*10个像素，每个像素为8位，像素值对应于灰阶，但非用以限制本发明。举例来说，在其他实施例中，重叠区域可包含10*1080个像素，每个像素可为10位，像素值可对应于色彩空间(colorspace)的其中一个通道，例如r、g、b、y、u或v。如图4所示，第一图像i1在重叠区域oa例如包含一第一物体(以横线条为底)及的背景(像素值为255的部分)，第二图像i2在重叠区域oa例如包含一第二物体(以直线条为底)及背景(像素值为255的部分)。理想上，缝线不穿越物体可得到较佳的缝合图像质量，例如以灰色为底的像素作为缝线。

图2为本发明图像缝合方法的一实施例的流程图。请一并参阅图1及图2。首先，成本计算单元110根据第一图像i1于重叠区域oa中的像素值ilo及第二图像i2于重叠区域oa中的像素值iro，计算多个成本c(步骤s210)。在一实施例中，成本计算单元110可根据式(1)计算多个成本c。

c(x,y)＝∑(ilo(x,y)-iro(x,y))²(1)

其中，c(x,y)为对应于重叠区域oa中位置p＝(x,y)的一成本，ilo(x,y)为第一图像i1对应于重叠区域oa中位置p＝(x,y)的像素值，iro(x,y)为第二图像i2对应于重叠区域oa中位置p＝(x,y)的像素值。以图4的重叠区域为例，c(1,1)＝(155-255)²＝10000、c(1,2)＝(255-255)²＝0、c(1,3)＝(255-82)²＝29929，以此类推，成本计算单元110可产生如图5所示的多个成本c，分别对应于重叠区域oa中的多个位置p＝(x,y)，其中1≤x≤10、1≤y≤10。

接下来，累积成本计算单元120根据成本计算单元110所产生的该多个成本c与该多个位置间的相对距离，计算多个前向正规化累积成本(forwardregularizedaccumulativecosts)cum(步骤s220)。在一实施例中，成本计算单元110可根据式(2)计算该多个前向正规化累积成本cum。

cum(x,y)＝c(x,y)+minx′(cum(x′,y′)+β(x-x′)²)(2)

其中，cum(x,y)为对应于重叠区域oa中位置p＝(x,y)的前向正规化累积成本，c(x,y)为对应于重叠区域oa中位置p＝(x,y)的成本，cum(x′,y′)为重叠区域oa中位置p＝(x,y)的一邻近位置pa＝(x’,y’)的前向正规化累积成本，(x-x′)²为位置p＝(x,y)与邻近位置pa＝(x’,y’)间在x方向上距离的平方，β为一权重。

在本实施例中，位置p＝(x,y)的邻近位置pa＝(x’,y’)是为在位置p＝(x,y)上方的一行。以图5为例，x’＝1～10、y’＝y-1，举例来说，对重叠区域oa中第一行的一位置p＝(x,y)＝(1,1)而言，由于y’＝1-1＝0，因此没有邻近位置pa，故权重cum(1,1)＝c(1,1)＝10000；相似地，对重叠区域oa中第一行的其他位置而言，cum(2,1)＝c(2,1)＝0、…、cum(10,1)＝c(10,1)＝10000。对重叠区域oa中第二行的一位置p＝(x,y)＝(1,2)而言，由于y’＝2-1＝1，因此邻近位置pa＝(x’,y’)＝(1,1)、(2,1)、…(10,1)，又以β＝10为例，(cum(1,1)+β(1-1)²)＝10000+10×(1-1)²＝10000；(cum(2,1)+β(1-2)²)＝0+10×(1-2)²＝10，以此类推，又在所有邻近位置pa＝(x’,y’)＝(1,1)、(2,1)、…(10,1)中，pa＝(x’,y’)＝(2,1)的(cum(x′,y′)+β(x-x^′)²)＝10最小，因此cum(1,2)＝c(1,2)+10＝65025+10＝65035；相似地，位置p＝(x,y)＝(2,2)的邻近位置pa＝(x’,y’)＝(1,1)、(2,1)、…(10,1)，其中pa＝(x’,y’)＝(2,1)的(cum(x′,y′)+β(x-x′)²)＝cum(2,1)+β(2-2)²＝0+10×(2-2)²＝0最小，因此cum(2,2)＝c(2,2)+0＝0+0＝0。以此类推，累积成本计算单元120可产生如图6所示的多个前向正规化累积成本cum，分别对应于该重叠区域oa中的多个位置。由方程式(2)可知，在本实施例中，前向正规化累积成本cum具有一空间正规化项(spatialregularizationterm)，亦即β(x-x′)²，在其他实施例中，该空间正规化项可用β|x-x′|来取代。

请注意，上述权重β的数值与空间正规化项及图像质量有关，权重β较佳地可以依据表1进行设定，然而表1仅做为范例，非用以限制本发明，权重β可依据实际应用适当地调整。

表1：

接下来，缝线决定单元130根据该多个前向正规化累积成本cum，决定该重叠区域oa中的一条缝线(seam)(步骤s230)，该条缝线包含多个缝线位置psl。

举例来说，请参阅图7，图7为步骤s230的细部流程图。首先，缝线决定单元130根据一排前向正规化累积成本cum，决定该条缝线的一缝线位置psl(步骤s2301)。以图6为例，缝线决定单元130自最后被计算出的一排(亦即第10行)前向正规化累积成本cum(1,10)、cum(2,10)、…、cum(10,10)中找出一最小值cum(1,10)，然后选择对应于cum(1,10)的一位置p＝(1,10)作为第10行缝线位置psl＝(x”,y”)＝(1,10)。

接下来，缝线决定单元130根据该缝线位置psl，计算一排后向正规化累积成本(backwardregularizedaccumulativecosts)cumb(步骤s2302)。在一实施例中，缝线决定单元130可根据式(3)计算后向正规化累积成本cumb。

cumb(x,y)＝cum(x,y)+β(x-x″)²(3)

其中，cumb(x,y)为对应于重叠区域oa中位置p＝(x,y)的后向正规化累积成本，cum(x,y)为对应于重叠区域oa中位置p＝(x,y)的前向正规化累积成本，(x-x″)²为位置p＝(x,y)与缝线位置psl＝(x”,y”)间在x方向上距离的平方，β为一权重。以图6为例，根据第10行缝线位置psl可决定第9行的后向正规化累积成本cumb，详细来说，第10行缝线位置psl＝(x”,y”)＝(1,10)，又以β＝10为例，根据式(3)可得出cumb(1,9)＝cum(1,9)+10*(1-1)²＝33534+0＝33534；cumb(2,9)＝cum(2,9)+10*(2-1)²＝360+10＝370，以此类推，缝线决定单元130可产生第9行的后向正规化累积成本cumb(x,9)，x＝1～10，如图8所示。由方程式(3)可知，在本实施例中，后向正规化累积成本cumb亦具有一空间正规化项，亦即β(x-x″)²，在其他实施例中，该空间正规化项可用β|x-x″|来取代。

接下来，缝线决定单元130根据该排后向正规化累积成本cumb，决定该条缝线的下一缝线位置psl(步骤s2303)。以图8为例，缝线决定单元130自第9行后向正规化累积成本cumb(1,9)、cumb(2,9)、…、cumb(10,9)中找出一最小值cumb(2,9)，然后选择对应于cumb(2,9)的一位置p＝(2,9)作为第9行的缝线位置psl＝(x”,y”)＝(2,9)。请注意，如果一行后向正规化累积成本cumb中有两个或以上的最小值，可任意选择其中之一所对应的位置作为该行的缝线位置psl。

接下来，缝线决定单元130根据第9行缝线位置可第8行的后向正规化累积成本cumb(回到步骤s2302)，再根据第8行的后向正规化累积成本cumb决定第8行缝线位置(步骤s2303)，以此类推，直到重叠区域oa中每一行的缝线位置都被决定为止。

回到图1及图2，缝线决定单元130完成步骤s230后，缝合单元140基于该条缝线缝合该第一图像i1与该第二图像i2，以产生缝合图像is(步骤s240)。继续以图4为例，缝合图像is如图9所示，其中因为第一图像i1为左侧的图像及第二图像i2为右侧的图像，所以缝合图像is中缝线左侧的像素是取自第一图像i1(以横线条为底)，缝线右侧的像素是取自第二图像i2(以直线条为底)，而缝在线的像素则可以取自第一图像i1或第二图像i2(以灰色为底)。

如图9所示，缝合图像is的缝线未穿过第一图像i1的第一物体与第二图像i2的第二物体，可得到较佳的缝合图像质量。这是由于在本发明中的前向正规化累积成本cum与后向正规化累积成本cumb均具有空间正规化项，换句话说位置间相对距离愈远成本愈高，此可有效解决习知技术中成本未考虑位置间相对距离，造成缝线会穿过该物体，导致在缝合图像中该物体无法对准，缝合图像的质量低落的问题，如图13所示，图13为基于习知技术所得到的缝合图像。

图10是本发明图像缝合装置的另一实施例的功能方块图。图像缝合装置800包含成本计算单元110、累积成本计算单元120、记录单元510、缝线决定单元520及缝合单元140。图11为本发明图像缝合方法的另一实施例的流程图，图11的流程是对应于图10的装置。成本计算单元110及累积成本计算单元120分别执行步骤s210及s220，此部分已于先前的实施例说明过，不再赘述。需注意的是，当累积成本计算单元120根据方程式(2)计算多个正规化累积成本cum时，是输出对应于每一个位置使方程式(2)中(cum(x′,y′)+β(x-x′)²)具有最小值的x′。接下来，记录单元510根据对应于每一个的x′记录该多个前向正规化累积成本的多个来源位置(步骤s910)。以下以图12为例说明记录单元510如何记录来源位置。

图12显示多个正规化累积成本cum及相对应的多个来源位置ps。以图5为例，对重叠区域oa中第一行而言，正规化累积成本cum是直接复制相对应位置的多个成本c，故无对应的来源位置ps。对重叠区域oa中第二行而言，当x′＝2时(cum(x′,y′)+β(x-x′)²)具有最小值，故cum(1,2)的来源位置ps＝(2,1)，其余依此类推。实作上，因为来源位置必定为前一排，故记录单元510仅需记录使(cum(x′,y′)+β(x-x′)²)具有最小值的x′即可。累积成本计算单元120每根据方程式(2)计算得到一个位置正规化累积成本cum时，即输出对应于该位置的x′。因此，当步骤s910完成后，记录单元510即可产生如图12右边所示的多个来源位置ps，其分别对应于重叠区域oa中的该多个位置。

接下来，缝线决定单元520根据该多个前向正规化累积成本，决定该重叠区域中的一条缝线(步骤s920)。更明确地说，此步骤包含子步骤s2301、s9202。步骤s2301已于图7的说明中详述，故不再赘述。以图12为例，于步骤s2301中，缝线决定单元520根据cum(1,10)第10行的最小值，决定第10行缝线位置psl＝(x”,y”)＝(1,10)。接着缝线决定单元520选择缝线位置所对应的一来源位置作为一下一缝线位置(步骤s9202)。在图12的范例中，因为根据记录单元510所记录的来源位置，缝线位置psl＝(1,10)的来源位置ps的x坐标为2(亦即x’＝2)，故缝线决定单元520在步骤s9202会选择下一缝线位置psl＝(2,9)，接下来以此类推，直到重叠区域oa中每一行的缝线位置都被决定为止。以图12为例，最后可得到由灰色标示的位置所组成的缝线。

接下来，缝合单元140基于该条缝线缝合该第一图像i1与该第二图像i2，以产生缝合图像is(步骤s240)。此步骤已于图2的说明中详述，故不再赘述。由于缝线决定单元520于步骤s920所得到的缝线与前一实施例的缝线决定单元130所得到的缝线相同(如图8所示)，所以本实施例最后得到缝合图像的重叠区域亦如图9所示。

在上述实施例中，「一排」是指「一行」，但非用以限制本发明，举例来说，在其他实施例中，「一排」可指「一栏」。

虽然本发明的实施例如上所述，然而该些实施例并非用来限定本发明，本领域的技术人员可依据本发明的明示或隐含的内容对本发明的技术特征施以变化，凡此种种变化均可能属于本发明所寻求的专利保护范畴。