专利名称：使用样板预测的图像分段的制作方法
技术领域：
本发明涉及把图像分段成为片段组的方法，所说的片段基于图像特征，所说的方法具有如下步骤确定用于分段的像素组，对于所说的组确定特征特性。
本发明还涉及用于计算图像分段的设备，所说的设备包括用于分组图像像素使之成为像素组的分组装置和用于从所说的像素组提取特征特性的提取装置。
最后，本发明涉及这样一种方法和这样一种设备的用途。
背景技术：
图像分段对于许多图像和视频的处理过程都是非常重要的，例如目标识别、分类、以及视频压缩，如MPEG视频流。
对于图像分段的结果而言，重要的是哪些特征或特点用于分段。一个图像片段可以定义为其中的特征或一些特征或多或少是不变的或者是连续的一个图像区域。
除了用于图像分段的特征以外，分段方法对于分段结果亦很重要。如果一个片段可以定义为其中的特征或多或少是不变的或者是连续的一个图像区域，分段过程必须把具有相等或相似特征的片段分组成满足这个定义的片段。
分段的一个可能的过程是只取决于当前组的特征和相邻组的特征之间差别的一种方法。如果相邻组已经分段，那么就会知道相邻组属于哪个片段。这样，通过比较当前组的特征与相邻组的片段，就可以对当前组进行分类。如果当前组的特征偏离的值大于阈值，就要开始一个新的片段。如果当前组的特征只是略微偏离相邻组的特征或者等于相邻组的特征，则将当前组指定给匹配最好的片段。
这种所谓的局部预测方法只考虑在当前组的特征和相邻组的特征之间存在差别。误差值的这种计算是通过不同的措施如特征的矢量范数||·||1的比较来实现的。如果特征是亮度(Y)和色度(U，V)，则可以对于这些值来计算每个组的直方图。相邻组的直方图可以定义为 和 其中对于一个当前组的4个相邻组，i＝1，...4。当前组的直方图可以定义为 和 然后，可以将位置j的特征 写为F→j={Y→j,U→j,V→j}.]]>对于局部预测，这里局部组的特征是 可以按照下式来计算一个当前组的误差值εϵ(F→c,F→j)=||Y→c-Y→j||1+||U→c-U→j||1+||V→c-V→j||1]]>每个片段i对应一个标记1i，并且在分段期间，给图像中的每个组都指定这样一个标记。计算组的分段的算法可以描述如下如果ϵ(F→c,F→j)>T,]]>对于j＝1，...，4，那末开始新片段否则为组指定标记1k，以便ϵ(F→c,F→k)=min{ϵ(F→c,F→j)},j=1,...,4]]>结束这里， 代表在当前组的附近第j个位置的特征。通过按照这个方法分段这些组，只考虑局部信息。如果在相邻组之间的特征只偏离一点，这些组就一起分段，因为误差值不会超过阈值T。为了避免差别很小的那些组消失(merging)，阈值可以很低。但这时特征的最轻微的偏差都将产生一个新的片段。这样作的缺点是图像内产生重的过度分段。
如以上所述，当前方法的缺点是过度分段或者计算复杂性。这些方法还不能很好地适合用于图像和视频材料。
发明内容
因此，本发明的一个目的是提供一种允许以低的计算复杂性进行图像分段的方法和设备。本发明的另一个目的是提供一种方法和设备，所说方法和设备是可靠的，即使对于噪声图像也能允许图像分段。本发明的另一个目的是提供一种方法和设备，所说方法和设备可以处理包围图像和视频材料的约束。本发明的下一个目的是提供一种方法和设备，所说方法和设备考虑到空间和/或时间的一致性，并且可以允许实时实现。
本发明的这些目的和其它目的是通过分段图像成为片段组的方法解决的，所说的片断基于图像特征，所说的方法具有如下步骤从相邻组确定片段样板，所说的片段样板描述所说相邻组内的不变特征，通过比较所说组的特征与所说片段样板的特征对于所说的组计算连续的误差值，根据所说的误差值确定是将所说的组指定给所说片段样板之一还是产生一个新的片段样板。
按照本发明的一个图像可以是静止画面或者是视频中的图像。一个片段可以定义为其中的某些特征或多或少是不变的或者是连续的一个图像区域。特征可以是亮度或色度值、这些或其它图像值的统计衍生数值，如标准偏差、偏斜度、或峭度。特征还可以是亮度或色度值直方图，或者是基于同时发生的矩阵。甚至于可以使用分数尺寸来定义特征。分段图像的特征取决于分段的目的。不同的应用场合利用基于不同特征的不同分段。
一组像素可以是一块N×M个像素，具体来说有4×4、8×8、16×16、32×32个像素，但不一定N＝M。
样板描述特征，特征在整个一个片段上可以是不变的或者是连续的。可以维持描述片段的不同特征的片段列表。例如样板可以是在一个片段内碰到的特征的加权平均值。如果一个组的特征与样板列表中的样板有非常多的差别，则可能开始一个新的片段。否则，将这个组指定给最佳匹配样板。
当分组一个图像时，从一个组到下一个组进行图像的扫描。这样，就已经分段一个组的相邻组。可以使用这种分段方法来分段当前组，从而可以使用局部的信息。
按照本发明，这种局部信息可以用于分段。将当前组的特征与相邻组的片段样板进行比较。如果当前组的特征与相邻组的片段样板之一匹配，则当前组指定给最佳匹配的相邻片段。如果当前组的特征与相邻片段样板中的任何一个都不吻合，则利用不同的片段样板开始一个新的片段。
误差值可以通过使用本领域中公知的任何种类的计算方法进行计算。
为了计算整个图像的分段掩码，优选使用根据权利要求2所述的方法。
为了将一个图像内或者视频内的一个图像序列内的空间和时间差异考虑在内，建议使用根据权利要求3所述的方法，因为这样就可能进行运动估算。
根据权利要求4所述的方法是本发明的一个优选实施例。为了保证低计算复杂性，分段过程必须匹配存储器布局，例如，扫描顺序应该匹配存储器布局。图像通常存储在一维的阵列中。这个阵列从图像的左上像素开始并且在右下的像素结束，反之亦然。为了能够高效率的高速缓存相邻的片段样板，扫描方向也应该从左到右并且从上到下地进行，反之亦然。
因为对于相邻的片段样板进行了空间或时间的高速缓存，所以对于当前组而言，可以使用事先处理过的信息。
根据权利要求5所述的阈值允许按照图像的特殊性如噪声值来调节分段。
利用根据权利要求6-8所述的方法，可以为了分段的目的调节分段，因为用于分段的不同的特征将产生不同的结果。
为了说明运动分段，提出根据权利要求9所述的方法。借此，像素组可以由它们的运动来表征，所说的运动可以由运动样板来表示。
在按照权利要求10将图像信息用于分段的情况下，例如，如果必须用不同的特征来分段在图像内的不同区域，还可以根据图像的位置信息来进行分段。
本发明的另一方面是根据权利要求11所述的一种设备，所说的设备包括分组装置，用于分组图像像素成组；提取装置，用于从所说的组提取特征特性；存储装置，用于存储相邻组的片段样板；比较装置，用于比较所说提取的特征和所说片段样板的特征；确定装置，用于根据在所说提取的特征和所说片段样板的特征之间的确定的误差值来指定所说的像素组给所说片段样板之一或者产生一个新的片段样板。
本发明的另一个方面仍是以上所述的方法或者以上所述的设备在图像和/或视频处理、医用图像处理、作物分析、视频压缩、运动估算、天气分析、制造监测、和/或入侵检测中的应用。在消费者电子设备和工业图像处理中，视频和图像质量越来越重要。为了能够有效地进行图像压缩和校正，必须对于图像内容进行更好的理解。为了增加这种知识，图像分段是一个重要的工具。按照本发明的图像分段可以成本有效地和低硬件复杂性地实现。从而可以实现运动估算和压缩以及在大量市场内的图像增强。
以下的附图将说明本发明的这些方面和其它方面，本发明的这些方面和其它方面从以下的附图中将变得显而易见。附图中图1表示按照本发明的方法；图2表示按照本发明的设备；图3表示一个存储器阵列；图4表示对于一个存储器阵列的扫描。
具体实施例方式
图1表示按照本发明的方法。在第一个步骤2，提取图像特征特性。在步骤4，比较这些特征与相邻组像素的片段样板的特征特性。
如果当前组的特征偏离相邻组的片段样板的特征，则在步骤6，根据当前组的特征产生一个新的片段样板。在步骤8，存储这个新的片段样板，使其与已经存储的片段样板在一起。这些片段样板代表已经分段的像素组。
在步骤10，根据存储的片段样板，使用相邻组像素的片段样板预测当前组的样板。这就意味着，从存储的片段样板提取出与当前组像素相邻的像素组有关的样板。优选地，如果进行存储器匹配扫描，则在当前组的上方现在有3个组，在当前组的左侧有一个组。这4个样板用于预测当前组的样板。
如以上所指出的，在步骤4，将当前组的特征与相邻片段样板的特征进行比较。计算出一个误差值，根据这个误差值将当前组指定给相邻的片段或者产生一个新的片段。
在扫描和分段了所有的图像纽以后，根据分段所用的特征拉出一个分段掩码12，这是当前图像的分段表示。
如果分段是基于块的分段，则一个块的所有像素都指定给一个片段。这使计算复杂性剧烈减小。可以对视频流如PAL或NTSC实现分段。在这些视频流内，用于图像分段的强力线索是亮度(Y)和色度(U，V)以及纹理。在3个直方图中可有效地俘获这些特征，这3个直方图是用于亮度值Y的一个8仓(bin)直方图、和分别用于色度值U、V的4仓直方图。除了这些特征以外，还可以使用运动信息。
重要的是有效地使用了所说的仓，并且因为直方图可以定位，因此重要的是确定最小值和最大值。根据这些最小值和最大值，可把所说的仓均匀地分配在这些值之间。从视频流内的先前的图像可以确定所说的最小值和最大值。
为了把图像内的噪声考虑在内，要将所说的最小值和最大值设定为采样值的5％低于最小值并且采样值的5％大于最大值的那些值。落在仓外的采样值分配给外仓。
相邻组的直方图可以定义为 和 其中对于一个当前组的4个相邻组，i＝1，...4。当前组的直方图可以定义为 和 然后，可以将位置j的特征 写为F→j={Y→j,U→j,V→j}.]]>对于局部预测，可以按照下式来计算一个当前组的误差值εϵ(F→c,F→j)=||Y→c-Y→j||1+||U→c-U→j||1+||V→c-V→j||1]]>每个片段i对应一个标记1i，并且在分段期间，给图像中的每个组都指定这样一个标记。局部组的特征定义为 较早的时候已经描述了局部分段的预测，借此可以根据误差值产生一个新的片段或者将这个组指定给相邻组的最佳匹配片段。
局部差别的优点是使用局部信息进行分段过程。这将导致分段的空间一致性。当只使用全局样板来进行分段时，这个空间一致性就失去了。
含标记1i的片段有一个用 表示的样板，借此可以表示在一个组内的特征。对于匹配的全局样板，要存储在一个图像内的所有片段的样板，并且比较当前的特征与图像的所有样板的特征。为了指定一个组给一个分段，要执行下面的步骤如果ϵ(F→c,T→i)>T,]]>对于i＝1，2，...，那末开始新片段否则为组指定标记1k，以便ϵ(F→c,T→k)=min{ϵ(F→c,T→i)},i=1,2,...]]>结束在分段期间，对于每个组，必须比较所有的样板与当前组，这就增加了计算的复杂性。使用来自与当前组没有空间相关性的片段的样板进行分段，这将导致噪声分段。
为了能够允许使用样板进行分段，因此可以防止特征逐渐变化的分段消失并且还可以像局部分段那样降低计算复杂性，如果当前块的特征偏离所说当前块周围的样板的特征太多，则开始一个新的片段。如果用 代表在当前块附近第j个位置的片段的样板，则按照本发明可以实现如下的分段如果ϵ(F→c,Tjp→)>T,]]>对于j＝1，...，4，那末开始新片段否则为组指定标记1k，以便ϵ(F→c,T→k)=min{ϵ(F→c,T→jp)},j=1,...,4]]>结束通过比较当前组的特征与相邻片段的片段样板，也可使用局部信息，并且可以使计算复杂性很低。
在图2中描述了用于分段一个图像的设备。其中描述的是分组装置14提取装置16、存储装置17、比较装置18、确定装置20、和第二存储装置22。这个设备的操作如下通过分组装置14将输入图像分组成像素组。像素组可以是像素块，如8×8、16×16、32×32个像素。通过提取装置16从这些像素组提取特征特性。对于每一个组，将特征存储在第二存储装置22中。比较装置18比较每个组的特征特性与存储在存储装置17中的相邻组的片段样板。确定装置20确定当前组特征的偏差是否超过来自相邻片段样板的特征的阈值。如果这个偏差超过阈值，则产生一个新的样板并且将新的样板存储在存储装置17中。在所有的其它情况下，将这个当前组指定给相邻组的最佳匹配样板。在分段了所有的组后，拉出一个分段掩码。
图3表示用于存储一个图像的存储器阵列24。像素的存储从阵列24的左上位置241，1开始到阵列24的左下位置245，5结束，如箭头24a所示。还可能出现的情况是，像素的存储从阵列24的左下位置245，5开始到阵列24的左上位置241，1结束，如箭头24b所示。
随着存储器匹配的扫描，扫描方向应该与存储方向匹配，如图4所示。如果扫描是存储器匹配的，则扫描方向按照箭头24c或24d所示，取决于存储方向24a，b。
在第一实施例中，扫描按照箭头24c从右下开始到左上结束。对于在位置243，3的像素的分段，相邻像素244，4、244，3、244，2、243，4的片段样板是已知的。根据偏差值将像素243，3指定给相邻像素244，4、244，3、244，2、243，4的片段样板之一，或者产生一个新的片段样板。
在第二实施例中，扫描按照箭头24d从左上开始到右下结束。对于在位置243，3的像素的分段，相邻像素242，2、242，3、242，4、243，2的片段样板是已知的。根据偏差值将像素243，3指定给相邻像素242，2、242，3、242，4、243，2的片段样板之一，或者产生一个新的片段样板。
通过使用空间信息和样板匹配，使分段快速和可靠。在许多应用场合，如消费者电子设备、MPEG流、和低成本的医学应用，对于视频流可以执行在线的图像分段、压缩、和增强。
权利要求
1.一种分段图像使之成为片段组的方法，所说的片段基于图像特征，所说的方法具有如下步骤a)确定用于分段的像素组；b)确定所说的组的特征特性；c)从相邻组确定片段样板，所说的片段样板描述所说相邻组内的不变或连续的特征；d)通过比较所说组的特征与所说片段样板的特征对于所说的组计算误差值；e)根据所说的误差值确定是将所说的组指定给所说片段样板之一还是产生一个新的片段样板。
2.根据权利要求1所述的方法，还具有如下步骤对于所说的图像确定多个组，对于所说图像的所有的组执行步骤a)-e)。
3.根据权利要求1所述的方法，其特征在于所说的片段样板是按照空间和/或时间确定的。
4.根据权利要求1所述的方法，其特征在于扫描所说用于分段的像素组，使其与存储器匹配。
5.根据权利要求1所述的方法，其特征在于基于阈值确定将所说的组指定给所说片段样板之一还是产生一个新的片段样板。
6.根据权利要求1所述的方法，其特征在于所说的特征基于色度和/或亮度值、像素的统计衍生值、直方图、同时发生的矩阵、和/或分数尺寸。
7.根据权利要求1所述的方法，其特征在于所说的片段样板包括所说像素的平均亮度和色度范围。
8.根据权利要求2所述的方法，其特征在于所说的片段样板包括至少一个直方图。
9.根据权利要求3所述的方法，其特征在于所说的片段样板包括运动模型。
10.根据权利要求1所述的方法，其特征在于所说的片段样板包括图像位置信息。
11.根据权利要求1所述的用于计算图像分段的设备，所说的设备包括分组装置，用于分组图像像素成组；提取装置，用于从所说的组提取特征特性；存储装置，用于存储相邻组的片段样板；比较装置，用于比较所说提取的特征和所说片段样板的特征；确定装置，用于根据在所说提取的特征和所说片段样板的特征之间确定的误差值来指定所说的像素组给所说片段样板之一或者产生一个新的片段样板。
12.根据权利要求1所述的方法或者根据权利要求11所述的设备在图像和/或视频处理、医用图像处理、作物分析、视频压缩、运动估算、天气分析、制造监测、和/或入侵检测中的应用。
全文摘要
本发明涉及使用样板和空间预测的图像分段。使用相邻像素的样板来预测当前像素的特征。按照来自样板的特征的偏差将像素指定给相邻像素的片段。
文档编号G06T5/00GK1711557SQ200380103514
公开日2005年12月21日 申请日期2003年10月28日 优先权日2002年11月19日
发明者R·B·维特鲁德, G·德哈安 申请人:皇家飞利浦电子股份有限公司