专利名称：基于自动分段的实时图像的草的检测方法和装置的制作方法
技术领域：
本发明涉及根据选择判据对像素进行分段的方法和装置。更具体地说，本发明涉及根据像素的彩色和结构对其进行分类，以便实现接收共同类别像素的随后的像素处理。
背景技术：
电视图像的分段是其中把一个序列图像的每一帧细分为区域或字段的处理。每一字段包括有容括了具共同性质图像的一个区域的一个像素群。例如，一个字段可以由共同彩色、结构、形状、幅度范围或时间变化来区别。几种已知的图像分段方法使用的一种处理是，其中以二进制判据来确定像素分段的方式。根据这种处理，在一个区域中的所有的像素或者满足用于一个分段的共同判据而因此包括在该分段中，或者它们不满足该判据而被完全排除该区域外。虽然这些分段方法能满足某些用途，但是对于许多其它用途是不能接受的。在运动图像序列的情况下，在外观、发光或视景中的小的变化可能仅引起图像总体外观中的小改变。然而，应用例如上述的分段方法会倾向于使得该图像的区域将表现为是相同的显像，以便满足在一帧中的该分段判据，而在另一帧中将不满足该分段判据。
对于图像进行分段的主要原因之一是对分段的某些部分实施增强操作。当根据前面描述的二进制分段方法分段该图像时，随后执行的增强操作常常在图像增强中产生随机变化，通常是在分段区域的边缘产生随机变化。在运动序列中的这种随机变化表现为观众不能接受的干扰失真。在电视设置中的图像增强包括总体和局部两种方法。虽然局部增强方法是已知的，但是当前该局部增强方法是由总体参数控制。例如，一个轮廊增强算法可以适用于局部边缘特征，但是控制该算法的参数(例如滤波器频率特性)是总体参数--对于图像所有的区域执行的是同一个增强操作。总体参数的使用限制了能够被用于任意给定图像的最有效的增强。如果该算法能够被训练得识别在图像不同部分中描述的特征，并且能够因此实现该图像增强算法以及实现动态地选择图象特征每一类型的最佳参数，则将可提供改进的增强。
本发明把分段和局部增强相结合，以便提供在已有技术中尚未提供的新的增强功能。
发明概要在本发明的一个实施例中，图像中的像素根据选择判据而被分段。一个信号，例如基带视频信号，被用于计算用于该图像中的像素的彩色概率函数。此彩色概率函数针对图像中的每一像而素估计该像素的彩色值存在于表示一个指定彩色的值的范围之内的可能性。该像素还被用于计算一个结构概率函数，针对该图像中的每一像素而估计该像素表示一个指定构造的可能性。根据该彩色概率函数和该构造概率函数的乘积或组合，分段该像素。
在另一个实施例中，彩色概率函数被定义为Pcolor＝exp(-(((y-y0)y)2+((u-u0)/u)2+((v-v0)/v)2))，而构造概率函数被定义为Ptexture＝((t/sqrt(m*t))*exp(-((t-m)/s)2)，其中y表示像素亮度值，u和v表示YUV彩色空间中的彩色坐标，t表示在环绕像素的一个窗口中的象素值亮度的均方根变化，m是描述该函数峰值位置的亮度尺度的一个值，s是描述相同亮度函数的宽度的相同亮度尺度的一个值。
本发明的其它实施例和特征将在下面结合附图的详细描述中变得显见。
附图的简要描述
图1是一个框图，示出本发明实施例的根据选择判据分段像素的步骤；图2描述一个图像的一个平滑结构区域；和图3描述一个图像的一个不连续的结构区域；图4示出可以围绕一组像素画出的一个窗口的方式，以便计算一个构造概率函数；图5示出一个电路实例，可被用于根据本发明的一个方面分段一个图像中的像素；和图6示出根据本发明的可以结合到一个电视系统以便显示图像的图5的电路情况。
虽然本发明将结合某些实施例描述，但是应该理解的是本发明并不局限于那些实施例。相反，本发明要覆盖在所附的权利要求限定的本发明精神范围之内的全部改进、等效和可选方案。
本发明实施例的详细描述本发明使用一种图像分段方法，其定义一个连续的非二进制函数，该函数模拟一个概率，定义将存在于一个期望字段中的该像素的范围。这种分段能够包括草或其它绿色植物、天空、人的皮肤等。在该选择分段中的像素能因此被增强，以便改进图像的质量或修改其外观。随后加到该分段的增强等级是该概率度量的函数。换句话说，加到该图像的增强等级正比于一个像素属于一个具体分段的概率。实现该增强以便适度地淡出该分段的边缘。这将使得这种根据分段的增强被用于运动图像，而不是应用由已经公知的产生帧到帧人工失真的硬分段方法。
现参考附图描述非限定性的本发明的实施例，图1包括一个示意图，表示根据本发明的基于指定判据的分段像素的一些步骤。一般来说，像素是共同表示一个彩色图像的不连续的反光的成分。每一像素具有一个值，指示该表示的不连续位置的图像的彩色。在一个实施例中，像素由一个信号提供，例如一个基带视频信号，如框102中所示。信号被用于计算一个彩色概率函数，如框104表明。针对图像中的每一像素，彩色概率函数估计该像素值将存在于某些指定范围中的可能性。更具体地，全部颜色由反射的可见光波长范围所定义。例如，蓝光反射在大约380nm和480nm之间的波长，绿光反射在大约480nm和560nm之间的波长，而在频谱另一端的红光反射在大约630nm和750nm之间的波长。亮度也在定义一个目标的彩色中起作用。例如，如果两种颜色具有的亮度值不同，反射完全相同的光波长的两种颜色将具有不同的外观。图像中的像素分段常常局限于在亮度值的一个具体范围中的那些像素的。因此，该彩色概率函数计算一个具体像素存在于描述的可见光波长边界区域之一中的可能性以及将存在于一个指定亮度值范围中的可能性。
仍然参考图1，如框106表示的那样，获取的信号还用于计算一个构造概率函数。此函数针对每一像素估计在由像素表示的位置的图像具有指定构造的概率。因此，能够定义图像中各区域的一个或者多个构造，并且能够分析图像中的像素，以便确定它们是否满足用于被指定为用具有定义构造的像素的判据。
一旦获得了该颜色和构造概率函数，则能够将它们结合，以便确定该像素是否具有一个指定目标的彩色和构造，如框108所示。在一个实施例中，本发明被用于标识在一个图像中的草的区域。因此，该指定的彩色将是绿色，并且只有在大约480nm和560nm之间的反射光将被进一步考虑。其它像素可以是分类为″非草″，并且从进一步考虑中消除。表示草的像素将通常是绿色。但是有可能在没有出现草的图像中会绿像素。
光波长可被用于确定的像素彩色，但是像素构造能以不同方法测量。在一个实施例中，通过相邻像素亮度值的绝对差值测量结构。在此情况中，很轻微的差值将通常表示如图2示出的一个平滑区域，而较大差值将表示图像中的不连贯性的出现，即像素处在如图3所示的一个粗糙的结构区域。在另一个实施例中，通过计算一个局部区域中的象素值的均方根变化来测量构造。在再一实施例中，通过获得该图像每一邻域中的象素值的局部直方图来测量结构。如以前所述，这些值中的小的变化将表示由该像素表示该区域的构造是平滑的，而大的变化将表示它们是不连续的。根据本发明，在任何情况下，当期望标识一个图像中的草时，只选择存在于一个适当范围中的既反射绿光又具有一个构造度量的像素。
回到图1，被标识为具有该所需彩色和构造特征的像素能够被进一步处理，如框110所示，以便修改其图像外观。例如，已经被分类为草的像素的彩色能够被更改为不同的绿色明暗度，即该草的颜色能够被更改为另一彩色，例如指示积雪的存在的白色，或指示该草已经燃烧的黑色。在一个实施例中，空间频谱的高频部分能够被放大以便给出该草一个更具有某种结构的外观。在另一个实施例中，具有指定彩色和结构分类的所有的像素的亮度能够被增加以便增加其活力。在另一个实施例中，针对具有这种指定彩色和结构分类的所有的像素的噪声处理能够被降低以便消除不必要的平滑。
如本领域技术人员理解的那样，黑色扩展是一个影象增强处理，通过弄暗具有接近零的亮度值的像素而增加总体对比度。虽然黑色扩展一般是一个可用的图象增强技术，但是其常常出现当黑色扩展被用于遮蔽或其它包括草的变暗区域时出现孔穴。根据本发明的对图像进行分段以及把增强技术应用于一个或多个分段，能够减小黑色扩展，从而消除使得在暗区中的图像消失的这些区域的孔穴。
在本发明的至少一个实施例中，彩色概率函数被定义为Pcolor＝exp(-(((y-y0)y)2+((u--u0)/u)2+((v-v0)/v)2))，其中y表示像素亮度值，u和v表示使用在电视系统中的YUV色空间的彩色坐标。在这样一个实施例中，参数y0近似等于112，y近似等于40，u0近似等于110，u近似等于8，v0近似等于124，而v近似等于7。通过调整许多图像中的彩色并且检查草区域的YUV坐标得到这些参数。虽然已经根据本发明成功地使用了提供的值，但是应该理解的是，它们是示例性的值，并且许多其它值和值的组合能被使用，并且可以通过许多途径获得。
如上所述，本发明的实施例使用了彩色概率函数的三维的高斯分布以便实施软分段。虽然本发明使用这种模式描述，但是应该理解的是，其还能被用于使用其它数学的分布函数。
在另一个实施例中，该构造概率函数可以由本领域技术人员已知的下面所示的Ricean函数提供Ptexture＝((t/sqrt(m*t))*exp(-((t-m)/s)2)其中t表示围绕该像素(以参考数字10标识)的一个窗口(如图4所示)中的该亮度的均方根变化，m是描述关于该函数峰值位置的一个亮度尺度的值，s是关于描述同一个亮度函数的宽度的同一个亮度尺度的值。在一个实施例中，该窗口被一个5×5像素的矩形。在一个实施例中，m等于4，其中该尺度的峰值是255。在一个实施例中，s等于5。如同以前所述，这些值是示例性的。根据本发明能成功地使用许多其它值。
在一个实施例中，可以通过计算一个亮度信号的空间导出值、并且滤选该亮度信号的空间导出值而获得参数t。在一个这种实施例中，通过计算用于该像素的一个两维亮度信号和一个相邻亮度信号之间的差值、并且计算该差值的绝对值而获得该空间导出值。在一个实施例中，t1大约等于0.3而；t大约等于15。
如前面表明，在一个实施例中，彩色和结构性质被用于把草(和其它植物)识别为不同于其它图象特征。应该指出，该彩色和结构概率函数可被在几个不同色空间中定义。如已经表示的那样，可以在YUV色空间中定义该函数，当使用电视信号时其定义的函数是最佳函数，因为电视信号是以YUV形成提供的，并且将不需要进一步变换到另一色空间。在另一个实施例中，这种彩色概率和构造函数能被定义在该色调-饱和度-值(HSV)色空间中。在另一实施例中，该函数可以定义在一个红、绿、蓝(RGB)色空间中。
一旦该图像已经根据该期望的特性分段，该分段部分能够被增强以便改进图像的总体质量。如前面表明，图像增强的示例性形式包括变更该指定分段中的该像素的彩色，增加其频率或亮度并且降低其噪声处理。因此，当该图像被分段以便标识草时，一个可能的增强算法将把该″草″分段的彩色朝着鲜明绿色草的方向移动，增加该色饱和度，增加该亮度并且执行轮廊增强。被应用的增强量将正比于该彩色和结构概率函数。因此，如果一个像素被错误地放置于一个具体分段中，则该错误的影响可能是不严重的。虽然增强草是本发明的一个可接受的的使用，但是应该理解的是，该概念能够被用于增强图像的其它区域，例如天空、人的皮肤、建筑物、交通工具等。
如图5中所示，用于根据选择判据分段像素的电路10可以包括一个接收机4，其从电视广播演播室或其它图像产生位置接收一个信号2。信号2被发送到彩色电路6并且发送到构造电路8。应该指出，彩色电路6和构造电路8能够如图5所示并联接到接收机4，或能串联接到实现电路6和8以便顺序地处理信号2。彩色电路6产生的输出信号指示用于在信号2中表示的每一像素的概率、落入在前面描述的彩色和亮度值的指定范围之内。类似地，由构造电路5产生的输出信号指示该像素代表具有指定构造的一个目标(或一个目标的部分)的概率。彩色电路6和构造电路8把信号发送到像素部分电路12，其中它们被结合以便确定该像素是否将被归类为属于一个指定分段14或不属于指定分段。属于该指定分段的像素可以被发送到附加处理电路16。参考图6B，电路10通常链接到显示器，其可以要求被直接结合到电视机20即将其结合到机顶盒22中，机顶盒22连接到电视机20，如图6A所示。在任何情况下，电路都将通常定位在广播电视信号2和电视调谐器之间。其将一般被设置在广播电视信号和电视调谐器之间。
因此，根据本发明已经提供了用于根据选择的判据，例如彩色和构造分段像素的方法和制度。虽然已经结合最佳实施例描述了本发明，但是对本领域技术人员来说明显将会有许多选择、修改和变化。因此，必须理解本发明是要包含落入所附的权利要求书的精神和范围中的所有这种可选方案、修改和变化。
权利要求
1.基于选择判据分段像素(10)的方法，包括步骤获得表示图像中像素(10)彩色值的一个信号(2)；计算一个彩色概率函数(104)，针对该图像中的每一像素(10)估计该像素(10)的彩色值落入在表示一个指定彩色的一个值的范围中的可能性；计算一个结构概率函数(106)，针对该图像中的每一像素(10)估计该像素(10)表示一个指定构造的可能性；和根据其彩色概率函数和其结构概率函数的组合而分类(108)该图像中的每一像素(10)。
2.如权利要求1中的一种方法，其中所说的信号(2)是一个基带视频信号。
3.如权利要求1中的一种方法，其中所说的彩色概率函数(104)被限定在一个YUV色空间中。
4.如权利要求3中的一种方法，其中所说的彩色概率函数(104)被定义为Pcolor＝exp(-(((y-y0)y)2+((u-u0)/u)2+((v-v0)/v)2))，其中y表示像素亮度值，而u和v表示在一个YUV色空间中的彩色坐标。
5.如权利要求4中的一种方法，其中在这样一个实施例中，参数y0大约等于112，y大约等于40，u0大约等于110，u大约等于8，v0大约等于124，而v大约等于7。
6.如权利要求3中的一种方法，其中所说的结构概率函数(106)被定义为Ptexture＝((t/sqrt(m*t))*exp(-((t-m)/s)2)其中t表示环绕该像素(10)的一个窗口(20)中的一个象素值的均方根变化，m是描述该函数峰值位置的亮度尺度的一个值，而s是描述所说的亮度函数的宽度该所说的亮度尺度的一个值。
7.如权利要求6中要求的一种方法，其中所说窗口(20)是一个5×5像素的矩形，在具有255的峰值的亮度尺度上的m等于，和s等于5。
8.如权利要求6中要求的一种方法，进一步包括获得参数t的步骤，进一步包括计算一个亮度信号的空间导出量；并且滤波所说的亮度信号的空间导出量。
9.如权利要求8的方法，其中所说的空间导出量的计算步骤进一步包括计算用于该像素(10)的一个二维亮度信号和相邻亮度信号之间的差值，并且计算所说的差值的绝对值。
10.如权利要求6中要求的一种方法，其中m1大约等于0.3而t大约等于15。
11.如权利要求1中的一种方法，其中组合所说的彩色概率函数(104)和所说的结构概率函数(106)的步骤进一步包括计算所说的彩色概率函数和所说的结构概率函数的乘积。
12.如权利要求1中的一种方法，进一步包括有选择地处理具有指定分类的所有的像素。
13.如权利要求12中要求的一种方法，其中所说的有选择地处理步骤进一步包括变更具有所说的指定分类的所有的像素(10)的彩色。
14.如权利要求12中要求的一种方法，进一步包括增加具有所说的指定分类的所有像素(10)的频率。
15.如权利要求12中要求的一种方法，进一步包括增加具有所说的指定分类的所有像素(10)的亮度。
16.如权利要求12中要求的一种方法，进一步包括降低针对具有所说的指定分类的所有的像素(10)的噪声处理。
17.如权利要求1中的一种方法，其中至少某些所说的像素(10)被分类为表示草。
18.如权利要求1中的一种方法，其中所说的彩色概率函数(104)和所说的结构概率函数(106)被限定在一个YUV色空间中。
19.基于选择判据分段图像中的像素(10)的方法，包括步骤获得一个基带视频信号(2)；使用定义为Pcolor＝exp(-(((y-y0)y)2+((u-u0)/u)2+((v-v0)/v)2))，的一个函数，其中y表示一个像素亮度值，u和v表示在一个YUV色空间中的彩色坐标，以便计算用于在所说的基带视频信号(2)中的像素的一个彩色概率函数(104)，其中所说的彩色概率函数(104)针对图像中的每一像素(10)估计该像素的彩色值落入表示一个指定彩色的值的范围之内的可能性；使用定义为Ptexture＝((t/sqrt(m*t))*exp(-((t-m)/s)2)的一个函数，其中t表示环绕该像素的一个窗口中的一个象素值的均方根变化，m是描述该函数峰值位置的亮度尺度的一个值，而s是描述所说的亮度函数的宽度的该所说的亮度尺度的一个值，以便计算所说的基带视频信号的一个结构概率，其中所说的结构概率函数针对该图像中的每一像素估计该像素表示一个指定构造的可能性；并且根据其彩色概率函数和其结构概率函数的乘积而分类该图像中的每一像素。
20.基于选择判据分段图像中的像素的方法，包括步骤获得表示图像中像素彩色值的一个信号(2)；计算一个彩色概率函数(104)，针对该图像中的每一像素(10)估计该像素(10)的彩色值落入在表示该绿色值的范围中的可能性；计算一个结构概率函数(106)，针对该图像中的每一像素(10)估计该像素(10)表示一个指定构造的可能性；并且根据其彩色概率函数和其结构概率函数的组合把所说的像素的至少某些像素分类为表示草。
21.根据选择的判据分段已收视频图像信号(2)的一个装置，其中该视频图像信号(2)直接发光在视频显示上的像素，包括接收机(4)，接收该视频图像信号(2)；产生一个信号(2)的彩色电路(6)，该信号表示像素亮度值和像素彩色值落入指定范围中的可能性；产生一个信号(2)的构造电路(8)，该信号表示代表一个目标的至少一部分的一个像素(10)具有表示的结构的可能性；以及像素分段电路(12)，根据所说的彩色电路(6)信号和所说的构造电路(8)信号的一个组合，把所说的像素区分为至少两类。
22.根据选择的判据分段已收视频图像信号(2)的一个装置，其中该视频图像信号(2)直接发光在视频显示上的像素，包括接收机(4)，接收该视频图像信号(2)；彩色电路(6)，根据像素亮度值和像素彩色值落入在指定范围中的概率产生针对多个像素的一个输出，其中所说的彩色概率函数被定义为Pcolor＝exp(-(((y-y0)y)2+((u-u0)/u)2+((v-v0)/v)2))，其中y表示所说的像素亮度值，而u和v表示在所说的YUV色空间中的彩色坐标；构造电路(8)，根据表示一个目标的至少一部分的所说的像素具有一个指定结构的概率而产生用于所述多个像素的一个输出，其中所说的结构概率函数被定义为Ptexture＝((t/sqrt(m*t))*exp(-((t-m)/s)2)，其中t表示环绕该像素的一个窗口中的一个象素值的均方根变化，m是描述该函数峰值位置的亮度尺度的一个值，而s是描述所说的亮度函数的宽度该所说的亮度尺度的一个值；和像素分段电路(12)，根据所说的彩色电路(6)的输出和所说的构造电路(8)的输出的一个乘积，把所说的像素区分为至少两类。
全文摘要
视频图像中的像素可以根据选择的判据，例如根据共同的彩色、结构、形状幅度范围或时间变化而被分段。用于这些像素的彩色值可被用于计算一个彩色概率函数，指示该像素的彩色值落入一个指定值的范围的概率。像素还被用于计算一个结构概率函数，指示该像素是否代表一个指定的构造。指定到一个给定分段的像素则可以被进一步处理，以便改进图像的质量。以此方式，表明草、天空、人的皮肤等的像素可以被标识和处理，以便实现更合意的外观。
文档编号G06T5/00GK1460229SQ02800899
公开日2003年12月3日 申请日期2002年3月25日 优先权日2001年3月28日
发明者S·赫尔曼, J·杨森, E·B·贝勒斯, J·W·温德洛夫 申请人:皇家菲利浦电子有限公司