前景图像分割方法和装置的制造方法
【技术领域】
[0001] 本发明涉及图像处理领域，更具体地，涉及从图像中分割前景图像的方法和装置。
【背景技术】
[0002] 前景图像分割技术即我们通常所说的抠图技术，目的在于将目标对象从图像中提 取或分割出来，并估计由该对象所覆盖的区域中的每个像素的透明度，即Alpha值（α蒙 版）。提取的目标对象区域被称为图像的前景区域或者前景图像，其余部分被称为图像的背 景区域或者背景图像。
[0003] 该技术在图像或视频编辑应用领域有广泛的应用，用户可以借此技术将前景分割 出来，与另外一个背景无缝地集成在一起，例如在虚拟拍照中将前景，例如人与虚拟背景相 结合达到"身临其境"的效果，在视频会议中将与会人员从原背景中分离出来与其他背景集 成7等等 。
[0004] 从图像合成的角度，可以将图像I(X，y)建模为前景图像F(x，y)与背景图像 B(x，y)以其a (x，y)值的线性组合，如以下的公式（1)所示：
[0005] Ip= apFp+(l-ap)Bp (1)
[0006] 其中Ip为图像的像素点p的像素值，Fp为像素点p的前景分量，B p像素点p的背 景分量，αρ为透明度Alpha值，其取值范围为[0，1]。当ap=l时，像素点p属于前景区 域；当α p = 0时，像素点p属于背景区域。
[0007] 也就是说抠图问题变为求解此方程，为此，通常采用三色图来增加条件限定的方 式求解。所谓三色图即包含黑、白、灰三种颜色的标记图像，每种颜色代表一个区域类型。其 中，黑色表示已知的背景区域；白色表示已知的前景区域；灰色表示未知区域，即不能确定 该区域哪部分属于背景，哪部分属于前景。
[0008] 由于三色图的引入，抠图的求解转化为计算未知像素点p(而不是整幅图像的所 有像素点）的Alpha值、前景分量F p及背景分量Bp，其中，Fp和Bp可以根据像素点p的邻域 点进行估计而得到。获得F p和Bp之后，像素点p的αρ就可以根据如下公式（2) 得到：
[0010] 可见，三色图的形成是抠图处理的基础，形成更准确的三色图有助于更精确地将 前景对象从图像或视频中分割出来。
[0011] 在目前用于形成三色图的方法中，可以通过用户交互的方式由用户指定图像中的 三色图，比如在图像上画出一些线段以标明图像中的哪些部分是前景哪些部分是背景。此 方法需要用户手动生成三色图，这对于用户而言是麻烦的，生成的三色图也不够准确。还可 以通过引入深度信息来帮助自动生成三色图，虽然此方法不再需要用户交互，但是在某些 情况下仍然不能生成准确的三色图。比如，在某个前景区域仅包含一种颜色并且该颜色没 有在其他前景区域中出现的情况下，将该区域标记为未知区域很可能导致该区域被错误地 分类为背景区域。
[0012] 而且，如上所述，未知像素点p的Alpha值的计算依赖于对在该像素点p的邻域中 的已知前景点和背景点的采样，因此获得更准确的前景和背景样本点对Alpha值的计算即 抠图的质量来说至关重要。
【发明内容】
[0013] 考虑到上述问题而做出本发明，提供了能够从图像中准确地分割出前景图像的方 法和装置。
[0014] 根据本发明的一个方面，提供了前景图像分割方法，该方法可以包括：获取输入图 像及其颜色信息和深度信息；基于输入图像的深度信息，对输入图像进行粗略分割以获得 初始三色图；基于输入图像的颜色信息，对该初始三色图中的未知区域进行腐蚀或膨胀，以 获得优化的三色图；以及根据优化的三色图分割出前景图像。
[0015] 在一个可选的实施例中，基于输入图像的颜色分布对该初始三色图中的未知区域 进行腐蚀或膨胀可以包括：将该初始三色图的未知区域划分为多个局部区域；对于每一局 部区域，判断其中的颜色分布是否满足预定条件，如果不满足则对该局部区域进行腐蚀或 膨胀直到该局部区域的颜色分布满足该预定条件。
[0016] 在一个可选的实施例中，所述预定条件可以是：该局部区域中的颜色种类为两种。
[0017] 在一个可选的实施例中，该前景图像分割方法还可以包括：检测前景对象的构成 部件之间的缝隙区域；在经过腐蚀或膨胀的三色图中标记出所述缝隙区域，作为未知区域 的部分，以获得优化的三色图。
[0018] 在一个可选的实施例中，根据优化的三色图分割出前景图像可以包括：对于该优 化的三色图的未知区域中的每个像素，从该像素的邻域中选择该像素的最佳前景像素-背 景像素对；根据该最佳前景像素-背景像素对的颜色值估计该像素的前景分量和背景分 量；根据该像素的前景分量和背景分量的估计值计算该像素的Alpha值；基于该优化的三 色图中所获得的前景区域以及该未知区域中的每个像素的Alpha值，分割出前景图像。
[0019] 在一个可选的实施例中，从该像素的邻域中选择该像素的最佳前景像素-背景像 素对可以包括：以输入图像的深度信息作为权重，对输入图像的颜色信息进行加权线性变 换，获得变换后的输入图像的颜色信息；对于该优化的三色图中的未知区域中的每个像素， 从该像素的邻域中的前景区域中选择多个前景像素样本，并从该像素的邻域中的背景区域 中选择多个背景像素样本，以构成样本集合；对于该样本集合中的任意一个前景像素和任 意一个背景像素构成的前景像素-背景像素对，基于该前景像素-背景像素对的变换后的 颜色信息和空间位置信息构造能量函数；获得使得该能量函数最小的前景像素-背景像素 对，作为所述最佳前景像素-背景像素对。
[0020] 在一个可选的实施例中，根据该最佳前景像素-背景像素对的颜色值估计该像素 的前景分量和背景分量可以包括：对于该像素的邻域内的每个像素，获得相应的最佳前景 像素-背景像素对；计算该像素的最佳前景像素-背景像素对中的前景像素的颜色值以及 该像素的邻域内的每个像素的最佳前景像素-背景像素对中的前景像素的颜色值的平均 值，作为该像素的前景分量的估计值；计算该像素的最佳前景像素-背景像素对中的背景 像素的颜色值以及该像素的邻域内的每个像素的最佳前景像素-背景像素对中的背景像 素的颜色值的平均值，作为该像素的背景分量的估计值。
[0021] 在一个可选的实施例中，根据该像素的前景分量和背景分量的估计值计算该像素 的Alpha值可以包括：利用该像素的前景分量和背景分量的估计值计算Alpha估计值；计 算该像素的前景分量和背景分量的估计值以及该像素的实际颜色值之间的偏差；根据该像 素的Alpha估计值以及该偏差计算以该像素的前景分量和背景分量的估计值来计算该像 素的Alpha值的可信度；基于该ct的估计值以及该可信度计算该像素的Alpha值。
[0022] 根据本发明的另一方面，提供了前景图像分割装置，包括：获取部件，获取输入图 像及其颜色信息和深度信息；粗略分割部件，基于输入图像的深度信息，对输入图像进行粗 略分割以获得初始三色图；三色图优化部件，基于输入图像的颜色分布，对该初始三色图中 的未知区域进行腐蚀或膨胀，以获得优化的三色图；以及前景图像分割部件，根据优化的三 色图分割出前景图像。
[0023] 在一个可选的实施例中，所述三色图优化部件可以将该初始三色图的未知区域划 分为多个局部区域，并且对于每一局部区域，判断其中的颜色分布是否满足预定条件，如果 不满足则对该局部区域进行腐蚀或膨胀直到该局部区域的颜色分布满足该预定条件。
[0024] 根据本发明，能够基于深度信息从输入图像生成初始三色图，基于输入图像的颜 色信息对该初始三色图进行优化获得更准确的三色图，由此从该三色图准确分割出前景图 像。
[0025] 而且，根据本发明，可以对输入图像的颜色信息进行加权线性变换以将前景和背 景中的相近颜色区分开来，并且由于采用了良好的采样策略，能够选择最佳样本对计算未 知像素点的Alpha值，进一步提高了分割出的前景图像的准确性。
【附图说明】
[0026] 图1示出根据本发明的一个实施例的前景图像分割方法的流程图。
[0027] 图2示出了输入图像以及相应的初始三色图的例子。
[0028] 图3示出了未知区域的划分的例子。
[0029] 图4示出了对于图3中所划分的每个小矩形区域内的未知区域的优化的流程。
[0030] 图5a_5c示出了未知区域的示例以及相应的腐蚀膨胀处理的示意图。
[0031] 图6示出了存在缝隙的抠图结果的示意图。
[0032] 图7示出了利用骨架信息标记缝隙区域的例子。
[0033] 图8a和图8b分别示出了输入图像中的缝隙以及根据缝隙标记方法获得的三色 图。
[0034] 图9示出了根据本发明的另一实施例的基于最佳样本对分割前景图像的方法的 流程图。