0的各部件的操作可以参考结合图1所示 的流程图进行的描述，这里不再赘述。根据该前景图像分割装置，能够基于深度信息从输入 图像生成初始三色图，基于输入图像的颜色信息对该初始三色图进行优化生成更准确的三 色图，由此从该三色图准确分割出前景图像。而且，该前景图像分割装置可以对输入图像的 颜色信息进行加权线性变换以将前景和背景中的相近颜色区分开来，并且由于采用了良好 的采样策略，能够选择最佳样本对计算未知像素点的Alpha值，进一步提高了分割出的前 景图像的准确性。
[0128] 接下来，参考图14描述根据本发明的一个实施例的实现从目标场景中分割出前 景对象的前景图像分割系统的硬件配置。如图14所示，系统1400包括：输入设备1410,用 于从外部输入将要处理的图像、例如上述的彩色图像和灰度图像、以及要处理的信息、例如 深度信息，该输入设备1410可以包括例如键盘、鼠标、以及通信网络及其所连接的远程输 入设备等等；处理设备1420,用于实施上述的按照本发明实施例的前景图像分割方法，或 者实施为上述的按照本发明实施例的前景图像分割装置，例如可以包括计算机的中央处理 器或其它的具有处理能力的芯片等等，可以连接到诸如因特网的网络（未示出），根据处理 过程的需要而从网络获取数据例如输入图像等等，另外，该处理设备1420还可以对分割出 的前景对象进行需要的处理，比如合成处理等等；输出设备1430,用于向外部输出上述前 景图像分割的结果，包括分割的前景图像以及前景图像的合成结果等等，该输出设备1430 可以包括例如显示器、打印机、以及通信网络及其所连接的远程输出设备等等；以及存储设 备1440,用于以易失或非易失的方式存储上述处理过程所涉及的图像、数据、所获得的结 果、命令以及中间数据等等，该存储设备1440可以包括例如随机存取存储器（RAM)、只读存 储器（ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。
[0129] 当然，为了简化，图14中仅示出了该系统中与本发明有关的组件中的一些，省略 了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，系统1400还可以 包括任何其他适当的组件。
[0130] 以上已经参考附图详细描述了根据本发明的实施例的前景对象分割方
[0131] 法、装置和系统。尽管在以上以人作为前景对象的例子进行描述，但是本领域技术 人员很清楚，本发明可应用的对象不限于人，可以是任何其他动物、物体等等。
[0132] 本公开中涉及的装置、设备、系统的方框图仅作为例示性的例子，并且不意图要求 或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的， 可以按任意方式连接、布置、配置这些装置、设备、系统。诸如"包括"、"包含"、"具有"等等 的词语是开放性词汇，指"包括但不限于"，且可与其互换使用。这里所使用的词汇"或"和 "和"指词汇"和/或"，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的 词汇"诸如"指词组"诸如但不限于"，且可与其互换使用。
[0133] 本公开中的步骤流程图以及以上方法描述仅作为例示性的例子，并且不意图要求 或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以 按任意顺序进行以上实施例中的步骤的顺序。诸如"其后"、"然后"、"接下来"等等的词语 不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用冠 词"一个"、"一"或者"该"对于单数的要素的任何引用不被解释为将该要素限制为单数。
[0134] 提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本 发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义 的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在 此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
【主权项】
1. 一种前景图像分割方法，包括： 获取输入图像及其颜色信息和深度信息； 基于输入图像的深度信息，对输入图像进行粗略分割以获得初始三色图； 基于输入图像的颜色信息，对该初始三色图中的未知区域进行腐蚀或膨胀，以获得优 化的三色图；以及 根据优化的三色图分割出前景图像。2. 如权利要求1所述的方法，其中基于输入图像的颜色分布对该初始三色图中的未知 区域进行腐蚀或膨胀包括： 将该初始三色图的未知区域划分为多个局部区域； 对于每一局部区域，判断其中的颜色分布是否满足预定条件，如果不满足则对该局部 区域进行腐蚀或膨胀直到该局部区域的颜色分布满足该预定条件。3. 如权利要求2所述的方法，其中所述预定条件是：该局部区域中的颜色种类为两种。4. 如权利要求2所述的方法，还包括： 检测前景对象的构成部件之间的缝隙区域； 在经过腐蚀或膨胀的三色图中标记出所述缝隙区域，作为未知区域的部分，以获得优 化的三色图。5. 如权利要求1所述的方法，其中根据优化的三色图分割出前景图像包括： 对于该优化的三色图的未知区域中的每个像素，从该像素的邻域中选择该像素的最佳 前景像素-背景像素对； 根据该最佳前景像素-背景像素对的颜色值估计该像素的前景分量和背景分量； 根据该像素的前景分量和背景分量的估计值计算该像素的Alpha值； 基于该优化的三色图中所获得的前景区域以及该未知区域中的每个像素的Alpha值， 分割出前景图像。6. 如权利要求5所述的方法，其中从该像素的邻域中选择该像素的最佳前景像素-背 景像素对包括： 以输入图像的深度信息作为权重，对输入图像的颜色信息进行加权线性变换，获得变 换后的输入图像的颜色信息； 对于该优化的三色图中的未知区域中的每个像素，从该像素的邻域中的前景区域中选 择多个前景像素样本，并从该像素的邻域中的背景区域中选择多个背景像素样本，以构成 样本集合； 对于该样本集合中的任意一个前景像素和任意一个背景像素构成的前景像素-背景 像素对，基于该前景像素-背景像素对的变换后的颜色信息和空间位置信息构造能量函 数； 获得使得该能量函数最小的前景像素-背景像素对，作为所述最佳前景像素-背景像 素对。7. 如权利要求6所述的方法，其中根据该最佳前景像素-背景像素对的颜色值估计该 像素的前景分量和背景分量包括： 对于该像素的邻域内的每个像素，获得相应的最佳前景像素-背景像素对； 计算该像素的最佳前景像素-背景像素对中的前景像素的颜色值以及该像素的邻域 内的每个像素的最佳前景像素-背景像素对中的前景像素的颜色值的平均值，作为该像素 的前景分量的估计值； 计算该像素的最佳前景像素-背景像素对中的背景像素的颜色值以及该像素的邻域 内的每个像素的最佳前景像素-背景像素对中的背景像素的颜色值的平均值，作为该像素 的背景分量的估计值。8. 如权利要求7所述的方法，其中根据该像素的前景分量和背景分量的估计值计算该 像素的Alpha值包括： 利用该像素的前景分量和背景分量的估计值计算Alpha估计值； 计算该像素的前景分量和背景分量的估计值以及该像素的实际颜色值之间的偏差； 根据该像素的Alpha估计值以及该偏差计算以该像素的前景分量和背景分量的估计 值来计算该像素的Alpha值的可信度； 基于该Alpha估计值以及该可信度计算该像素的Alpha值。9. 一种前景图像分割装置，包括： 获取部件，获取输入图像及其颜色信息和深度信息； 粗略分割部件，基于输入图像的深度信息，对输入图像进行粗略分割以获得初始三色 图； 三色图优化部件，基于输入图像的颜色分布，对该初始三色图中的未知区域进行腐蚀 或膨胀，以获得优化的三色图；以及 前景图像分割部件，根据优化的三色图分割出前景图像。10. 如权利要求9所述的装置，其中所述三色图优化部件： 将该初始三色图的未知区域划分为多个局部区域； 对于每一局部区域，判断其中的颜色分布是否满足预定条件，如果不满足则对该局部 区域进行腐蚀或膨胀直到该局部区域的颜色分布满足该预定条件。
【专利摘要】提供了前景图像分割方法和装置。该方法可以包括：获取输入图像及其颜色信息和深度信息；基于输入图像的深度信息，对输入图像进行粗略分割以获得初始三色图；基于输入图像的颜色信息，对该初始三色图中的未知区域进行腐蚀或膨胀，以获得优化的三色图；以及根据优化的三色图分割出前景图像。通过此方法，能够基于输入图像的颜色信息对该初始三色图进行优化以获得更准确的三色图，由此从该三色图准确分割出前景图像。
【IPC分类】G06T7/00
【公开号】CN105590312
【申请号】CN201410645593
【发明人】赵颖, 王刚, 刘丽艳
【申请人】株式会社理光
【公开日】2016年5月18日
【申请日】2014年11月12日
【公告号】US20160133027