一种视频抠图方法及装置制造方法
【专利摘要】本申请提供了一种视频抠图方法及装置，以预设人体轮廓模型为依据，在视频流的当前帧图像中确定待检测轮廓区域，依据该区域中的各个像素点的像素值，以及各个像素点与上一帧图像对应像素点的亮度差值，构建能量方程，并利用图分割算法求解该方程的最小解，从而获得该算法对应的图结构中每个结点的二值标记，依据各个结点的二值标记，实现对该轮廓区域的分割，进而提取出该当前帧图像中的人物区域。本发明利用轮廓模型确定出待检测轮廓区域，在该待检测区域检测分割线，避免对整幅图像的分割检测，提高了抠图效率；在构建能量方程时利用了当前帧图像与上一帧图像的亮度差值，即考虑了视频图像中人物区域的运动状态，从而提供了抠图准确率。
【专利说明】一种视频抠图方法及装置
【技术领域】
[0001] 本发明涉及图像处理【技术领域】，尤其是一种视频抠图方法及装置。
【背景技术】
[0002] 视频抠图，是将感兴趣的目标物体从视频图像中提取出来。随着移动通信技术的 发展，视频通话的应用已经越来越广泛。人们利用移动终端进行视频通话时，摄像头会拍摄 包括人物在内的视频图像，该视频图像中不仅包括对话者本身，还包含有环境背景。目前， 人们在视频通话中的一种需求是，自由设置视频图像中的环境背景图像，例如，设置为默认 的统一背景，或者设置为海边环境背景等。从技术手段上来讲，实现上述功能，最重要的是 要将人物区域从视频图像中抠取出来，即视频抠图。
[0003] 目前，大多数的抠图技术是针对静态图像的，也即从单张的静态图片中抠取目标 区域，然而，由于视频流中的人物区域极有可能是变化的，所述方法并不适用。因此，需要一 种视频抠图方法来实现从视频流图像中抠取人物区域图像。
【发明内容】
[0004] 有鉴于此，本申请提供了一种视频抠图方法，以实现从视频流图像中抠取人物区 域。为实现所述发明目的，本发明提供的技术方案如下：
[0005] 一种视频抠图方法，包括：
[0006] 获取视频流的当前帧图像；
[0007] 以预设人体轮廓模型为依据，确定所述当前帧图像中的待检测轮廓区域；
[0008] 依据所述待检测轮廓区域的各个像素点的像素值，及所述各个像素点与上一帧图 像对应像素点的亮度差值，构建能量方程；
[0009] 利用graph-cut (图分割）算法求解所述能量方程的最小值，以获得所述图分割算 法对应的图结构中每个结点的二值标记；其中，所述图结构中各个结点与所述待检测轮廓 区域中各个像素点--对应；
[0010] 依据所述图结构中每个结点的二值标记，提取所述当前帧图像中的人物区域。
[0011] 上述方法，优选地，所述以预设人体轮廓模型为依据，确定所述当前帧图像中的待 检测轮廓区域，包括：
【权利要求】
1. 一种视频抠图方法，其特征在于，包括： 获取视频流的当如巾贞图像； 以预设人体轮廓模型为依据，确定所述当前帧图像中的待检测轮廓区域； 依据所述待检测轮廓区域的各个像素点的像素值，及所述各个像素点与上一帧图像对 应像素点的亮度差值，构建能量方程； 利用graph-cut (图分割）算法求解所述能量方程的最小值，以获得所述图分割算法对 应的图结构中每个结点的二值标记；其中，所述图结构中各个结点与所述待检测轮廓区域 中各个像素点 对应； 依据所述图结构中每个结点的二值标记，提取所述当前帧图像中的人物区域。
2. 根据权利要求1所述的方法，其特征在于，所述以预设人体轮廓模型为依据，确定所 述当前帧图像中的待检测轮廓区域，包括：
获取预设人体轮廓模型中左眼右眼间距值EiE2、左眼嘴巴间距值、右眼嘴巴间距值 E2Mi，并获取所述当前帧图像中左眼右眼间距值Eil、左眼嘴巴间距值EW、右眼嘴巴间距值 ErM ； 凇 -中的最大值确定为模型缩放系数； 依据所述模型缩放系数，对所述预设人体轮廓模型进行缩放，并将所述缩放后的预设 人体轮廓模型在所述当前帧图像中的覆盖区域确定为待检测轮廓区域。
3. 根据权利要求1所述的方法，其特征在于，所述依据所述待检测轮廓区域的各个像 素点的像素值，及所述各个像素点与上一帧图像对应像素点的亮度差值，构建能量方程，包 括： 依据所述待检测轮廓区域内边缘线像素点的像素值及外边缘像素点的像素值，确定能 量方程的数据项；其中，所述数据项表征待检测区域的各个像素点的所属区域概率；所述 所属区域概率包括前景概率及背景概率； 依据所述待检测轮廓区域内每个像素点与各自相邻像素点的像素值之差，确定能量方 程的平滑项； 依据所述待检测轮廓区域内每个像素点与与上一帧图像对应像素点的亮度差值，确定 能量方程的运动项； 由所述数据项、平滑项及运动项，构建能量方程。
4. 根据权利要求1或3所述的方法，其特征在于，所述构建的能量方程为：
所述Ed(li)为数据项山为待检测轮廓区域的像素点i的所属区域概率；待检测轮廓 区域内边缘线像素点i的所属区域概率为前景概率时对应的Ed(li)为0 ;待检测轮廓区域 内边缘线像素点i的所属区域概率为背景概率时对应的Ed(li)为…；待检测轮廓区域外 边缘线像素点i为前景概率时对应的EdQi)为;待检测轮廓区域外边缘线像素点i的所 属区域概率为背景概率时对应的E d(li)为0 ;待检测轮廓区域内部像素点i的所属区域概 率li为前景概率时，依据
获得对应的Ed(li);待检测轮廓区域内部 像素点i的所属区域概率li为背景概率时，依据
获得对应的Ed(li); 其中：df(Xi) =-ln(Pf(x))，Pf(x)为待检测轮廓区域内部像素点i的前景概率；db(x) =-ln(Pb(x))，Pb(x)为待检测轮廓区域内部像素点i的背景概率； 所述Ejlpip为平滑项；（i，j) e ε表示像素点j为像素点i的相邻像素点，且平滑 项依据
.获得；其中，ε为预设常数，e 为自然对数函数的底数，β为预设调整系数，I |xi_Xj| I2为范数，表征像素点i与像素点j 的相似度，Xi为像素点i的像素值，Xj为像素点j的像素值； 所述Επ(υ为运动项；待检测轮廓区域像素点i的亮度值与上一帧亮度值之差超过预 设阈值时对应的EJU为1，否则，EJU为0 ; 所述λ及Π为预设系数。
5. 根据权利要求3所述的方法，其特征在于，所述依据所述待检测轮廓区域内边缘线 像素点的像素值及外边缘像素点的像素值，确定能量方程的数据项，包括： 将所述待检测轮廓区域内边缘线像素点确定为前景像素点，并将所述待检测轮廓区域 外边缘线像素点确定为背景像素点； 利用高斯混合模型聚类算法，分别对所述前景像素点的像素值及所述背景像素点的像 素值进行聚类，以构建各自对应的概率模型； 依据所述各自对应的概率模型，获取所述待检测轮廓区域内各个像素点的所属区域概 率；其中，所述所属区域概率包括前景概率及背景概率； 依据所述前景像素点的所属区域概率、背景像素点的所属区域概率及所述待检测轮廓 区域内各个像素点的所属区域概率，确定能量方程的数据项。
6. -种视频抠图装置，其特征在于，包括： 帧图像获取单元，用于获取视频流的当前帧图像； 轮廓区域确定单元，用于以预设人体轮廓模型为依据，确定所述当前帧图像中的待检 测轮廓区域； 能量方程构建单元，用于依据所述待检测轮廓区域的各个像素点的像素值，及所述各 个像素点与上一帧图像对应像素点的亮度差值，构建能量方程； 二值标记获得单元，用于利用graph-cut (图分割）算法求解所述能量方程的最小值， 以获得所述图分割算法对应的图结构中每个结点的二值标记；其中，所述图结构中各个结 点与所述待检测轮廓区域中各个像素点--对应； 人物区域提取单元，用于依据所述图结构中每个结点的二值标记，提取所述当前帧图 像中的人物区域。
7. 根据权利要求6所述的装置，其特征在于，所述轮廓区域确定单元包括： 间距值获取子单元，用于获取预设人体轮廓模型中左眼右眼间距值EA、左眼嘴巴间距 值、右眼嘴巴间距值E2Mi，并获取所述当前帧图像中左眼右眼间距值、左眼嘴巴间距 值E1M、右眼嘴巴间距值E,M;
缩放系数确定子单元，用于将 中的最大值确定为模型缩放系 数； 轮廓区域确定子单元，用于依据所述模型缩放系数，对所述预设人体轮廓模型进行缩 放，并将所述缩放后的预设人体轮廓模型在所述当前帧图像中的覆盖区域确定为待检测轮 廓区域。
8. 根据权利要求6所述的装置，其特征在于，所述能量方程构建单元包括： 数据项确定子单元，用于依据所述待检测轮廓区域内边缘线像素点的像素值及外边缘 像素点的像素值，确定能量方程的数据项；其中，所述数据项表征待检测区域的各个像素点 的所属区域概率；所述所属区域概率包括前景概率及背景概率； 平滑项确定子单元，用于依据所述待检测轮廓区域内每个像素点与各自相邻像素点的 像素值之差，确定能量方程的平滑项； 运动项确定子单元，用于依据所述待检测轮廓区域内每个像素点与与上一帧图像对应 像素点的亮度差值，确定能量方程的运动项； 方程构建子单元，用于由所述数据项、平滑项及运动项，构建能量方程。
9. 根据权利要求6或8所述的装置，其特征在于，所述构建的能量方程为：
所述Ed(li)为数据项山为待检测轮廓区域的像素点i的所属区域概率；待检测轮廓 区域内边缘线像素点i的所属区域概率为前景概率时对应的Ed(li)为0 ;待检测轮廓区域 内边缘线像素点i的所属区域概率为背景概率时对应的Ed(li)为…；待检测轮廓区域外 边缘线像素点i为前景概率时对应的EdQi)为;待检测轮廓区域外边缘线像素点i的所 属区域概率为背景概率时对应的E d(li)为0 ;待检测轮廓区域内部像素点i的所属区域概 率li为前景概率时，依据
获得对应的Ed(li);待检测轮廓区域内部 像素点i的所属区域概率li为背景概率时，依据
获得对应的Ed(li); 其中：df(Xi) =-ln(Pf(x))，Pf(x)为待检测轮廓区域内部像素点i的前景概率；db(x) =-ln(Pb(x))，Pb(x)为待检测轮廓区域内部像素点i的背景概率； 所述Ejlpip为平滑项；（i，j) e ε表示像素点j为像素点i的相邻像素点，且平滑 项依据
_获得；其中，ε为预设常数，e 为自然对数函数的底数，β为预设调整系数，I |xi_Xj| I2为范数，表征像素点i与像素点j 的相似度，Xi为像素点i的像素值，Xj为像素点j的像素值； 所述Επ(υ为运动项；待检测轮廓区域像素点i的亮度值与上一帧亮度值之差超过预 设阈值时对应的EJU为1，否则，EJU为Ο ; 所述λ及η为预设系数。
10.根据权利要求8所述的装置，其特征在于，所述数据项确定子单元包括： 种子像素点确定子单元，用于将所述待检测轮廓区域内边缘线像素点确定为前景像素 点，并将所述待检测轮廓区域外边缘线像素点确定为背景像素点； 概率模型构建子单元，用于利用高斯混合模型聚类算法，分别对所述前景像素点的像 素值及所述背景像素点的像素值进行聚类，以构建各自对应的概率模型； 所属区域概率获取子单元，用于依据所述各自对应的概率模型，获取所述待检测轮廓 区域内各个像素点的所属区域概率；其中，所述所属区域概率包括前景概率及背景概率； 数据项获得子单元，用于依据所述前景像素点的所属区域概率、背景像素点的所属区 域概率及所述待检测轮廓区域内各个像素点的所属区域概率，确定能量方程的数据项。
【文档编号】G06T7/00GK104156959SQ201410389234
【公开日】2014年11月19日 申请日期:2014年8月8日 优先权日:2014年8月8日
【发明者】阮春雷, 王鼎 申请人:中科创达软件股份有限公司