一种基于GrabCut算法的图像分割方法及显示设备与流程
本申请涉及图像分割技术领域，尤其涉及一种基于grabcut算法的图像分割方法及显示设备。
背景技术：
图像语义分割(以下简称图像分割)能够确定出待分割图像中不同类型的目标图像，是图像识别、机器视觉等领域的重要组成部分。以图1所示的餐桌照片为例，通过图像分割能够从该餐桌照片中分割出餐盘、花瓶、餐椅等不同类型的图像。
grabcut图像分割算法是一种常用的图像语义分割算法。但是，grabcut算法是一种交互式算法，即机器在运行该算法的过程中，需要用户在待分割图像中标注出图像的前景和背景，随后，机器才能够根据该前景和背景分割出目标图像，导致图像分割效率较低。因此，亟待提供一种高效的图像分割方法。
技术实现要素：
本申请提供了一种基于grabcut算法的图像分割方法及显示设备，用于解决现有图像分割方法分割效率低的问题。
第一方面，本实施例提供过一种基于grabcut算法的图像分割方法，包括：
使用目标检测模型，在待分割图像中确定至少一个目标区域，每一个所述目标区域内均包括目标图像；
在所述待分割图像中，将所述目标区域的中心区域标注为前景，将所述目标区域之外的区域标注为背景；
利用grabcut算法，根据所述前景和所述背景，从所述待分割图像中分割出所述目标图像。
在第一方面的第一种实现方式中，所述目标检测模型的确定过程包括：
获取多个样本图像，每个所述样本图像均包括所述目标图像；
确定每一个所述样本图像中用户标注的目标区域，所述目标区域内包括所述目标图像；
将经过标注的所述样本图像划分为训练样本和测试样本；
根据深度学习算法生成目标检测模型，并根据所述训练样本，训练所述目标检测模型检测所述目标图像；
根据所述测试样本测试经过训练的目标检测模型。
在第一方面的第二种实现方式中，根据所述测试样本测试经过训练的目标检测模型，包括：
使用目标检测模型检测所述测试样本，获得检测结果；
将所述检测结果与用户的标注结果进行比较，确定目标检测模型标注的目标区域的正确率；
根据所述正确率，判断所述经过训练的目标检测模型是否合格。
在第一方面的第三种实现方式中，利用grabcut算法，根据所述前景和所述背景，从所述待分割图像中分割出所述目标图像，包括：
构建前景高斯混合模型和背景高斯混合模型；
对前景高斯混合模型和背景高斯混合模型进行迭代调优，确定目标区域中的背景和目标图像。
通过bordermatting算法对分割的边界进行平滑后处理。
第二方面，本实施例提供一种显示设备，包括：
检测模块，用于使用目标检测模型，在待分割图像中确定至少一个目标区域，每一个所述目标区域内均包括目标图像；
标注模块，用于在所述待分割图像中，将所述目标区域的中心区域标注为前景，将所述目标区域之外的区域标注为背景；
分割模块，用于利用grabcut算法，根据所述前景和所述背景，从所述待分割图像中分割出所述目标图像。
在第二方面的第一种实现方式中，所述目标检测模型的确定过程包括：
获取多个样本图像，每个所述样本图像均包括所述目标图像；
确定每一个所述样本图像中用户标注的目标区域，所述目标区域内包括所述目标图像；
将经过标注的所述样本图像划分为训练样本和测试样本；
根据深度学习算法生成目标检测模型，并根据所述训练样本，训练所述目标检测模型检测所述目标图像；
根据所述测试样本测试经过训练的目标检测模型。
在第二方面的第二种实现方式中，根据所述测试样本测试经过训练的目标检测模型，包括：
使用目标检测模型检测所述测试样本，获得检测结果；
将所述检测结果与用户的标注结果进行比较，确定目标检测模型标注的目标区域的正确率；
根据所述正确率，判断所述经过训练的目标检测模型是否合格。
在第二方面的第三种实现方式中，所述分割模块具体用于：
构建前景高斯混合模型和背景高斯混合模型；
对前景高斯混合模型和背景高斯混合模型进行迭代调优，确定目标区域中的背景和目标图像。
通过bordermatting算法对分割的边界进行平滑后处理。
本申请提供的技术方案包括以下有益技术效果：
本实施例提供的基于grabcut算法的图像分割方法和显示设备，能够通过目标检测模型检测出的目标图像所在区域，采用自动交互标注待分割图像的前景和背景，最后通过迭代计算最大流和最小割实现前景和背景分割，确定出目标图像，无需与用户进行交互，图像分割效率较高。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本实施例示例性提供的一个包含目标图像的图像。
图2中示例性示出了根据实施例中目标检测模型的确定方法的流程图；
图3中示例性示出了根据实施例中用户标注结果的示意图；
图4中示例性示出了根据实施例中一种基于grabcut算法的图像分割方法流程图；
图5为本实施例示例性提供的待分割图像；
图6中示例性示出了根据实施例中目标检测模型的标注示意图；
图7中示例性示出了根据实施例中显示设备的结构示意图。
具体实施方式
为使本申请示例性实施例的目的、技术方案和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
本申请实施例提供一种基于grabcut算法的图像分割方法，应用于电视终端、智能手机、电脑等智能显示设备，用于从待分割图像中分割出目标图像。例如，从图1示出的图像中分割出餐盘。由于该方法的执行依赖于一个目标检测模型，该目标检测模型用于检测出待分割图像中的目标图像所在的区域(即目标区域)，例如检测出图1中的餐盘所在的区域。因此，本申请实施例首先对该目标检测模型进行一个详细的说明。
请参阅图2，本申请实施例提供的目标检测模型的确定过程，包括如下步骤s201-s205。
步骤s201，显示设备获取多个样本图像，每个样本图像均包括目标图像。
样本图像用于训练或者测试目标检测模型，使目标检测模型能够实现检测特定目标图像的功能。样本图像的类型，根据目标检测模型通过该样本图像的训练和测试，所能够实现的功能来确定，并且每一个样本图像中的目标图像的种类至少为一种，当然也可以为两种或者多种。
在一个示例中，用户希望目标检测模型通过样本图像的训练和测试，能够实现检测餐盘的功能，那么该样本图像则为包括有餐盘的样本图像。
在另一示例中，用户希望目标检测模型通过样本图像的训练和测试，能够实现检测花瓶的功能，那么该样本图像则为包括有花瓶的样本图像。
在又一示例中，用户希望目标检测模型通过样本图像的训练和测试，能够实现检测餐盘和花瓶的功能，那么该样本图像则可以为同时包括有花瓶的样本图像。
样本图像可以从开源数据集(如网站)获取，也可以由用户自行构造(如自行拍摄样本图像)，或者采用二者结合的方式等，本实施例对此不进行限制。样本图像的数量可以为数百至数千张，以保证目标检测模型的检测精度。
此外，需要说明的是，这些样本图像构成一个图像集，该图像集包含的目标图像越多样化，最终确定的目标检测模型在检测目标图像时的鲁棒性就越好。例如，该多样化的目标图像可以为不同拍摄角度、不同光照条件、不同拍摄背景的目标图像等。
步骤s202，显示设备确定每一个样本图像中用户标注的目标区域，该目标区域内包括目标图像。
在每一张样本图像中，用户可以通过鼠标用一个矩形框将目标图像框起来，该矩形框所框选的区域即为目标区域，并给该目标图像添加标签，该标签用于表征目标图像的类别。示例性的，当样本图像是图1所示的餐桌图像、目标图像是餐盘时，该目标图像的标注结果可以如图3所示。
步骤s203，显示设备将经过标注的样本图像划分为训练样本和测试样本。
训练样本用于对目标检测模型进行训练，使目标检测模型具有识别目标图像的功能。测试样本用于检测经过训练的目标检测模型，以评估该模型是否合格。
训练样本和测试样本的占比可以根据预先的配置确定。示例性的，训练样本的数量可以占样本图像总数量的80％，测试样本可以占样本图像总数量的20％。
步骤s204，显示设备根据深度学习算法生成目标检测模型，并根据训练样本，训练目标检测模型检测目标图像。
作为一种可选的实施方式，显示设备可以根据yolo-v3目标检测算法生成一个目标检测模型，并根据目标图像为餐盘的训练样本，训练该目标检测模型检测餐盘。
yolo-v3目标检测算法是一种深度学习算法，性能较好，能够检测到较小尺寸的目标，检测精确精确高于其他算法，例如ssd(singleshotmultiboxdetector)算法。
经过训练的目标检测模型，具备从被检测的图像中确定出目标图像的功能。例如，该目标检测模型可从图5示例性示出的图像中检测出餐盘所在的矩形区域。
步骤s205，显示设备根据测试样本测试经过训练的目标检测模型。
在进行测试的过程中，目标检测模型会逐一检测测试样本，在每一个测试样本中标注出目标区域，并确定目标区域的类型。显示设备会将测试结果与用户的标注结果进行对比，确定目标检测模型标注的正确率，当正确率达到预设的比例，例如98％以上时，则认为该目标检测模型通过测试，合格。
请参阅图4，本实施例提供一种基于grabcut算法的图像分割方法，该方法包括图下步骤s401-s403。
步骤s401，显示设备使用目标检测模型，在待分割图像中确定至少一个目标区域，每一个目标区域内均包括目标图像。
在该步骤s401中，目标检测模型为经过步骤s201-s205训练和测试的模型，其具备检测目标图像的功能。以目标检测模型能够检测餐盘为例，以待分割图像为如图5示出的图像为例，显示设备能够在该待分割图像中确定一个目标区域，例如图6所示，显示设备可以用矩形框框选出一个包含目标图像的目标区域。
步骤s402，在待分割图像中，显示设备将目标区域的中心区域标注为前景，将目标区域之外的区域标注为背景。
其中，需要说明的是，在步骤s402中，前景和背景的标注是根据步骤s401确定的目标区域自动进行标注的，无需用户参与。
步骤s403，显示设备利用grabcut算法，根据前景和背景，从待分割图像中分割出目标图像。
在该步骤s403中，首先，构建前景高斯混合模型(gaussianmixturemodel，gmm)和背景高斯混合模型，以描述前景与背景的像素分布情况。前景高斯混合模型和背景高斯混合模型均包括k个高斯分量，并包括k个高斯分量的所有协方差，k为预设数值，例如k＝5。前景高斯混合模型和背景高斯混合模型的概率计算公式如公式(1)所示。
在公式(1)中，
其次，通过对前景高斯混合模型和背景高斯混合模型进行迭代调优，确定目标区域中的背景和目标图像，也就是目标区域中的前景区域和背景区域。该过程具体如下所示：
结合前景高斯混合模型和背景高斯混合模型，通过公式(2)计算待分割图像的gibbs能量函数。
e(α,k,θ,z)＝u(α,k,θ,z)+v(α,z)(2)
在公式(2)中，u为区域项，v为边界项。
区域项u将像素点归类为前景或背景的惩罚计算公式为：
判断一个像素点为前景或者背景的惩罚也就是该像素属于前景或背景的概率负对数，即
d(αn,kn,θ,zn)＝-logp(zn|αn,kn,θ)-logπ(αn,kn)(4)
其中，p(·)为高斯概率分布，π(·)为混合权重系数。
将公式(1)代入公式(4)可得：
其中，z＝(z1,...,zn,...,zn)，为rgb像素值；k＝(k1,...,kn,...,kn)，kn∈{1,...,k}；θ＝{π(α,k),μ(α,k),σ(α,k),α＝0,1,k＝1...k}，π是每一个高斯分量的权重，μ每个高斯分量rgb三个元素向量的均值向量，σ为rgb向量对应的3×3协方差矩阵。
边界项v的分割估计方法如公式(6)所示：
其中，γ为常数，例如50；β由图像对比度决定。
公式(6)用于计算相邻两个像素之间的欧氏距离，即b,g,r向量的二阶矩。若两个邻域像素差别越小，则其属于同一目标或同一背景可能性越大；若两个邻域像素差别越大，则被分开的可能性越大。故像素差别越大，其能量越小。
在计算图像分割计算的过程中，对公式(2)进行迭代，在公式(2)中，对于每一个像素点，像素点z取0表示该像素点为背景，取1表示该像素点为前景，每一次迭代都会交互地优化高斯混合模型和分割结果，直至能量最小时迭代收敛，获得图像分割结果。
α＝argmine(α,k,θ,z)(7)
最后，采用bordermatting算法对分割的边界进行平滑后处理，以避免毛刺。
本实施例提供的基于grabcut算法的图像分割方法，通过目标检测模型检测出的目标图像所在区域，采用自动交互标注待分割图像的前景和背景，最后通过迭代计算最大流和最小割实现前景和背景分割，确定出目标图像。该方法在进行图像分割的过程中，无需与用户进行交互，显著提高了图像分割效率。
此外，grabcut算法中高斯混合模型中区域项反映像素集合的整体特性，边界项反映像素之间的差异，能很好地分割出目标区域，保证分割的精度。
基于上述本实施例提供的一种基于grabcut算法的图像分割方法，本实施例还提供一种显示设备，该显示设备包括如下组件。
检测模块701，用于使用目标检测模型，在待分割图像中确定至少一个目标区域，每一个目标区域内均包括目标图像。
标注模块702，用于在待分割图像中，将目标区域的中心区域标注为前景，将目标区域之外的区域标注为背景。
分割模块703，用于利用grabcut算法，根据前景和背景，从待分割图像中分割出目标图像。
可选的，目标检测模型的确定过程包括：获取多个样本图像，每个样本图像均包括目标图像。确定每一个样本图像中用户标注的目标区域，目标区域内包括目标图像。将经过标注的样本图像划分为训练样本和测试样本。根据深度学习算法生成目标检测模型，并根据训练样本，训练目标检测模型检测目标图像。根据测试样本测试经过训练的目标检测模型。
可选的，根据测试样本测试经过训练的目标检测模型，包括：使用目标检测模型检测测试样本，获得检测结果；将检测结果与用户的标注结果进行比较，确定目标检测模型标注的目标区域的正确率；根据正确率，判断经过训练的目标检测模型是否合格。
可选的，分割模块703具体用于，构建前景高斯混合模型和背景高斯混合模型；对前景高斯混合模型和背景高斯混合模型进行迭代调优，确定目标区域中的背景和目标图像；通过bordermatting算法对分割的边界进行平滑后处理。
本实施例提供的显示设备，能够通过目标检测模型检测出的目标图像所在区域，采用自动交互标注待分割图像的前景和背景，最后通过迭代计算最大流和最小割实现前景和背景分割，确定出目标图像。该显示设备在进行图像分割的过程中，无需与用户进行交互，分割效率较高。
基于本申请中示出的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。
应当理解，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
- 还没有人留言评论。精彩留言会获得点赞！