一种基于图像块外轮廓及其角点对图像块进行切割和填补的方法与流程

本发明涉及图像识别技术领域，特别涉及一种基于图像块外轮廓及其角点对图像块进行切割和填补的方法。

背景技术：

在使用图像对物体特征进行学习时，通常先对物体图像块进行分割，后再在分割出来的物体图像块上进行学习，这样可以排除背景所带来的干扰，但是，现有的分割算法还存在以下不足之处：

1．不一定能准确分割出物体所在的图像块，因此，有必要对分割出来的图像块进行处理，以便能更准确的对物体图像进行学习；

2．容易产生过分割或者欠分割的分割结果，过分割指将本来属于一个整体的目标分割成了多个部分，欠分割指将目标与背景或是其他物体混在了一起，未能有效分割开。

技术实现要素：

本发明要解决的技术问题是：提供一种能准确分割出物体所在图像块的基于图像块外轮廓及其角点对图像块进行切割和填补的方法，以克服已有技术所存在的上述不足。

本发明采取的技术方案是：一种基于图像块外轮廓及其角点对图像块进行切割和填补的方法，包括以下步骤：

a．首先提取物体所在的图像块区域，以二值掩码的形式表示，再缩放图像，提取出掩码的轮廓，以面积最大的闭合轮廓作为物体的外轮廓；

b．提取物体外轮廓上的角点；

c．区分角点的凹凸性；

d．若没有凹点，则所提取的轮廓较为完整，不需对图像块进行切割或填补，若有凹点，则进入步骤e；

e．提取轮廓的凸包和凸缺陷，若一个凸缺陷轮廓上的点与凸包的最大距离超过设定值m，则该凸缺陷为明显凸缺陷，反之则为非明显凸缺陷，所述m的取值范围为19≤m≤29；

f．针对明显凸缺陷填补物体图像块；

g．以轮廓紧凑度为依据对凹点进行匹配，切割物体图像块：

g1．设一个封闭、无自交的轮廓a的周长为l，面积为s，计算轮廓a的轮廓紧凑度cmt，公式如下：

，

若轮廓a被其上两个点a、b分割成a1、a2两段轮廓，且线段ab与轮廓a没有除a、b外的交点，则a1、a2与线段ab分别组成新的闭合轮廓b1、b2，计算轮廓b1、b2带来的紧凑度变化，公式如下：

，

其中，s1、s2分别为b1、b2的面积，l1、l2分别为b1、b2的周长，cmt1、cmt2分别为b1、b2的紧凑度；

g2．若步骤c中得到的凹点数量大于1，则设物体原始轮廓的紧凑度为cmt0，i和j为轮廓上两个不同的凹点，若凹点i与凹点j的连线切割出来的轮廓所带来的的紧凑度变化大于凹点i与其它任意一个凹点的连线切割出来的轮廓所带来的紧凑度变化，则凹点i的匹配结果为凹点j，若凹点j的匹配结果亦为凹点i，且δcmt大于给定值n，则凹点i与凹点j为一对互相匹配的凹点，所述n=n0×cmt，所述n0的取值范围为0.04≤n0≤0.06；

g3．若步骤c中得到的凹点数量等于1，则按照步骤g2，从步骤e之非明显凸缺陷轮廓上的物体外轮廓点中，找出一点k，使得点k与该凹点i的连线切割出来的新图像块的轮廓紧凑度变化最大，且连线的长度大于给定值d，则点k为凹点i的匹配结果，所述d的取值范围为16≤d≤20；

g4．根据步骤g2和g3找出所有互相匹配的点，两点连线形成切割线，每对点（即每对切割线）产生一组新的轮廓，对每个轮廓内部填充，得到多个图像块的二值掩码，将其与原来的物体图像块二值掩码做“逻辑与”操作（即两个掩码在相同位置的像素值都大于0，则结果为真），每一组新的轮廓产生一组图像块的切割结果，完成切割。

其进一步的技术方案为：所述步骤a中采用图像分割算法提取出物体所在的图像块区域；所述缩放图像具体为将图像的短边长度缩放至固定长度y，并保持新图的长宽比与原始图像相同，若新图的长宽比大于设定的最大长宽比x，则将新图的长宽比设为设定的最大长宽比x，所述x的取值范围为3.5≤x≤5.0，y的取值范围为100≤y≤150。

进一步：所述步骤c具体包括以下步骤：

c1．假设轮廓曲线的起点是轮廓最上方的点（如果有多个点，就取最左边的点），则轮廓曲线的点以逆时针顺序依次连接；

c2．确定角点的凹凸性，公式如下：

x0=xi－xi-s，y0=yi－yi-s，x1=xi+s－xi，y1=yi+s－yi，

则角点凹凸类型：

，

式中，s为预先设定的值，（xi-s，yi-s）、（xi，yi）和（xi+s，yi+s）分别为，从轮廓起始点开始，逆时针数到第i-s、第i和第i+s个点的坐标，concave为凹点，convex为凸点，x0y1－x1y0为向量叉积，所述s的取值范围为2≤s≤7，

选取两个s值，分别计算出两个向量叉积，取其和作为最终叉积值，并通过向量叉积正负来判断点i－s→i→i+s的顺逆方向，若叉积为正，则方向为顺时针，i是凹点，若叉积为负，则方向为逆时针，i是凸点。

进一步：所述步骤f具体包括以下步骤：

将步骤e中每一个明显凸缺陷的二值掩码ci与原物体图像块二值掩码做“逻辑并”操作（即若两个掩码在相同图像位置的像素值有一个大于0，则结果为真），得到填补好的物体图像块。

由于采用上述技术方案，本发明之一种基于图像块外轮廓及其角点对图像块进行切割和填补的方法具有如下有益效果：

1．本发明采用凸缺陷生成物体图像块的填补结果，可对分割算法所提取到的物体图像块做一个补充，缓解过分割问题，有利于学习到更完整的物体特征；

2．本发明以轮廓紧凑度代表轮廓的规则程度，用轮廓紧凑度变化作为匹配依据，对凹点进行匹配，生成物体图像块的切割结果，可对分割算法所提取到的图像块做拆分，缓解欠分割问题，不仅有利于切割出有价值的图像块（例如物体的一个零件、一个组成部分），还有利于后续能学习到物体某个组成部分的特征。

下面结合附图和实施例对本发明之一种基于图像块外轮廓及其角点对图像块进行切割和填补的方法的技术特征作进一步的说明。

附图说明

图1为本发明实施例之方法流程图；

图2为本发明实施例之物体原始图像示意图；

图3-图5为本发明实施例之切块结果示意图；

图3为物体二值掩码及切割线示意图，图4-图5为切割后的物体块二值掩码；

图6-图8为本发明实施例之补块结果示意图；

图6为物体二值掩码及补线示意图，图7为填补后的物体块二值掩码示意图，图8为用来填补的物体块二值掩码示意图。

具体实施方式

实施例

一种基于图像块外轮廓及其角点对图像块进行切割和填补的方法，如图1所示，包括以下步骤：

a．首先采用图像分割算法提取物体所在的图像块区域，以二值掩码的形式表示（二值掩码中像素值大于0的部分为物体所在的图像块区域），再缩放图像，即将图像的短边长度缩放至固定长度128个像素，并保持新图的长宽比与原始图像相同，若新图的长宽比大于设定的最大长宽比4.0，则将新图的长宽比设为4.0，最后采用轮廓提取算法提取出掩码的轮廓，以面积最大的闭合轮廓作为物体的外轮廓；

b．提取物体外轮廓上的角点；

c．区分角点的凹凸性；

c1．假设轮廓曲线的起点是轮廓最上方的点（如果有多个点，就取最左边的点），则轮廓曲线的点以逆时针顺序依次连接；

c2．确定角点的凹凸性，公式如下：

x0=xi－xi-s，y0=yi－yi-s，x1=xi+s－xi，y1=yi+s－yi，

则角点凹凸类型：

，

式中，s为预先设定的值，（xi-s，yi-s）、（xi，yi）和（xi+s，yi+s）分别为，从轮廓起始点开始，逆时针数到第i-s、第i和第i+s个点的坐标，concave为凹点，convex为凸点，x0y1－x1y0为向量叉积，所述s的取值范围为2≤s≤7，

选取两个s值3、5，分别计算出两个向量叉积，取其和作为最终叉积值，由于设定轮廓上的每个点是逆时针顺次连接，因此通过向量叉积正负来判断点i－s→i→i+s的顺逆方向，若叉积为正，则方向为顺时针，i是凹点，若叉积为负，则方向为逆时针，i是凸点；

d．若没有凹点，则所提取的轮廓较为完整，不需对图像块进行切割或填补，若有凹点，则进入步骤e；

e．采用轮廓凸包提取方法（sklansky,j.等的“findingtheconvexhullofasimplepolygon”一文中提出的方法或其他可用来提取轮廓凸包的方法）提取轮廓的凸包和凸缺陷，若一个凸缺陷轮廓上的点与凸包的最大距离超过设定值24个像素，则该凸缺陷为明显凸缺陷，反之则为非明显凸缺陷；

f．针对明显凸缺陷填补物体图像块，将步骤e中每一个明显凸缺陷的二值掩码ci与原物体图像块二值掩码做“逻辑并”操作（即若两个掩码在相同图像位置的像素值有一个大于0，则结果为真），得到填补好的物体图像块，即不同的物体图像块的填补结果，有利于学习到更完整的物体特征；

g．以轮廓紧凑度为依据对凹点进行匹配，切割物体图像块，目标是找到一对凹点，它们的连线与物体外轮廓的交点只有它们自己，找到之后，连接这对凹点，把一个大的物体闭合外轮廓分为两个小的闭合轮廓，

g1．设一个封闭、无自交的轮廓a的周长为l，面积为s，定义并计算轮廓a的轮廓紧凑度cmt，公式如下：

，

若轮廓a被其上两个点a、b分割成a1、a2两段轮廓，且线段ab与轮廓a没有除a、b外的交点，则a1、a2与线段ab分别组成新的闭合轮廓b1、b2，计算轮廓b1、b2带来的紧凑度变化，公式如下：

，

其中，s1、s2分别为b1、b2的面积，l1、l2分别为b1、b2的周长，cmt1、cmt2分别为b1、b2的紧凑度；

g2．若步骤c中得到的凹点数量大于1，则设物体原始轮廓的紧凑度为cmt0，i和j为轮廓上两个不同的凹点，若凹点i与凹点j的连线切割出来的轮廓所带来的的紧凑度变化大于凹点i与其它任意一个凹点的连线切割出来的轮廓所带来的紧凑度变化，则凹点i的匹配结果为凹点j，若凹点j的匹配结果亦为凹点i，且δcmt大于给定值n（n=0.05×cmt），则凹点i与凹点j为一对互相匹配的凹点；

g3．若步骤c中得到的凹点数量等于1，则按照步骤g2，从步骤e之非明显凸缺陷轮廓上的物体外轮廓点中，找出一点k，使得点k与该凹点i的连线切割出来的新图像块的轮廓紧凑度变化最大，且连线的长度大于16个像素，则点k为凹点i的匹配结果；

g4．根据步骤g2和g3找出所有互相匹配的点，两点连线形成切割线，每对点（即每对切割线）产生一组新的轮廓，并保证切割线全部在块内，对每个轮廓内部填充，得到多个图像块的二值掩码，将其与原来的物体图像块二值掩码做“逻辑与”操作（即两个掩码在相同位置的像素值都大于0，则结果为真），每一组新的轮廓产生一组图像块的切割结果，完成切割，有利于切割出有价值的图像块（例如物体的一个零件、一个组成部分），还有利于后续能学习到物体某个组成部分的特征。

以上实施例仅为本发明的较佳实施例，本发明的方法并不限于上述实施例列举的形式，凡在本发明的精神和原则之内所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。