一种基于计算机视觉的塑料制品缩坑检测方法及系统与流程

1.本发明涉及人工智能技术领域，具体涉及一种基于计算机视觉的塑料制品缩坑检测方法及系统。


背景技术：

2.但凡是需要注射与压注成型的塑胶件产品，都必须先决定产品注塑模具的进料口的位置。进料口位置应根据材料的特性和注塑结构决定，人们往往是根据经验来决定进料口位置，但对于较复杂或结构较为新颖的塑料模型，在没有先验知识的情况下，进料口位置的确定就成为了一个难题。在注塑工艺过程中，缩坑为常见的缺陷，缩坑的形成会影响塑料产品的质量，对于同一个注塑件，可以用不同的注塑模型进行生产，此时可以通过对不同进料口的注塑模型进行评判，从而得到一个较佳的塑料模型。因此需要一个通用的缺陷检测方法。
3.现有技术中对于缺陷检测可通过计算机视觉方法提取图像中的缺陷区域的特征并进行分类识别。但是对于塑料产品的缩坑缺陷而言，特征不明显，缩坑区域的像素特征与其他正常区域的像素特征差异不大，利用像素特征进行分类识别容易造成误识别的错误。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供一种基于计算机视觉的塑料制品缩坑检测方法及系统，所采用的技术方案具体如下：本发明提出了一种基于计算机视觉的塑料制品缩坑检测方法，所述方法包括：获取塑料产品图像；获取所述塑料产品图像中每个像素点的梯度幅值和梯度方向；获得所述塑料产品图像中每个像素点与预设邻域范围内其他像素点的所述梯度方向的方向差异平均值，保留所述邻域范围内小于所述方向差异平均值的所述其他像素点作为待选边界点；根据所述邻域范围的中心点和相邻的所述待选边界点获得待选边界曲线；所述待选边界曲线的像素点连续且所述梯度方向递增或者递减；统计每个像素点的所述待选边界曲线，以连续且闭合的所述待选边界曲线的组合作为闭合区域边界；所述闭合区域边界围成的区域作为待选缩坑区域；将待缩坑区域中心点与闭合区域边界像素点相连，获得多条区域内部线段；以所述区域内部线段上像素点的所述梯度幅值构建幅值序列；获得所述幅值序列中的最小梯度幅值点；所述最小梯度幅值点将所述幅值序列分为第一幅值子序列和第二幅值子序列；若所述待缩坑区域中心点到所述最小幅值点的所述第一幅值子序列的所述梯度幅值递减且所述最小幅值点到所述闭合区域边界像素点的所述第二幅值子序列递增，则所述幅值序列为缩坑幅值序列；根据所述缩坑幅值序列对应像素点的像素值获得像素值序列；若所述像素值序列呈递增趋势，则认为所述区域内部线段为缩坑内部线段；若所述缩坑内部线段与所述区域内部线段的数量占比大于预设比例阈值，则判断对应的所述待选缩坑区域为缩坑
区域。
5.进一步地，所述获取塑料产品图像包括：采集初始塑料产品图像；将所述初始塑料产品图像送入预先训练好的语义分割网络中去除背景信息，获得塑料产品图像。
6.进一步地，所述获取塑料产品图像后包括：通过直方图均衡化算法处理所述塑料产品图像。
7.进一步地，所述获得所述塑料产品图像中每个像素点与预设邻域范围内其他像素点的所述梯度方向的方向差异平均值，保留所述邻域范围内小于所述方向差异平均值的所述其他像素点作为待选边界点包括：获得每个像素点在所述邻域范围内的邻域梯度方向矩阵；根据所述邻域梯度方向矩阵的中心点和所述其他像素点的所述梯度方向的差异获得梯度方向差异矩阵；以所述梯度方向差异矩阵中元素的均值作为所述方向差异平均值；若所述梯度方向差异矩阵的元素值小于所述梯度方向平均差异矩阵。则将对应位置的元素值置为一；否则，置为零，获得矩阵掩膜；将所述矩阵掩膜与所述邻域梯度方向矩阵相乘，获得所述待选边界点。
8.进一步地，所述统计每个像素点的所述待选边界曲线，以连续且闭合的所述待选边界曲线的组合作为闭合区域边界包括：统计每个像素点的所述待选边界曲线；根据所述待选边界线上像素点的坐标信息构建待选边界坐标序列；根据每个所述待选边界坐标序列中所述坐标信息的重复性判断所述待选边界曲线的组合是否闭合，获得每个闭合曲线作为所述闭合区域边界。
9.进一步地，判断述待缩坑区域中心点到所述最小幅值点的所述第一幅值子序列的所述梯度幅值递减包括：根据所述第一幅值子序列中每个元素与前一个元素的差异构建第一差异序列；统计所述第一差异序列中负数占比，若所述负数占比大于等于预设第一占比阈值，则认为所述第一幅值子序列递减。
10.进一步地，判断所述最小幅值点到所述闭合区域边界像素点的所述第二幅值子序列递增包括：根据所述第二幅值子序列中每个元素与前一个元素的差异构建第二差异序列；统计所述第二差异序列中正数占比，若所述正数占比大于等于预设第二占比阈值，则认为所述第二幅值子序列递增。
11.进一步地，所述判断对应的所述待选缩坑区域为缩坑区域后还包括：获得所述缩坑区域在所述塑料产品图像中的缺陷占比；若所述缺陷占比大于预设缺陷判断阈值，则将所述缩坑区域进行修复。
12.本发明还提出了一种基于计算机视觉的塑料制品缩坑检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现任意一项所述一种基于计算机视觉的塑料制品缩坑检测方法的步骤。
13.本发明具有如下有益效果：本发明实施例获得图像中的梯度信息，因为缩坑区域的边界可视为一个椭圆，因此缩坑区域边界线上每个像素点的梯度方向是连续且渐变的，根据该特征选出闭合区域边
界，获得待选缩坑区域。进一步考虑待选缩坑区域中可能存在其他不是缩坑区域的区域，需要根据缩坑区域的特征进一步进行筛选。利用缩坑区域边界和中心的梯度幅值特征和像素灰度特征将待缩坑区域进一步的筛选，准确的获得缩坑区域，避免了仅分析像素特征和像素差异造成的误识别。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
15.图1为本发明一个实施例所提供的一种基于计算机视觉的塑料制品缩坑检测方法流程图；图2为本发明一个实施例所提供的一种缩坑缺陷示意图；图3为本发明一个实施例所提供的一种缩坑缺陷区域边界梯度方向特征示意图。
具体实施方式
16.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于计算机视觉的塑料制品缩坑检测方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
17.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
18.下面结合附图具体的说明本发明所提供的一种基于计算机视觉的塑料制品缩坑检测方法及系统的具体方案。
19.请参阅图1，其示出了本发明一个实施例提供的一种基于计算机视觉的塑料制品缩坑检测方法流程图，该方法包括：步骤s1：获取塑料产品图像；获取塑料产品图像中每个像素点的梯度幅值和梯度方向。
20.请参阅图2其示出了本发明一个实施例所提供的一种缩坑缺陷示意图，图2中椭圆形虚线框内即缩坑缺陷，由图2可看出，缩坑区域内的像素值特征与正常表面的像素值特征相近，难以通过像素值特征进行分类识别。但是缩坑区域的边界和底部相对于其他区域的梯度信息存在一定特征，即边界梯度方向连续且渐变，中间与边界的梯度幅值较大，因此可根据塑料产品图像中像素点的梯度信息对缩坑区域进行定位。
21.为了实现快速且自动化的缺陷检测，在本发明实施例中，可将塑料产品放置在传送带上，通过传送带周围固定位置部署的相机获得塑料产品表面的全局图像。需要说明的是，需要调整相机采样速率与传送带运动速度，便于相机采集到清晰完整的图像。
22.相机拍摄的初始塑料产品图像中含有大量无用的背景信息，为了便于后续针对塑料产品的缺陷分析，需要将背景信息剔除。因此将初始塑料产品图像送入预先训练好的语
义分割网络中去除背景信息，获得仅包含塑料产品像素信息的塑料产品图像。在本发明实施例中，语义分割网络的具体训练方法包括：（1）以包含塑料产品的图像作为训练数据。将塑料产品像素标注为1，其他像素标注为0，获得标签数据。
23.（2）语义分割网络采用编码-解码结构，将训练数据和标签数据归一化后输入至网络中。语义分割编码器用于提取输入数据的特征，获得特征图。语义分割编码器将特征图进行采样变换，输出语义分割结果。根据语义分割结果生成掩膜，通过掩膜处理初始塑料产品图像，获得塑料产品图像。
24.（3）采用交叉熵损失函数对网络进行训练。
25.因为光源的不稳定会在塑料制品表面形成一定亮度的光斑，光斑对于图像像素分析过程来说为噪声信息，因此获得塑料产品图像后利用直方图均衡化算法处理，消除光照的影响。需要说明的是，直方图均衡化算法为本领域技术人员常用的技术手段，在此仅简述本发明实施例中所执行的方法步骤：（1）获取塑料产品图像的灰度直方图，统计灰度直方图中每个灰度级的出现频次。
26.（2）通过累积分布函数对每个灰度级出现的次数进行归一化，得到归一化后的直方图。
27.（3）根据归一化后的直方图重新计算新的像素值并对塑料产品图像赋值。
28.经过灰度直方图均衡化处理后的塑料产品图像增加了图像的对比度，削弱了光照的影响。获得塑料产品图像中每个像素点的梯度幅值和梯度方向。
29.在本发明实施例中，利用sobel算子获得每个像素点的梯度信息。
30.步骤s2：获得塑料产品图像中每个像素点与预设邻域范围内其他像素点的梯度方向的方向差异平均值，保留邻域范围内小于方向差异平均值的其他像素点作为待选边界点；根据邻域范围的中心点和相邻的待选边界点获得待选边界曲线；待选边界曲线的像素点连续且梯度方向递增或者递减。
31.缩坑区域为一个区域，因此存在连续的边界。请参阅图3，其示出了本发明一个实施例所提供的一种缩坑缺陷区域边界梯度方向特征示意图。如图3所示，椭圆形区域即为缩坑区域，箭头代表对应位置的边界像素点的梯度方向。边界像素点的梯度方向可视为垂直于椭圆形边界上对应位置切线的直线的方向，因此缩坑区域上的边界像素点的梯度风险应是连续且渐变的，如一小段边界曲线的梯度方向序列为[90
°
，91
°
，92
°
]，序列中相邻梯度方向差异一致且趋势连续。
[0032]
边界曲线为过多个像素点的连续，因此需要获得每个像素点与其邻域范围内的梯度方向信息，进而确定出可能与其构成边界曲线的其他像素点。
[0033]
获得塑料产品图像中每个像素点与预设邻域范围内其他像素点的梯度方向的方向差异平均值，保留邻域范围内小于方向差异平均值的其他像素点作为待选边界点。小于方向差异平均值的其他像素点说明与中心像素点的差异较小，可能与中心像素点构成小段边界曲线。具体图像处理过程包括：获得每个像素点在邻域范围内的邻域梯度方向矩阵。根据邻域梯度方向矩阵的中心点和其他像素点的梯度方向的差异获得梯度方向差异矩阵。以梯度方向差异矩阵中元素的均值作为方向差异平均值。
[0034]
若梯度方向差异矩阵的元素值小于梯度方向平均差异矩阵。则将对应位置的元素值置为一。否则，置为零，获得矩阵掩膜。将矩阵掩膜与邻域梯度方向矩阵相乘，获得待选边界点。
[0035]
需要说明的是，保留待选边界点是针对邻域范围内的中心像素点而言，并非在图像上将其他点去除。
[0036]
在本发明实施例中，邻域范围设置为8邻域范围。
[0037]
因为边界曲线上的梯度方向为连续且渐变的，因此对于待选边界点和中心点构成的待选边界线而言，待选边界线上的梯度方向应是连续且递增或者递减，如中心像素点的梯度方向为100
°
，其对应的待选边界点为101
°
、99
°
和98
°
，则待选边界线为[101
°
，100
°
，98
°
]和[101
°
，100
°
，99
°
]的两种形式，不可能为[98
°
，100
°
，99
°
]。根据该特征获得塑料产品图像内多条待选边界曲线。
[0038]
步骤s3：统计每个像素点的待选边界曲线，以连续且闭合的待选边界曲线的组合作为闭合区域边界；闭合区域边界围成的区域作为待选缩坑区域。
[0039]
因为待选边界线都为小段边界，因此需要寻找出合适的组合结果构成完整的区域边界曲线。统计每个像素点的待选边界曲线，以连续且闭合的所述待选边界曲线的组合作为闭合区域边界，具体包括：统计每个像素点的待选边界曲线；根据待选边界线上像素点的坐标信息构建待选边界坐标序列；根据每个待选边界坐标序列中坐标信息的重复性判断待选边界曲线的组合是否闭合，获得每个闭合曲线作为闭合区域边界。例如，以英文字母表示一个像素点的坐标信息一段待选边界坐标序列为[a,b,c]，另一段待选坐标序列为[b,c,d]，则说明两个待选边界坐标序列具有重复性，两段待选边界曲线可合组合为一大段边界曲线。经过组合可获得连续的曲线，以闭合状态的曲线作为闭合区域边界，坐标序列形式如[a,b,c,d
……
y,z,a]。
[0040]
闭合区域边界围成的区域即为待选缩坑区域。待选缩坑区域可能会因为图像分析的精度问题导致对应区域并非缩坑区域，因此需要根据梯度幅值特征进一步进行筛选。
[0041]
步骤s4：将待缩坑区域中心点与闭合区域边界像素点相连，获得多条区域内部线段；以区域内部线段上像素点的梯度幅值构建幅值序列；获得幅值序列中的最小梯度幅值点；最小梯度幅值点将幅值序列分为第一幅值子序列和第二幅值子序列；若待缩坑区域中心点到最小幅值点的第一幅值子序列的梯度幅值递减且最小幅值点到闭合区域边界像素点的第二幅值子序列递增，则幅值序列为缩坑幅值序列；根据缩坑幅值序列对应像素点的像素值获得像素值序列；若像素值序列呈递增趋势，则认为区域内部线段为缩坑内部线段；若缩坑内部线段与区域内部线段的数量占比大于预设比例阈值，则判断对应的待选缩坑区域为缩坑区域。
[0042]
对于缩坑区域而言，其边界的梯度幅值相对于区域内其他像素点的梯度幅值都要大；底部属于应力集中部位，因此梯度幅值相对于区域内其他像素点也都要大。即区域内像素点越靠近边界和底部梯度越大。
[0043]
因此分析每个待缩坑区域内的梯度幅值变化情况，将待缩坑区域中心点与闭合区域边界像素点相连，获得多条区域内部线段。即，区域内部线段的起点为区域中心点，终点为边界像素点。以区域内部线段上像素点的梯度幅值构建幅值序列。对于缩坑区域而言，幅
值序列应是先减小后增大，因此获得获得幅值序列中的最小梯度幅值点，利用最小梯度幅值点将幅值序列分为第一幅值子序列和第二幅值子序列两个子序列。第一幅值子序列的起点为待缩坑区域中心点，终点为最小幅值点。第二幅值子序列的起点为最小幅值点，终点为闭合区域边界像素点。因此可通过单独分析第一幅值子序列和第二幅值子序列的单调性判断幅值序列是否符合缩坑区域内的梯度幅值特征，具体包括：根据第一幅值子序列中每个元素与前一个元素的差异构建第一差异序列；统计第一差异序列中负数占比，若负数占比大于等于预设第一占比阈值，则认为第一幅值子序列递减。
[0044]
根据第二幅值子序列中每个元素与前一个元素的差异构建第二差异序列；统计第二差异序列中正数占比，若正数占比大于等于预设第二占比阈值，则认为第二幅值子序列递增。
[0045]
在本发明实施例中，第一占比阈值设置为0.9，第二占比阈值设置为0.9。
[0046]
若所述第一幅值子序列递减且第二幅值子序列递增，则说明对应的幅值序列符合缩坑区域内的梯度幅值变化特征，为缩坑幅值序列。
[0047]
进一步考虑到缩坑区域的产生会导致缩坑内部亮度变暗，即灰度值变小。根据缩坑幅值序列对应像素点的像素值获得像素值序列。若像素值序列呈递增趋势，则认为区域内部线段为缩坑内部线段。缩坑内部线段即满足了缩坑区域内梯度幅值的变化特征又满足了像素灰度分布特征。若缩坑内部线段与区域内部线段的数量占比大于预设比例阈值，则判断对应的待选缩坑区域为缩坑区域。在本发明实施例中，比例阈值设置为0.9。
[0048]
至此检测出塑料产品的缩坑区域，对于存在缺陷的塑料产品可根据缺陷情况进行针对性的修复，具体包括：获得缩坑区域在塑料产品图像中的缺陷占比。若缺陷占比大于预设缺陷判断阈值，则将缩坑区域进行修复。需要说明的是，判断阈值需要根据具体任务进行设置，在此不做限定，可根据任务需求自行设置。
[0049]
通过大数据统计得到不同注塑模型的实际生产产品中需要进行修复的产品数量和总生产数量的比值，可获得产品缺陷率。工作人员可选择缺陷率较小的注塑模型作为之后生产时的注塑模型。
[0050]
综上所述，本发明实施例获得塑料产品图像中每个像素点的梯度幅值和梯度方向。根据选取梯度方向连续且渐变分布的连续像素点构成待选边界曲线。根据待选边界曲线的组合获得闭合区域边界，进而获得待选缩坑区域。结合待选缩坑区域内梯度幅值的变化特征和像素灰度变化特征筛选出缩坑区域。本发明实施例通过对像素点的梯度特征进行分析，实现了对缩坑区域进行准确检测。
[0051]
本发明还提出了一种基于计算机视觉的塑料制品缩坑检测系统，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现任意一项一种基于计算机视觉的塑料制品缩坑检测方法的步骤。
[0052]
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连
续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0053]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0054]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。