一种基于深度学习图像语义分割的药片表面缺陷检测方法及其自动化处理装置

1.本发明涉及工业缺陷检测技术领域，具体是一种基于深度学习图像语义分割的药片表面缺陷检测方法及其自动化处理装置。


背景技术：

2.药片在生产过程中常伴有表面缺损和污点情况，不仅影响出厂质量，对病人服用的药量和安全也会产生消极影响。因此，生产后对其进行缺陷检测尤为必要。目前，工厂流水线常用两种检测方法。一种是人工检测法，人工挑选由于受工人注意力和主观判断等因素很容易出现漏检、误检等现象；此外，药片检测是种高度重复性工作，人工检测法也会造成成本高、效率低等缺点。另一种是基于模式识别的传统机器视觉方法，机器视觉技术通过提取药片的形状、颜色等特征判断药片是否合格。与人工检测法相比，机器视觉检测不受工人自身因素影响，在检测精度上有一定的提升，并且能够实现自动化生产，但机器视觉检测方法需要根据药片的缺陷类型设计不同的算法，因而检测过程复杂，并且此方法因很难对药片进行全面检测而出现漏检现象。
3.随着深度学习的快速发展，基于卷积神经网络的检测技术在缺陷检测领域受到了广泛关注。本文提出了一种基于图像语义分割的药片表面缺陷检测方法及其自动化处理装置实现药片的实时、全方位且高精度检测。


技术实现要素：

4.本发明的目的在于提供一种基于深度学习图像语义分割的药片表面缺陷检测方法及其自动化处理装置，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于深度学习图像语义分割的药片自动化处理装置，包括第一输送机，所述第一输送机的一侧设置有图像采集模块、且第一输送机的出料端与图像采集模块之间通过第二滑板相连，所述图像采集模块的另一侧设置有第二输送机，且图像采集模块的出料端通过第一滑板与第二输送机的起始端相连，所述图像采集模块与控制系统电性相连，所述第二输送机的一端设置有自动包装机，且第二输送机的前侧设置有回收处理箱，所述第二输送机的后侧对应回收处理箱的位置处安装有导向机构；
6.所述图像采集模块包括与地面相固定的安装板，所述安装板的前侧固定有两端分别连接第一滑板和第二滑板的支撑板，且安装板的前侧位于支撑板的上下两侧处错序分布有两个挡光板，所述安装板的前侧对应两个所述挡光板的位置处均安装有相机，所述相机的检测端安装有光源，所述支撑板的上下侧对应挡光板的位置处均安装有光电开关。
7.作为本发明更进一步的方案：所述导向机构包括安装于第二输送机一侧的伺服电机，所述伺服电机的传动端固定有导向板，所述导向板的下表面与第二输送机的上表面贴合。
8.作为本发明更进一步的方案：所述第二滑板与第一滑板和水平角度均呈30
°
夹角。
9.作为本发明更进一步的方案：所述控制系统包括缺陷分割模块和阈值分类模块，所述缺陷分割模块利用语义分割技术对相机拍摄的药片图像进行像素分类，其包含主干网络模块、局部注意力模块、全局注意力模块以及数据相关上采样模块，所述阈值分类模块是对缺陷分割模块分割的缺陷区域进行像素统计，根据设定的阈值进行分类，像素个数大于设定的阈值时视为有缺陷产品，反之则认为是合格产品。
10.作为本发明更进一步的方案：所述主干网络模块以修改的resnet
‑
50作为主干网络，为了保留更多的细节信息同时减少计算量，只使用残差网络的前三个分块，并将第三个分块的步长设置为1；
11.所述局部注意力模块是一种反对称金字塔结构，分编码、解码两个阶段，编码阶段下采样局部特征图，并在相应的下采样之后采用相同尺寸的卷积核进一步特征提取，解码阶段在上采样时对称的与下采样相同尺寸的特征图进行融合从而实现多尺寸的特征融合；
12.所述全局注意力模块捕获具有像素依赖关系的全局信息，其输出特征图中的每一个像素是输入特征图上的相应像素与其特征图上所有像素的加权和，且权重由两个像素的相关性决定而与距离无关，越相似的特征权重越大。
13.作为本发明更进一步的方案：所述光源采用球状分布式对称无影灯，球状分布式对称无影灯采用特制漫射板将光射到不同方向，形成渐变球状分布，确保整个球面目标坡度的反光强度都一致，所述支撑板采用高透明无反光材质玻璃，所述挡光板采用单一背景色，所述相机采用ccd相机并连接有变焦镜头。
14.作为本发明更进一步的方案：一种基于深度学习图像语义分割的药片表面缺陷检测方法及其自动化处理装置，包含以下检测步骤：
15.s1、药片生产后直接放在第一输送机上，经第一输送机传送一定距离后通过第二滑板进入图像采集模块中的支撑板上表面，药片进入采集区域后通过光电开关和相机分别拍摄得到被测药片的“前内侧、上内侧、后内侧、前外侧、上外侧、后外侧”图像，拍摄后的图像传输至控制系统中；
16.s2、控制系统接收图像后针对具有污点、缺损的图像并通过labelme工具制作标签，将采集到的药片图像随机分成训练集和验证集，对训练集进行数据增强是为了扩充训练数据，在训练模型时使用验证集评估模型的优劣，保存最优模型进行实际药片的缺陷分割，对分割后的药片采用阈值分类法判断药片是否合格；
17.s3、正常图像采用修改的resnet
‑
50作为主干网络，使用残差网络的前三个分块，并将第三个分块的步长设置为1，这样得到的特征图尺寸是输入图像的1/8，局部和全局注意力两个并行模块分别对特征进一步提取，并将各自提取的特征相加进行融合，采用数据相关的上采样策略恢复最终征图至输入大小以实现像素分类；
18.结合1
×
1卷积和自适应最大池化下采样高分辨特征图与注意力模块融合的特征图进行特征聚合，分割出缺陷区域后进行缺陷区域像素统计，根据设定的阈值进行分类，像素个数大于设定的阈值时视为有缺陷产品，反之则认为是合格产品；
19.s4、检测后的药片从第一滑板上滑落至第二输送机，由第二输送机输送，合格后的药品直接输送至自动包装机中进行包装，不合格药片输送至导向机构位置时，控制系统根据检测结果控制伺服电机运作，伺服电机运作后带动导向板转动，药片根据导向板的方向
滑落至回收处理箱中进行后期处理。
20.作为本发明更进一步的方案：所述s3中局部和全局注意力模块的特征提取、融合方法分别如下：
21.局部注意力模块：局部注意力模块是种反对称金字塔结构，对残差网路提取的特征图运用1
×
1卷积以调节通道数，编码阶段通过不同尺寸的卷积核下采样局部特征图，并在相应的下采样之后采用相同尺寸的卷积核进一步特征提取，字塔分为三级，即i取值为1，2，3，并且分别对应7
×
7、5
×
5、3
×
3的卷积核，前者缩小特征图的大小，而后者保持不变；
22.解码阶段在上采样时对称的与下采样相同尺寸的特征图进行融合。
23.全局注意力模块：第一阶段，经残差网络的特征提取，首先对输入特征图x∈r
h
×
w
×
c
引入1
×
1卷积降低通道数以缩减计算量并随之转换为多通道向量n＝h
×
w，随后对转置后的a和b执行矩阵乘法，最后通过softmax归一化得到注意力图d∈r
n
×
n
，d
ij
表示输入特征图上i位置与j位置像素点的相关性，在训练时越相似的特征d
ij
越大；
24.第二阶段，对注意力图d进行转置然后与特征向量c执行矩阵乘法，随后经过1
×
1卷积得恢复特征图尺寸，并且在第三阶段对特征图e和输入特征图x执行像素级相加，经过全局注意力后，输出特征图y的维度和输入x相同，并且输出特征图y中的每一个像素是输入特征图上的相应像素与其特征图上所有像素的加权和，且权重由两个像素的相关性决定，由此捕获了具有像素依赖关系的全局信息；
25.作为本发明更进一步的方案：所述s3中像素分类的具体方法如下：
26.将最终下采样融合的特征图上采样至输入尺寸，标签中的像素是非独立分布的，像素间包含着结构信息，因此我们可以将标签近乎无损压缩到后再解压至l1，然后将解压过程中学习的重建矩阵w用于上采样，l2与最终聚合特征图维度相同；
27.将标签l1压缩到l2可分为4个阶段，首先将l1分块成h2×
w2个r
×
r子窗口，然后将每个子窗口转化为向量{0,1}表示标签经过one
‑
hot编码处理，n1＝r
×
r
×
c1，接着将向量v压缩成最后水平、垂直压缩其他子窗口；
28.采用线性压缩方法：z＝pv，其中，用于压缩v至z，是解压重建矩阵，是v的重建向量，在训练时，利用梯度下降法最小化和v的误差。
29.与现有技术相比，本发明的有益效果是：本发明采用图像语义分割技术对药片表面缺陷检测进行检测，能通过预训练好的深度学习模型分割出污点、缺损缺陷区域并随之统计缺陷区域像素个数，依据设定的阈值实现药片的准确分类。
30.自动处理装置能够将待检药片传输至检测区域，经相机拍摄图像后根据实时检测模块的分类结果对药片进行分类处理，该装置能够实现药片的多角度、实时、自动化检测，提高了工作效率，降低了成本。
附图说明
31.图1为一种基于深度学习图像语义分割的药片自动化处理装置的结构示意图；
32.图2为一种基于深度学习图像语义分割的药片表面缺陷检测方法及其自动化处理
装置中检测方法的流程图；
33.图3为一种基于深度学习图像语义分割的药片表面缺陷检测方法及其自动化处理装置中语义分割总体的结构示意图；
34.图4为一种基于深度学习图像语义分割的药片表面缺陷检测方法及其自动化处理装置中语义分割局部注意力模块的结构示意图；
35.图5为一种基于深度学习图像语义分割的药片表面缺陷检测方法及其自动化处理装置中语义全局注意力模块的结构示意图；
36.图6为一种基于深度学习图像语义分割的药片表面缺陷检测方法及其自动化处理装置中r＝2时l1压缩至特征图尺寸l2的过程；
37.图7为一种基于深度学习图像语义分割的药片表面缺陷检测方法及其自动化处理装置中验证集图像的分割及检测结果。
38.图中：1、第一输送机；2、支撑板；3、挡光板；4、光源；5、第一滑板；6、回收处理箱；7、自动包装机；8、伺服电机；9、控制系统；10、光电开关；11、安装板；12、相机；13、第二滑板；14、导向板；15、第二输送机。
具体实施方式
39.请参阅图1～7，本发明实施例中，一种基于深度学习图像语义分割的药片自动化处理装置，包括第一输送机1，第一输送机1的一侧设置有图像采集模块、且第一输送机1的出料端与图像采集模块之间通过第二滑板13相连，图像采集模块的另一侧设置有第二输送机15，且图像采集模块的出料端通过第一滑板5与第二输送机15的起始端相连，图像采集模块与控制系统9电性相连，第二输送机15的一端设置有自动包装机7，且第二输送机15的前侧设置有回收处理箱6，第二输送机15的后侧对应回收处理箱6的位置处安装有导向机构；
40.图像采集模块包括与地面相固定的安装板11，安装板11的前侧固定有两端分别连接第一滑板5和第二滑板13的支撑板2，且安装板11的前侧位于支撑板2的上下两侧处错序分布有两个挡光板3，安装板11的前侧对应两个挡光板3的位置处均安装有相机12，相机12的检测端安装有光源4，支撑板2的上下侧对应挡光板3的位置处均安装有光电开关10。
41.进一步的，导向机构包括安装于第二输送机15一侧的伺服电机8，伺服电机8的传动端固定有导向板14，导向板14的下表面与第二输送机15的上表面贴合。
42.进一步的，第二滑板13与第一滑板5和水平角度均呈30
°
夹角。
43.进一步的，控制系统9包括缺陷分割模块和阈值分类模块，缺陷分割模块利用语义分割技术对相机拍摄的药片图像进行像素分类，其包含主干网络模块、局部注意力模块、全局注意力模块以及数据相关上采样模块，阈值分类模块是对缺陷分割模块分割的缺陷区域进行像素统计，根据设定的阈值进行分类，像素个数大于设定的阈值时视为有缺陷产品，反之则认为是合格产品。
44.进一步的，主干网络模块以修改的resnet
‑
50作为主干网络，为了保留更多的细节信息同时减少计算量，只使用残差网络的前三个分块，并将第三个分块的步长设置为1；
45.局部注意力模块是一种反对称金字塔结构，分编码、解码两个阶段，编码阶段下采样局部特征图，并在相应的下采样之后采用相同尺寸的卷积核进一步特征提取，解码阶段在上采样时对称的与下采样相同尺寸的特征图进行融合从而实现多尺寸的特征融合；
46.全局注意力模块捕获具有像素依赖关系的全局信息，其输出特征图中的每一个像素是输入特征图上的相应像素与其特征图上所有像素的加权和，且权重由两个像素的相关性决定而与距离无关，越相似的特征权重越大。
47.进一步的，光源4采用球状分布式对称无影灯，球状分布式对称无影灯采用特制漫射板将光射到不同方向，形成渐变球状分布，确保整个球面目标坡度的反光强度都一致，为避免复杂的生产环境影响拍摄的图片质量，支撑板2采用高透明无反光材质玻璃，挡光板3采用单一背景色利于图像分割，相机12采用ccd相机并连接有变焦镜头，因拍摄药片表面为弧形，拍摄时需要整个视野的光照均匀，并能够检测到药片表面的污点及缺损。
48.进一步的，一种基于深度学习图像语义分割的药片表面缺陷检测方法及其自动化处理装置，包含以下检测步骤：
49.s1、药片生产后直接放在第一输送机1上，经第一输送机1传送一定距离后通过第二滑板13进入图像采集模块中的支撑板2上表面，药片进入采集区域后通过光电开关10和相机12分别拍摄得到被测药片的“前内侧、上内侧、后内侧、前外侧、上外侧、后外侧”图像，拍摄后的图像传输至控制系统9中；
50.s2、控制系统9接收图像后针对具有污点、缺损的图像并通过labelme工具制作标签，将采集到的药片图像随机分成训练集和验证集，对训练集进行数据增强是为了扩充训练数据，在训练模型时使用验证集评估模型的优劣，保存最优模型进行实际药片的缺陷分割，对分割后的药片采用阈值分类法判断药片是否合格；
51.s3、正常图像采用修改的resnet
‑
50作为主干网络，使用残差网络的前三个分块，并将第三个分块的步长设置为1，这样得到的特征图尺寸是输入图像的1/8，局部和全局注意力两个并行模块分别对特征进一步提取，并将各自提取的特征相加进行融合，采用数据相关的上采样策略恢复最终征图至输入大小以实现像素分类；
52.结合1
×
1卷积和自适应最大池化下采样高分辨特征图与注意力模块融合的特征图进行特征聚合，分割出缺陷区域后进行缺陷区域像素统计，根据设定的阈值进行分类，像素个数大于设定的阈值时视为有缺陷产品，反之则认为是合格产品；
53.s4、检测后的药片从第一滑板5上滑落至第二输送机15，由第二输送机15输送，合格后的药品直接输送至自动包装机7中进行包装，不合格药片输送至导向机构位置时，控制系统9根据检测结果控制伺服电机8运作，伺服电机8运作后带动导向板14转动，药片根据导向板14的方向滑落至回收处理箱6中进行后期处理。
54.进一步的，s3中局部和全局注意力模块的特征提取、融合方法分别如下：
55.局部注意力模块：局部注意力模块是种反对称金字塔结构，对残差网路提取的特征图运用1
×
1卷积以调节通道数，编码阶段通过不同尺寸的卷积核下采样局部特征图，并在相应的下采样之后采用相同尺寸的卷积核进一步特征提取，字塔分为三级，即i取值为1，2，3，并且分别对应7
×
7、5
×
5、3
×
3的卷积核，前者缩小特征图的大小，而后者保持不变；
56.解码阶段在上采样时对称的与下采样相同尺寸的特征图进行融合，这种局部注意力的设计不仅可以处理目标尺寸不一的问题，而且将提取的丰富局部信息进行后期融合，大大改善了分割效果，同样，特征图的分辨率和通道数较小因此不会带来计算上的压力。
57.全局注意力模块：第一阶段，经残差网络的特征提取，首先对输入特征图x∈r
h
×
w
×
c
引入1
×
1卷积降低通道数以缩减计算量并随之转换为多通道向量n＝h
×
w，随后对转置后的a和b执行矩阵乘法，最后通过softmax归一化得到注意力图d∈r
n
×
n
，d
ij
表示输入特征图上i位置与j位置像素点的相关性，在训练时越相似的特征d
ij
越大；
58.第二阶段，对注意力图d进行转置然后与特征向量c执行矩阵乘法，随后经过1
×
1卷积得恢复特征图尺寸，并且在第三阶段对特征图e和输入特征图x执行像素级相加，经过全局注意力后，输出特征图y的维度和输入x相同，并且输出特征图y中的每一个像素是输入特征图上的相应像素与其特征图上所有像素的加权和，且权重由两个像素的相关性决定，由此捕获了具有像素依赖关系的全局信息；
59.进一步的，s3中像素分类的具体方法如下：
60.将最终下采样融合的特征图上采样至输入尺寸，标签中的像素是非独立分布的，像素间包含着结构信息，因此我们可以将标签近乎无损压缩到后再解压至l1，然后将解压过程中学习的重建矩阵w用于上采样，l2与最终聚合特征图维度相同；
61.将标签l1压缩到l2可分为4个阶段，首先将l1分块成h2×
w2个r
×
r子窗口，然后将每个子窗口转化为向量{0,1}表示标签经过one
‑
hot编码处理，n1＝r
×
r
×
c1，接着将向量v压缩成最后水平、垂直压缩其他子窗口；
62.采用线性压缩方法：z＝pv，其中，用于压缩v至z，是解压重建矩阵，是v的重建向量，在训练时，利用梯度下降法最小化和v的误差。
63.测试例：
64.通过相机拍摄得到1914张图片，因为拍摄的每张图片中最多只包含一种缺陷，所以我们将缺陷检测分成两类，即训练两个模型分别检测污点和缺损缺陷，污点数据集968张，缺损数据集946张，两种数据集均有632
×
320、300
×
300、429
×
320三种尺寸且都有高质量的像素标签，我们将两个数据集随机分成75％的训练集和25％的验证集，训练模型时，通过实验精调，污点数据集初始学习率设置为0.3，缺损数据集为0.5，污点数据集训练80个周期且在区间[20，40，50，70]衰减，衰减因子为0.5，缺损数据集训练30个周期且每隔10个周期衰减一半，污点和缺损批量设为6，动量和衰减因子分别设为0.95和0.0001，对于数据增强，我们在污点数据集上随机旋转200和0.5
‑
2.0倍缩放进行消融实验，且两种数据集均采用随机梯度下降算法作为优化器训练网络，针对污点数据集的极度不平衡特点使用泛化的dice loss(gdl)损失函数，而缺损数据集采用交叉熵损失函数，在阈值分类标准上，设置阈值标准为50，即当统计的污点或缺损像素点个数大于50时视为不合格产品，反之则认为是合格产品；
[0065]
具体的，当采用数据相关上采样方法时，得到了95.42％的平均交并比结果，相较于双线性插值法有了1.40％的提升。
[0066]
进一步的，如图7污点分割结果可视化可见，污点只占整张图片的极小部分，训练时也因此加大特征的学习难度，由此，我们引入处理样本不平衡的focal loss和gdl损失函数，实验结果表明使用gdl优于focal loss且较交叉熵损失函数有了2.37％的改善。
[0067]
进一步的，以语义分割最常用的像素准确率(pa％)和平均交并比(miou％)作为分割评价指标，几种常用分割方法的实验结果如表1所示，halcon在此数据集上取得了
93.10％的平均交并比结果，此结果优于fcn
‑
16s、deeplab v3+和danet三种常用模型，同时，本模型平均交并比结果比halcon还要高出3.29％，由此说明提出的模型在污点数据集上能够得到很好的分割效果；
[0068][0069]
进一步的，在缺损数据集上进行实验，同样，我们将像素准确率(pa％)和平均交并比((miou％)作为评价指标评估分割效果，实验结果如表2所示，本模型在像素准确率、特别是平均交并比都取得了很大的提升，在药片缺损数据集上有着先进的分割能力；
[0070][0071]
进一步的，如图7所示，利用训练的模型对验证集图像的分割及检测结果，此结果也是对实时缺陷检测的模拟，在对验证集的缺陷分类中我们得到了100％的缺陷分类结果；由检测图像标签及分割结果可见，不管是缺陷面积较小的污点数据集还是缺陷类型复杂的缺损数据集上我们的网络都得到了很好的分割效果，我们设定污点和缺损缺陷分类阈值为50，由分类结果可知，网络准确的对缺陷进行了分类；分类阈值可根据实际对污点和缺损的定义自行设定，也可以设定污点和缺损不同的阈值；此外，我们的网络不局限于药片的检测，对于药片也能进行准确检测，实现了药品检测自动化装置的最大会利用。
[0072]
综上所述：采用图像语义分割技术对药片表面缺陷检测进行检测，能通过预训练好的深度学习模型分割出污点、缺损缺陷区域并随之统计缺陷区域像素个数，依据设定的阈值实现药片的准确分类。
[0073]
自动处理装置能够将待检药片传输至检测区域，经相机拍摄图像后根据实时检测模块的分类结果对药片进行分类处理，该装置能够实现药片的多角度、实时、自动化检测，
提高了工作效率，降低了成本。
[0074]
以上所述的，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。