一种基于深度学习图像语义分割的药片表面缺陷检测方法及其自动化处理装置

文档序号:25889171发布日期:2021-07-16 19:34阅读:来源:国知局

技术特征:
1.一种基于深度学习图像语义分割的药片自动化处理装置,包括第一输送机(1),其特征在于,所述第一输送机(1)的一侧设置有图像采集模块、且第一输送机(1)的出料端与图像采集模块之间通过第二滑板(13)相连,所述图像采集模块的另一侧设置有第二输送机(15),且图像采集模块的出料端通过第一滑板(5)与第二输送机(15)的起始端相连,所述图像采集模块与控制系统(9)电性相连,所述第二输送机(15)的一端设置有自动包装机(7),且第二输送机(15)的前侧设置有回收处理箱(6),所述第二输送机(15)的后侧对应回收处理箱(6)的位置处安装有导向机构;所述图像采集模块包括与地面相固定的安装板(11),所述安装板(11)的前侧固定有两端分别连接第一滑板(5)和第二滑板(13)的支撑板(2),且安装板(11)的前侧位于支撑板(2)的上下两侧处错序分布有两个挡光板(3),所述安装板(11)的前侧对应两个所述挡光板(3)的位置处均安装有相机(12),所述相机(12)的检测端安装有光源(4),所述支撑板(2)的上下侧对应挡光板(3)的位置处均安装有光电开关(10)。2.根据权利要求1所述的一种基于深度学习图像语义分割的药片自动化处理装置,其特征在于,所述导向机构包括安装于第二输送机(15)一侧的伺服电机(8),所述伺服电机(8)的传动端固定有导向板(14),所述导向板(14)的下表面与第二输送机(15)的上表面贴合。3.根据权利要求1所述的一种基于深度学习图像语义分割的药片自动化处理装置,其特征在于,所述第二滑板(13)与第一滑板(5)和水平角度均呈30
°
夹角。4.根据权利要求1所述的一种基于深度学习图像语义分割的药片自动化处理装置,其特征在于,所述控制系统(9)包括缺陷分割模块和阈值分类模块,所述缺陷分割模块利用语义分割技术对相机拍摄的药片图像进行像素分类,其包含主干网络模块、局部注意力模块、全局注意力模块以及数据相关上采样模块,所述阈值分类模块是对缺陷分割模块分割的缺陷区域进行像素统计,根据设定的阈值进行分类,像素个数大于设定的阈值时视为有缺陷产品,反之则认为是合格产品。5.根据权利要求4所述的一种基于深度学习图像语义分割的药片自动化处理装置,其特征在于,所述主干网络模块以修改的resnet

50作为主干网络,为了保留更多的细节信息同时减少计算量,只使用残差网络的前三个分块,并将第三个分块的步长设置为1;所述局部注意力模块是一种反对称金字塔结构,分编码、解码两个阶段,编码阶段下采样局部特征图,并在相应的下采样之后采用相同尺寸的卷积核进一步特征提取,解码阶段在上采样时对称的与下采样相同尺寸的特征图进行融合从而实现多尺寸的特征融合;所述全局注意力模块捕获具有像素依赖关系的全局信息,其输出特征图中的每一个像素是输入特征图上的相应像素与其特征图上所有像素的加权和,且权重由两个像素的相关性决定而与距离无关,越相似的特征权重越大。6.根据权利要求1所述的一种基于深度学习图像语义分割的药片自动化处理装置,其特征在于,所述光源(4)采用球状分布式对称无影灯,球状分布式对称无影灯采用特制漫射板将光射到不同方向,形成渐变球状分布,确保整个球面目标坡度的反光强度都一致,所述支撑板(2)采用高透明无反光材质玻璃,所述挡光板(3)采用单一背景色,所述相机(12)采用ccd相机并连接有变焦镜头。7.根据权利要求1

6其中任一项所述的一种基于深度学习图像语义分割的药片表面缺
陷检测方法及其自动化处理装置,其特征在于,包含以下检测步骤:s1、药片生产后直接放在第一输送机(1)上,经第一输送机(1)传送一定距离后通过第二滑板(13)进入图像采集模块中的支撑板(2)上表面,药片进入采集区域后通过光电开关(10)和相机(12)分别拍摄得到被测药片的“前内侧、上内侧、后内侧、前外侧、上外侧、后外侧”图像,拍摄后的图像传输至控制系统(9)中;s2、控制系统(9)接收图像后针对具有污点、缺损的图像并通过labelme工具制作标签,将采集到的药片图像随机分成训练集和验证集,对训练集进行数据增强是为了扩充训练数据,在训练模型时使用验证集评估模型的优劣,保存最优模型进行实际药片的缺陷分割,对分割后的药片采用阈值分类法判断药片是否合格;s3、正常图像采用修改的resnet

50作为主干网络,使用残差网络的前三个分块,并将第三个分块的步长设置为1,这样得到的特征图尺寸是输入图像的1/8,局部和全局注意力两个并行模块分别对特征进一步提取,并将各自提取的特征相加进行融合,采用数据相关的上采样策略恢复最终征图至输入大小以实现像素分类;结合1
×
1卷积和自适应最大池化下采样高分辨特征图与注意力模块融合的特征图进行特征聚合,分割出缺陷区域后进行缺陷区域像素统计,根据设定的阈值进行分类,像素个数大于设定的阈值时视为有缺陷产品,反之则认为是合格产品;s4、检测后的药片从第一滑板(5)上滑落至第二输送机(15),由第二输送机(15)输送,合格后的药品直接输送至自动包装机(7)中进行包装,不合格药片输送至导向机构位置时,控制系统(9)根据检测结果控制伺服电机(8)运作,伺服电机(8)运作后带动导向板(14)转动,药片根据导向板(14)的方向滑落至回收处理箱(6)中进行后期处理。8.根据权利要求7所述的一种基于深度学习图像语义分割的药片表面缺陷检测方法及其自动化处理装置,其特征在于,所述s3中局部和全局注意力模块的特征提取、融合方法分别如下:局部注意力模块:局部注意力模块是种反对称金字塔结构,对残差网路提取的特征图运用1
×
1卷积以调节通道数,编码阶段通过不同尺寸的卷积核下采样局部特征图,并在相应的下采样之后采用相同尺寸的卷积核进一步特征提取,字塔分为三级,即i取值为1,2,3,并且分别对应7
×
7、5
×
5、3
×
3的卷积核,前者缩小特征图的大小,而后者保持不变;解码阶段在上采样时对称的与下采样相同尺寸的特征图进行融合。全局注意力模块:第一阶段,经残差网络的特征提取,首先对输入特征图x∈r
h
×
w
×
c
引入1
×
1卷积降低通道数以缩减计算量并随之转换为多通道向量n=h
×
w,随后对转置后的a和b执行矩阵乘法,最后通过softmax归一化得到注意力图d∈r
n
×
n
,d
ij
表示输入特征图上i位置与j位置像素点的相关性,在训练时越相似的特征d
ij
越大;第二阶段,对注意力图d进行转置然后与特征向量c执行矩阵乘法,随后经过1
×
1 卷积得恢复特征图尺寸,并且在第三阶段对特征图e和输入特征图x执行像素级相加,经过全局注意力后,输出特征图y的维度和输入x相同,并且输出特征图y中的每一个像素是输入特征图上的相应像素与其特征图上所有像素的加权和,且权重由两个像素的相关性决定,由此捕获了具有像素依赖关系的全局信息。9.根据权利要求7所述的一种基于深度学习图像语义分割的药片表面缺陷检测方法及其自动化处理装置,其特征在于,所述s3中像素分类的具体方法如下:
将最终下采样融合的特征图上采样至输入尺寸,标签中的像素是非独立分布的,像素间包含着结构信息,因此我们可以将标签近乎无损压缩到后再解压至l1,然后将解压过程中学习的重建矩阵w用于上采样,l2与最终聚合特征图维度相同;将标签l1压缩到l2可分为4个阶段,首先将l1分块成h2×
w2个r
×
r子窗口,然后将每个子窗口转化为向量{0,1}表示标签经过one

hot编码处理,n1=r
×
r
×
c1,接着将向量v压缩成最后水平、垂直压缩其他子窗口;采用线性压缩方法:z=pv,其中,用于压缩v至z,是解压重建矩阵,是v的重建向量,在训练时,利用梯度下降法最小化和v的误差。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1