一种基于深度学习的产品不规则形变字符检测方法及设备与流程

本发明涉及一种基于深度学习的产品不规则形变字符检测方法及设备，特别涉及了一种针对不同异形曲面产品镭雕、印刷、移印等形变字符的通用检测技术。

背景技术：

1、在工业产品生产制造过程当中，常采用激光镭雕、印刷、移印等技术将产品的信息以字符形式呈现在产品的外形表面上，然后在自动生产过程中通过视觉成像技术识别产品表面的字符来判断产品的对应信息。在具有圆柱面、球面或不规则曲面的产品表面呈现的字符具有畸形、失真等现象，同时这类具有不规则表面的产品在成像过程中受反光、材质、曲率等多方面因素的影响，如图9所示，使得对产品信息字符的检测难度大。目前如字符断点、重影、偏移和异色等字符缺陷难以采用统一标准进行判定，仅能依靠人工逐字目视检测，人工检测方法存在效率低、漏检率高、检测效果主观性强等缺点。

2、传统的基于固定模板匹配的视觉检测方法只能够准确识别较为规整的字符，难以适用具有不规则表面变形字符的产品检测，对产品生产环节质量检测带来了巨大的困扰。故迫切需要一种基于深度学习的产品不规则字符检测方法及设备来解决上述问题。

3、对复杂的异形产品表面变形字符在视觉检测过程中面临如下的技术性难题：

4、(1)不规则曲面字符成像不规则，建模难度大。圆柱面、球面或不规则弯曲在小孔成像过程当中，曲面字符从三维空间投射到二维成像平面，因深度信息丢失导致字符图像出现拉伸、压缩或扭曲等特征，难以通过建立模型逆向判断字符质量。

5、(2)产品材质差异大，成像噪声干扰大。不同品类产品表面材质差异大，外观存在光滑、粗糙、异色等不同差异，在打光成像时出现反光、吸光、亮度不均匀等现象，导致成像过程当中过曝、亮度不均匀、对比度差等强噪声干扰，影响背景与字符信息的区分尺度。

6、(3)现有曲面通用性检测方法适应性差。现有光学检测设备绝大部分是针对单一产品进行开发设计，光学方案单一，检测算法简单，难以满足现有产线兼容小品种、多样化、快速换型等需求，急需研制一种通用性强的曲面字符检测设备。

7、另，公开号为cn116168395a的中国专利申请公开了一种字符检测方法和装置、电子设备及存储介质，该专利的技术方案是：获取文本图像，对文本图像进行特征提取，获取文本图像中字符对应的中心位置及字符区域信息，从而检测文本图像中的字符。但是没有考虑在光照条件下曲面容易出现反光，曝光等情况，导致表面字符出现模糊，缺失等情况，影响后续字符的边缘、颜色或纹理特征的提取，从而影响检测的性能。

8、公开号为cn117727052a的中国专利申请公开了一种字符缺陷检测方法和装置、电子设备以及存储介质，该专利的技术方案是：获取图像中待测区域所对应的待测字符信息，基于字符信息生成模板字符图像，利用模板字符图像对至少一个待测字符进行匹配检测，可以避免待测字符无法检测的情况出现。但在字符检测过程中会不断出现新的字符，这样会频繁生成模板字符图像，待测字符需要从大量的模板字符图像中进行准确匹配，使得在检测过程中需要消耗大量的时间，从而影响产能。

9、因此，开发一种通过机器人手眼协同的最优感知姿态与深度学习算法相结合的产品不规则形变字符检测技术，解决现有检测方法的不足，具有重要意义和市场需求。

技术实现思路

1、本发明解决的技术问题是：针对现有的视觉检测方法在不规则变形字符的检测存在的不足，提供一种基于深度学习的产品不规则形变字符检测方法及设备。

2、本发明采用如下技术方案实现：

3、本发明首先公开了一种基于深度学习的产品不规则形变字符检测方法，具体包括如下步骤：

4、s1、采用手眼协同的搭载相机的机械臂对产品上的不规则形变字符进行图像试采集，通过比对不规则形变字符的试采集图像与标准图像之间的位置特征与结构特征获得机械臂的采集位姿偏差，优化调整机械臂的最优采集位姿，所述机械臂通过最优采集位姿对待检测产品字符进行图像采集；

5、s2、将步骤s1采集的待检测产品字符图像去噪预处理后，通过归一化互相关确认图像中待检测产品字符所在的感兴趣区域，将所述感兴趣区域与标准图像进行仿射变换，矫正待检测产品字符图像中的字符畸变和倾斜，得到所述感兴趣区域的矫正后字符图像；

6、s3、所述感兴趣区域的矫正后字符图像送入基于图像边缘分割的深度学习字符识别模型，将图像中的字符文本区域与背景区域分离，生成字符文本区域的文本框；

7、s4、所述文本框输入crnn文本识别模型，将文本框内的字符行作为一个单元进行识别，字符识别完成后以序列形式返回字符行的文本序列；

8、s5、将步骤s4识别的文本序列与产品标准字符文本序列进行匹配，判断识别的待检测产品字符属于不合格或合格，并依据匹配结果输出待检测产品是否合格的产品信息。

9、在本发明的一种基于深度学习的产品不规则形变字符检测方法中，具体的，在步骤s1中，所述相机固定于机械臂执行末端并随机械臂移动，通过棋盘格标定法对相机和机械臂进行手眼标定。

10、在本发明的一种基于深度学习的产品不规则形变字符检测方法中，具体的，所述步骤s1中，将产品不规则形变字符的试采集图像与标准图像输入图像匹配模型进行匹配，提取两幅图像的位置特征和结构特征，

11、首先根据位置特征，选取试采集图像与标准图像中具有共有特征的特征点f并计算两幅图像特征点f之间的欧氏距离d，将所述欧氏距离d与设定的阈值d比较，若d>d，通过相机的内参和外参将试采集图像的特征点坐标转换为机械臂所在的世界坐标，获得试采集图像与标准图像中的特征点f在世界坐标中的第一移动矢量，通过第一移动矢量转换计算机械臂在世界坐标中的第二移动矢量，解算得到机械臂进行试采集移动的位置和姿态参数，调整机械臂的位置和姿态参数移动试采集，保证d≤d；

12、然后对于结构特征，将试采集图像与标准图像的亮度、对比度和结构参数通过下式获得两幅图像之间的ssim指数：

13、ssim(x，y)＝l(x，y)α·c(x，y)β·s(x，y)γ

14、l(x，y)表示亮度参数，通过比较两幅图像的平均亮度得到，c(x，y)为表示对比度参数，通过比较两幅图像的标准差得到，s(x，y)表示结构参数，通过比较两幅图像之间的协方差得到，(x，y)表示从试采集图像与标准图像提取亮度、对比度和结构参数的位置坐标，α、β、γ是权重参数，ssim指数的取值范围为[-1，1]，ssim指数趋近1表示两幅图像完全相同，ssim指数趋近-1表示两幅图像之间相似度差；

15、再通过以下损失函数loss对试采集图像与标准图像之间的ssim指数进行优化：

16、loss＝(ssimcurrent-ssimtarget)2+λ·penalty(x，t)

17、其中，ssimcurrent是试采集图像与标准图像之间当前ssim指数，ssimtarget是试采集图像与标准图像之间目标ssim指数，ssimtarhet取0.8～0.9，λ是用于调整惩罚项的权重，penalty(x，t)是约束机械臂当前位置x在球形区域t内的惩罚函数，如果机械臂当前位置x在以tp为半径的球形区域内，则惩罚函数为0，否则惩罚函数为机械臂位置x到球形区域tp的欧式距离，通过梯度下降优化算法调整机械臂x的位置，使得试采集图像与标准图像之间当前ssim指数达到设定的目标ssim指数，或者损失函数loss最小化时停止优化，此时机械臂停止移动，机械臂当前位置x为该产品不规则形变字符的最优采集位姿。

18、在本发明的一种基于深度学习的产品不规则形变字符检测方法中，具体的，所述步骤s2中，采用非局部均值去噪法对采集的待检测产品字符图像进行去噪处理。

19、在本发明的一种基于深度学习的产品不规则形变字符检测方法中，具体的，所述步骤s2中，使用基于归一化互相关的模板匹配方法来定位待检测产品字符图像中字符的核心区域，从步骤s1中的标准图像上截取字符区域的模板目标图像tm×n，利用模板目标图像tm×n在待检测产品字符图像im×n中滑动匹配，滑动过程中采用归一化互相关相似度来度量模板目标图像tm×n和待检测产品字符图像im×n的相似度，具体包括；

20、对模板目标图像tm×n的平均灰度值和待检测产品字符图像im×n的平均灰度值进行互相关计算，得到平均灰度互相关项corr(x，y)，将平均灰度互相关项corr(x，y)与模板目标图像tm×n的标准差项σt以及待检测产品字符图像im×n的标准差项σi通过下式进行互相关项归一化，得到模板目标图像tm×n和待检测产品字符图像im×n的ncc相似度：

21、

22、在待检测产品字符图像选择以步长为1、滑动大小为q的滑动窗口，计算模板目标图像在每个滑动窗口内的ncc相似度，将ncc相似度高于设定相似度阈值的区域视为匹配区域，找到ncc相似度最大的区域为匹配到的感兴趣区域，根据感兴趣区域的位置和大小生成边界框以标识感兴趣区域。

23、在本发明的一种基于深度学习的产品不规则形变字符检测方法中，具体的，所述步骤s3中，所述深度学习字符识别模型采用canny边缘分割算法，具体包括如下子步骤：

24、对所述感兴趣区域的矫正后字符图像进行高斯模糊以减少噪声；

25、将模糊后的矫正后字符图像使用sobel算子计算水平方向梯度gx和垂直方向梯度gy，得到梯度幅值m，对梯度幅值m进行非极大值抑制，将矫正后字符图像每个像素的梯度幅值与其沿梯度方向上相邻两个像素的梯度幅值进行比较，保留局部极大值；

26、使用双阈值边缘连接方法，将非极大值抑制后的矫正后字符图像进行阈值化，设定高阈值thigh，选取大于高阈值thigh的强边缘像素进行边缘跟踪，确定连接的边缘线条；

27、最后对连接后的边缘线条进行细化处理，边缘线条内部区域即感兴趣区域的字符文本区域。

28、在本发明的一种基于深度学习的产品不规则形变字符检测方法中，具体的，对所述感兴趣区域中的字符文本区域进行聚类，识别和合并属于同一文本的局部区域，筛选聚类后的字符文本区域，保留文本字符区域连续且大于设定区域大小阈值sa的字符文本区域，对筛选保留的字符文本区域使用外接矩形生成文本框。

29、在本发明的一种基于深度学习的产品不规则形变字符检测方法中，具体的，所述步骤s4中，所述crnn文本识别模型通过如下子步骤输出文本框内字符行的文本序列：

30、第一步、将文本框内字符图像转换为cnn模型格式，调整文本框内字符图像为固定大小并进行归一化；

31、第二步、采用vgg16模型对输入的文本框内字符图像进行卷积和池化操作，提取特征图；

32、第三步，对提取的特征图进行序列化，得到特征序列；

33、第四步、将序列化后的特征序列输入到rnn模型中，通过递归的方式结合文本字符上下文信息将特征序列进行组合，每个时间步输出一个向量，表示该时间步的预测结果；

34、第五步、对rnn模型输出的预测结果序列进行解码操作，采用ctc损失函数将输出序列转化为最终的文本序列并输出，最终获得的文本序列，即crnn文本识别模型识别文本框内字符行的文本序列。

35、本发明还公开了一种基于深度学习的产品不规则形变字符检测设备，包括字符检测机械臂，所述字符检测机械臂的执行末端搭载对产品不规则形变字符进行图像采集的相机组件，所述字符检测机械臂对待检测的产品不规则形变字符进行图像采集，并将采集的图像传输至设备控制主机，所述设备控制主机通过本发明上述的检测方法判断产品不规则形变字符是否合格。

36、在本发明的一种基于深度学习的产品不规则形变字符检测设备中，还包括运输传送带、产品上料模块和产品分拣模块；

37、所述产品上料模块位于运输传送带的上游，包括有将待检测产品抓取至运输传送带上的上料机械臂；

38、所述产品分拣模块位于运输传送带的下游，包括有将检测完成的产品从运输传送带上取下的分拣机械臂，以及分类放置合格产品和不合格产品的物料盘，所述分拣机械臂根据设备控制主机对待检测产品是否合格的检测结果，将检测完成的产品分拣至对应物料盘；

39、所述字符检测机械臂位于上料机械臂和分拣机械臂之间，对上料机械臂抓取至运输传送带上的待检测产品的形变字符进行图像采集。

40、本发明采用上述技术方案具有如下有益效果：

41、1、本发明设计了一种基于机器人手眼协同的异形曲面最优感知姿态调节方法来调节对产品规则字符的最优采集，创新性解决检测过程中不规则曲面字符成像不规则、成像噪声干扰大和产品不规则检测单一化等问题。该方法利用机械臂灵活地带动相机组件对异形曲面字符进行多方位、多角度进行试采集，将试采集到的实时图像与标准图像匹配，计算出机械臂的位姿偏差参数，选取实时图像与标准图像匹配度最高的机械臂位姿作为最优采集位姿。为提升最优采集位姿搜索速度采用梯度下降算法加速收敛，解决机器臂首次位姿调整时间长的问题。本发明的相机组件采用双远心镜头等比例非畸变成像消除了普通镜头小孔成像时所带来的不同景深放大倍率不一致等问题，解决了异形曲面下非最优视角成像下字符非规则变形的问题，通过最优视角下双远心镜头成像方案将局部曲面范围内成像映射到平面成像，实现了传统平面字符检测算法的检测可行性并增强了通用性和灵活性。

42、2、本发明设计了一种基于深度学习的微小变形字符检测方法来解决拉伸、压缩、膨胀、细化等微弱变形字符适应性差的问题，并具有通用性。在检测过程中引入基于归一化互相关(ncc)的模板匹配，ncc对图像对比度变化以及字符形变具有一定的抗干扰性。再利用仿射变换和特征提取将字符图像与背景图像有效分离，分离后的字符图像送入深度学习的rcnn文本识别模型中，得到字符序列，将字符序列送入传输到字符数据库，字符数据库对接收到的字符进行匹配，根据匹配结果输出产品字符信息是否合格。该方法解决了不确定形变字符检测的难题，相比传统固定模板匹配抗干扰能力差、准确率低的问题，具有较强的鲁棒性和适应性。

43、3、本发明设计了一种针对产品不规则形变字符自动化高精度检测的设备，解决当前异形曲面字符主要依赖大量人工检测的问题，效率和检测精度都得到提升。该设备在上料模块和分拣模块都布置了两个四自由度机械臂，完全代替人工上下料，提高了整个检测过程的工作效率；为避免人工检测过程中，产品检测精度受主观影响，该设备将视觉检测设备与字符检测机械臂相结合，基于深度学习字符识别模型，实现对异形产品字符的自动化高精度检测，此外字符检测机械臂与机器视觉相机组件组合的检测系统，可以自适应的调节视觉检测角度，方便快速应对检测产品换型。

44、综上所述，本发明提供的一种基于深度学习的产品不规则形变字符检测方法及设备可替代现有人工检测，消除了产品表面不规则字符检测容易受光照和曲面材质的影响，提高检测精度和检测速度，可满足不同产品在异形曲面镭雕、印刷、移印等形变字符的通用检测方法工业化生产。

45、以下结合附图和具体实施方式对本发明做进一步说明。