一种标签元件机器视觉质检方法及装置与流程

本发明涉及人工智能领域，具体提供一种标签元件机器视觉质检方法及装置。

背景技术：

1、在pcb生产中，质量检测大量依靠pcb光学检测配合人工质检，人工质检员需要时刻保持注意力集中，对体力、脑力和专注力都是极大的考验，且仍存在失误率较高、质检效率低、覆盖面小且质检标准不一等弊端。标签元件在主板上分布离散且零件体积小、方向不明显、上面的文字小且多，因此人工质检难度大。

2、传统人工质检配合pcb光学检测可以准确的进行质检，但其弊端同样明显，首先是需要高精度的预设图像作为模板，这就对主板的放置位置和方向有了严格的限制。其次是检测效率一般，成本较高。第三是对单一元器件质检的定制化较差。

技术实现思路

1、本发明是针对上述现有技术的不足，提供一种实用性强的标签元件机器视觉质检方法。

2、本发明进一步的技术任务是提供一种设计合理，安全适用的标签元件机器视觉质检装置。

3、本发明解决其技术问题所采用的技术方案是：

4、一种标签元件机器视觉质检方法，使用安装在自动质检设备中的工业相机获取待检测主板上的待检测区域图像，通过sift特征匹配算法结合透视变换矫正图像，定位标签元件所在区域并截取图像；

5、对得到的标签元件区域图像进行划分，分为对应的二维码区域、色彩识别区域和ocr文本识别区域，分别对区域内的二维码内容、色彩分布和文本内容进行校验和识别。

6、获取待检测区域图像之前，首先获取待检测对象的原始图像，并从所述原始图像中提取所述待检测对象内用于安装目标电子元器件的整体区域的目标图像；

7、基于预先确定的所述目标电子元器件的颜色信息对应的掩膜，对所述目标图像中的非目标电子元器件安装区域进行遮罩，得到遮罩图像；

8、确定所述遮罩图像中的各像素点的像素值，并基于所述各像素点的像素值，确定所述待检测对象中所述目标电子元器件的安装信息。

9、进一步的，所述掩膜包括基于所述目标电子元器件在目标颜色空间内的目标颜色信息确定的目标掩膜；基于预先确定的所述目标电子元器件的颜色信息对应的掩膜，对所述目标图像中的非目标电子元器件安装区域进行遮罩，得到遮罩图像，具体包括：

10、确定所述目标图像在所述目标颜色空间下的指定图像；

11、基于所述目标掩膜，对所述指定图像中的非目标电子元器件安装区域进行遮罩，得到所述遮罩图像。

12、进一步的，所述目标掩膜的确定方法包括：

13、基于所述目标颜色信息的取值范围，确定所述目标电子元器件的掩膜保留范围；

14、基于所述掩膜保留范围，确定所述目标掩膜。

15、进一步的，所述sift特征匹配算法结合透视变换矫正图像的具体步骤如下：

16、sift算法在拍摄图像中提取特征点，并与模板图像中的特征点进行比较，得到图像质检的特征点偏匹配对；

17、然后根据所述特征点匹配对，将拍摄图像进行透视变换，实现图片矫正，消除偏移和旋转导致的图像扭曲和位置错位；

18、矫正后的图像定位标签元件所在坐标，并截取对应区域标签元件的图像。

19、进一步的，截取对应区域标签元件的图像后，进行hsv颜色空间变换，具体操作为：

20、将得到的标签元件区域图像从rgb颜色空间变换到hsv颜色空间，目的是将图像的红、绿、蓝分量转换为色调、饱和度、明度；

21、hsv颜色空间可以通过设定上下阈值，判断当前区域是否为目标色彩，从而判断标签的状态。

22、进一步的，在二维码区域的识别中，使用pyzbar算法，对二维码区域的二维码进行识别，根据识别结果，确定二维码是否存在、是否污损，并确定标签是否为规定标签。

23、进一步的，对于色彩识别区域，将得到的标签元件色彩识别区域图像从rgb颜色空间变换到hsv颜色空间，通过设定hsv颜色空间上下阈值，判定区域内色彩是否正确，进而判断标签是否存在、是否为规定标签。

24、进一步的，在ocr文本识别区域内，使用人工智能文字识别领域的paddle ocr算法，对文本内容进行识别，并与二维码区域识别到的信息进行对应，确定标签是否存在、是否为规定标签，判定标签方向是否正确，通过文字识别内容，确定标签文本识别区域是否存在污损。

25、一种标签元件机器视觉质检装置，包括：至少一个存储器和至少一个处理器；

26、所述至少一个存储器，用于存储机器可读程序；

27、所述至少一个处理器，用于调用所述机器可读程序，执行一种标签元件机器视觉质检方法。

28、本发明的一种标签元件机器视觉质检方法及装置和现有技术相比，具有以下突出的有益效果：

29、本发明利用机器视觉替代人工视觉质检与pcb光学检测的方法。摆脱了pcb光学质检中对预设图像模板的依赖，从而取消了主板放置位置和方向的限制，降低了质检机器入料口的成本和主板放置的时间成本。

30、实现了提高检测效率，降低检测成本的目的。同时对连接器元器件的质检属于定制化处理，每种元器件的检测方法都有区别，比pcb光学质检有更强的针对性，提高了质检效率和准确率。

技术特征：

1.一种标签元件机器视觉质检方法，其特征在于，使用安装在自动质检设备中的工业相机获取待检测主板上的待检测区域图像，通过sift特征匹配算法结合透视变换矫正图像，定位标签元件所在区域并截取图像；

2.根据权利要求1所述的一种标签元件机器视觉质检方法，其特征在于，获取待检测区域图像之前，首先获取待检测对象的原始图像，并从所述原始图像中提取所述待检测对象内用于安装目标电子元器件的整体区域的目标图像；

3.根据权利要2所述的一种标签元件机器视觉质检方法，其特征在于，所述掩膜包括基于所述目标电子元器件在目标颜色空间内的目标颜色信息确定的目标掩膜；基于预先确定的所述目标电子元器件的颜色信息对应的掩膜，对所述目标图像中的非目标电子元器件安装区域进行遮罩，得到遮罩图像，具体包括：

4.根据权利要求3所述的一种标签元件机器视觉质检方法，其特征在于，所述目标掩膜的确定方法包括：

5.根据权利要求4所述的一种标签元件机器视觉质检方法，其特征在于，

6.根据权利要求5所述的一种标签元件机器视觉质检方法，其特征在于，截取对应区域标签元件的图像后，进行hsv颜色空间变换，具体操作为：

7.根据权利要求6所述的一种标签元件机器视觉质检方法，其特征在于，

8.根据权利要求7所述的一种标签元件机器视觉质检方法，其特征在于，对于色彩识别区域，将得到的标签元件色彩识别区域图像从rgb颜色空间变换到hsv颜色空间，通过设定hsv颜色空间上下阈值，判定区域内色彩是否正确，进而判断标签是否存在、是否为规定标签。

9.根据权利要求8所述的一种标签元件机器视觉质检方法，其特征在于，在ocr文本识别区域内，使用人工智能文字识别领域的paddle ocr算法，对文本内容进行识别，并与二维码区域识别到的信息进行对应，确定标签是否存在、是否为规定标签，判定标签方向是否正确，通过文字识别内容，确定标签文本识别区域是否存在污损。

10.一种标签元件机器视觉质检装置，其特征在于，包括：至少一个存储器和至少一个处理器；

技术总结
本发明涉及人工智能领域，具体提供了使用安装在自动质检设备中的工业相机获取待检测主板上的待检测区域图像，通过SIFT特征匹配算法结合透视变换矫正图像，定位标签元件所在区域并截取图像；对得到的标签元件区域图像进行划分，分为对应的二维码区域、色彩识别区域和OCR文本识别区域，分别对区域内的二维码内容、色彩分布和文本内容进行校验和识别。与现有技术相比，本发明取消了主板放置位置和方向的限制，降低了质检机器入料口的成本和主板放置的时间成本。实现了提高检测效率，降低检测成本的目的。比PCB光学质检有更强的针对性，提高了质检效率和准确率。

技术研发人员：王悦
受保护的技术使用者：山东浪潮科学研究院有限公司
技术研发日：
技术公布日：2024/1/11