一种基于NVIDIAJetsonTX2的PCB缺陷检测系统及方法

：本发明涉及pcb缺陷检测，具体涉及一种基于nvidia jetson tx2的pcb缺陷检测系统及方法。

背景技术

0、
背景技术：

1、pcb(印制电路板)已经成为人们日常生活中很多电子产品的关键部件，在新能源、汽车、计算机、军事、工业控制等领域有着广泛的应用。pcb生产过程中可能产生的缺陷种类繁多，位置不定，存在缺陷的pcb会使相关电子产品的日常使用存在风险，故在实际检测中对pcb缺陷的检测速度和精度都提出了极高的要求。

2、早期的pcb缺陷检测方法需要凭借检测工人肉眼观测pcb产品，判断是否存在缺陷，检测人员的情绪、身体状态、工作经验等对检测效果影响很大，该检测方法检测精度低，检测速度慢，不符合实际的生产需要。传统的pcb检测方法已经无法满足现在pcb检测的实际需求，图像处理、机器学习、深度学习领域的蓬勃发展，给pcb缺陷检测带来了新的检测方法，这些领域的检测方法凭借非接触检测、检测效率高、检测效果稳定的优势，在pcb缺陷检测任务中有着广阔的应用前景。

技术实现思路

0、
技术实现要素：

1、为了克服传统pcb缺陷检测方法存在的检测速度慢、精度不高的问题，本发明提供了一种基于nvidia jetson tx2的pcb缺陷检测系统及方法，可以精确且快速地检测pcb表面常见的缺陷。

2、本发明所要解决的技术问题采用以下的技术方案来实现：

3、本发明的第一个目的是提供一种基于nvidia jetson tx2的pcb缺陷检测系统，包括布置在nvidia jetson tx2板卡上的pcb图像采集模块、缺陷检测模块以及人机交互界面模块。

4、所述pcb图像采集模块利用nvidia jetson tx2上外接的摄像头拍摄待测的pcb图片，采集到的图像传送给缺陷检测模块进行检测。

5、所述缺陷检测模块利用部署在nvidiajetson tx2上的改进yolov5模型对pcb图像采集模块传送来的待测pcb图片进行检测，并输出检测结果，检测结果包括每种缺陷的位置、类别信息以及单张图片的检测耗时。

6、所述人机交互界面模块用于对检测结果进行归纳和分析，显示检测到的pcb缺陷总数、每类pcb缺陷的数目、检测过程的总耗时以及包含标注信息的检测后的pcb图片。

7、本发明的第二个目的是提供一种基于nvidiajetson tx2的pcb缺陷检测方法，包括以下步骤：

8、s1、pcb图像采集模块通过外接摄像头采集pcb图片，并对图片进行裁剪和填充处理，将图片调整到检测模型指定的图片大小，调整后的图片输入到缺陷检测模块；

9、s2、利用部署在nvidia jetson tx2上的改进yolov5模型对采集的pcb图像依次通过由focus、conv、c3、spp、upsample构成的卷积网络进行特征提取和特征融合，生成包含各种图像语义信息的特征图，再通过大小分别为40×40、80×80和160×160的检测层对图片进行多尺度检测；

10、s3、检测结果输出到人机交互界面上，在检测信息区中显示检测到的pcb缺陷总数、每类pcb缺陷的数目以及检测过程的总耗时，在检测结果区中显示包含标注信息的检测后的pcb图片。

11、步骤s2中，所述改进yolov5模型是在yolov5特征融合网络的第二个concat模块后依次添加c3模块、conv模块和upsample模块，upsample模块的输出与特征提取层模块第一个c3模块的输出在通道维度上进行堆叠，堆叠后的特征图通过c3模块和conv模块进行特征提取，提取后的特征图输入到yolov5特征融合网络中的第二个c3模块，将特征融合网络结构中第四个c3模块的输出通过上采样进行扩展，并与特征融合网络中第三个c3模块的输出进行堆叠，特征融合网络中第五个c3模块的输出通过上采样与第四个c3模块的输出进行堆叠，特征融合网络中第六个c3模块的输出通过上采样与第五个c3模块的输出进行堆叠，增加一层在新的特征融合网络中第三个c3模块输出的尺寸大小为160×160的特征图上进行预测的检测层，同时删去yolov5模型在大小为20×20的特征图上进行检测的检测层，并把由eca注意力和cbam中的空间注意力机制构成的混合注意力机制模块添加到特征融合网络中每个与concat模块紧邻的c3模块后。

12、步骤s3中，所述人机交互界面分为待测区、参数选择区、功能按钮区、检测结果区和检测信息区。待测区展示待测的pcb图片；参数选择区可以选择检测使用的模型、模型权重、预设的confidence阈值和iou阈值；功能按钮区包括选择本地图片、选择外部图片、选择本地视频、选择外部视频、开始检测、结果保存、结果删除和程序退出；检测结果区展示检测完成后的pcb图片，在图片上利用矩形框标注检测到的缺陷位置，并在矩形框上面标注缺陷类别和置信度，置信度表示模型认为该缺陷属于标注缺陷类别的概率；检测信息区展示检测到的缺陷总数和每类缺陷的具体数目以及检测过程的耗时。

13、本发明所述检测系统包括pcb图像采集模块、缺陷检测模块以及人机交互界面模块，为了提升模型对微小缺陷的检测效果，降低检测过程中的误检率和漏检率，改进yolov5模型在yolov5模型中增加了一个大小为160×160的检测头，删除原有的大小为20×20的检测头，构建了新的特征融合网络；并在特征融合网络中，把由eca注意力和cbam中的空间注意力机制构成的混合注意力机制模块添加到特征融合网络中每个与concat模块紧邻的c3模块后。

14、本发明的有益效果是：本发明针对传统pcb缺陷方法存在精度低、速度慢以及如今基于图像处理、机器学习和深度学习检测方法存在的模型检测效果不佳、部署工作缺乏等问题，设计了一种基于nvidia jetson tx2的pcb缺陷检测系统及方法，有效提升了pcb缺陷检测的检测精度和检测速度，具有广阔的应用前景。

技术特征：

1.一种基于nvidiajetson tx2的pcb缺陷检测系统，其特征在于：包括布置在nvidiajetson tx2板卡上的pcb图像采集模块、缺陷检测模块以及人机交互界面模块。

2.根据权利要求1所述的pcb缺陷检测系统，其特征在于：所述pcb图像采集模块利用nvidiajetson tx2上外接的摄像头拍摄待测的pcb图片，采集到的图像传送给缺陷检测模块进行检测。

3.根据权利要求1所述的pcb缺陷检测系统，其特征在于：所述缺陷检测模块利用部署在nvidiajetson tx2上的改进yolov5模型对pcb图像采集模块传送来的待测pcb图片进行检测，并输出检测结果，检测结果包括每种缺陷的位置、类别信息以及单张图片的检测耗时。

4.根据权利要求1所述的pcb缺陷检测系统，其特征在于：所述人机交互界面模块用于对检测结果进行归纳和分析，显示检测到的pcb缺陷总数、每类pcb缺陷的数目、检测过程的总耗时以及包含标注信息的检测后的pcb图片。

5.一种基于nvidiajetson tx2的pcb缺陷检测方法，通过应用权利要求1-4任一项所述的pcb缺陷检测系统实现，其特征在于，包括以下步骤：

6.根据权利要求5所述的pcb缺陷检测方法，其特征在于：步骤s2中，所述改进yolov5模型是在yolov5特征融合网络的第二个concat模块后依次添加c3模块、conv模块和upsample模块，upsample模块的输出与特征提取层模块第一个c3模块的输出在通道维度上进行堆叠，堆叠后的特征图通过c3模块和conv模块进行特征提取，提取后的特征图输入到yolov5特征融合网络中的第二个c3模块，将特征融合网络结构中第四个c3模块的输出通过上采样进行扩展，并与特征融合网络中第三个c3模块的输出进行堆叠，特征融合网络中第五个c3模块的输出通过上采样与第四个c3模块的输出进行堆叠，特征融合网络中第六个c3模块的输出通过上采样与第五个c3模块的输出进行堆叠，增加一层在新的特征融合网络中第三个c3模块输出的尺寸大小为160×160的特征图上进行预测的检测层，同时删去yolov5模型在大小为20×20的特征图上进行检测的检测层，并把由eca注意力和cbam中的空间注意力机制构成的混合注意力机制模块添加到特征融合网络中每个与concat模块紧邻的c3模块后。

7.根据权利要求5所述的pcb缺陷检测方法，其特征在于：步骤s3中，所述人机交互界面分为待测区、参数选择区、功能按钮区、检测结果区和检测信息区。

8.根据权利要求7所述的pcb缺陷检测方法，其特征在于：所述待测区展示待测的pcb图片；所述参数选择区选择检测使用的模型、模型权重、预设的confidence阈值和iou阈值；所述功能按钮区包括选择本地图片、选择外部图片、选择本地视频、选择外部视频、开始检测、结果保存、结果删除和程序退出；所述检测结果区展示检测完成后的pcb图片，在图片上利用矩形框标注检测到的缺陷位置，并在矩形框上面标注缺陷类别和置信度；所述检测信息区展示检测到的缺陷总数和每类缺陷的具体数目以及检测过程的耗时。

技术总结
本发明公开了一种基于NVIDIA Jetson TX2的PCB缺陷检测系统及方法，涉及PCB缺陷检测技术领域，本发明针对传统PCB缺陷方法存在精度低、速度慢以及如今基于图像处理、机器学习和深度学习检测方法存在的模型检测效果不佳、部署工作缺乏等问题，设计了一种基于NVIDIA Jetson TX2的PCB缺陷检测系统及方法，有效提升了PCB缺陷检测的检测精度和检测速度，具有广阔的应用前景。

技术研发人员：舒双宝,张宇,郎贤礼
受保护的技术使用者：合肥工业大学
技术研发日：
技术公布日：2024/1/14