一种基于ZYNQ的生产车间智能管理监测系统的制作方法

一种基于zynq的生产车间智能管理监测系统
技术领域
1.本发明涉及人工智能和嵌入式领域，特别是涉及一种基于zynq的生产车间智能管理监测系统。


背景技术：

2.随着中国大力发展生产力，生产车间事故也不断增多，人们越来越注重生产车间的卫生和安全。其中，许多生产车间事故是可以避免的，如佩戴防尘头套可以防止头发掉落到零件表面上或生产机器上，导致产品质量不合格和器械损坏等问题；工作制服检测可以防止非工作人员随意进出生产车间，造成事故和损失；火焰检测可以第一时间发现火焰，并及时采取行动减少火灾蔓延的风险。因此，生产车间智能管理监测变得更加重要，甚至成为生产车间不可缺少的工具。
3.但现有的生产车间智能管理监测系统是在pc(personal computer)上实现，其放置在固定的监控室。为了满足生产车间现场实时监控需求，服务器端需要部署大量的高性能pc来运行高复杂度的目标检测算法和实时处理来自多个生产车间现场的图像数据。虽然在pc上有十分优秀的检测精度和速度，但设备的功耗增加，对服务器的要求较高以及成本高等问题不适合大范围生产车间现场部署。而且在pc上实现生产车间现场安全监测系统存在灵活性差、体积大等缺点，不适合随时部署到临时工作现场。


技术实现要素：

4.本发明的目的是提供一种基于zynq的生产车间智能管理监测系统，以解决现有技术中的生产车间智能管理监测系统成本高、使用范围小的问题。
5.为实现上述目的，本发明提供了如下方案：
6.一种基于zynq的生产车间智能管理监测系统，包括：依次连接的图像采集模块、zynq系统板和终端设备；
7.所述图像采集模块用于实时采集生产车间图像；
8.所述zynq系统板用于获取zynq可执行目标检测文件，利用所述zynq可执行目标检测文件对所述生产车间图像进行检测，输出检测结果；所述检测结果为生产车间内的工人是否穿戴防尘头套、口罩和工作制服以及生产车间中是否有火焰；
9.所述终端设备用于对所述检测结果进行显示，并根据所述检测结果发出警报。
10.可选地，所述zynq系统板包括用于存储zynq加速系统和所述zynq可执行目标检测文件的sd卡；
11.在所述sd卡中，所述zynq加速系统调用所述zynq可执行目标检测文件；所述zynq加速系统还用于对检测过程进行加速。
12.可选地，所述zynq系统板还包括：处理系统端、可编程逻辑端、usb接口、以太网接口、显示屏接口和串口；所述处理系统端与所述可编程逻辑端连接；所述处理系统端还通过axi通信总线分别与所述usb接口、所述以太网接口、所述显示屏接口和所述串口连接；
13.所述处理系统端为所述zynq系统板的主控制端，用于为所述可编程逻辑端、所述usb接口、所述以太网接口、所述显示屏接口和所述串口提供时钟；
14.所述可编程逻辑端用于对所述usb接口、所述以太网接口、所述显示屏接口和所述串口进行控制；
15.所述usb接口用于连接所述图像采集模块；
16.所述以太网接口用于连接上位机；
17.所述显示屏接口用于连接所述终端设备的显示屏；
18.所述串口用于进行串口通信。
19.可选地，所述终端设备包括底座、显示屏和警报器；
20.所述显示屏和所述警报器连接；所述显示屏和所述警报器设置于所述底座上；
21.所述显示屏用于对所述检测结果进行显示，所述警报器用于根据所述检测结果发出警报。
22.可选地，所述zynq系统板设置于所述底座的内部。
23.可选地，所述zynq系统板还包括开关机按钮。
24.可选地，所述zynq可执行目标检测文件包括训练好的yolov4-tiny网络的结构信息和训练好的yolov4-tiny网络的权重参数；所述zynq可执行目标检测文件通过所述上位机获得，具体包括：
25.准备训练数据集；所述训练数据集包括生产车间原始图像和标注后的生产车间图像；
26.利用所述训练数据集对yolov4-tiny网络进行训练，得到训练好的yolov4-tiny网络；
27.将所述训练好的yolov4-tiny网络的权重参数和结构信息，保存为浮点模型文件；
28.对所述浮点模型文件进行量化，得到定点模型文件；
29.将所述定点模型文件转化为所述zynq可执行目标检测文件。
30.可选地，所述zynq可执行目标检测文件还包括dpu并行加速yolov4-tiny网络的指令集和zynq运行的主程序。
31.可选地，所述yolov4-tiny网络包括依次连接的骨干特征提取网络、特征金字塔和yolohead输出层；
32.所述骨干特征提取网络用于提取所述生产车间图像的特征；
33.所述特征金字塔用于加强所述特征，得到加强后的特征；
34.所述yolohead输出层用于对所述加强后的特征进行检测，得到检测结果。
35.根据本发明提供的具体实施例，本发明公开了以下技术效果：
36.本发明的基于zynq的生产车间智能管理监测系统，通过图像采集模块采集生产车间现场图像；所述zynq系统板利用zynq可执行目标检测文件对所述生产车间现场图像进行检测，检测生产车间内的工人是否穿戴防尘头套、口罩和工作制服以及检测生产车间中是否有火焰，输出检测结果；所述终端设备用于对所述检测结果进行显示，并根据所述检测结果发出警报。本发明通过zynq系统板代替pc，降低了生产成本，缩小了系统体积，可以将基于zynq的生产车间智能管理监测系统随时部署在任何地点，扩大了使用范围。
附图说明
37.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
38.图1为本发明提供的一种基于zynq的生产车间智能管理监测系统的结构图；
39.图2为本发明提供的zynq系统板框架示意图；
40.图3为本发明提供的zynq可执行目标检测文件制作流程图；
41.图4为本发明提供的yolov4-tiny网络结构图；
42.图5为本发明提供的vitis基础加速平台结构图；
43.图6为本发明提供的dpu工作原理图；
44.图7为本发明提供的zynq加速系统框架示意图；
45.图8为本发明提供的终端设备的结构示意图。
46.符号说明：11、图像采集模块；12、zynq可执行目标检测文件；13、zynq加速系统；14、终端设备；15、zynq系统板；22、时钟分频器；23、第一复位器；24、axi控制器；25、中断控制器；26、第二复位器；27、第三复位器；32、axi总线；33、命令信息；34、计算引擎；35、片上内存；36、内存控制器；37、片上内存缓冲区；45、dpu；46、常量；47、连接器；61、处理系统端；62、可编程逻辑端；63、usb接口；64、以太网接口；65、显示屏接口；66、串口；81、显示屏；82、底座；83、警报器；84、串口开口；85、以太网开口；86、usb开口；87、开关机按钮；89、电源接口。
具体实施方式
47.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.本发明的目的是提供一种基于zynq的生产车间智能管理监测系统，以解决现有技术中的生产车间智能管理监测系统成本高、使用范围小的问题。
49.本发明的基于zynq的生产车间智能管理监测系统，旨在解决在pc上实现的生产车间现场智能安全监测系统成本高、便携性差、功耗高、体积大等问题，无法实现生产车间现场智能安全监测系统随时部署和大范围投入使用，从而导致生产车间现场智能安全监测系统的使用面窄的技术问题。
50.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
51.图1为本发明提供的一种基于zynq的生产车间智能管理监测系统的结构图，如图1所示，基于zynq的生产车间智能管理监测系统包括：依次连接的图像采集模块11、zynq系统板15和终端设备14。所述zynq系统板15包括用于存储zynq加速系统13和zynq可执行目标检测文件12的sd卡，其中，sd卡未在图1中示出。zynq全称为zynq-7000all programmable soc，是新一代全可编程片上系统。
52.在实际应用中，所述zynq加速系统13和所述zynq可执行目标检测文件12一起写入
所述zynq系统板15的sd卡，所述图像采集模块11与所述zynq系统板15的usb接口63连接，所述zynq系统板15与终端设备14连接。
53.所述图像采集模块11用于实时采集生产车间图像。在实际应用中，图像采集模块11为usb摄像头，用于实时采集图像数据，本系统支持任意型号摄像头。
54.所述zynq系统板15用于获取zynq可执行目标检测文件12，在所述sd卡中，所述zynq加速系统13调用所述zynq可执行目标检测文件12；利用所述zynq可执行目标检测文件12对所述生产车间图像进行检测，输出检测结果；所述检测结果为生产车间内的工人是否穿戴防尘头套、口罩和工作制服以及生产车间中是否有火焰；所述zynq加速系统13还用于对检测过程进行加速。zynq加速系统13调用zynq可执行目标检测文件12的工作原理：zynq加速系统13调用zynq可执行目标检测文件12中的zynq运行主程序使整个设计开始工作，然后zynq加速系统13从zynq可执行目标检测文件12中获取权重参数、网络结构数据、dpu并行加速指令集，传给dpu从而实现并行加速。yolov4-tiny网络会输出一些数据，这些数据被主程序中的后处理代码部分进行处理，就得到目标检测结果。
55.所述终端设备14用于对所述检测结果进行显示，并根据所述检测结果发出警报。
56.在生产车间，通过图像采集模块11实时采集生产车间图像，进一步传入zynq系统板15处理，所述zynq系统板15读取所述zynq可执行目标检测文件12的网络结构和权重参数信息，并传入到所述zynq加速系统13进行并行加速，实时检测工人是否穿戴防尘头套、口罩和工作制服以及实时火焰检测，所述zynq系统板15对其他智能设备进行控制，例如将检测结果传入到显示屏81显示，若有未穿戴其中一样服装或检测到火焰，则在显示屏81上显示目标并且通过警报器83发出警报。从而提高生产车间的管理性。
57.作为一种可选的实施方式，所述zynq系统板15还包括：处理系统端61(ps端)、可编程逻辑端62(pl端)、usb接口63、以太网接口64、显示屏接口65和串口66，所述zynq系统板15的结构图如图2所示，所述zynq系统板15，用于控制整个系统。所述处理系统端61与所述可编程逻辑端62连接；所述处理系统端61还通过axi通信总线(axi总线)分别与所述usb接口63、所述以太网接口64、所述显示屏接口65和所述串口66连接。在实际应用中，所述zynq系统板15还包括开关机按钮87，开关机按钮87是用于控制zynq系统板电源的开关。
58.所述处理系统端61为所述zynq系统板15的主控制端，用于为所述可编程逻辑端62、所述usb接口63、所述以太网接口64、所述显示屏接口65和所述串口66等外设接口提供时钟和高速axi通信总线。
59.所述可编程逻辑端62用于对所述usb接口63、所述以太网接口64、所述显示屏接口65和所述串口66进行控制。在实际应用中，pl端用于实现算法的并行加速和对外设的控制。
60.所述usb接口63用于连接所述图像采集模块11，接收所述图像采集模块11采集的图像数据(生产车间图像)，usb接口63还可作为鼠标和键盘接口，用于控制zynq系统板15。
61.所述以太网接口64用于连接上位机，实现所述zynq系统板15与个人计算机(上位机)的通信，实现数据传输或更新系统。
62.所述显示屏接口65用于连接所述终端设备14的显示屏81，传输数据到所述显示屏81进行显示。
63.所述串口66用于进行串口通信。
64.作为一种可选的实施方式，所述zynq可执行目标检测文件12包括训练好的
yolov4-tiny网络的结构信息和训练好的yolov4-tiny网络的权重参数。所述zynq可执行目标检测文件12还包括dpu并行加速yolov4-tiny网络的指令集和zynq运行的主程序。所述zynq运行的主程序包括yolov4-tiny网络的后处理代码和使zynq运行起来的代码。
65.所述zynq可执行目标检测文件12通过所述上位机获得，在实际应用中，所述zynq可执行目标检测文件12通过以下步骤获得，分别是训练数据集准备、模型训练、浮点模型文件保存、量化器量化浮点模型、定点模型文件保存以及编译器转换定点模型，如图3所示。具体步骤如下：
66.准备训练数据集；所述训练数据集包括生产车间原始图像和标注后的生产车间图像。所述训练数据集用于作为模型输入，训练模型权重参数，使用labelimg软件将所述训练数据集打上标签。
67.利用所述训练数据集对yolov4-tiny网络进行训练，得到训练好的yolov4-tiny网络。在实际应用中，模型训练，用于训练能实现目标检测的权重文件，使用所述yolov4-tiny网络作为训练网络，在keras模型框架进行训练。
68.将所述训练好的yolov4-tiny网络的权重参数和结构信息，保存为浮点模型文件。在实际应用中，浮点模型文件包含训练好的网络的权重参数和模型各层信息。
69.对所述浮点模型文件进行量化，得到定点模型文件。在实际应用中，量化器用于量化浮点模型文件，来减少内存资源的消耗，通过减少参数的计算位宽来实现模型压缩的方法，将32bit浮点模型文件量化成8bit定点模型文件，量化器是基于adaquant的一种改进的量化模型方法，不需要重新训练模型，只需要使用部分无标签训练集，就可以实现全局优化模型并且推断出层与层之间的误差，从而校准激活函数以及微调权重参数。
70.将所述定点模型文件转化为所述zynq可执行目标检测文件12。在实际应用中，编译器用于将定点模型文件转换成所述zynq可执行目标检测文件12，以及将zynq运行的主程序打包到所述zynq可执行目标检测文件12，对经过量化器的输出模型的拓扑结构进行解析后，构建内部计算图作为中间表示形式。并在此基础上构建对应的控制流和数据流表示法。随后，它会执行多次最优化，例如，计算节点融合(如，将批次归一化融合到主卷积)、通过利用固有并行度来保障有效的指令调度或者利用数据复用等。
71.作为一种可选的实施方式，所述yolov4-tiny网络包括依次连接的骨干特征提取网络、特征金字塔和yolohead输出层。所述yolov4-tiny网络的网络结构如图4所示，所述yolov4-tiny网络是用于实现目标检测的网络。
72.所述骨干特征提取网络用于提取所述生产车间图像的特征。作为初步的特征提取网络，每层网络都由相似结构的resblock卷积层构成。
73.所述resblock卷积层具有多残差结构，能有效缓解模型训练过程中，过拟合的效果，还实现丰富的梯度组合，使网络更容易优化，所述resblock卷积层首先使用cbl卷积层提取输入图像特征，引出大残差边。然后将特征图的通道进行分割，得到主干部分和小残差边。将主干部分进行cbl卷积，与小残差边堆叠。将堆叠的特征图进行升维，与大残差边堆叠。最后通过最大池化层压缩特征图的宽和高。
74.所述cbl卷积由卷积层、标准化层和leaky relu激活函数组成，作为yolov4-tiny网络的全部2d卷积结构。
75.所述特征金字塔用于加强所述特征，得到加强后的特征。所述特征金字塔与骨干
特征提取网络最后两层的resblock卷积层和cbl卷积层的输出连接，通过将高层的特征和底层的特征进行相互融合，增加特征映射分辨率，使得不同尺寸的目标都有较好的检测效果，解决了多尺度目标问题。
76.所述yolohead输出层用于对所述加强后的特征进行检测，得到检测结果。所述yolohead输出层，用于获得检测结果，与所述特征金字塔连接，是所述yolov4-tiny网络的分类器与回归器，对输入特征点进行判断，判断特征点是否有物体与其对应，所述yolohead输出层有三个通道分别输出不同分辨率的检测结果，每个通道本质上是一次3x3卷积加上一次1x1卷积，3x3卷积的作用是特征整合，1x1卷积的作用是调整通道数。
77.在实际应用中，所述zynq加速系统13包括vitis基础加速平台、patelinux操作系统和dpu。所述vitis基础加速平台，用于向patelinux操作系统和dpu提供基础硬件信息；所述patelinux操作系统，用于给zynq系统板15提供操作系统和工作环境，以至于能运行zynq可执行目标检测文件12；所述dpu，用于加速yolov4-tiny网络，提高检测速度。
78.所述vitis基础加速平台用于为patelinux操作系统和dpu搭建做准备，使用vivado 2020.1软件搭建所述vitis基础加速平台，所述vitis基础加速平台如图5所示。
79.所述处理系统端61作为zynq系统板15的主控制端，控制zynq的各个ip核和外设器件，提供100mhz频率时钟给zynq系统板15的各个ip核和外设器件，提供高速axi通信总线用于数据传输。
80.所述时钟分频器22，用于时钟分频，与处理系统端61的时钟输出端口连接，将所述处理系统端61输出的100mhz时钟分频为100mhz、200mhz和400mhz时钟，其中200mhz和400mhz时钟是为所述dpu准备的工作时钟，所述100mhz时钟是为其他ip核和外设器件提供的工作时钟。
81.所述第一复位器23，用于向ip核和其他外设器件提供复位信号，分别与所述时钟分频器22输出的三个时钟连接来获得不同工作时钟的复位信号。
82.所述axi控制器24，用于控制axi高速通信总线和建立各器件之间的通信，与处理系统端61的时钟输出端口连接来获得工作时钟。
83.所述中断控制器25，用于控制dpu产生的中断信号，与处理系统端61的时钟输出端口连接来获得工作时钟。
84.进一步的，在ubuntu操作系统上搭建所述petalinux系统，将所述vitis基础加速平台生成包含硬件信息的文件作为所述petalinux系统搭建的基础文件。
85.所述dpu的工作原理，如图6所示，所述dpu45通过指令来实现卷积神经网络加速，并为图像数据提供可访问内存位置。首先，处理系统端61通过axi总线32向dpu45发送命令信息33。dpu45接收到命令信息33后，向片上内存35发送请求。然后通过内存控制器36向片上内存35获取数据信息，缓存到片上内存缓冲区37。最后dpu45从片上内存缓冲区37获得的指令来控制计算引擎34进行并行运算，其中，计算引擎34是由多个可并行的处理单元组成。
86.进一步的，如图7所示，所述zynq加速系统13搭建，是在所述vitis基础加速平台的基础上使用vitis软件搭建，将所述dpu45和其他器件搭建到所述vitis基础加速平台上，其他器件包括处理系统端61、第一复位器23、第二复位器26、第三复位器27、时钟分频器22、axi控制器24、常量46、连接器47和中断控制器25。
87.dpu45，用于加速卷积神经网络，与时钟分频器22连接获得200mhz和400mhz频率的
工作时钟，与第一复位器23、第二复位器26和第三复位器27连接获得复位信号，与axi控制器24连接来实现对内存数据的高速访问，与中断控制器25连接来输出中断信号反馈给所述处理系统端61。
88.常量46和dpu45的中断输出作为连接器47的输入，用于产生复合型的中断信号。
89.连接器47的输出与中断控制器25连接，将中断信号反馈给所述处理系统端61。
90.作为一种可选的实施方式，所述终端设备14包括底座82、显示屏81和警报器83；所述显示屏81和所述警报器83连接；所述显示屏81和所述警报器83设置于所述底座82上，如图8所示。所述显示屏81用于对所述检测结果进行显示，所述警报器83用于根据所述检测结果发出警报。所述显示屏81，用于实时显示生产车间现场状况和标注的目标信息，使用显示屏接口65与所述zynq系统板15连接。所述警报器83，用于发出警报提示音，提示出现未戴防尘头套或没有工作穿制服或者没有佩戴口罩的目标，还可以提示生产车间内有火焰。
91.在实际应用中，所述zynq系统板15设置于所述底座82的内部。另外，所述终端设备14上设置有多个开口，包括串口开口84、以太网开口85和usb开口86，对应于zynq系统板15的usb接口63、以太网接口64和串口66。还设置有电源接口89，用于给所述zynq系统板15提供电源。
92.本发明的一种基于zynq的生产车间智能管理监测系统，采用并行加速技术，通过并行处理特征图多个像素实现卷积神经网络加速。采用图像预处理技术，提高传输图像质量，从而提高目标检测准确率。采用目标检测技术，使用yolov4-tiny目标检测算法实时检测防尘头套、口罩、工作制服和火焰并进一步判断分析，yolov4-tiny目标检测算法包含yolov4-tiny网络、预处理和后处理的代码。采用网络模型轻量化技术，压缩yolov4目标检测网络的模型大小，通过减少网络模型的参数量和计算量，提高目标检测速度，减少内存资源的使用。采用网络模型量化技术，通过减少网络模型的权重参数带宽来减少对zynq硬件资源的利用。采用节能高效硬件设计架构，实现节能和低功耗。
93.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
94.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。