基于人工智能的磁性材料制备工序识别及监控系统

1.本发明涉及一种磁性材料制备工序识别及监控系统，属于识别及监控技术领域。


背景技术：

2.磁性材料是一类重要的基础功能材料，应用范围十分广泛，如电子、信息、电动工具、汽车、家电等行业对磁性材料有着不可替代的需求。由于当前国家提倡节能环保、绿色发展，作为一种清洁能源，磁性材料更是在节能环保、新能源、电动汽车、智慧城市、智慧地球等新兴领域中得到越来越广泛的应用，甚至开始应用于机器人、无人机、航空航天、卫星遥感等军事国防领域。
3.磁性材料制备是磁性材料产业链的基础环节，承担着非常重要的角色。虽然目前的磁性材料生产企业已经做到工艺比较成熟，设备比较先进，但是目前的磁性材料生产企业仍然没有一套比较智能的磁性材料制备工序识别及监控系统，所以目前的磁性材料制备过程的监控基本都是依靠人工现场检查和基于人力视频监控系统实现的，不仅需要花费大量的人力物力，而且效率低，还存在不能及时发现违规操作等情况，存在较大的安全隐患。由于磁性材料制备的过程中还需要对磁性材料制备工序进行监控、识别和分析，现有的方式也都是基于人力的录像分析，也存在效率低、准确率低的问题。


技术实现要素：

4.本发明是为了解决现有的磁性材料制备工序依靠人工进行判断存在的监控效率低、准确率低的问题。
5.基于人工智能的磁性材料制备工序识别及监控系统，所述系统括数据层、算法层和应用层；
6.数据层存储磁性材料制备工序识别及监控的数据，数据层中存储的数据集包括生产场景目标检测数据集、生产过程工序特征检测数据集；
7.算法层根据稀土磁性材料制备工序识别及监控ai模型进行实际的磁性材料制备工序识别及监控推断；所述稀土磁性材料制备工序识别及监控ai模型包括稀土磁性材料制备生产场景目标检测模型、基于时空关系推理的熔炼炉生产过程工序识别模型、安全检测模型；
8.稀土磁性材料制备生产场景目标检测模型采用神经网络模型对不同尺度目标的检测；基于时空关系推理的熔炼炉生产过程工序识别模型利用稀土磁性材料制备生产场景目标检测模型的目标检测结果，根据不同场景主要目标的空间关系以及不同帧目标的时序关系给出工序识别结果；安全检测模型对存在有工人特征数据进行是否佩戴安全帽的判断；
9.应用层采用基于deepstream的实时视频流分析框架，在deepsteam视频分析加速库的支撑下，多路视频通过解码、预处理、批处理、神经网络推断、追踪、可视化、显示、推流步骤，基于算法层实现工序的实时检测、违章作业的实时监控。
10.进一步地，所述应用层在cuda、cudnn、tensorrt加速库支撑下，采用模型压缩和模型量化推断加速方法，实现对算法层的稀土磁性材料制备工序识别及监控ai模型推断阶段加速，进而实现对视频流的实时推断。
11.进一步地，所述应用层实现对算法层的稀土磁性材料制备工序识别及监控ai模型推断阶段加速的过程包括以下步骤：
12.稀土磁性材料制备工序识别及监控ai模型中的神经网络模型为包括网络结构参数和权重参数的文件，将参数通过tensorrt实现，将32浮点运算转为8位整型运算实现推断阶段的模型加速。
13.进一步地，所述系统还包括图像采集子系统，所述图像采集子系统包括多路视频数据采集单元，用于采集多路视频数据。
14.进一步地，所述稀土磁性材料制备生产场景目标检测模型采用的神经网络模型为yolov3实时目标检测网络模型。
15.进一步地，所述基于时空关系推理的熔炼炉生产过程工序识别模型采用lightgbm决策树模型实现。
16.进一步地，应用层基于算法层实现工序的实时检测、违章作业的实时监控的过程包括以下步骤：
17.1.1、针对每路视频数据进行初始化；
18.1.2、读取并保存本帧中所有被识别的特征对象的数据信息；所述的特征对象是指实际生产场景目标检测数据集的特征数据，包括炉前特征和炉顶特征；该过程的特征数据是稀土磁性材料制备生产场景目标检测模型根据视频数据检测到并存储的特征数据；
19.1.3、如果本帧未识别出任何特征对象，则需将上一帧的推断结果继续发送，然后继续遍历下一帧数据；
20.1.4、根据本帧特征对象数据进行工序推断；工序推断的过程是利用基于时空关系推理的熔炼炉生产过程工序识别模型实现的；
21.1.5、本帧如果存在有工人特征数据，进行是否佩戴安全帽的判断，并执行步骤1.6；如果不存在工人特征数据直接执行步骤1.7；
22.1.6、对是否佩戴安全帽的推断信息，进行平滑滤波处理，滤波函数value＝alpha*flag+(1
‑
alpha)*lastvalue；其中value：计算后的滤波值；alpha：平滑滤波计算常数；lastvalue：上次计算的滤波值；
23.如果value的值超过0.5，则设置未佩戴安全帽标志信息为1；否则设置未佩戴安全帽标志信息为0；
24.1.7、判断是否为炉门完成打开状态，如果是，则置出料开始标志为1，并置擦炉门标志为0；否则直接执行步骤1.8；
25.1.8、判断是否为炉门完成关闭状态，如果是，则置出料开始标志为0；否则直接执行步骤1.9；
26.1.9、判断是否为擦炉门工序，如果是擦炉门工序，则需要确认炉门的每个边框是否被擦到，且保存相关标志信息；否则直接执行步骤1.10；
27.1.10、保存推断工序结果信息和报警信息，并将其置入数据信息流；
28.1.11、调用kafka，将保存的信息发送到消息队列；
29.1.12、释放资源；
30.1.13、如果存在下一组数据，则返回至1.1。
31.进一步地，步骤1.4所述的根据本帧特征对象数据进行工序推断的过程包括以下步骤：
32.首先判断本帧特征数据为炉顶数据，并执行步骤1.4.1或1.4.2：
33.1.4.1，如果本帧特征数据为炉顶数据，则进行炉顶相关工序推断，执行步骤1.4.1.1或1.4.1.2：
34.1.4.1.1，如果，存在坩埚倾倒特征数据，则为倾倒坩埚工序；
35.1.4.1.2，否则，执行1.4.1.2.1或1.4.1.2.2：
36.1.4.1.2.1，如果，存在炉口特征数据；执行步骤1.4.1.2.1.1或1.4.1.2.1.2：
37.1.4.1.2.1.1，如果，存在工人在炉口内特征数据，则执行步骤1.4.1.2.1.1.1或1.4.1.2.1.1.2：
38.1.4.1.2.1.1.1，如果，存在料桶在炉口内的特征数据，则执行步骤1.4.1.2.1.1.1.1或
39.1.4.1.2.1.1.1.2：
40.1.4.1.2.1.1.1.1，如果，存在手持工具的工人特征数据，则为装料工序；
41.1.4.1.2.1.1.1.2，否则，则为清理坩埚工序；
42.1.4.1.2.1.1.2，否则，执行步骤1.4.1.2.1.1.2.1或1.4.1.2.1.1.2.2：
43.1.4.1.2.1.1.2.1，如果，未出现手持工具的工人特征数据，则为清理坩埚工序；
44.1.4.1.2.1.1.2.2，否则，则为清扫炉口工序；
45.1.4.1.2.1.2，否则，执行步骤1.4.1.2.1.2.1：
46.1.4.1.2.1.2.1，如果，存在工人特征数据或者料桶特征数据，则为配料工序；
47.1.4.1.2.2，否则，为熔炼工序；
48.1.4.2，如果本帧特征数据不为炉顶数据，本帧特征数据为炉前数据，则进行炉前相关工序推断，执行步骤1.4.2.1或1.4.2.2：
49.1.4.2.1，如果，不存在人在门前的特征数据，执行步骤1.4.2.1.1或者1.4.2.1.2：
50.1.4.2.1.1，如果，不存在手持工具工的人的特征数据，执行步骤1.4.2.1.1.1或1.4.2.1.1.2：
51.1.4.2.1.1.1，如果，不存在人在炉前的特征数据，执行步骤1.4.2.1.1.1.1或1.4.2.1.1.1.2：
52.1.4.2.1.1.1.1，如果，不存在炉门外侧特征数据；执行步骤1.4.2.1.1.1.1.1或1.4.2.1.1.1.1.2：
53.1.4.2.1.1.1.1.1，如果，不存在工人特征数据，则为未定义工序；
54.1.4.2.1.1.1.1.2，否则，执行步骤1.4.2.1.1.1.1.2.1或1.4.2.1.1.1.1.2.2：
55.1.4.2.1.1.1.1.2.1，如果，存在炉膛特征数据，则为打铜滚工序；
56.1.4.2.1.1.1.1.2.2，否则，为出料工序；
57.1.4.2.1.1.1.2，否则，执行步骤1.4.2.1.1.1.2.1或1.4.2.1.1.1.2.2：
58.1.4.2.1.1.1.2.1，如果，不存在安全帽特征数据，则为熔炼工序；
59.1.4.2.1.1.1.2.2，否则，为开关门工序；
60.1.4.2.1.1.2，否则，执行步骤1.4.2.1.1.2.1或1.4.2.1.1.2.2：
61.1.4.2.1.1.2.1，如果，不存在料桶特征数据，执行步骤1.4.2.1.1.2.1.1或1.4.2.1.1.2.1.2：
62.1.4.2.1.1.2.1.1，如果，不存在炉门内侧特征数据，则为开关门工序；
63.1.4.2.1.1.2.1.2，否则，执行步骤1.4.2.1.1.2.1.2.1或1.4.2.1.1.2.1.2.2：
64.1.4.2.1.1.2.1.2.1，如果，出现人在炉内特征数据，则为清理炉膛工序；
65.1.4.2.1.1.2.1.2.2，否则，为出料工序；
66.1.4.2.1.1.2.2，否则，执行步骤1.4.2.1.1.2.2.1或1.4.2.1.1.2.2.2：
67.1.4.2.1.1.2.2.1，如果，料桶与炉膛位置为分离状态，则为清理炉膛工序；
68.1.4.2.1.1.2.2.2，否则，为出料工序；
69.1.4.2.1.2，否则，为出料工序；
70.1.4.2.2，否则，执行步骤1.4.2.2.1、1.4.2.2.2或1.4.2.2.3：
71.1.4.2.2.1，如果，不存在铜滚特征数据，则为开关门工序；
72.1.4.2.2.2，如果，存在铜滚特征数据，且没有料桶或者料桶与炉膛是分离状态，则为清理炉门工序；
73.1.4.2.2.3，如果，存在炉门外侧特征数据，且不存在炉膛特征数据，则为熔炼观察工序；
74.1.4.3，返回工序识别结果。
75.进一步地，步骤1.5所述进行是否佩戴安全帽的判断过程包括以下步骤：
76.1.5.1，读取一个安全帽特征的数据；
77.1.5.2，读取一个工人特征的数据；
78.1.5.3，如果该工人未曾被匹配过，则比对该安全帽与该工人的位置相关数据；
79.1.5.4，如果该安全帽应属于该工人所佩戴，则标记此工人已匹配；
80.1.5.5，如果还有未读取工人数据，则返回至1.5.2；
81.1.5.6，如果还有为读取安全帽数据，则返回至1.5.1；
82.1.5.7，遍历所有工人数据数据，如仍有未匹配情况出现，则确定有未佩戴安全帽情况出现。
83.进一步地，步骤1.9所述确认炉门的每个边框是否被擦到的过程包括以下步骤：
84.1.9.1，读取炉门特征的数据信息；
85.1.9.2，读取一个工人特征的数据信息；
86.1.9.3，将本工人的位置信息，依次分别与炉门的四个门框的位置信息进行比对，如确认在擦某个门框，则保存相应数据；
87.1.9.4，如果还有未读取工人信息，则返回至1.9.2；
88.1.9.5，返回结果。
89.有益效果：
90.本发明提出了一种基于深度学习网络的方法实现稀土磁性材料制备过程异常工序识别，不仅可以实现自动化、信息化的识别监控，节省人力和物力的投入，而且识别和监测结果更加准确，能够有效的提高生产过程中的安全性，减少企业为安全生产进行的人力物力投资，减少企业运营成本，还能够避免人主观因素造成的疏忽，进而减少安全生产事故
的发生；由于本发明提高了识别和监测的效率与准确性，也提高了磁性材料制备工序监测的准确性，从而提高磁性材料制备工序的可控性，进而提高磁性材料制备的成品率和良品率。
91.本发明采用基于deepstream的实时视频流分析框架，采用模型压缩和模型量化等推断加速方法，实现对算法层生成的神经网络模型推断阶段加速，进而实现对视频流的实时推断，从而保证了识别和监控的实时性和有效性，这样能够保证工序识别和监控的数据都是更加准确的，保证了磁性材料制备工序识别和监控的准确性(若存在数据延时，并基于延时数据处理，则会降低工序识别和监控的准确性)，从而保证了磁性材料制备工序的可控性，进而帮助提高磁性材料制备的成品率和良品率。
92.本发明基于人工智能的计算机视觉工序识别的方法，不仅仅可以应用在稀土磁性材料制备方面，而且本项目提出的识别算法和平台是可以推广在相关工业领域中。
附图说明
93.图1为基于人工智能的稀土磁性材料制备熔炼炉工序检测及监控系统示意图；
94.图2为炉顶示例图；
95.图3为炉前示例图；
96.图4为图片标注图；
97.图5为yolov3实时目标检测模型网络结构示意图；
98.图6为稀土磁性材料制备工序识别及监控应用系统技术架构图；
99.图7为tensorrt实现推断阶段的加速示意图；
100.图8为基于deepstream的智能实时视频流分析单元示意图；
101.图9为对视频特征目标识别后的监测流程图；
102.图10为工序推断算法总流程图；
103.图11为炉顶工序推断算法流程图；
104.图12为炉前工序推断算法流程图；
105.图13为佩戴安全帽推断算法流程图；
106.图14为擦炉门推断算法流程图。
具体实施方式
107.具体实施方式一：结合图1说明本实施方式，
108.本实施方式为基于人工智能的磁性材料制备工序识别及监控系统，包括数据层、算法层和应用层；
109.1、数据层承担稀土磁性材料制备工序识别及监控ai模型数据集采集和数据库制作的任务，包括稀土磁性材料制备生产场景目标检测数据集的采集及数据集的制作、稀土磁性材料制备生产过程工序识别数据集制作过程。
110.数据层存储磁性材料制备工序识别及监控的数据，数据层中存储的数据集包括生产场景目标检测数据集、生产过程工序特征检测数据集；这些数据集主要包括实际生产中监控的数据，还可以包括用于训练稀土磁性材料制备工序识别及监控ai模型的数据；本实施方式从建立稀土磁性材料制备工序识别及监控ai模型的过程进行说明，以用于训练稀土
磁性材料制备工序识别及监控ai模型的数据进行说明：
111.a、生产场景目标检测数据集用于存放生产场景目标检测的数据，生产场景目标检测数据检测生产场景的关键目标，为工序识别建立基础。生产场景目标检测数据集的构建过程包括以下步骤：
112.生产场景目标检测的数据来自监控录像，分为炉前和炉顶两种视频来源，炉顶示例见图2所示，炉前示例见图3所示；
113.用ffmpeg工具，将监控录像的视频处理成图片的jpg格式，根据截取的图片来提取图片中的特征，专业人员对图片中的特征定义相关名称，形成特征工序名称数据集；该数据集包含炉前特征和炉顶特征两部分，其中：炉前需要标注20种特征，分别是人、人拿工具、机盖内侧、机盖外侧、炉膛、铜滚、口罩、中间包、铁锹、簸箕、扫帚、喷砂机、叉车、打磨机、吸尘器、手套、手、桶、吊钩；炉顶需要标注18种特征，分别是人、人拿工具、安全帽、炉口、倾倒坩埚、桶、空坩埚、有料坩埚、钎子、铁锹、簸箕、抹布、倾倒口、手套、手、吊钩、口罩、钢扫帚。
114.利用数据标注工具labelimg，通过可视化的操作界面进行画框标注，自动生成voc格式的xml文件；标注图片时选择图片中所有特征工序分别进行框选标注，具体的标注情况如图4所示。
115.读取所有的图像和标注文件，并将他们一一对应，然后创建两个图像列表，训练图像列表train.txt和测试图像列表test.txt，这样就完成了用于训练ai模型的关于生产场景目标检测数据集的准备工作。
116.b、生产过程工序特征检测数据集用于存放稀土磁性材料制备生产过程中熔炼炉生产过程工序识别的数据，是工序识别的基础。生产过程工序特征检测数据集的构建过程包括以下步骤：
117.生产过程工序特征检测数据来自熔炼炉生产过程工序视频，其中输入数据为前述生产场景目标检测数据集的内容，包括各目标及其坐标，输出为炉前和炉顶作业工序。其中炉前工序包括：开炉门、擦炉口、擦炉门、清灰、出料、打铜辊、换中间包、关炉门、熔炼观察；炉顶工序包括：装料、补炉嘴、清渣、倾倒坩埚。
118.2、算法层为ai模型的核心，算法层根据稀土磁性材料制备工序识别及监控ai模型进行实际的磁性材料制备工序识别及监控推断；
119.稀土磁性材料制备工序识别及监控ai模型包括稀土磁性材料制备生产场景目标检测模型、基于时空关系推理的熔炼炉生产过程工序识别模型、安全检测模型；前两部分模型用于工序识别，算法层的ai模型(包括神经网络的结构及权重等参数)为应用层的人工智能推断建立了基础。
120.利用构建稀土磁性材料制备工序识别及监控ai模型过程时数据层中的数据集训练稀土磁性材料制备工序识别及监控ai模型，得到模型参数；在实际稀土磁性材料制备工序识别及监控的过程中，利用图像采集装置采集图像，数据层将数据提供给算法层，算法层加载稀土磁性材料制备工序识别及监控ai模型，并利用数据层提供的数据进行实际的稀土磁性材料制备工序识别及监控。
121.稀土磁性材料制备生产场景目标检测模型：
122.稀土磁性材料制备生产场景目标检测对实时性有较高的要求，要求能够同时处理22路视频数据，并实时获得检测结果。基于这一生产需求，采用yolov3实时目标检测网络模
型，如图5所示，yolov3实时目标检测网络模型的骨干部分采用darknet
‑
53，在yolov3采用了3个不同尺度的特征图来进行对象检测，从而实现对不同尺度目标的检测。
123.根据数据层中的数据集对稀土磁性材料制备生产场景目标检测模进行充分训练、优化的基础上，得到网络的结构参数和模型参数，分别为一个cfg配置文件和一个weights权重文件，当进行实际的生产场景目标检测时，加载相应文件，利用稀土磁性材料制备生产场景目标检测模实现检测。
124.基于时空关系推理的熔炼炉生产过程工序识别模型：
125.利用稀土磁性材料制备生产场景目标检测模型的目标检测结果(包括场景主要目标的类型及其对应的图像坐标)，根据不同场景主要目标的空间关系(角度、距离)以及不同帧目标的时序关系给出工序识别结果；
126.基于时空关系推理的熔炼炉生产过程工序识别模型采用lightgbm决策树模型实现，有以下优势：更快的训练效率、低内存使用、更高的准确率、支持并行化学习、可处理大规模数据、支持直接使用category特征。
127.稀土磁性材料制备生产场景目标检测模型是为了识别出监控视频中的目标特征数据；这特征数据是作为基于时空关系推理的熔炼炉生产过程工序识别模型的输入数据使用的；这两个模型不仅具有先后的关联顺序，而且还具有逻辑逻辑上的配合关系，这两个模型所推断出的工序结果，可以为磁性材料的生产制备流程提供准确的质量监控；比如是否存在工序执行不规范或者是否存在安全措施执行不规范的情况，这些如若出现，则系统可以给出报警信息，从而使得本发明具有良好的磁性材料制备工序识别效果和监控效果。
128.安全检测模型对存在有工人特征数据进行是否佩戴安全帽的判断；
129.实际上，现有技术中对于某个部件或场景的识别一般都是直接使用一个神经网络模型实现，例如直接使用一个神经网络模型实现不同帧目标的工序识别结果，该过程可以是在图像标记的过程中将对应的工序作为标签，基于图像进行检测，检测到图像中的特征为某工序的所具备的特征，可以直接进行对应工序的判断，这样更加方便和高效，也能够降低算力开销；但是本发明经过研究发现使用一个神经网络模型直接识别的方式在训练过程需要将每个工序各种各样的情况均进行采样，由于本发明是针对稀土磁性材料制备工序识别，在实际检测过程中，现场的工序操作都是人工进行或者人工控制，所以人为的动作等因素等的影响，尤其是出现工序执行不规范或者是否存在安全措施执行不规范的情况，不仅难以保证对每个工序对应的所有情况进行采样，从而导致检测结果具有一定的漏检，使得整体的检测结果和监控出现问题，而且还存在较大的安全隐患。本发明经过研究和多次试验发现，采用神经网络模型+lightgbm决策树模型可以很好的解决漏检导致整体的检测结果和监控出现问题的情况，不仅神经网络模型的检测结果可以为lightgbm决策树模型提供很好的特征数据，而且这种方式还能够将各种情况进行有效的归类处理，进而提升检测结果的准确性；同时本发明还能够进行工序执行不规范或者是安全措施执行不规范的情况的监控，实现一套系统实现多项功能，不仅节省成本，而且相当于提高了整体算法的执行效率，也对应节省了算力，可以用一般的硬件设备实现更大的效益。
130.3、应用层采用基于deepstream的实时视频流分析框架，在deepsteam视频分析加速库的支撑下，多路视频通过解码、预处理、批处理、神经网络推断、追踪、可视化、显示/推流等步骤，构成了稀土磁性材料制备实时工序识别及监控应用系统，实现工序的实时检测、
server,ngc,aws,azure：分析基础设施
‑
边缘服务器，ngc，aws，azure；
142.最下层是硬件层，在tesla计算卡的硬件支持下提供ai模型的算力。其上是linux操作系统和cuda并行计算加速库。
143.再上层是实时视频流分析用到的各种组件。其中tensorrt实现推断阶段的模型量化和加速，codec sdk实现视频编解码加速、cudnn实现卷积神经网络加速等等。最上层是应用系统，实现业务需求。
144.ai模型的部署与推断加速：离线训练好的ai模型用于生产环境时，需要部署和推断加速，本实施方式中采用nvidia的tensorrt实现模型的部署和加速。ai模型中的神经网络模型为包括网络结构参数和权重参数的文件，将该参数通过tensorrt实现，将32浮点运算转为8位整型运算实现推断阶段的模型加速。
145.为了实现多路视频数据的推断加速，将多路视频数据同时送入ai模型进行推断，再通过批推断加速运算过程，图7为tensorrt推断加速示意图。
146.本发明在对视频流进行分析时，采用基于deepstream的智能实时视频流分析单元实现，所述基于deepstream的智能实时视频流分析单元基于nvidia的deepstream sdk开发，采用c++语言编程实现。采用kafka消息队列实现对推断结果集报警事件的实时推送。
147.nvidia的deepstream sdk提供了完整的流分析工具包，可用于基于ai的视频和图像理解以及多传感器处理。deepstream是nvidia metropolis的组成部分，该平台用于构建端到端服务和解决方案。
148.图8为基于deepstream的智能实时视频流分析单元架构图。图中gpu驱动提供了硬件驱动，cuda实现并行计算加速，cudnn实现卷积神经网络加速，tensorrt实现推断量化及加速，opencv实现图像处理的业务需求。
149.在以上支撑库的支持下，基于deepstream的智能实时视频流分析单元表现为流式结构的管道。
150.66路rtsp视频数据先进入管道，在codec视频编解码加速库进行解码；之后对视频预处理；其次通过streammux插件将多路视频批处理以便后续的批推断使用；之后在部署好的tensorrt神经网络模型实现批推断；之后实现结果的可视化及推流等业务功能。
151.最后，采用kafka消息队列实现对推断结果及报警事件的实时推送。
152.基于人工智能的磁性材料制备工序识别及监控系统的实际监测过程主要工作集中于在yolo模型和deepstream对视频特征目标识别后的监测过程，如图9所示，包括以下步骤：
153.1.1、针对每路视频数据进行初始化；
154.1.2、读取并保存本帧中所有被识别的特征对象的数据信息；所述的特征对象是指实际生产场景目标检测数据集的特征数据，包括炉前特征(20种)和炉顶特征(18种)；该过程的实际生产场景目标检测数据集特征数据是实际监测过程中稀土磁性材料制备生产场景目标检测模型根据视频数据检测到的并存入实际生产场景目标检测数据集的特征数据；
155.1.3、如果本帧未识别出任何特征对象，则需将上一帧的推断结果继续发送，然后继续遍历下一帧数据；
156.1.4、根据本帧特征对象数据进行工序推断；工序推断的过程是利用基于时空关系推理的熔炼炉生产过程工序识别模型实现的；
157.1.5、本帧如果存在有工人特征数据，进行是否佩戴安全帽的判断，并执行步骤1.6；如果不存在工人特征数据直接执行步骤1.7；
158.1.6、对是否佩戴安全帽的推断信息，进行平滑滤波处理，滤波函数value＝alpha*flag+(1
‑
alpha)*lastvalue；其中value：计算后的滤波值；alpha：平滑滤波计算常数；lastvalue：上次计算的滤波值；
159.如果value的值超过0.5，则设置未佩戴安全帽标志信息为1；否则设置未佩戴安全帽标志信息为0；
160.1.7、判断是否为炉门完成打开状态，如果是，则置出料开始标志为1，并置擦炉门标志为0；否则直接执行步骤1.8；
161.1.8、判断是否为炉门完成关闭状态，如果是，则置出料开始标志为0；此处为记录整个出料开始和结束的标志，并非具体工序的识别，具体细致工序的识别在1.4中；否则直接执行步骤1.9；
162.结合现场实际运行测试，经过对工序监控的安排优化和梳理，发现开炉门工序和关炉门工序是两个动态过程，需要在确定炉门打开后或炉门关闭后，对一些标志数据进行设置，从而在步骤1.4根据本帧特征对象数据进行工序推断之后再进一步执行步骤1.7至1.8。
163.1.9、判断是否为擦炉门工序，如果是擦炉门工序，则需要确认炉门的每个边框是否被擦到，且保存相关标志信息；否则直接执行步骤1.10；
164.1.10、保存推断工序结果信息和报警信息，并将其置入数据信息流；此处保存的是步骤1.4完成的推断工序结果，以及报警信息和其他标志信息，因为需要将这些自定义类型的信息嵌入到deepstream的链表中，故需要先保存再置入；
165.1.11、调用kafka，将保存的信息发送到消息队列；
166.1.12、释放资源；
167.1.13、如果存在下一组数据，则返回至1.1。
168.进一步地，如图10至图12所示，步骤1.4所述的根据本帧特征对象数据进行工序推断的过程包括以下步骤：
169.首先判断本帧特征数据为炉顶数据，并执行步骤1.4.1或1.4.2：
170.1.4.1，如果本帧特征数据为炉顶数据，则进行炉顶相关工序推断，执行步骤1.4.1.1或1.4.1.2：
171.1.4.1.1，如果，存在坩埚倾倒特征数据，则为倾倒坩埚工序；
172.1.4.1.2，否则，执行1.4.1.2.1或1.4.1.2.2：
173.1.4.1.2.1，如果，存在炉口特征数据；执行步骤1.4.1.2.1.1或1.4.1.2.1.2：
174.1.4.1.2.1.1，如果，存在工人在炉口内特征数据，则执行步骤1.4.1.2.1.1.1或1.4.1.2.1.1.2：
175.1.4.1.2.1.1.1，如果，存在料桶在炉口内的特征数据，则执行步骤1.4.1.2.1.1.1.1或
176.1.4.1.2.1.1.1.2：
177.1.4.1.2.1.1.1.1，如果，存在手持工具的工人特征数据，则为装料工序；
178.1.4.1.2.1.1.1.2，否则，则为清理坩埚工序；
179.1.4.1.2.1.1.2，否则，执行步骤1.4.1.2.1.1.2.1或1.4.1.2.1.1.2.2：
180.1.4.1.2.1.1.2.1，如果，未出现手持工具的工人特征数据，则为清理坩埚工序；
181.1.4.1.2.1.1.2.2，否则，则为清扫炉口工序；
182.1.4.1.2.1.2，否则，执行步骤1.4.1.2.1.2.1：
183.1.4.1.2.1.2.1，如果，存在工人特征数据或者料桶特征数据，则为配料工序；
184.1.4.1.2.2，否则，为熔炼工序；
185.1.4.2，如果本帧特征数据不为炉顶数据，本帧特征数据为炉前数据，则进行炉前相关工序推断，执行步骤1.4.2.1或1.4.2.2：
186.1.4.2.1，如果，不存在人在门前的特征数据，执行步骤1.4.2.1.1或者1.4.2.1.2：
187.1.4.2.1.1，如果，不存在手持工具工的人的特征数据，执行步骤1.4.2.1.1.1或1.4.2.1.1.2：
188.1.4.2.1.1.1，如果，不存在人在炉前的特征数据，执行步骤1.4.2.1.1.1.1或1.4.2.1.1.1.2：
189.1.4.2.1.1.1.1，如果，不存在炉门外侧特征数据；执行步骤1.4.2.1.1.1.1.1或1.4.2.1.1.1.1.2：
190.1.4.2.1.1.1.1.1，如果，不存在工人特征数据，则为未定义工序；
191.1.4.2.1.1.1.1.2，否则，执行步骤1.4.2.1.1.1.1.2.1或1.4.2.1.1.1.1.2.2：
192.1.4.2.1.1.1.1.2.1，如果，存在炉膛特征数据，则为打铜滚工序；
193.1.4.2.1.1.1.1.2.2，否则，为出料工序；
194.1.4.2.1.1.1.2，否则，执行步骤1.4.2.1.1.1.2.1或1.4.2.1.1.1.2.2：
195.1.4.2.1.1.1.2.1，如果，不存在安全帽特征数据，则为熔炼工序；
196.1.4.2.1.1.1.2.2，否则，为开关门工序；
197.1.4.2.1.1.2，否则，执行步骤1.4.2.1.1.2.1或1.4.2.1.1.2.2：
198.1.4.2.1.1.2.1，如果，不存在料桶特征数据，执行步骤1.4.2.1.1.2.1.1或1.4.2.1.1.2.1.2：
199.1.4.2.1.1.2.1.1，如果，不存在炉门内侧特征数据，则为开关门工序；
200.1.4.2.1.1.2.1.2，否则，执行步骤1.4.2.1.1.2.1.2.1或1.4.2.1.1.2.1.2.2：
201.1.4.2.1.1.2.1.2.1，如果，出现人在炉内特征数据，则为清理炉膛工序；
202.1.4.2.1.1.2.1.2.2，否则，为出料工序；
203.1.4.2.1.1.2.2，否则，执行步骤1.4.2.1.1.2.2.1或1.4.2.1.1.2.2.2：
204.1.4.2.1.1.2.2.1，如果，料桶与炉膛位置为分离状态，则为清理炉膛工序；
205.1.4.2.1.1.2.2.2，否则，为出料工序；
206.1.4.2.1.2，否则，为出料工序；
207.1.4.2.2，否则，执行步骤1.4.2.2.1、1.4.2.2.2或1.4.2.2.3：
208.1.4.2.2.1，如果，不存在铜滚特征数据，则为开关门工序；
209.1.4.2.2.2，如果，存在铜滚特征数据，且没有料桶或者料桶与炉膛是分离状态，则为清理炉门工序；
210.1.4.2.2.3，如果，存在炉门外侧特征数据，且不存在炉膛特征数据，则为熔炼观察工序；
211.1.4.3，返回工序识别结果。
212.进一步地，如图13所示，步骤1.5所述进行是否佩戴安全帽的判断过程包括以下步骤：
213.1.5.1，读取一个安全帽特征的数据；
214.1.5.2，读取一个工人特征的数据；
215.1.5.3，如果该工人未曾被匹配过，则比对该安全帽与该工人的位置相关数据；
216.1.5.4，如果该安全帽应属于该工人所佩戴，则标记此工人已匹配；
217.1.5.5，如果还有未读取工人数据，则返回至1.5.2；
218.1.5.6，如果还有为读取安全帽数据，则返回至1.5.1；
219.1.5.7，遍历所有工人数据数据，如仍有未匹配情况出现，则确定有未佩戴安全帽情况出现。
220.进一步地，如图14所示，步骤1.9所述确认炉门的每个边框是否被擦到的过程包括以下步骤：
221.1.9.1，读取炉门特征的数据信息；
222.1.9.2，读取一个工人特征的数据信息；
223.1.9.3，将本工人的位置信息，依次分别与炉门的四个门框的位置信息进行比对，如确认在擦某个门框，则保存相应数据；
224.1.9.4，如果还有未读取工人信息，则返回至1.9.2；
225.1.9.5，返回结果。
226.本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。