一种用于拉晶生产的大数据系统的制作方法

本发明涉及大数据，尤其涉及一种用于拉晶生产的大数据系统。

背景技术：

1、当前的拉晶生产中，每个厂区(片区)具有独立的集控设备管理平台、辅料管理平台、图像数据收集平台、生产服务器和视觉服务器，生产服务器通过集控设备管理平台收集设备生产数据，生产服务器通过辅料管理平台收集设备辅料数据，并将设备生产数据和设备辅料数据存储于生产服务器的本地mysql数据库中，视觉服务器通过图像数据收集平台实时获取设备ccd视觉图像并将设备ccd视觉图像存储于视觉服务器的本地mysql数据库中。由于每个厂区(片区)都是分开独立的，即服务器都是各独立状态，数据资源无法整合，不具备获取所有厂区(片区)数据图像的报表分析功能，各服务器相互之间没有备份，当其中一台服务器出现异常，数据便会丢失，影响生产，并且当前的用于拉晶生产的管理系统的可视化效果一般，不具备拉晶过程中对ccd晶棒图像的分析功能。

2、为此，亟需一种用于拉晶生产的大数据系统。

技术实现思路

1、(一)要解决的技术问题

2、鉴于上述技术中存在的问题，本发明至少从一定程度上进行解决。为此，本发明的目的在于提出一种用于拉晶生产的大数据系统，能够对拉晶生产所有厂区的数据资源进行整合分析。

3、(二)技术方案

4、为了达到上述目的，本发明采用的主要技术方案包括：

5、本发明提供一种用于拉晶生产的大数据系统，包括生产服务器集群、视觉服务器集群、数据采集层、数据预处理层、数据提取层和数据分析层；生产服务器集群的群集成员为所有厂区和片区的生产服务器，视觉服务器集群的群集成员为所有厂区和片区的视觉服务器；

6、数据采集层，用于收集每个厂区的设备生产数据和设备辅料数据并存储于厂区对应的生产服务器的本地mysql数据库中，以及收集每个厂区的设备ccd视觉图像并存储于厂区对应的视觉服务器的本地mysql数据库中；

7、数据预处理层，连接数据采集层，用于对生产服务器中的设备生产数据和设备辅料数据实时进行预处理获得第一数据模型，并将第一数据模型存储至生产服务器的kudu库中，以及用于对视觉服务器中的设备ccd视觉图像实时进行预处理获得第二数据模型，并将第二数据模型存储至视觉服务器的kudu库中；

8、数据提取层，连接数据预处理层，用于对每个厂区的第一数据模型和第二数据模型进行分析处理获得指标数据模型，并将指标数据模型存储至对应厂区的生产服务器的hive数仓和视觉服务器的hive数仓中；

9、数据分析层，连接数据提取层，用于查询导入指标数据模型，并对指标数据模型进行分析。

10、可选地，用于拉晶生产的大数据系统还包括：服务器集群监测层，用于监测调度管理生产服务器集群和视觉服务器集群的运行，对生产服务器集群和视觉服务器集群出现的问题进行诊断，对出现的问题给出建议解决方案。

11、可选地，数据预处理层中，通过streamsets工具平台进行管道分区，对生产服务器中的设备生产数据和设备辅料数据实时进行预处理获得第一数据模型，对视觉服务器中的设备ccd视觉图像实时进行预处理获得第二数据模型。

12、可选地，数据提取层中，通过azkaban调度器按照预设时间间隔调取scala+spark程序对每个厂区的第一数据模型和第二数据模型进行分析处理获得指标数据模型。

13、可选地，数据分析层中，通过bi平台，查询录入指标数据模型，并对指标数据模型进行分析，生成厂区拉晶生产的数据报表、可视化生产趋势预测或生产过程中各个工艺流程的参数最优段筛选。

14、可选地，bi平台，包括：公共数据模块，用于对指标数据模型进行sql数据集查询导入；报表分析模块，用于根据公共数据模块导入的指标数据模型进行自定义存储，并依据用户需求的指标报表进行数据的导入分析统计，查询指定的片区、单晶炉、晶编的报表信息，获得报表结果；可视化模块，用于对报表分析模块输出的报表进行图表转换，利用图表组件、仪表板对指标模型进行进一步细分，通过拖拽组合指标，选取可能影响拉晶因素的指标进行可视化图表展示；资源调度模块，用于指示azkaban调度器进行大数据资源任务调度。

15、可选地，指标数据模型包括工时指标数据和断线率指标数据；工时指标数据包括：设备编号、片区、晶编、炉编、工时类型、开始时间节点、结束时间节点、时长、晶体长度、标准工时、月度；断线率指标数据包括：设备编号、炉台、片区、晶编、引晶开始时刻、引晶时长、引晶全程拉速均值、引晶长度、引晶直径<7mm拉速均值、引晶是否成功、放肩开始时刻、放肩时长、放肩长度、放肩是否成功、等径开始时刻、等径时长、等径全程拉速、等径长度、等径前100mm液口距、等径前200mm液口距、等径前300mm液口距、等径400mm液口距、等径500mm液口距、等径后2h主加值1、等径后2h主加值2、等径后2h主加值3、等径后2h主加值4、等径后2h主加值5、等径后2h主加值6、等径是否成功、等径主加功率差、等径结束瞬时拉速、等径结束瞬时液口距、等径结束瞬时晶转、等径结束瞬时埚转、等径结束水冷屏回水温度、等径结束水冷屏流量、等径结束主真空频率、等径结束氩气流量、等径结束设定拉速、等径结束直径、收尾开始时刻、收尾时长、收尾开始拉速、收尾结束拉速、收尾结束晶转、收尾结束埚转、收尾主加功率差值、收尾重量、收尾长度。

16、可选地，第一数据模型包括：工艺状态、液温、功率、液口距、氩气流量、晶体重量；第二数据模型包括：单晶炉内拉晶过程的实时监控图像、视觉液口距、晶体拉速、晶升。

17、可选地，数据分析层，用于根据各个指标数据模型对指定的一个或多个指标进行拉晶因素评估，以及根据各个指标数据模型中的图像数据对设备拉晶实时过程进行过程因素管控决策。

18、可选地，数据分析层，用于根据各个指标数据模型中的图像数据对设备拉晶过程的画面进行3d建模，可视化图表对每一台设备拉晶生产过程进行图像、指标融合。

19、(三)有益效果

20、本发明的有益效果是：

21、本发明提供的用于拉晶生产的大数据系统，通过对已有的生产服务器和视觉服务器进行集群搭建部署，使得所有厂区的服务器之间能够进行互享备份，为数据资源的整合提供基础；基于生产服务器集群和视觉服务器集群，设置数据采集层、数据预处理层、数据提取层和数据分析层，能够对拉晶生产所有厂区的数据资源进行整合用来做拉晶生产指标、图像指标以提升对厂各片区的生产效率把控，将数据资源整合将有利于实现更完善更有决策意义的可视化决策系统。

技术特征：

1.一种用于拉晶生产的大数据系统，其特征在于，

2.根据权利要求1所述的用于拉晶生产的大数据系统，其特征在于，还包括：

3.根据权利要求1所述的用于拉晶生产的大数据系统，其特征在于，

4.根据权利要求1所述的用于拉晶生产的大数据系统，其特征在于，

5.根据权利要求1所述的用于拉晶生产的大数据系统，其特征在于，

6.根据权利要求5所述的用于拉晶生产的大数据系统，其特征在于，

7.根据权利要求1或6所述的用于拉晶生产的大数据系统，其特征在于，

8.根据权利要求7所述的用于拉晶生产的大数据系统，其特征在于，

9.根据权利要求1所述的用于拉晶生产的大数据系统，其特征在于，

10.根据权利要求1所述的用于拉晶生产的大数据系统，其特征在于，

技术总结
本发明提供用于拉晶生产的大数据系统，包括：数据采集层，用于收集每个厂区的设备生产数据和设备辅料数据，以及每个厂区的设备CCD视觉图像；数据预处理层，用于对设备生产数据和设备辅料数据进行预处理获得第一数据模型并存储至生产服务器的KUDU库中，以及用于对设备CCD视觉图像进行预处理获得第二数据模型并存储至视觉服务器的KUDU库中；数据提取层，用于对第一数据模型和第二数据模型进行分析处理获得指标数据模型，并将指标数据模型存储至生产服务器的HIVE数仓和视觉服务器的HIVE数仓中；数据分析层，用于查询导入指标数据模型，并对指标数据模型进行分析。能够对拉晶生产所有厂区的数据资源进行整合分析。

技术研发人员：贺卫军,章晴,王美婷,卢艳龙,刘然
受保护的技术使用者：连城凯克斯科技有限公司
技术研发日：
技术公布日：2024/1/13