一种基于图像识别技术的工作辅助系统及方法与流程

本发明涉及车间设备故障隐患点检，具体涉及一种基于图像识别技术的工作辅助系统及方法。

背景技术：

1、制丝生产时，设备的运行由操作工操作控制面板，完成设备启停和参数调节。如果操作有误并且操作工还不自知时，会造成质量事故。修理工在进行设备巡查时，由于现场设备多，检查的项目也较多，在巡检过程中人为主要对设备的外观及视觉、触觉、听觉(设备位移、设备划痕、设备旋转碰撞声等)，能直接反应设备物理的情况进行判断，而不能从设备参数和运行数据等需要系统取数分析的情况对系统网络及运行情况进行判断。因此，造成人工的巡查方式，有时不能有效发现设备隐患点，造成点检不到位的情况。

2、现阶段主要存在的问题是：人员进行设备点检时，无法在现场设备处直接查看设备的运行参数情况及传感数据，只能回到办公室通过电脑查看，不具有及时性；缺少一种直观可视的检测方法，可以指导修理人员发现设备异常、修理设备、更换零件。

技术实现思路

1、为解决上述问题，本申请提供一种基于图像识别技术的工作辅助系统及方法，通过对可视的操作内容进行分析判定，辅助员工工作，防止错误的操作或者设备异常引起的质量事故。

2、本发明解决其技术问题所采用的技术方案为：

3、本申请提供一种基于图像识别技术工作辅助系统，包括设备建模模块、图像采集模块、储存模块、图像分析模块、显示模块和预警模块；

4、所述设备建模模块用于建立生产车间的3d可视化仿真模型，所述3d可视化仿真模型包括虚拟化现场设备和虚拟化控制界面，通过3d可视化仿真模型形成虚拟化车间场景，并将虚拟化车间场景中的车间设备与实际现场对应车间设备的数据互联；

5、所述图像采集模块用于通过图像采集器采集当前设备的图像信息，并将当前图像信息上传至图像分析模块；

6、所述储存模块用于储存车间所有设备信息、每个设备的标准信息，其中每个设备的每个关键操作项目均对应一个标准信息，所述储存模块还储存有每个操作过程中采集的图像信息和在图像分析模块中对应形成的图像分析数据；

7、所述图像分析模块用于对图像采集模块中的采集的图像信息进行分析识别，以确定当前设备名称及操作项目，根据操作项目在储存模块中检索出对应的标准信息，将当前操作项目的信息与其对应的标准信息进行比对，并将比对结果传递给显示模块；

8、所述显示模块用于显示虚拟化车间场景和图像分析模块的比对结果；

9、所述预警模块用于当操作项目的信息超出标准信息范围时，发出警报并进入异常处理流程。

10、进一步的，所述工作辅助系统还包括与储存模块通信连接的查询模块，所述查询模块用于查询工作人员每个操作过程中形成的历史数据，所述历史数据包括与当前操作内容对应的设备名称、操作项目、采集的图像信息和形成的图像分析数据。

11、进一步的，所述图像分析模块预先通过车间每个设备的训练图片完成卷积神经网络算法训练，通过卷积神经网络算法以实现对图像采集模块中采集的图像信息进行识别并确定当前设备名称及操作项目，每个设备的训练图片均包括设备的各个角度的图片、不同灯光下的设备图片、不同自然光下的设备图片。

12、进一步的，所述显示模块通过ar眼镜显示信息，所述图像采集器为设置在ar眼镜上的摄像头。

13、进一步的，车间每个设备均对应设置有二维码，通过摄像头扫描二维码以识别当前设备的设备名称，当图像分析模块在检索标准信息时，则在当前设备名称目录下查找当前操作项目所对应的标准信息。

14、进一步的，所述图像采集器每隔一秒的时间间隔截取当前时间的静态画面，所述时间间隔在图像采集模块中预先设置，所述时间间隔根据现场复杂环境及拍摄敏感度进行调整。

15、进一步的，当图像分析模块识别出当前设备名称后，则在显示模块同步显示与实际现场的当前设备对应的虚拟设备，并显示当前设备的运行参数信息。

16、进一步的，所述设备运行参数信息包括设备是否在运行中、已经运行的时长、近期检修内容和设备备件余额。

17、进一步的，当图像采集器采集到人手时，在虚拟化车间场景中同步出现虚拟手，通过在设备建模模块预存的三种手势对虚拟化车间场景进行操作，所述的三种手势具体如下：

18、第一种手势：将手五指自然展开，通过该手势虚拟化车间场景进入设置模式；

19、第二种手势：自然伸展食指，其他手指自然收回，比出“1”的动作，通过该手势以选择虚拟化车间场景中的不同按钮；

20、第三种手势，五指自然收回，比出拳的动作，通过该手势以退出当前虚拟化车间场景。

21、本申请同时提供一种基于图像识别技术的工作辅助方法，该方法应用于上述任一项所述的基于图像识别技术的工作辅助系统中，所述方法包括以下步骤：

22、s1：建立生产车间的3d可视化仿真模型以虚拟化现场设备和虚拟化控制界面，再通过3d可视化仿真模型形成虚拟化车间场景，将虚拟化车间场景中的车间设备与实际现场对应车间设备的数据互联；

23、s2：预先在储存模块中储存车间所有设备信息、每个设备的标准信息，其中每个设备的每个关键操作项目均对应一个标准信息；

24、s3：采集车间每个设备的训练图片，通过车间每个设备的训练图片完成卷积神经网络算法训练；

25、s4：使用者佩戴ar眼镜，打开摄像头，拍摄所视画面，将所视画面通过流媒体的数据形式传到图像分析模块中；

26、s5：将拍摄的当前图像信息通过卷积神经网络算法进行分析识别，以确定当前设备名称及操作项目；

27、s6：根据s5中识别的当前设备名称，将其对应的虚拟设备在ar眼镜中同步显示，并在虚拟化车间场景中显示当前设备运行参数信息；

28、s7：图像分析模块根据操作项目在储存模块中检索出对应的标准信息，将当前操作项目的信息与标准信息进行比对，并将比对结果传递给信息显示模块；若当操作项目的信息超出标准信息范围时，预警模块发出警报并进入异常处理流程；

29、s8：将工作人员每个操作过程中采集的图像信息和形成的图像分析数据储存在储存模块中，以形成操作的历史记录以便后续查询。

30、本发明带来的有益效果有：

31、本申请提供一种基于图像识别技术的工作辅助系统及方法，通过构建生产车间的3d可视化仿真模型，将虚拟化车间场景中的车间设备和实际现场对应车间设备的数据互联，实时把控当前设备运行参数信息，通过ar眼镜识别出当前设备名称及操作项目，将当前操作项目的信息与标准信息进行比对，该比对结果反馈给工作人员，辅助员工的工作，减少现场事故的发生。本申请可以对当前的可视内容进行分析判定，具有较高的识别准确性，反应速度及时，防止了错误的操作或者设备异常引起的质量事故。

技术特征：

1.一种基于图像识别技术工作辅助系统，其特征在于：包括设备建模模块、图像采集模块、储存模块、图像分析模块、显示模块和预警模块；

2.根据权利要求1所述的基于图像识别技术的工作辅助系统，其特征在于：

3.根据权利要求1所述的基于图像识别技术的工作辅助系统，其特征在于：

4.根据权利要求1所述的基于图像识别技术的工作辅助系统，其特征在于：

5.根据权利要求4所述的基于图像识别技术的工作辅助系统，其特征在于：

6.根据权利要求1所述的基于图像识别技术的工作辅助系统，其特征在于：

7.根据权利要求1所述的基于图像识别技术的工作辅助系统，其特征在于：

8.根据权利要求7所述的基于图像识别技术的工作辅助系统，其特征在于：

9.根据权利要求1所述的基于图像识别技术的工作辅助系统，其特征在于：

10.一种基于图像识别技术的工作辅助方法，该方法应用于权利要求1～9任一项所述的基于图像识别技术的工作辅助系统中，其特征在于：所述方法包括以下步骤：

技术总结
本发明公开了一种基于图像识别技术的工作辅助系统及方法，包括互相通信连接的设备建模模块、图像采集模块、储存模块、图像分析模块、查询模块、显示模块和预警模块；通过构建生产车间的3D可视化仿真模型，将虚拟化车间场景中的车间设备和实际现场对应车间设备的数据互联，实时把控当前设备运行参数信息，通过AR眼镜识别出当前设备名称及操作项目，将当前操作项目的信息与标准信息进行比对，该比对结果反馈给工作人员，辅助员工的工作，减少现场事故的发生。本申请可以对当前的可视内容进行分析判定，具有较高的识别准确性，反应速度及时，防止了错误的操作或者设备异常引起的质量事故。

技术研发人员：方汀,姚卫东,李自娟,刘博,庞存瑞,刘艺超,奚丽琴,张志武,杨晓华,谭雯,周政
受保护的技术使用者：张家口卷烟厂有限责任公司
技术研发日：
技术公布日：2024/1/15