一种基于视觉识别的取料机核垛方法与流程

本发明涉及一种基于视觉识别的取料机核垛方法，属于库存管理方法。

背景技术：

1、当前散杂货堆场堆取料机作业前都需要进行核垛操作，目前核垛方法主要是库场员现场靠目测进行核垛。具体的当堆料机或者取料机司机根据中控堆取料指令对完垛后，中控或者司机会通知库场员进行现场核垛。库场员接到通知后会驱车到达单机所在位置，对单机进行目测核垛。目测核垛主要内容是库场员用眼睛观察取料机斗轮位置或堆料机抛料口所对应坝基垛牌位置，查看垛牌位置是否和司机对垛的位置一致，并将结果反馈给司机和中控。在实际情况中如果中控要求同时对多个单机同时进行核垛，但库场员数量不够，就会因为核垛不及时而影响到产量。同时核垛现场机械作业环境复杂，对库场员自身人身安全也构成较大威胁。另外，司机忘记喊库场员或库场员不到现场进行核垛的事情也时有发生。有时司机为了抢堆取料作业效率便先堆取料，然后再喊库场员核垛，这样就存在取错垛的重大隐患，易造成货运质量问题。

技术实现思路

1、本发明目的是提供一种基于视觉识别的取料机核垛方法，通过堆取料机大臂回转和俯仰角度调节摄像头云台，实现了云台摄像头对坝基的追踪，避免了人工调节，采用onvif协议控制云台摄像头水平方向和垂直方向以及缩放的操作，能够兼容所有支持onvif协议的云台摄像头，可以实现自动核垛，代替人工核垛，降低人力成本和安全风险，提高工作效率，有效地解决了背景技术中存在的上述问题。

2、本发明的技术方案是：一种基于视觉识别的取料机核垛方法，包含以下步骤：

3、s1、在堆取料机相应位置安装云台摄像头，云台摄像头安装位置与两侧坝基可视位置相匹配，测量镜头初始方向跟大臂夹角；

4、s2、获取堆料机或者取料机大臂的回转角度和俯仰角度；

5、s3、根据大臂的回转角度和俯仰角度计算云台摄像头需要转动的水平角度和垂直角度，水平角度确保云台摄像头视角垂直于坝基，垂直角度确保坝基出现在摄像头画面中间位置；

6、s4、通过onvif协议控制云台摄像头在水平和垂直方向转动到对应角度；

7、s5、获取摄像头拍摄的图像帧；

8、s6、利用前期根据深度神经网络结构yolo训练的垛牌识别模型对图像帧进行垛牌检测；

9、s7、将检测到的垛牌区域提取出来作为新图像，将新图像送入文字识别模型中进行文字识别；

10、s8、识别出垛牌内容标识，内容标识的位置即可代表斗轮或者抛料口的位置，将识别出的位置和要取料的位置进行比对，完成核垛。

11、所述步骤s1中，堆料机处摄像头安装在抛料口后侧上方，取料机处摄像头安装在斗轮后侧上方5米之内；摄像头镜头初始方向平行于大臂的安装位置。

12、所述步骤s3中，对于回转角度x和俯仰角度y，如果大臂的回转角度α为正，则x=α+γ-90,如果大臂的回转角度α为负，则x=90+α+γ；y= -β，其中x为云台摄像头需要转动的回转角度，y为云台摄像头需要转动的俯仰角度，α为大臂的回转角度，β为大臂的俯仰角度。

13、所述步骤s6中，如果图像帧中检测不到垛牌，则将镜头进行zoom放大一次，每次放大系数可增加0.1，直到获取到的图像帧能检测到垛牌，如果在图像帧中检测到多个垛牌，则选取靠近斗轮或者抛料口那一侧同时水平距离图像中央最近的那一个。

14、本发明的有益效果是：通过堆取料机大臂回转和俯仰角度调节摄像头云台，实现了云台摄像头对坝基的追踪，避免了人工调节，采用onvif协议控制云台摄像头水平方向和垂直方向以及缩放的操作，能够兼容所有支持onvif协议的云台摄像头，可以实现自动核垛，代替人工核垛，降低人力成本和安全风险，提高工作效率。

技术特征：

1.一种基于视觉识别的取料机核垛方法，其特征在于包含以下步骤：

2.根据权利要求1所述的一种基于视觉识别的取料机核垛方法，其特征在于：所述步骤s1中，堆料机处摄像头安装在抛料口后侧上方，取料机处摄像头安装在斗轮后侧上方5米之内；摄像头镜头初始方向平行于大臂的安装位置。

3.根据权利要求1所述的一种基于视觉识别的取料机核垛方法，其特征在于：所述步骤s3中，对于回转角度x和俯仰角度y，如果大臂的回转角度α为正，则x=α+γ-90,如果大臂的回转角度α为负，则x=90+α+γ；y= -β，其中x为云台摄像头需要转动的回转角度，y为云台摄像头需要转动的俯仰角度，α为大臂的回转角度，β为大臂的俯仰角度。

4.根据权利要求1所述的一种基于视觉识别的取料机核垛方法，其特征在于：所述步骤s6中，如果图像帧中检测不到垛牌，则将镜头进行zoom放大一次，每次放大系数可增加0.1，直到获取到的图像帧能检测到垛牌，如果在图像帧中检测到多个垛牌，则选取靠近斗轮或者抛料口那一侧同时水平距离图像中央最近的那一个。

技术总结
本发明涉及一种基于视觉识别的取料机核垛方法，属于库存管理方法技术领域。本发明的技术方案是：在堆取料机相应位置安装云台摄像头，根据大臂的回转角度和俯仰角度计算云台摄像头需要转动的水平角度和垂直角度，通过ONVIF协议控制云台摄像头在水平和垂直方向转动到对应角度，获取摄像头拍摄的图像帧，对图像帧进行垛牌检测，识别出垛牌内容标识，将识别出的位置和要取料的位置进行比对，完成核垛。本发明的有益效果是：可以实现自动核垛，代替人工核垛，降低人力成本和安全风险，提高工作效率。

技术研发人员：刘金朋,马泽海,王京丰,韩峥,王丛艳,王康,李建冬,王钢,郑欣,王云健,姜帅,程宇扬
受保护的技术使用者：国投曹妃甸港口有限公司
技术研发日：
技术公布日：2024/1/15