一种用于港口自动化设备的多帧抓拍识别方法与流程

本发明属于自动化码头，具体地说，是涉及一种用于港口自动化设备的多帧抓拍识别方法。

背景技术：

1、在岸桥智能理货系统中，箱号识别是整个系统核心，箱号识别的准确率直接关系到现场作业效率与理货的准确度，同时残损箱体的关系到责任的划分，亦是各大港口码头关注的重点之一。

2、常规理货系统中，通常是先利用摄像机对集装箱的图像进行抓拍，再进行对应的箱号识别。此类方法中，摄像机普遍安装于正对箱号位置，同时，为了确保箱号清晰，通常摄像机焦距较大，即此时集装箱在图像中占比面积亦较大。此种方式，在集装箱静止时，可以获得正对视角的清晰箱号图像，从而提升箱号识别的准确率。

3、在实际作业中，为了确保现场的作业效率，箱号的识别结果需要在吊具着箱前推送，即抓拍过程中吊具处于运行状态，此时对集装箱进行抓拍，正对箱号大焦距拍摄时，在单位曝光时间内吊具集装箱的运行速度会造成更大的图像偏移，从而极容易出现抓拍模糊的情况，导致识别效果大幅下降。同时，摄像机在抓拍时，通常耗时较长，当吊具运行速度较快时，亦可能会出现箱号不处于抓拍图像中的情况。

4、同时，受限于现场网络波动，摄像机抓拍延迟，摄像机响应时长等原因，常规的抓拍准确率(指准确抓拍到完整清晰的箱号)通常无法达到100％，直接影响到箱号识别等基于抓拍图像的各项智能理货相关功能。

技术实现思路

1、本发明的目的在于提供一种用于港口自动化设备的多帧抓拍识别方法，利用多帧图像进行图像之间的运动估计和复原，解决现有港口理货系统中出现的抓拍图像模糊的问题。

2、本发明采用以下技术方案予以实现：

3、提出一种用于港口自动化设备的多帧抓拍识别方法，包括：

4、一种用于港口自动化设备的多帧抓拍识别方法，其特征在于，包括：

5、1)使用四点三次插值构造图像运动矩阵的插值核：

6、

7、其中，h(x)是插值核，a为常量插值算子；

8、2)根据插值运算得到连续参考图像函数：

9、

10、其中，k表示抓拍的图像帧，为第k帧抓拍图像平面关于目标图像平面之间的转换函数，(x，y)为图像像素位置，x∈x，x＝{x,y:x＝1,2,n1,y＝1,2,n1}；g为连续参考图像，o为目标图像，n为混入的噪声；

11、3)以δx和δy分别是图像运动矩阵x，y方向上的采样间隔，构建算法公式：

12、

13、4)根据得到图像运动矩阵f；

14、5)基于得到高分辨率图像矩阵；其中，y(l)表示高分辨率图像，y(k)表示低分辨率图像，o(k)表示相机光学模糊矩阵，s(l)表示相机传感器自带矩阵；

15、6)建立模型

16、进行随机统计复原，得到高分辨率图像估计值其中，m为图像序列中抓拍的总帧数。

17、在本发明一些实施例中，所述方法还包括：对相机获取的码流先不解码并进行预缓存，以减少因建立连接以及频繁解码导致的时间延迟；在接收到抓拍指令后，开始解码码流，并实施多帧抓拍。

18、在本发明一些实施例中，在多帧抓拍中，所述方法还包括：

19、计算第一次抓拍时刻t对应的吊具速度：v(t)＝(d(t)-d(t-5))/α；其中，d(t)为吊具实时位置，α为采样时间间隔；

20、根据t＝(h-h)/v(t)计算当前速度下集装箱离开图像画面的时间；其中，h为离线设置图像宽度对应在集装箱处的实际高度，h为集装箱高度；

21、根据n＝t/mt得到最大可抓拍次数；其中，mt为离线设置当前相机单次抓拍耗时。

22、与现有技术相比，本发明的优点和积极效果是：本发明提出的用于港口自动化设备的多帧抓拍识别方法中，使用四点三次插值方式构建图像运动矩阵的插值核，采用构建的插值核基于插值运算生成多帧抓拍的连续参考图像，也即待处理的低分辨率图像，基于目标图像和参考图像得到图像运动矩阵，最后结合图像运动矩阵、实际抓拍的低分辨率图像、相机光学参数得到高分辨率图像矩阵，对高分辨率图像矩阵进行数据统计复原，得到高分辨率图像估计值，增加了作业抓拍图像清晰度，可以大幅提升识别率，经过港口实际作业测试，抓拍成功率为100％，各种工况下的箱号识别准确率大于99％，从而确保了智能理货系统的高效运行，避免了因识别错误导致的人工处理情况，实现了降本增效的目标。

23、结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。

技术特征：

1.一种用于港口自动化设备的多帧抓拍识别方法，其特征在于，包括：

2.根据权利要求1所述的用于港口自动化设备的多帧抓拍识别方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的用于港口自动化设备的多帧抓拍识别方法，其特征在于，在多帧抓拍中，所述方法还包括：

技术总结
本发明公开了一种用于港口自动化设备的多帧抓拍识别方法，使用四点三次插值方式构建图像运动矩阵的插值核，采用构建的插值核基于插值运算生成多帧抓拍的连续参考图像，也即待处理的低分辨率图像，基于目标图像和参考图像得到图像运动矩阵，最后结合图像运动矩阵、实际抓拍的低分辨率图像、相机光学参数得到高分辨率图像矩阵，对高分辨率图像矩阵进行数据统计复原，得到高分辨率图像估计值，增加了作业抓拍图像清晰度，可以大幅提升识别率，经过港口实际作业测试，抓拍成功率为100%，各种工况下的箱号识别准确率大于99%，从而确保了智能理货系统的高效运行，避免了因识别错误导致的人工处理情况，实现了降本增效的目标。

技术研发人员：张显杰,张连钢,李永翠,高亚,张传军,杨斌,李波,周玉超,刘玉坤
受保护的技术使用者：青岛新前湾集装箱码头有限责任公司
技术研发日：
技术公布日：2024/2/1