一种基于注意力机制的改进手写体板坯号识别方法

本发明涉及钢铁企业生产过程自动控制，尤其涉及一种基于注意力机制的改进手写体板坯号识别方法。

背景技术：

1、生产过程中，钢板厂会给每块钢板标注一串字符作为其唯一编号，即板坯号。该编号反映了钢板的制造工艺、材质、生产环节、制造用途等信息，在钢板质量溯源和库存管理方面起到非常重要的作用。

2、目前，较多的国内钢铁企业生产厂仍然使用在钢材表面进行手写板坯号的方式对钢板进行编码。经测试，目前暂无有效的手写体板坯号智能识别方法。以“shi b,bai x,yaoc.an end-to-end trainable neural network for image-based sequence recognitionand its application to scene text recognition[j].ieee transactions on patternanalysis&machine intelligence,2016,39(11):2298-2304.”中目前最优的基于ctc的文本识别方法为例，计算标准ctc损失对字符进行识别预测假设了标签内部条件独立，使用贝叶斯定理计算后验分布，每次输出单字符概率，导致只能获得局部信息进行预测。最终的结果是使用基于ctc的识别方法准确率不能满足钢厂的识别准确率需求。

技术实现思路

1、基于此，有必要针对上述问题提出一种基于注意力机制的改进手写体板坯号识别方法，能够准确识别钢厂手写体板坯号。

2、本发明的技术方案如下：一种基于注意力机制的改进手写体板坯号识别方法，包括以下步骤：

3、步骤1、对钢板板坯在辊道上行进的视频流过滤，得到手写体板坯号图像；

4、步骤2、对步骤1所述手写体板坯号图像进行预处理，得到训练集、验证集及测试集；

5、步骤3、基于恒等映射，对预处理后的手写体板坯号图像进行特征提取得到特征图组；

6、步骤4、对步骤3所得特征图组进行序列化特征计算，输出序列权重，同时对特征图组映射得到序列化的特征向量，作为序列向量；

7、步骤5、基于注意力机制设计特征解码器，利用该特征解码器计算联合概率得到序列向量与已知字典的内容匹配度，输出预测的字符序列；

8、步骤6、重复步骤3至步骤5，迭代得到预测模型，使用预测模型进行自主迭代标注；使用自主迭代标注结果对训练集进行扩充，并更新预测模型得到更新后的预测模型；

9、步骤7、输入待识别样本，根据步骤6所得更新后的预测模型得到实际输出结果。

10、所述步骤1的具体方法为：

11、步骤1.1：视频流相机架设在距离辊道7000-8000mm水平位置、8000-9000mm高度位置上，俯视视野长度不小于26000mm；

12、步骤1.2：基于帧间差分法构建过滤器，比对连续帧间差异性得到含有手写体板坯号图像。

13、所述步骤2的具体方法为：

14、基于概率霍夫变换提取手写体板坯号图像的直线残缺部分、噪声部分以及其它共存的非直线结构部分，得到钢板下边缘与两侧边缘轮廓，输出为一次处理图像；对一次处理图像进行透视变换矫正，转换为俯视图，并进行像素尺寸对应，得到二次处理图像；然后利用高斯导数对边缘进行提取，基于最大化类间方差对图像前景进行提取。

15、所述步骤3中，基于恒等映射，提取特征图并构建特征图组fs，具体方法为：

16、将训练集、验证集、测试集按照7:2:1划分；通过具有跨层连接结构的残差神经网络模块进行恒等映射，其同时提取来自训练集中的图像，从而获得其中连续文本区域的多种属性并构成不同的特征图，包括文本偏移量tdc、边界偏移量edc、中心偏离cdc值、序列区域特征矩阵sre；具有跨层连接结构的残差神经网络模块包括多种卷积模块、池化模块、残差模块、网终串联模块、网络并联基础模块；将多种特征图进行组合生成特征图组fs，分别用于描述手写体板坯号图像中像素点的中轴偏移距离、前景文本中水平与垂直边界到中心点的偏移、文本中心点与区域中心的偏离值以及序列区域的局部特征抽取。

17、所述步骤4具体为：

18、对特征图组fs进行序列化处理，对完整特征图组进行横向分割形成前后文连续序列；引入双向长短期记忆网络bilstm层提取分割后的前后文连续序列信息，进行多层参数共享以更新特征图组的序列权重wfs；双向长短期记忆网络包括两个独立的lstm网络，一个向前处理特征序列另一个进行逆序列计算两层lstm参数共享，连接到同一个输出层。其中，由于舍弃了标准ctc损失计算方法，所述特征图组需要进行统一输入长度修正，在进行特征序列分割前需要将所有特征图修正为相同长度。

19、所述步骤5基于注意力机制设计特征解码器，对所述前后文连续序列进行计算；特征解码器包括三部分，5个子层以类结构在代码中呈现，分别进行位置信息解码、语义信息解码以及前后文关联度计算；计算结果以高维矩阵性质进行存储和传递；通过上述特征解码器将连续两个字符特征的文本关联扩大到全文连续文本特征的长距离文本关联，以捕获所有前景像素关联关系；通过计算联合概率patt得到输出字符概率，即序列向量与字典内容匹配度数值。令在当前第t步的输出为yt，yt-1为(t-1)步输出，可表示为：

20、yt＝softmax(wost+b0)    (1)

21、其中，w0和b0为可训练参数，st是t时lstm层的隐藏状态：

22、st＝lstm(yt-1，ct，st-1)    (2)

23、上下文向量ct由上一阶段输出h＝{hi|i＝1，2，3，...，i}计算加权和得出：

24、

25、其中，αti为联合权重，计算方式如下：

26、

27、参数eti＝vttanh(wst-1+vhi+b)反应了hi和其他元素之间的匹配度，eti越大则该元素的影响越大，该元素对应权重越大；最终得到预测输出序列y＝{y∈d|t＝1，2，3，…，t}，d为包含所有字符的字典。

28、本发明的有益效果：

29、(1)本发明所提出的方法填补了目前识别方法的缺失，解决了钢厂生产过程中手写体板坯号无法识别的问题。

30、(2)本发明所提出的基于注意力机制的方法能够保证字符完整性，无需标注每个字符的位置信息，提高了数据标注以及模型训练效率，具有较高的准确率，满足实际生产需求。

技术特征：

1.一种基于注意力机制的改进手写体板坯号识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于注意力机制的改进手写体板坯号识别方法，其特征在于，所述步骤1的具体方法为：

3.根据权利要求1所述的基于注意力机制的改进手写体板坯号识别方法，其特征在于，所述步骤2的具体方法为：

4.根据权利要求2或3所述的基于注意力机制的改进手写体板坯号识别方法，其特征在于，所述步骤3中，基于恒等映射，提取特征图并构建特征图组fs，具体方法为：

5.根据权利要求4所述的基于注意力机制的改进手写体板坯号识别方法，其特征在于，所述具有跨层连接结构的残差神经网络模块包括多种卷积模块、池化模块、残差模块、网终串联模块、网络并联基础模块。

6.根据权利要求4所述的基于注意力机制的改进手写体板坯号识别方法，其特征在于，所述步骤4具体为：

7.根据权利要求6所述的基于注意力机制的改进手写体板坯号识别方法，其特征在于，所述步骤5基于注意力机制设计特征解码器，对所述前后文连续序列进行计算；特征解码器包括三部分，分别进行位置信息解码、语义信息解码以及前后文关联度计算；计算结果以高维矩阵性质进行存储和传递；通过上述特征解码器将连续两个字符特征的文本关联扩大到全文连续文本特征的长距离文本关联，以捕获所有前景像素关联关系；通过计算联合概率patt得到输出字符概率，即序列向量与字典内容匹配度数值；令在当前第t步的输出为yt，yt-1为(t-1)步输出，表示为：

技术总结
本发明属于钢铁企业生产过程自动控制技术领域，提出一种基于注意力机制的改进手写体板坯号识别方法，结合复杂生产场景对手写体板坯号图像数据进行预处理，保证模型输入图片质量；利用残差神经网络模块提取图片特征；双向长短期记忆网络提取基于图像的序列特征；最后基于注意力机制捕获序列内的信息流，对每个字符的特征进行整合形成文本特征向量以预测输出序列。经过现场测试，实现钢板表面手写板号识别任务准确率达到93.49％，结果表明算法可行有效，满足实际生产需求。

技术研发人员：王雪飞,王昭东,张田
受保护的技术使用者：东北大学
技术研发日：
技术公布日：2024/1/15