一种基于深度学习的字轮式水表读数方法与流程

本发明属于计算机视觉，尤其涉及一种基于深度学习的字轮式水表读数方法。

背景技术：

1、水表是生活中最普遍且常用的水的计量仪表，直观地反映了用水量的多少。为了更加方便地读取水表数据，近些年来，部分厂商推出了智能水表，可以自动传输水表读数。然而，由于成本和维护费用较高、安装需求高等问题，现实情况下智能水表并未得到广泛普及，绝大多数使用的水表仍然是传统的字轮式水表。

2、传统的字轮式水表需要水表记录员人工读取数据，这其中有很多不利因素：其一，对人力资源需求量大；其二，数据读取精度受水表记录员个人状态的影响较大，容易出现漏抄、误抄等情况；其三，部分情况下，水表所处的地理位置可能不适宜人工读取。

3、随着计算机视觉和图像识别技术的发展，使用计算机从水表盘图像中识别用水量数据成为了可能，这样只需获得水表图像就可以通过计算机输出用水量数据，而水表图像的获得可以采用在水表附近安装摄像头或人工携带相关仪器扫描水表等方式来获得，相比于人工抄表，不仅提升了便捷程度，也使效率有了很大的改善；同时，采用计算机来读表，减少了诸多例如水表记录员状态之类的不稳定因素。因此，如何从获得的水表图像中利用计算机正确地识别出数字序列，就成了亟待解决的问题。

技术实现思路

1、本发明的目的在于提供一种基于深度学习的字轮式水表读数方法，旨在解决利用计算机从水表图像中正确地识别出数字序列。

2、本发明是这样实现的，一种基于深度学习的字轮式水表读数方法，该方法包括以下步骤：

3、s1、对水表图像进行排除无关干扰因素的预处理；

4、s2、将预处理后的水表图像输入训练获得的数字滚轮区域识别网络，获得图像数字滚轮区域的位置信息；其中，所述数字滚轮区域识别网络以yolov7网络为主体；

5、s3、将数字滚轮区域的图像调整分辨率后输入训练获得的滚轮区域数字序列识别网络x-crnn，得到最终的水表数字序列的读数结果；其中，x-crnn以卷积循环神经网络crnn为主体，在卷积模块中采用深度可分离卷积和残差块相结合的结构替换原有的网络架构，在循环模块中采用循环门单元(gru)替换crnn中的长短期记忆单元(lstm)。

6、优选地，在步骤s1中，所述预处理包括进行分辨率调整、灰度化、图像增强、倾斜校正。

7、优选地，所述预处理包括以下步骤：

8、s11、调整原始水表图像的分辨率，使其较长边的长度为640，若图像需要进行放大操作，则采用双三次插值法，反之则采用区域插值法；

9、s12、用加权平均值法对已调整过分辨率的水表图像进行灰度化处理；

10、s13、对所得的灰度图像进行直方图均衡化处理，提高图像对比度；

11、s14、对经直方图均衡化处理后的图像进行双边滤波操作，达到平滑去噪的目的；

12、s15、采用基于canny算子的边缘检测方法检测图像的边缘，然后用hough直线检测识别出数字滚轮区域的横向边缘，根据该条直线的倾斜程度，将水表图像围绕图像中心点旋转相同角度，完成倾斜校正。

13、优选地，步骤s2包括以下具体步骤：

14、s21、使用labelimg软件制作处理后所得图像的标签数据，标签值为水表图像中的数字滚轮区域的位置信息，图像与标签数据共同构成滚轮区域识别网络的数据集；

15、s22、将训练集数据输入数字滚轮区域识别网络，迭代更新网络参数；

16、s23、挑选出在验证集上表现最好的网络作为训练最终结果，将预处理后的水表图像输入训练获得的数字滚轮区域识别网络，获得对数字滚轮区域位置信息的预测结果。

17、优选地，在数字滚轮区域识别网络中，在主干网络的3个mpa+elan结构后添加用于提升网络性能的改进的坐标注意力机制am-ca。

18、优选地，在所述改进的坐标注意力机制am-ca中，对于通道数为，高度为，宽度为的输入特征图x，am-ca分别沿x轴和y轴方向对特征图进行平均池化和最大池化，两种池化方式所得结果共同影响最终输出的权重系数。

19、优选地，在步骤s3中，x-crnn包括卷积模块、循环模块和转录模块；其中，

20、卷积模块用于提取滚轮区域图像的特征序列；

21、循环模块输出每一个特征序列所对应的原图像内容的概率分布，由深度双向递归神经网络构成，循环模块中采用循环门单元(gru)以解决rnn的梯度消失问题；

22、转录模块采用ctc模型，用于将循环模块获得的标签概率分布通过映射等方式转换为最终预测的数字序列。

23、本发明克服现有技术的不足，提供一种基于深度学习的字轮式水表读数方法。在数字滚轮区域识别方面，本发明以yolov7作为基础网络，并在其主干中添加改进后的坐标注意力模块am-ca，能够有效提升yolov7的识别精度。am-ca的主要改进方法在于：已有的坐标注意力机制(ca)使用平均池化来整合特征图水平和垂直方向的信息，本发明在平均池化的基础上，添加了最大池化的信息整合方式，最后将两种池化方式得到的结果相融合。在滚轮区域数字序列识别方面，不同于已有方法中对数字序列切割成单个字符再进行识别的方法，本发明采用改进的crnn网络，对数字序列整体进行识别，适用于不同序列长度的水表图像，其中，crnn网络的主要改进在于：（1）替换了原有的卷积模块，替换后的网络采用可分离卷积和残差结构，在提升特征提取性能的同时，降低网络运算量，提高网络收敛速度；（2）将循环模块中的长短期记忆单元(lstm)替换为循环门单元(gru)，简化了网络结构，同时解决了网络的梯度消失问题。

24、相比于现有技术的缺点和不足，本发明具有以下有益效果：本发明能够以较高精准率识别出水表图像的数字滚轮区域，并以滚轮区域的数字序列整体为对象识别水表的读数，更加方便、快捷。

技术特征：

1.一种基于深度学习的字轮式水表读数方法，其特征在于，该方法包括以下步骤：

2.如权利要求1所述的方法，其特征在于，在步骤s1中，所述预处理包括进行分辨率调整、灰度化、图像增强、倾斜校正。

3.如权利要求2所述的方法，其特征在于，所述预处理包括以下步骤：

4.如权利要求1所述的方法，其特征在于，步骤s2包括以下具体步骤：

5.如权利要求1所述的方法，其特征在于，在数字滚轮区域识别网络中，在主干网络的3个mpa+elan结构后添加用于提升网络性能的改进的坐标注意力机制am-ca。

6.如权利要求5所述的方法，其特征在于，在所述改进的坐标注意力机制am-ca中，对于通道数为，高度为，宽度为的输入特征图x，am-ca分别沿x轴和y轴方向对特征图进行平均池化和最大池化，两种池化方式所得结果共同影响最终输出的权重系数。

7.如权利要求1所述的方法，其特征在于，在步骤s3中，x-crnn包括卷积模块、循环模块和转录模块；其中，

技术总结
本发明公开了一种基于深度学习的字轮式水表读数方法，该方法包括以下步骤：S1、对水表图像进行排除无关干扰因素的预处理；S2、将预处理后的水表图像输入训练获得的数字滚轮区域识别网络，获得图像数字滚轮区域的位置信息；其中，所述数字滚轮区域识别网络以yolov7网络为主体；S3、将数字滚轮区域的图像调整分辨率后输入训练获得的滚轮区域数字序列识别网络X‑CRNN，得到最终的水表数字序列的读数结果。本发明能够以较高精准率识别出水表图像的数字滚轮区域，并以滚轮区域的数字序列整体为对象识别水表的读数，更加方便、快捷。

技术研发人员：姬磊,陈立全,唐敏,王怡乐
受保护的技术使用者：南京畅洋科技有限公司
技术研发日：
技术公布日：2024/1/13