一种应用于水表数据提取的图像处理方法以及电子设备与流程

本技术属于设备管理，尤其涉及一种应用于水表数据提取的图像处理方法以及电子设备。

背景技术：

1、随着电子技术的不断发展，电子化服务已经推广至各个领域。在自来水行业，以往通过手动抄录读数的方式记录水表数据，现今为了提高数据采集的效率，可以通过获取水表的图像的方式，并通过光学字符识别（optical character recognition，ocr）算法对上述图像进行识别，从而得到水表数据，以提高获取水表数据的效率。然而，通过上述方式获取水表数据时，当获取水表的图像时，遇到照明不足、影子遮挡、反光、拍摄视角阻碍等情况，则会大大降低了ocr识别的准确性。由此可见，现有的水表数据的管理技术，无法同时兼顾提高水表获取效率以及保证水表数据的准确性两个方面。

技术实现思路

1、本技术实施例提供了一种应用于水表数据提取的图像处理方法、装置、电子设备及存储介质，可以解决水表数据的管理技术，无法同时兼顾提高水表获取效率以及保证水表数据的准确性两个方面的问题。

2、第一方面，本技术实施例提供了一种应用于水表数据提取的图像处理方法，方法包括：

3、接收待识别的目标图像；所述目标图像为拍摄有水表数据的图像；

4、通过预设的图像分割模型，对所述目标图像进行图像分割，得到包含所述水表数据的目标区域图像；

5、通过预设的姿态校正模型，对所述目标区域图像进行姿态校正，得到一次校正图像；

6、通过预设的图像识别算法对所述一次校正图像进行图像识别，得到所述水表数据。

7、在第一方面的一种可能的实现方式中，在所述接收待识别的目标图像之前，还包括：

8、接收多个样本图像；每个样本图像包含在多个维度的标签信息；所述多个维度包括图像姿态维度、分割维度以及字符内容维度；

9、基于所述分割维度的第一标签信息，对所述样本图像进行划分，得到多个第一区域图像；

10、基于所述第一区域图像对预设的第一特征金字塔模型进行训练，得到所述图像分割模型；

11、基于所述样本图像中包含水表样本数据的第二区域图像的分辨率，将所述第二区域图像划分为多个像素组；每个所述像素组中的所述第二区域图像的像素总数在同一像素范围内；

12、基于各个所述像素组中的第二区域图像以及所述第二区域图像在所述姿态维度的第二标签信息，对预设的第二特征金字塔模型进行训练，得到所述姿态校正模型；

13、根据所述字符内容维度的第三标签信息以及所述第二区域图像，对预设的注意力模型进行训练，得到所述图像识别算法。

14、在第一方面的一种可能的实现方式中，所述基于各个所述像素组中的第二区域图像以及所述第二区域图像在所述姿态维度的第二标签信息，对预设的第二特征金字塔模型进行训练，得到所述姿态校正模型，包括：

15、通过所述第二特征金字塔模型中的深度卷积核对所述第二区域图像进行深度卷积处理，得到第一特征图；

16、通过所述第二特征金字塔模型中的点卷积核对所述第一特征图进行点卷积处理，得到第二特征图；

17、根据所述第二特征金字塔模型中的激活函数以及所述第二特征图得到的平均池化向量，调整所述第二特征金字塔模型中的各个权重，以使所述第二特征金字塔模型的损失值小于预设的损失阈值；所述损失值是基于所述第二特征金字塔模型的输出标签与所述第二标签信息之间的偏差确定的；其中，所述第二标签信息包括：正例标签以及负例标签；所述损失值是基于真正例比例、假正例比例、真负例比例以及假负例比例确定的；

18、基于调整权重后的所述第二特征金字塔模型，生成所述姿态校正模型。

19、在第一方面的一种可能的实现方式中，所述根据所述字符内容维度的第三标签信息以及所述第二区域图像，对预设的注意力模型进行训练，得到所述图像识别算法，包括：

20、根据所述第三标签信息对所述第二区域图像进行区域划分，得到每个字符对应的字符区域图像；

21、分别生成各个字符区域图像对应的字符特征向量，并根据各个字符区域图像对应的字符在所述第二区域图像之间的字符顺序，生成向量序列；

22、依次向所述注意力模型导入所述向量序列中的各个字符特征向量，以计算每个字符特征向量对应的注意力分数；所述注意力分数包括所述字符特征向量与相邻其他字符特征向量之间的相关程度；

23、基于所有字符特征向量对应的注意力分数，确定所述第二区域图像对应的字符识别结果；

24、基于所述第三标签信息以及所述字符识别结果对所述注意力模型内的学习参数进行调整，生成所述图像识别算法。

25、在第一方面的一种可能的实现方式中，所述通过预设的图像识别算法对所述一次校正图像进行图像识别，得到所述水表数据，包括：

26、根据所述目标图像关联的用户标识，获取所述用户标识关联的历史用水记录；

27、基于所述历史用水记录确定多个历史水表数据，并基于多个所述历史水表数据确定期望用水范围；

28、根据与当前时间距离最近的历史水表数据以及所述期望用水范围，确定至少一个固定位值；

29、将所述一次校正图像划分为包含所述至少一个固定位值的第一区域图像以及除所述第一区域图像外的第二图像区域；

30、将所述第一区域图像导入所述图像识别算法中的上下文注意力网络，对所述上下文注意力网络进行训练，得到校准识别网络；

31、通过所述校准识别网络对第二图像区域进行图像识别，得到字符数据；

32、基于所述至少一个固定位值以及所述字符数据，得到所述水表数据。

33、在第一方面的一种可能的实现方式中，所述通过预设的图像分割模型，对所述目标图像进行图像分割，得到包含所述水表数据的目标区域图像，包括：

34、根据所述目标图像的所述水表数据关联的位置信息，确定所述位置信息所属的水表厂商；

35、基于所述水表厂商的产品信息，获取至少一个在用水表的候选表盘分布图；

36、分别计算所述目标图像与各个所述候选表盘分布图之间的图像相似度；

37、基于所述图像相似度从所有所述候选表盘分布图中确定目标表盘分布图；

38、基于所述目标表盘分布图对所述图像分割模型进行校准，得到校正分割模型；

39、基于所述校正分割模型对所述目标图像进行图像分割，得到所述目标区域图像。

40、在第一方面的一种可能的实现方式中，所述接收待识别的目标图像，包括：

41、响应于关于所述目标图像的拍摄指令，获取包含所述水表数据的原始图像以及响应所述拍摄指令时所持终端的姿态数据；

42、基于所述姿态数据导入预设的通用姿态模型，得到初始姿态校准模型；

43、通过所述初始姿态校准模型对所述原始图像进行角度校正，得到所述目标图像。

44、第二方面，本技术实施例提供了一种应用于水表数据提取的图像处理装置，包括：

45、目标图像接收单元，用于接收待识别的目标图像；所述目标图像为拍摄有水表数据的图像；

46、图像分割单元，用于通过预设的图像分割模型，对所述目标图像进行图像分割，得到包含所述水表数据的目标区域图像；

47、姿态校正单元，用于通过预设的姿态校正模型，对所述目标区域图像进行姿态校正，得到一次校正图像；

48、图像识别单元，用于通过预设的图像识别算法对所述一次校正图像进行图像识别，得到所述水表数据。

49、第三方面，本技术实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面任一项所述的方法。

50、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面任一项所述的方法。

51、第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面中任一项所述的方法。

52、本技术实施例与现有技术相比存在的有益效果是：在获取得到包含水表数据的目标图像时，可以先通过图像分割算法提取得到水表数据所在的目标区域图像，继而通过姿态校正算法对目标区域图像进行姿态校正，避免因拍摄角度问题而导致内容偏移以及翻转而影响后续的字符识别，最后通过图像识别算法对一次校正图像进行图像识别，确定该一次校正图像内包含的水表数据，实现了自动识别图像内水表数据的目的。与现有的水表数据的管理技术相比，本技术实施例并非直接采用ocr算法进行字符识别，而是先通过图像分割以及姿态校正两个模型对目标图像进行预处理，从而能够减少因照明不足、影子遮挡、反光、拍摄视角阻碍等情况导致对内容识别的影响，最后再通过图像识别算法对调整后的一次校正图像进行内容识别，从而能够无需用户手动抄取水表数据的同时，能够确保通过图像识别得到的水表数据的准确性。