一种基于深度学习的仪表角度校正与示数识别方法与流程

本发明涉及图像识别，特别涉及一种基于深度学习的仪表角度校正与示数识别方法。

背景技术：

1、指针式仪表在有强磁干扰的变电站等环境中发挥着重要作用，但由于指针式仪表人工读数复杂，容易出现误差，并且通常工作在强电压，强辐射的危险场景中，所以并不适合人工读取示数。因此，研究指针式仪表的智能检测与识别具有重要意义。

2、然而在现有技术中，基于深度学习的仪表盘目标检测多是基于传统图像处理技术对仪表指针进行定位，如模板匹配法或减影法，而后再进行角度与示数的换算，这些方法存在识别过程复杂，智能读取普适性低、实时性差等问题。但是对于常规角度的仪表读数具有较好的识别能力，而对于存在不规则角度的仪表则难以准确进行识别。

技术实现思路

1、本发明提供一种基于深度学习的仪表角度校正与示数识别方法，所述基于深度学习的仪表角度校正与示数识别方法包括以下步骤：

2、步骤1，构建神经网络对仪表盘图像角度检测与校正；

3、步骤2，采集多场景多种类的指针式仪表图像构建训练集，并使用训练集对卷积神经网络模型进行深度训练；

4、步骤3，对卷积神经网络模型输出的图像经过均值偏移滤波后使用基于非线性双边滤波的canny边缘检测算法二值化，再应用hough圆检测定位表盘，获得仪表的圆心位置和半径；

5、步骤4，使用ctpn+crnn网络文字检测识别模型处理定位到仪表的图像，获得仪表开始刻度和最大量程的数值与位置；

6、步骤5，使用基于区域选择的hough直线检测算法提取仪表盘中的指针，最后根据刻度、量程和指针用角度法计算仪表读数。

7、更近一步地，在步骤1还包括以下步骤：

8、步骤11，采集仪表盘图像信息，对数据进行清洗和标注；

9、步骤12，搭建多尺度卷积神经网络模型，利用仪表盘图像信息对网络模型进行训练；

10、步骤13，加载已训练的模型参数，对仪表盘图像进行角度校正，将检测后的图像花纹角度校正到统一朝向；

11、在步骤12中，所述多尺度卷积神经网络包括特征提取模块和多尺度决策融合模块；

12、所述特征提取模块包括小尺度cnn网络、中尺度cnn网络、大尺度cnn网络和全尺度cnn网络，分别输出小尺度特征向量、中尺度特征向量、大尺度特征向量和全尺度特征向量；

13、所述多尺度决策融合模块将四个不同尺度的特征向量生成系数矩阵，并通过系数矩阵与小尺度特征向量、中尺度特征向量和大尺度特征向量进行融合生成输出向量。

14、更近一步地，在步骤12还包括以下步骤：

15、步骤121，位移场多尺度卷积神经网络特征提取；

16、步骤122，位移场多尺度卷积神经网络决策级融合；

17、步骤123，计算位移场多尺度卷积神经网络损失函数；

18、所述小尺度cnn网络包括依次连接的第一小尺度卷积模块、平均池化层、第二小尺度卷积模块、第三小尺度卷积模块、第四小尺度卷积模块、第五小尺度卷积模块和第六小尺度卷积模块；

19、所述中尺度cnn网络包括依次连接的第一中尺度卷积模块、平均池化层、第二中尺度卷积模块、第三中尺度卷积模块、第四中尺度卷积模块、第五中尺度卷积模块和第六中尺度卷积模块；

20、所述大尺度cnn网络包括依次连接的第一大尺度卷积模块、平均池化层、第二大尺度卷积模块、第三大尺度卷积模块、第四大尺度卷积模块、第五大尺度卷积模块、第六大尺度卷积模块和第七大尺度卷积模块；

21、所述全尺度cnn网络包括依次连接的第一全尺度卷积模块、平均池化层、第二全尺度卷积模块、第三全尺度卷积模块、第四全尺度卷积模块、第五全尺度卷积模块、第六全尺度卷积模块和第七全尺度卷积模块；

22、各卷积模块均包括依次连接的数量和尺寸不同的卷积核、归一化单元和relu函数单元。

23、更近一步地，在步骤122中，四个不同尺度的输出数据叠加在一起，然后进入全连接层，生成一个6×1的向量。这个向量被改变形状，然后通过一个softmax层，生成一个3×2的系数矩阵

24、在该系数矩阵中，满足以下等式：

25、

26、其中，cj和dj表示各尺度系数矩阵的元素，并且都在[0,1]的范围内；最后，可以得到输入子集图像对应的位移向量为：

27、

28、其中，u1为小尺度特征向量的横坐标，v1为小尺度特征向量的纵坐标，u2为中尺度特征向量的横坐标，v2为中尺度特征向量的纵坐标，u3为大尺度特征向量的横坐标，v3为大尺度特征向量的纵坐标。

29、更近一步地，在步骤123中，所述损失函数包括：

30、采用ciou损失函数对任意方向检测框的最小外接矩形进行优化：

31、

32、

33、

34、其中，iou表示预测框与标注框的交并比，b表示预测检测框的中心点，bgt表示标注框的中心点，ρ2表示预测框和标注框两个中心点距离的平方，α和υ为长宽比，w、h和wgt、hgt分别代表预测框的高宽和真实框的高宽；

35、置信度损失：

36、

37、类别损失：

38、

39、方向向量损失：

40、

41、

42、

43、

44、其中，为正样本系数，特征图中存在正样本处为1，其余为0，和分别表示检测框头部横坐标和其标签值，和分别表示检测框方向向量头部纵坐标和其标签值，和分别表示检测框方向向量尾部横坐标值和其标签值，和分别表示检测框方向向量尾部纵坐标值和其标签值。

45、更近一步地，步骤s3中所述canny边缘检测算法具体包括：

46、同时考虑值域和空间域对图像进行非线性双边滤波，很好的保留边缘信息，滤波后的图像经过sober算子方向模板在3×3邻域内计算梯度幅值，再对边缘信息进行非极大值抑制达到边缘细化效果；

47、根据图像的灰度分布分割出前景部分和背景部分，将灰度类间方差最大化，找到使方差最大的的阈值并定义为高阈值，将k倍的高阈值定义为低阈值，根据高低阈值进行边缘连接，其中k∈[0.5,0.8]。

48、更近一步地，在步骤2中，所述yolov5算法中mobilenetv3网络包括五个卷积层，输入的图像经过mobilenetv3网络卷积后输出相应的特征图，再经过fpn网络和pan网络进行学习，最终送入prediction head模块预测出预测类别的置信度、预测边界框的坐标，然后通过非极大值抑制算法去除重复检测框，设定好阈值后最终显示出仪表的类别、类别置信度以及边界框。

49、更近一步地，在步骤5中，所述hough直线检测算法步骤包括：根据检测到仪表的圆心、起始刻度与最大量程的位置获得提取范围，在提取范围内遍历所有边缘点，不断重复随机提取边缘点映射为极坐标空间直线，当每个边缘点的累加器超过预设值后提取线段，最后计算所有提取线段的长度，将长度最长的提取线段作为仪表的指针。

50、更近一步地，在步骤5中，所述hough直线检测算法的提取范围中首先去除仪表开始刻度与最大量程刻度夹角区域，其次缩减检测半径避免将刻度线误认为指针。

51、更近一步地，在步骤3中，应用hough圆检测定位表盘的步骤包括：读取canny边缘检测算法输出的二值化图像，遍历图像所有边缘，沿边缘梯度方向和反方向线段的交点在二维累加器中累加，将二维累加器中的计数从大到小排序，保留计数最多的位置作为仪表的圆心，再计算圆心到图像边缘点的距离得到半径。

52、本发明达到的有益效果是：

53、本发明使用了四种不同尺度的cnn，分别是小尺度cnn、中尺度cnn、大尺度cnn和全尺度cnn。小尺度网络、中尺度网络、大尺度网络的输出在各自的范围内都是准确的，而全尺度网络在所有范围内的输出精度都没有那么高，但是足以判断结果隶属的尺度。因此，通过融合这四个网络的结果，可以计算出合适的系数矩阵来确定正确的结果。所以，全尺度网络的结果虽然不参与融合，但起着重要的决策作用。

54、本发明针对神经网络角度拟合训练过程中，角度预测损失值在0度产生损失突变问题，对物体角度信息进行扩展编码，通过预测角度方向向量来计算物体角度，同时损失函数中增加了物体方向向量坐标的计算，通过解码方向向量得到物体最终角度信息。将角度预测范围扩展到[-180°,180°)并且消除角度损失周期性突变。

55、本技术中的技术方案中canny边缘检测算法用非线性双边滤波替换常规高斯滤波，更好保留了图像的边缘细节；在yolov5算法中使用mobilenetv3网络替换常规的darknet网络，减少数据量加快速度；加入ctpn+crnn网络文字检测识别模型读取不同类型仪表的刻度、量程信息，具有较强的泛化能力和通用性；使用hough直线检测算法定位指针，降低了计算读数的难度。