一种基于多分辨率深度特征学习的指针仪表读数识别方法

本发明涉及图像数据识别，具体涉及一种基于多分辨率深度特征学习的指针仪表读数识别方法。

背景技术：

1、进入21世纪以来，如何利用现有仪器设备快速、低成本实现制造业的数字网络化制造成为了一个迫切与重要的难题。其中传统指针式仪表的自动识别和读数问题成为制造业升级中急需解决的问题。传统的人工目测方法存在读取不准确、效率低下和人为误差等问题，限制了生产效率和质量控制的提升。在此背景下，将深度学习算法应用于巡检机器人，使其能够自动识别指针仪表的读数，不仅可以解决传统人工目测方法中的人为误差和不稳定性，提高识别的准确性和可靠性，还能够显著提升生产效率和质量控制水平，为实时监测和数据分析提供基础。此外，与其他智能设备和系统的集成进一步推动了生产线的智能化管理，为实现制造业的数字化网络化升级和创新提供了新的解决途径。

2、早期研究者们基于传统机器视觉算法设计指针仪表读数识别方案，采用模板匹配的方法实现相机与仪表盘位置的精确对准，对仪表刻度盘和指针进行分割，提取特征并采用查表法实现指针仪表识别。尽管这种办法在指针式仪表识别方面很有效，但由于基于传统机器视觉算法，它极易受到各种不可控因素的影响，包括但不限于背景复杂、光照变化范围大、指针仪表倾斜、图像模糊和尺度变化等，只能在特定环境或固定位置运行。

3、近年来，得益于卷积神经网络的快速发展。研究者们相继基于目标检测与语义分割制定指针仪表读数识别方案。比如现有技术公开号为cn114037993b公开的一种变电站指针仪表读数方法、装置、存储介质以及电子设备等通过预测指针仪表所在的精确区域并基于机器视觉的传统算法提取指针特征实现指针仪表识别。尽管解决了复杂背景中仪表识别问题，但却无法有效提取仪表刻度盘和指针的特征。比如现有技术公开号为cn114037824a公开的一种指针仪表读数识别方法等通过预测仪表标记区域的二进制掩码，将聚类模型插入训练和推理，将掩码像素分组为单个实例，最后使用直线拟合参数化结果。然而，直线拟合的像素级输出往往是冗余和嘈杂的，这对最终结果的准确性带来负面影响。

4、同时，上述的研究方法大多仅通过指针的旋转偏转角度判断仪表读数，但是由于巡检机器人是一个移动平台，每幅图片的拍摄偏转角度都不一致，这会导致拍摄图像中每个仪表的倾斜偏转角度都不一样。不同的倾斜偏转角度能够在很大程度上影响提取到的指针的旋转偏转角度，进而妨碍模型对仪表读数做出正确的判断。

技术实现思路

1、1.所要解决的技术问题：

2、针对上述技术问题，本发明提供一种基于多分辨率深度特征学习的指针仪表读数识别方法，该方法从关键点估计的角度制定指针仪表读数识别任务，并设计了一种多分辨率形变卷积模型，直接用关键点来表示指针仪表中的每个检测目标，实现对指针式仪表的准确读数。可以在移动巡检机器人由于工作环境复杂等原因导致获取的图像模糊，光照情况复杂，拍摄角度倾斜的情况下自动完成指针仪表的读数识别，具有较高的准确性和鲁棒性。

3、2.技术方案：

4、一种基于多分辨率深度特征学习的指针仪表读数识别方法，其特征在于：包括以下步骤：

5、步骤一：构建多分辨率形变卷积神经网络，确定网络的主干网络和损失函数；

6、步骤二：收集包括原始环境的仪表图像汇总得到仪表图像集，对仪表图像集中的每个仪表图像的仪表表征进行关键点标注，制作数据集；并采用包括数据增强的预处理对数据集进行扩充；

7、步骤三：将预处理后的数据集输入多分辨率形变卷积神经网络，进行迭代训练并进行测试，得到可用于仪表表征关键点预测的多分辨率形变卷积神经网络；

8、步骤四：通过巡检机器人获取环境视屏，将视屏帧输入已经训练好的多分辨率形变卷积神经网络中，输出该视屏帧中包含的仪表的关键点坐标的预测结果；

9、步骤五：根据预测结果中的仪表表征的关键点坐标信息使用角度法进行仪表的读数数值计算，得到仪表读数。

10、进一步地，步骤一中的多分辨率形变卷积神经网络包括空间局部特征增强模块、并行多分辨率子网络以及全局感知模块；

11、所述空间局部特征增强模块位于并行多分辨率子网络的头部，待识别的图像经过空间局部特征增强模块增强后输入至并行多分辨率子网络；

12、所述并行多分辨率子网络呈四层结构；第一层的高分辨率分支为下采样4倍，将经过增强后的图像经过一次卷积、四次倒残差块及对应的信息融合处理后输出至子网络的尾端；第二层分支为下采样8倍，将经过增强后的图像经过一次卷积、四次倒残差块及对应的信息融合后输出至子网络的尾端；第三层分支为下采样16倍，在第二层的一次卷积、一次倒残差块处理后的数据融合之后进行分支，该分支依次通过全局感知模块、三次倒残差块及其对应的三次信息融合处理后输出至子网络的尾端；第四层为下采样32倍，在第三层的全局感知模块、一次倒残差块处理后的数据融合之后进行分支，该分支通过全局感知模块、两次倒残差块及其对应的信息融合处理后输出至子网络的尾端；其中第一、二、三、四层网络分辨率逐层降低一半；

13、在多分辨率形变卷积神经网络中对图片的处理分为4个阶段；第一阶段将经过空间局部特征增强模块增强后的图像并行通过两个卷积核大小为3×3的卷积层分别输出至对应的下采样4倍的分支和下采样8倍的分支；第二阶段将第一第二分支第一阶段输出后依次通过倒残差块后对两个分支进行融合输出；第三阶段在第一第二分支的第二阶段输出后通过全局感知模块新增一个下采样16倍的分支，三个分支依次通过倒残差块后对三个分支进行融合输出；第四阶段第一第二第三三个分支在第三阶段输出后通过全局感知模块新增一个下采样32倍的分支，四个分支依次通过倒残差块后对四个分支进行融合，融合后的分支再次通过倒残差块后利用上采样将四个分支的输出汇聚到一个维度，通过一个卷积核大小为1×1的卷积层后输出与输入分辨率相同的特征图；第二、三、四阶段中每个阶段的不同层分支之间的信息融合通过上采样与下采样实现。

14、进一步地，所述空间局部特征增强模块用于对输入的图像的空间特征进行局部增强，过滤无效信息；其处理输入的图片的具体过程为：将输入的图片经过3×3和1×1卷积学习局部的空间信息并将输入特征投影到高维空间后，展开为n个不重叠的patch，对于每个patch，进而执行多头注意力机制；最后将执行过多头注意力机制的结果与输入的图片进行融合作为模块的输出。

15、进一步地，所述全局感知模块能够自适应地学习输入图片中的形变特征，加速其所在的子网络收敛，进一步提高模型检测的准确率；具体对输入的图片进行处理的过程为：将输入的图片依次经过卷积核大小为3×3的深度可分离卷积层和卷积核大小为1×1的卷积层后获得下采样2倍，通道数翻倍的特征图；之后每个通道经过卷积核大小为3×3的卷积层处理后得到的其通道数为输入的图片通道数3倍的特征图，并将其输入形变卷积子模块；在形变卷积子模块中计算出每个卷积核的偏移量与激活权重；并将每个卷积核的偏移量与激活权重加入到卷积核大小为3×3的卷积层中得到形变卷积子模块的输出，最后使用一个卷积核大小为1×1的卷积层融合输入特征与形变卷积子模块的输出特征作为该模块的输出。

16、进一步地，所述仪表图像集中的图像为包括10264张尺寸为1920×1080、不同型号指针仪表的rgb图像；图像中包括仪表以及原始环境信息；所述原始环境信息包括时间信息，光线信息，周围环境信息，拍摄偏转角度信息；

17、步骤二具体包括以下步骤：

18、s21：利用labelme对仪表图像中的指针顶点，仪表圆心，所有的刻度线顶点进行标注得到图像对应的关键点标签；关键点标签中包含该图像对应的关键点集合n表示该标签中的关键点总数，m为该标签中的关键点的种类总数；表示第j类第i个关键点的坐标，即

19、s22：采用包括数据增强的预处理对数据集进行扩充；所述数据增强为对步骤s21生成的包括标签的图像进行随机缩放、裁剪、水平翻转、随机旋转和高斯模糊的处理，从而得到扩充后的仪表图像集。

20、进一步地，步骤三具体包括：

21、将步骤二得到的数据集中标注的标签信息作为关键点真实值，利用二维高斯算法生成关键点热力图作为多分辨率形变卷积神经网络的输入，其中，h为输入图片的高度；w为输入图片的宽度；所述热力图表示图片中每个像素位置是待预测的关键点的概率，距离要估计的关键点位置越近的像素点的概率越接近1，距离关键点越远的像素点的概率越接近0；其中热力图中坐标为(x,y)处的值为：

22、

23、式中，和表示每个关键点真实值的坐标，标准差σ为1像素；

24、训练时，多分辨率形变卷积神经网络输出预测仪表表征关键点位置的热力图，并与实际热力图相比较计算均方误差从而进行反向传播，优化网络的权重参数；判断是否满足预设的循环迭代次数，如果循环迭代次数达到了设定的次数则停止迭代；否则继续进行训练。

25、最终获得网络预测的仪表表征关键点位置的热力图，并根据热力图获得仪表表针关键点的坐标信息。

26、进一步地，步骤五中得到仪表读数的过程具体包括：

27、从预测结果中得到与指针相邻的左右各2个刻度线顶点坐标对应的刻度值，分别表示为其中指针顶点坐标位于和之间；这样就形成了四组数据区域，分别是和并分别赋予各组不同的权重，四组数据对应的权重分别为0.4、0.25、0.25和0.1；对该四组数据进行加权指针读数计算，如下：

28、

29、上式中：s表示仪表指针对应的刻度；wi表示第i组数据对应的权重；αi表示第i组数据依次连接较小刻度值的刻度线顶点与仪表圆心与较大刻度值的刻度线顶点的夹角；γi表示第i组数据一次连接指针顶点与仪表圆心与较小刻度值的刻度线顶点的夹角。

30、3.有益效果：

31、(1)本指针仪表读数识别方法，针对现有技术中通常使用目标检测方法或语义分割方法，由于前者以边界框作为输出，后者的输出过于冗余且嘈杂，导致他们无法得到精确的位置信息。而本发明通过仪表的关键点进行读数识别，目标的简化和对空间有限范围的关注不仅有助于网络提供精确仪表读数而且能够大幅降低任务的复杂性。

32、(2)本指针仪表读数识别方法通过构建多分辨率形变卷积神经网络，用于预测图像的关键点信息；该网络采用多分辨率并行架构设计，在整个过程中保持高分辨率表示，通过并行连接多分辨率，反复交换并行多分辨率子网络中的信息，通过跨分辨率的信息交互，实现高分辨率的特征输出，实现多尺度融合，强化网络中的位置信息。

33、(3)在多分辨率形变卷积神经网络中设置空间局部特征增强模块与全局感知模块。其中，空间局部特征增强模块被放置在并行多分辨率子网络之前，用于对空间特征进行局部增强，过滤掉一部分无效信息，间接地提高后续子网络中有效信息的利用率。全局感知模块被其放置在并行多分辨率子网络中的中低分辨率，利用该模块自适应地学习输入图片的形变特征，加速网络收敛，进一步提高模型检测的准确率。

34、(4)本方案中对预测出的关键点采用角度法进行计算仪表读数，针对采集的环境图像中仪表倾斜，偏转的情况，免去了对仪表图像进行倾斜矫正的步骤，不仅提高了系统响应时间也避免了因为倾斜校正所产生的累计误差，从根本上解决了指针仪表倾斜的干扰。