电能表检测流水线外观检测方法、系统、设备及存储介质与流程

本发明涉及一种外观检测方法，尤其涉及一种电能表检测流水线外观检测方法、系统、设备及存储介质。

背景技术：

1、在制造业和电力行业中，电能表作为测量电力消耗的关键仪器，其生产和检测流程的效率和准确性对电力行业至关重要，随着电力行业的快速发展和技术的进步，电能表的种类和功能日益多样化，这要求生产过程中的质量控制和检测工作更加精细和高效，传统的电能表外观检测方法多依赖人工视觉检查，这不仅耗时耗力，而且易受操作者疲劳、主观判断和环境因素的影响，导致检测效率和准确性受限。

2、随着自动化和智能化技术的发展，尤其是在图像处理和机器学习领域的进步，提供了改善电能表外观检测的可能性，自动化检测系统可以不间断工作，提高检测速度和一致性，减少人为错误。

3、虽然这种自动化检测系统可以有效高效的完成电能表外观检测工作，但其仍存在以下缺陷：

4、1、现有技术无法精确捕捉电能表上的细微损伤或特征。

5、2、在背景复杂或光照条件变化时，难以保持稳定的性能，缺乏必要的鲁棒性。

6、3、缺乏对不同数据类型和特征的综合分析能力，限制了系统在复杂场景中的适应性和准确性，无法充分理解和适应产品传输过程中的动态变化，影响外观检测效果。

7、公开该背景技术部分的信息仅仅旨在增加对本技术的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

技术实现思路

1、本发明的目的是克服现有技术中存在的无法捕捉电能表上的细微损伤或特征，同时缺乏必要的鲁棒性的缺点，提供了一种可以捕捉电能表上的细微损伤或特征，同时鲁棒性较高的电能表检测流水线外观检测方法、系统、设备及存储介质。

2、为实现以上目的，本发明的技术解决方案是：

3、一种电能表检测流水线外观检测方法，所述外观检测方法适用于电能表检测流水线自动接驳装置；

4、所述电能表检测流水线自动接驳装置包括：控制器、尺寸测量装置及多个图像扫描装置，所述尺寸测量装置及多个图像扫描装置设置于流水线的上游，所述机械臂设置于流水线的下游，所述流水线的下游的两侧设置有检测装置；

5、所述尺寸测量装置固定设置于流水线上，所述尺寸测量装置为激光测距仪，所述尺寸测量装置的检测端对应流水线上电能表的外轮廓设置，多个所述图像扫描装置的检测端分别对应电能表的正面、背面及侧面设置；

6、所述控制器与流水线、尺寸测量装置及多个图像扫描装置信号连接；

7、所述外观检测方法包括以下步骤：

8、s1，数据获取，获取流水线上正在检测的电能表的图像数据、尺寸特征及型号标签；

9、s2，图像处理，通过改进的局部二值模式和改进的高斯混合模型对电能表的图像数据进行处理，得到电能表图像的局部纹理特征和全局分布特征；

10、s3，身份验证,基于电能表的尺寸特征、电能表图像的局部纹理特征和全局分布特征，识别电能表型号、外观缺陷问题，并进行身份验证，形成特征向量集；

11、s4，时间特征捕获，将s3中获取的特征向量集进行处理，将电能表经过尺寸测量装置及多个图像扫描装置时连续捕获的数据特征构成一个时间序列，使用循环神经网络处理时间序列数据，得到对应时间的时间序列特征；

12、s5，决策输出，对s3中得到的融合特征集及s4中得到的对应时间的时间序列特征进行综合评估，得到最终的决策输出。

13、所述外观检测方法还包括以下步骤：

14、s6，缺陷分类与记录，控制器标记存在缺陷的电能表，根据检测到的缺陷类型对电能表进行分类，同时将该电能表的缺陷类型存储在数据库中；

15、s7，自动标记与分流，控制器发出信号驱动流水线上的传送带系统，传送带系统将存在缺陷的电能表分流到电能表处理区域。

16、所述s1数据获取包括以下步骤：

17、当流水线带动电能表运行到对应尺寸测量装置及多个图像扫描装置的位置时，尺寸测量装置扫描电能表的外轮廓，获取电能表的长度、宽度及高度信息，同时多个图像扫描装置分别扫描电能表的正面、背面及侧面，获取电能表的图像数据，并通过图像数据中的电能表标签或刻印时，通过光学字符识别技术录入电能表的型号标签数据，并进入s2，当无法识别电能表标签或刻印时，将该电能表标记为已损坏电能表并直接输出决策输出。

18、所述s2图像处理包括以下步骤：

19、s2.1，图像局部纹理特征提取，利用改进的局部二值模式提高图像纹理特征的捕获能力，得到各个像素点的局部纹理特征，各个所述像素点的局部纹理特征的表达式为：

20、

21、式(1)中albp(x,y)为图像像素点(x,y)处的局部纹理特征，gi为像素点(x,y)周围的邻居像素值，gc为像素点(x,y)中心像素的值，p为邻居的数量，∈为用于避免除零错误的常数，i为邻居像素点位置；

22、s2.2，提取全局信息，基于图像中的每个像素点的局部纹理特征albp(x,y)，对图像中所有像素点的局部纹理特征值进行统计分析，并将上述统计分析值集合形成特征向量f；

23、s2.3，全局分布特征提取，通过改进的高斯混合模型提取图形的全局分布特征，特征向量f的概率密度函数的表达式为：

24、

25、式(2)中igmm(f)为f的概率密度函数，k为指示特定的特征组合的索引，n(f|μk,∑k)表示第k个高斯分布，μk为均值，∑k为协方差矩阵，πk为高斯分布的混合系数，λ为正则化系数，r(f)为正则化项；

26、所述s2.4尺寸特征提取包括以下步骤：

27、对s1中获取的尺寸参数进行标准化处理，将各个经过标准化处理的尺寸参数汇总形成一组尺寸特征向量df。

28、所述s3身份验证包括以下步骤：

29、通过深度学习网络的非线性表达能力，结合对数及指数函数，将电能表的尺寸特征、图像局部纹理特征和全局分布特征进行有效融合，形成特征向量集，所述特征向量集的表达式为：

30、

31、式(3)中h(df,albp,igmm)为融合后的特征向量集，df为电能表的尺寸特征，albp为图像局部纹理特征，igmm为全局分布特征，β、γ、δ、ε为自适应调整的权重参数，负责调节不同类型数据之间的融合，nn表示深度学习网络，符号用于表示特征融合操作。

32、所述s4时间特征捕获包括以下步骤：

33、通过循环神经网络为时间序列数据引入非线性元素，得到电能表在不同时间的时间序列特征，所述时间序列特征的表达式为：

34、

35、式(4)中d(t)为时间t的特征，rnn为循环神经网络的计算过程，h(t-i)为t-i时间点的特征向量集，α为时间加权系数，用于强调不同时间点的特征重要性，ρ为偏置项，σ为激活函数。

36、所述s5决策输出包括以下步骤：

37、将s3中得到的融合特征集及s4中得到的对应时间的时间序列特征作为决策树模型的输入值得到决策输出，所述决策树模型的表达式为：

38、

39、式(5)中m(h,d)为决策输出，所述决策输出包括电能表的型号识别结果、外观缺陷的具体问题分类、缺陷位置、缺陷大小及电能表外观是否合格，φk是决策树的权重参数，hk为融合后的特征向量集中的第k个特征组合，k为指示特定的特征组合的索引。

40、所述s2.2中局部纹理特征值包括均值、方差、偏度、峰度、熵。

41、一种电能表检测流水线外观检测系统，所述外观检测系统包括：

42、数据获取模块、图像处理模块、身份验证模块、时间特征捕获模块、决策输出模块、缺陷分类与记录模块、自动标记与分流模块及指令发布模块；

43、数据获取模块，用于执行前述的当流水线带动电能表运行到对应尺寸测量装置及多个图像扫描装置的位置时，尺寸测量装置扫描电能表的外轮廓，获取电能表的长度、宽度及高度信息，同时多个图像扫描装置分别扫描电能表的正面、背面及侧面，获取电能表的图像数据，并通过图像数据中的电能表标签或刻印时，通过光学字符识别技术录入电能表的型号标签数据的操作；

44、图像处理模块，用于执行前述的图像局部纹理特征提取，利用改进的局部二值模式提高图像纹理特征的捕获能力，得到各个像素点的局部纹理特征，各个所述像素点的局部纹理特征的表达式为：

45、

46、式(1)中albp(x,y)为图像像素点(x,y)处的局部纹理特征，gi为像素点(x,y)周围的邻居像素值，gc为像素点(x,y)中心像素的值，p为邻居的数量，∈为用于避免除零错误的常数，i为邻居像素点位置；

47、提取全局信息，基于图像中的每个像素点的局部纹理特征albp(x,y)，对图像中所有像素点的局部纹理特征值进行统计分析，所述局部纹理特征值包括均值、方差、偏度、峰度、熵，并将上述统计分析值集合形成特征向量f；全局分布特征提取，通过改进的高斯混合模型提取图形的全局分布特征，特征向量f的概率密度函数的表达式为：

48、

49、式(2)中igmm(f)为f的概率密度函数，k为指示特定的特征组合的索引，n(f|μk,∑k)表示第k个高斯分布，μk为均值，∑k为协方差矩阵，πk为高斯分布的混合系数，λ为正则化系数，r(f)为正则化项；对s1中获取的尺寸参数进行标准化处理，将各个经过标准化处理的尺寸参数汇总形成一组尺寸特征向量的操作；

50、身份验证模块，用于执行前述的通过深度学习网络的非线性表达能力，结合对数及指数函数，将电能表的尺寸特征、图像局部纹理特征和全局分布特征进行有效融合，形成特征向量集，所述特征向量集的表达式为：

51、

52、式(3)中h(df,albp,igmm)为融合后的特征向量集，df为电能表的尺寸特征，albp为图像局部纹理特征，igmm为全局分布特征，β、γ、δ、ε为自适应调整的权重参数，负责调节不同类型数据之间的融合，nn表示深度学习网络，符号用于表示特征融合操作；

53、时间特征捕获模块，用于执行前述的通过循环神经网络为时间序列数据引入非线性元素，得到电能表在不同时间的时间序列特征，所述时间序列特征的表达式为：

54、

55、式(4)中d(t)为时间t的特征，rnn为循环神经网络的计算过程，h(t-i)为t-i时间点的特征向量集，α为时间加权系数，用于强调不同时间点的特征重要性，ρ为偏置项，σ为激活函数；

56、决策输出模块，用于执行前述的将融合特征集及对应时间的时间序列特征作为决策树模型的输入值得到决策输出，所述决策树模型的表达式为：

57、

58、式(5)中m(h,d)为决策输出，所述决策输出包括电能表的型号识别结果、接驳点的具体位置、所需的机械臂接驳力度、所需的机械臂接驳角度及预测的接驳难度，φk是决策树的权重参数，hk为融合后的特征向量集中的第k个特征组合，k为指示特定的特征组合的索引；

59、缺陷分类与记录模块，用于执行前述的控制器标记存在缺陷的电能表，根据检测到的缺陷类型对电能表进行分类，同时将该电能表的缺陷类型存储在数据库中；

60、自动标记与分流模块，用于执行前述的控制器发出信号驱动流水线上的传送带系统，传送带系统将存在缺陷的电能表分流到电能表处理区域。

61、一种电能表检测流水线外观检测设备，所述设备包括处理器以及存储器；

62、所述存储器用于存储计算机程序代码，并将所述计算机程序代码传输给所述处理器；所述处理器用于根据所述计算机程序代码中的指令执行前述的电能表检测流水线外观检测方法。

63、一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述的电能表检测流水线外观检测方法。

64、与现有技术相比，本发明的有益效果为：

65、1、本发明一种电能表检测流水线外观检测方法中，s2.1图像局部纹理特征提取中，利用改进的局部二值模式提高图像纹理特征的捕获能力，以得到各个像素点的局部纹理特征，同时每个像素点的二进制值通过乘以2i，然后累加得到当前像素点及其周围邻居的纹理模式，可以将局部的纹理信息编码为易于处理的数值形式。因此，本设计可以为电能表的外观检测提供了更细致和准确的视角，有效提高对电能表上的细微损伤或特征的识别效果。

66、2、本发明一种电能表检测流水线外观检测方法中，s2.3全局分布特征提取中，采用的改进的高斯混合模型相比传统高斯混合模型，增加了正则化项，可以增强模型在处理不同光照和复杂背景条件下的鲁棒性，使得外观检测方法能够适应多样化的环境，并准确地处理和分析各种电能表图像。因此，本设计可以通过改进的高斯混合模型，有效提高外观检测方法的鲁棒性，同时扩大外观检测方法的适用范围。

67、3、本发明一种电能表检测流水线外观检测方法中，s4时间特征捕获中，将连续捕获的数据特征构成了一个时间序列，同时通过循环神经网络处理时间序列数据，并引入非线性元素来捕获更复杂的时间序列特征，得到电能表在不同时间的时间序列特征。因此，本设计可以通过循环神经网络提高对电能表传送过程中动态变化的捕获能力，有效提高外观检测方法的动态适应性。

68、4、本发明一种电能表检测流水线外观检测系统，包括数据获取模块，用于执行前述的获取流水线上正在检测的电能表的图像数据、尺寸特征及型号标签的操作；图像处理模块,用于执行前述的通过改进的局部二值模式和改进的高斯混合模型对电能表的图像数据进行处理，得到电能表图像的局部纹理特征和全局分布特征的操作；身份验证模块，用于执行前述的基于电能表的尺寸特征、电能表图像的局部纹理特征和全局分布特征，识别电能表型号、外观缺陷问题，并进行身份验证，形成特征向量集的操作；时间特征捕获模块，用于执行前述的将特征向量集进行处理，将电能表经过尺寸测量装置及多个图像扫描装置时连续捕获的数据特征构成一个时间序列，使用循环神经网络处理时间序列数据，得到对应时间的时间序列特征的操作；决策输出模块，用于执行前述的对融合特征集及对应时间的时间序列特征进行综合评估，得到最终的决策输出的操作。因此，该配电网无功优化设备同时包括如上述任一技术方案中提供的基于逐次凸逼近的配电网无功优化方法的全部有益效果，在此不再赘述。

69、5、本发明一种电能表检测流水线外观检测设备，包括处理器以及存储器，存储器用于存储计算机程序代码，并将计算机程序代码传输给所述处理器，处理器用于根据计算机程序代码中的指令执行上述任一技术方案中提供的电能表检测流水线外观检测方法。因此，该外观检测设备同时包括如上述任一技术方案中提供的电能表检测流水线外观检测方法的全部有益效果，在此不再赘述。

70、6、本发明一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一技术方案中提供的基于电能表检测流水线外观检测方法。因此，该计算机可读存储介质同时包括如上述任一技术方案中提供的电能表检测流水线外观检测方法的全部有益效果，在此不再赘述。