基于声学成像感知技术的巡检机器人监测方法及系统与流程

1.本发明涉及电力设备噪声检测技术领域，具体涉及基于声学成像感知技术的巡检机器人监测方法及系统。


背景技术：

2.随着我国的科技水平和经济水平的不断发展，社会各行业对电力的需求越来越大。而变电站是电力系统重要的供电和传输枢纽，其安全和正常运行，对于电力安全使用至关重要。传统的巡检维护需要工作人员携带设备至各变电站进行定期检查，该方式不仅检测效率较低，容易出现误检和漏检的现象，而且长此以往电力设备的电磁辐射还会对巡检人员的身体造成影响，已不再适合当前人工智能背景下的变电站检测需求。
3.为提高变电站的检测效率和检测精度，集自主巡检、智能监控、数据采集分析、状态评估报警等功能于一身的智能变电站巡检机器人日益普及，但巡检机器人不断发展应用的同时也暴露出许多问题，例如检测参量较少，主要限制在变电设备红外测温与设备外观检查，对变电设备运行状态缺乏全面协同感知，对设备的声学信息特征分析应用有待进一步提高。


技术实现要素：

4.为了解决或部分解决相关技术中存在的问题，本发明提供了基于声学成像感知技术的巡检机器人监测方法及系统，针对现有巡检机器人检测技术不足，提出新的电力设备状态识别方法，并基于该方法形成一个完整的检测模块，可将该模块搭载于巡检机器人平台。
5.本发明提供了基于声学成像感知技术的巡检机器人监测方法，该方法包括：
6.通过采集前端采集电力设备的声信号和光学图像信息；
7.对采集的声信号进行声场重构处理，获取电力设备的声场分布图；
8.对获取的声场分布图进行图像切割；
9.将切割后的变压器声场分布图、光学图像信息导入视觉转换器，获取电力设备状态；
10.存储电力设备状态的数据信息，若电力设备出现异常，则触发报警器进行报警。
11.可选地，所述采集电力设备的声信号和光学图像信息，具体包括：
12.人机交互端下发给定的时钟信号至边缘网关；
13.传声器阵列通过边缘网关获取时钟信号，并根据时钟信号采集不同采样频率的数据，将声音信号转化为电信号；
14.电力设备将光学图像投射到光学摄像头的表面，转为电信号；
15.数据采集模块对光学摄像头、传声器阵列中每个通道的信号进行放大，再通过a/d转换模块，获得电力设备的声信号和光学图像信号数字信号。
16.可选地，所述对采集的声信号进行声场重构处理，获取电力设备的声场分布图，具
体包括：
17.声场重建模块将电力设备表面的基准声发射面进行网格化划分得到每个网格点(即重构点)的空间位置坐标；
18.基于声源到达每个传声器的时延原理，反向计算网格点处的声压信号并与阵列采集到的声信号进行加权求和，获得重建声场，并以此获取声像图；
19.电力设备状态识别模块对声像图进行分割，分为若干个小块并重塑为一个向量，将该向量带入视觉转换器中自动获取声像图特征，并结合光学图像信息构建电力设备状态检测模型。
20.可选地，所述将切割后的变压器声场分布图、光学图像信息导入视觉转换器，获取电力设备状态，具体包括：
21.将切割后的变压器声场分布图及光学图像信息导入视觉转换器，通过获取声像图中的前四阶中心距作为电力设备状态判别模型的输入特征，识别电力设备的运行状态。
22.所述将电力设备状态的数据信息存储至存储器模块，若电力设备出现异常，则触发报警器进行报警，具体包括：
23.通过相控阵测试原理得到电力设备表面的声像图；
24.采用视觉转换器自动学习转换后的二维声像图特征，并提取图像前四阶中心矩特征作为判别设备状态输入参数，结合支持向量机训练电力设备运行状态识别模型，形成可以有效识别设备机械松动、放电缺陷的诊断模型；
25.将采集数据输入至该模型中即可判别该电力设备的运行状态。
26.该方法还包括：
27.通过机器人通讯平台将电力设备状态传输至人机交互端，并在显示端进行显示。
28.另一方面，本发明还提供了基于声学成像感知技术的巡检机器人监测系统，该系统包括声学感知模块；机器人主体和人机交互端；所述声学感知模块包括采集前端和边缘网关，所述采集前端包括传声器阵列、光学摄像头、数据采集模块和电源模块；所述边缘网关包括声场重建模块和电力设备状态识别模块，所述人机交互端包括显示端、控制端、存储器模块、报警器和通讯模块。
29.所述声学感知模块通过以太网或usb的方式与机器人通讯平台进行数据传输；所述机器人通讯平台通过无线数据传输方式与人机交互端进行数据传输。
30.所述传声器阵列包括多个声学传感器。
31.所述电力设备识别模块包括图像切割模块、特征提取模块和视觉转换器。
32.本发明提供的技术方案可以包括以下有益效果：
33.本发明通过采集前端对变压器的声信号和光学图像信息进行采集，获取变压器声场分布图，基于变压器声场分布图获取声像图纹理特征，区分被检测变压器的不同缺陷状态。基于声学成像感知技术的巡检机器人监测系统对于变压器不同运行工况都具有很高的识别精度，可以有效识别设备机械松动、放电缺陷，可以解决现有技术中现有的巡检机器人存在的弊端。
34.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
35.为了更清楚地说明本发明专利实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明专利的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，根据这些附图获得其他的附图。
36.图1为本发明实施例中基于声学成像感知技术的巡检机器人监测系统的结构示意图；
37.图2为本发明实施例中声学(成像)感知模块应用在机器人主体上的结构示意图；
38.图3为本发明实施例中基于声学成像感知技术的巡检机器人监测系统得到的不同状态下变压器的声像图；
39.图4为本发明实施例中基于声学成像感知技术的巡检机器人监测系统自动提取的声像图特征区分变压器不同缺陷状态示意图；
40.图5为本发明实施例中变压器故障诊断结果的混淆矩阵示意图；
41.图6为本发明实施例中转换器编码器的框架示意图；
42.图7为本发明实施例中基于声学成像感知技术的巡检机器人监测方法的流程图。
具体实施方式
43.下面将参照附图更详细地描述本发明的实施方式。虽然附图中显示了本发明的实施方式，但是应该理解的是，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
44.在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的
“”
、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
45.应当理解，尽管在本发明可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
46.下文将结合附图对本发明实施例的技术方案进行详细描述。
47.本发明实施例提供了一种基于声学成像感知技术的巡检机器人监测方法，对于电力设备不同运行工况都具有很高的识别精度，可以有效识别电力设备机械松动、放电缺陷，解决现有技术中现有的巡检机器人存在的弊端。
48.本实施例对于电力设备的种类不作具体限定，仅以电力设备为变压器进行示例性说明。
49.请参阅图7，本发明实施例中的基于声学成像感知技术的巡检机器人监测方法一般包括以下步骤：
50.步骤s1、通过采集前端采集电力设备的声信号和光学图像信息。
51.人机交互端给边缘网关下发给定的时钟信号，传声器阵列通过边缘网关获取时钟信号，并根据该信号进行不同采样频率的数据采集，将声音信号转化为电信号，电力设备将光学图像投射到光学摄像头表面上，同样转为电信号，数据采集模块对光学摄像头、传声器阵列中每个通道的信号进行放大，再通过数字转换，获得电力设备声信号、光学图像信号数字信号。
52.步骤s2、对采集的声信号进行声场重构处理，获取电力设备的声场分布图。
53.对采集的声信号进行声场重构处理，并获取变压器声场分布图，声场重建模块，将设备表面的基准声发射面进行网格化划分得到每个网格点(即重构点)的空间位置坐标，再基于声源到达每个传声器的时延原理，反向计算重构点处的声压信号并与阵列采集到的声信号进行加权求和，获得重建声场，并以此获取声像图，电力设备状态识别模块，对声像图进行分割，分为若干个小块并重塑为一个向量，将该向量带入视觉转换器中自动获取声像图特征，结合光学图像信息构建电力设备状态检测模型。
54.步骤s3、对获取的声场分布图进行图像切割。
55.步骤s4、将切割后的变压器声场分布图导入视觉转换器，获取电力设备状态。
56.将切割后的变压器声场分布图、光学图像信息导入视觉转换器，通过获取声像图中的前四阶中心距作为电力设备状态判别模型的输入特征，识别设备的运行状态；
57.步骤s5、存储电力设备状态的数据信息，若电力设备出现异常，则触发报警器进行报警。
58.通过相控阵测试原理得到电力设备表面的声像图，再采用视觉转换器(vision transformer)模块自动学习转换后的二维声像图特征，并提取图像前四阶中心矩特征作为判别设备状态输入参数，结合支持向量机训练电力设备运行状态识别模型，形成可以有效识别设备机械松动、放电缺陷的诊断模型，然后将采集数据输入至该模型中即可判别该电力设备的运行状态，最后通过机器人通讯平台将变压器状态传输至人机交互端，并在显示端进行显示，同时将变压器状态数据信息存储至存储器模块，如若电力设备出现异常，则触发报警器进行预警。
59.基于同一发明构思，本实施例还提供了一种基于声学成像感知技术的巡检机器人监测系统，包括声学感知模块、机器人主体和人机交互端；声学感知模块包括采集前端和边缘网关；采集前端包括传声器阵列、光学摄像头、数据采集模块和电源模块；边缘网关包括声场重建模块和电力设备状态识别模块。
60.本实施例中，传声器阵列包括多个声学传感器，用于采集待测电力设备的声学信息。
61.本实施例中，光学摄像头用于采集待测电力设备的光学图像信息。
62.本实施例中，数据采集模块用于对每个传声器阵列中每个通道的声信号进行放大，再通过a/d转换模块获得每个通道的电力设备声信号数字信号。
63.本实施例中，电源模块对采集前端提供电量支持。
64.本实施例中，边缘网关中包含了两个模块，即声场重建模块与电力设备状态识别模块。边缘网关能够将采集前端持续产生的数据进行过滤压缩，大幅降低文件体积，同时减小了所占用的网络带宽和计算负担。
65.本实施例中，声场重建模块将电力设备表面的基准声发射面进行网格化划分得到每个网格点(即重构点)的空间位置坐标，再基于声源到达每个传声器的时延原理，反向计算重构点处的声压信号并与阵列采集到的声信号进行加权求和，获得重建声场，并以此获取声像图。
66.请参阅图3至5，声场重建模块采用的是波束形成算法，波束形成算法原理是将设备表面的基准声发射面进行网格化划分得到每个网格点(即重构点)的空间位置坐标，再基于声源到达每个传声器的时延原理，反向计算重构点处的声压信号并与阵列采集到的声信号进行加权求和，当重构点与声源点位置一致时，也即信号相位一致，加权求和后信号被增强，当重构点与声源点位置不一致时，加权求和后信号减弱，完成扫描计算后即可获得整个基准声发射面上重构点的声压级，绘制后即可得到电力设备的声像图。
67.声信号的采集根据测试距离分为近场与远场，
[0068][0069]
式中，r
lim
为声源与传声器阵列中心的距离，l为各传声器阵元之间的间距，λ为声信号的波长，r
lim
超过2l2/λ则视为远场。
[0070]
但由于巡检机器人在日常工作时同电力设备存在安全距离，而这安全距离大于近场距离的阈值，因而采集的声场模型视为远场。远场声信号传递至采集阵元，各传声器接收到的声信号可视为平面波，而由于传声器空间位置的不同从而导致各阵元间输出信号存在一定的时间延迟，令第一个传声器为参考阵元，则时延可表示为：
[0071]
τi＝l cosθ/c,i＝1,2,...,m，
[0072]
式中，τi为各传声器间的时间延迟，l为各传声器检测单元之间的间距，θ为传声器与声源间的夹角，c为声速，i表示第i个传声器，m为传声器总数。
[0073]
由此可得传声器阵列波束形成的频域输出：
[0074][0075]
式中，b为波束形成输出结果，r为传声器到重构点之间的距离，m为阵列中声音传感器的数量，i表示第i个传声器，wi为第i个传感器的加权系数，pi(ω)为第i个传声器接收到的声压数据，τi为第i个传声器与参考传声器之间的时延。
[0076]
本实施例中，电力设备状态识别模块，对声像图进行分割，分为若干个小块并重塑为一个向量，将该向量带入视觉转换器中自动获取声像图特征，构建电力设备状态检测模型。
[0077]
采用波束形成算法对电力设备辐射的声场进行重构后，获取声场分布图像，为准确识别电力设备声像图特征，采用dosovitskiy最新提出的视觉转换器vision transformer(vit)算法。该算法引入自然语言处理中的注意力机制，能更好地实现图像分类。
[0078]
1)将图像转化为序列化数据
[0079]
为了处理声场分布图像，首先将图像分割成一个个patch，然后将每个patch重塑成一个向量，得到展平的patch。如果图像维数是h
×w×
c，用p
×
p大小的patch去分割图像可以得到n个patch，则每个patch的维数是p
×
p
×
c，转化为向量后得到p2c维的向量，将n个
patch重塑后的向量连接在一起便得到了一个n
×
p2c的二维矩阵。提取的二维矩阵相当于自然语言处理领域中输入transformer的词向量。
[0080]
当patch的大小变化时(即p变化时)，每个patch重塑后得到的p2c维向量的长度也会变化。为了避免模型结构受到patch维数的影响，模型对得到的展平patches向量做了线性投影。将不同长度的展平patches向量转化为固定长度的向量(记做d维向量)。综上，原本h
×w×
c维的图像被转化为了n个d维的向量(或者一个n
×
d维的二维矩阵)。
[0081]
2)位置嵌入
[0082]
由于transformer模型本身没有位置信息，故需要用位置嵌入将位置信息加到模型中。模型采用位置嵌入和patch嵌入相加的方式引入位置信息。
[0083]
3)学习嵌入
[0084]
在transformer模型中，如果人为地指定一个嵌入(例如模型中patch经过线性投影后得到的patch嵌入)经过编码得到的结果作为整体的表示，会不可避免地使整体表示偏向于这个指定嵌入的信息(例如图像的表示偏重于反映某个patch的信息)。模型采用学习嵌入来解决存在的不足。
[0085]
4)transformer编码器
[0086]
transformer编码器结构和自然语言处理技术中transformer结构基本上相同。图6展示了transformer编码器基本框架，transformer编码器由交替层的多头自我注意机制和多层感知器块组成。在每个块之前应用标准化块，在每个块之后应用剩余连接。对于编码器的第l层，记其输入为z
l-1
，输出为z
l
，则计算过程为：
[0087][0088]
式中，z
l
′
为上一次的输入，msa为多头注意力机制块，mlp为多层感知器，ln为标准化块。
[0089]
编码器第一层的输入z0为：
[0090][0091]
式中，即线性投影后的patch嵌入(p2c维)，p2c
×
d维的矩阵e表示线性投影，得到的都是d维向量；n个d维向量和d维向量x
class
连接得到(n+1)
×
d维矩阵。与n+1个d维位置嵌入拼成(n+1)
×
d维矩阵e
pos
，即得到了编码器的原始输入z0。
[0092]
(4)声像图特征提取
[0093]
特征提取在模式识别中具有重要意义，选择有效显著的状态特征能大大提高状态监测系统的识别精度。在故障检测中，前四阶中心矩是最为普遍的特征。本专利中以电力设备声信号的前四阶中心矩特征量作为支持向量机的输入特征。电力设备声信号前四阶中心矩通过以下公式计算：
[0094][0095]
式中，n表示声音信号e(n)的采样点数；μ、σ2、s和k分别表示声音信号前四阶中心矩。
[0096]
本实施例中，声学感知模块通过usb或以太网与机器人通讯平台连接，机器人通讯平台通过通讯模块与人机交互端通信连接。优选地，通讯模块为无线通讯模块，此外通讯模块还包括无线中继模块，以保证无线传输的质量与稳定性。
[0097]
本实施例中，人机交互端包含显示端、控制端、存储器模块以及报警器，显示端用于显示声学感知模块实时传回的信号数据；控制端通过机器人通讯平台对声学感知模块下发指令，声学感知模块中的边缘网关将该指令传递至采集前端；存储器模块用于存储历史数据；若电力设备出现异常，则触发报警器进行预警。
[0098]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应该涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。