基于实时监控的变电站刀闸检测方法及系统与流程

1.本技术涉及电力设备安全运行监测技术的领域，尤其是涉及一种基于实时监控的变电站刀闸检测方法及系统。


背景技术：

2.刀闸是变电站中常见的一种高压电气设备，用于实现其他电气设备与电网之间的连接和隔离。刀闸的开合状态决定站点站中各个电流电路的通断，影响电力系统中电气设备的运行状态，在变电站的安全运行检测中，为了检测各种电气设备的实时运行进行检测，需要对刀闸的开合状态进行检测。
3.刀闸包括有敞开式刀闸和封闭式刀闸，其中封闭式刀闸通常在室内工作，运行较为稳定且状态监控较为容易，而敞开式刀闸由于长期在室外工作，运行较为不稳定，需要定时对运行可靠性进行检测。刀闸一般包括有刀臂、用于支撑刀臂的支撑座和设置于刀臂端部的触头，不同触头之间的连接通常为插接或压接，触头通常还会安装有弹簧。相关技术中，为了检测刀闸的开合状态，通常是在弹簧处安装压力传感器，通过压力传感器检测弹簧的压力变化，并通过分析压力变化来检测刀闸处于打开状态或是闭合状态。
4.针对上述技术方案，发明人认为，由于刀闸的机械部件长时间暴露于户外，压力传感器长期在户外运行，受如湿度差异因素、温度差异因素等环境因素的影响较大，可能会发生损坏，影响检测准确率，且由于压力传感器安装于刀闸上，维修成本较大，存在技术缺陷。


技术实现要素：

5.本技术目的一是提供一种基于实时监控的变电站刀闸检测方法，具有提高检测准确性的特点。
6.本技术的上述发明目的一是通过以下技术方案得以实现的：基于实时监控的变电站刀闸检测方法，包括：基于监控模块提供的监控数据，确定待测图像；其中，所述待测图像中具有至少两个能够完成开合状态切换的开合部的成像；将待测图像输入关键点检测模型中，基于目标框检测确定目标框，并基于关键点检测确定关节结点，结合目标框和关节结点，确定检测信息；其中，所述目标框用于反映所述刀闸的位置，各个所述关节结点用于反映所述刀闸的各个所述开合部的端部位置，各个所述关节结点位于所述刀闸所对应的所述目标框内；基于检测信息，确定一一对应于刀闸的中线信息；其中，所述中线信息包括若干条一一对应于所述开合部的辅助中线，所述辅助中线的延伸方向关联于对应的所述开合部的长度方向；结果输出，基于中线信息，确定一一对应于刀闸的开合角信息，并基于开合角信息进行角度阈值判断，基于判断结果，确定刀闸开合状态信息。
7.通过采用上述技术方案，将待测图像输入训练好的关键点检测模型中，得到目标
框和关节结点，目标框检测能够在待测图像中框选出关联于刀闸的区域，通过目标框将刀闸的框选出来，从而在待测图像中把刀闸与其他物体区分开。各个关节结点能够反映出开合部的端部位置，由于开合部的两端沿开合部的长度方向间隔分布，因此通过其中两个关节结点之间的连线可以反映出开合部的长度方向。
8.通过对刀闸中两个开合部分别对应的辅助中线进行角度分析，可以得到开合角信息，进而评估刀闸中两个开合部之间的夹角角度。对于处于不同开合状态下的刀闸，如处于打开状态和闭合状态，两个开合部之间的角度具有较大的差异性，因此可以检测出刀闸的开合状态。
9.待测图像的获取受温度差异、湿度差异等环境因素的影响较小，能够基于开合部的实际的长度方向进行后续的分析判断，检测准确性更高。另一方面，相较于相关技术中设置于刀闸上的压力传感器，待测图像的获取设备可以安装于距离刀闸较远的位置采用非接触式的方式进行检测，便于进行维护检查，更加方便，适用于大规模的刀闸状态检测中。
10.关键点检测模型可以在大量现场图像数据基础上进行深度学习训练，在训练过程中，可将不同场景同类结构隔离开关或刀闸的识别功能集成于单个关键点检测模型中，其内部参数由算法自动化计算回归，可更加精确地检测出画面内的刀闸的结构特征，准确率更高，并且具有高泛化能力和通用性，容易批量化应用。
11.目标框检测和关键点检测在本实施例中采用的是自上而下的策略，在关键点检测模型中，先检测出目标框，然后在目标框基础上检测出各类别关节结点，最后汇总所有关节结点到原待测图像的区域中。因此理论上而言目标检测模块与关键点检测模块是串联结构，这种串联结构可以大大提高关节结点的预测准确率，尤其是针对目标数量较少且同类目标相互重叠遮挡情况较少的场景下可以有较高准确率；同时由于预测的目标框少，可以实现较快的计算速度。
12.可选的，所述关键点检测模型的构建方法包括：确定样本图像和样本信息；其中，所述样本图像对应于所述待测图像，所述样本信息包含样本框和关键结点；所述样本框能够指示所述刀闸的位置，各个所述关键结点能够反映所述刀闸的各个所述开合部的端部位置，各个所述关键结点位于所述刀闸所对应的所述样本框内；将样本图像输入初始检测模型，确定预测信息；其中，所述预测信息包含预测框和预测结点；所述预测框用于反映所述刀闸的位置，各个所述预测结点用于反映所述刀闸的各个所述开合部的端部位置，各个所述预测结点位于所述刀闸所对应的所述预测框内；基于样本信息、预测信息以及对应于初始检测模型的总损失函数，确定总损失值；其中，所述总损失函数关联于所述初始检测模型的权重参数，所述总损失值用于反映所述初始检测模型预测能力和真实效果之间的偏差；基于总损失函数以及当前批次的总损失值，进行通过反向传播的方式计算权重的下降梯度，并对初始检测模型的权重参数进行更新，基于更新结果确定关键点检测模型。
13.通过采用上述技术方案，将预先收集的样本图像放入初始检测模型中进行分析计算，可以得到预测信息。以样本信息作为预测信息的学习对象，并结合初始检测模型所对应的总损失函数，可以计算该批次中初始检测模型的总损失值。总损失值能够反映样本信息
和预测信息之间的误差大小。基于总损失函数以及当前批次的总损失值，计算当前批次的初始检测模型的权重参数所对应的梯度，并且按照损失函数梯度的下降的方向对权重参数进行更新，可以对初始检测模型进行更新优化，使总损失函数的总损失值朝逐渐变小的趋势进行优化。经过多次的权重更新优化后，去满足预设条件的初始检测模型为关键点检测模型。
14.利用模型训练的方式，在大量现场图像数据基础上进行深度学习模型训练，得到关键点检测模型，可将不同场景同类结构隔离开关或刀闸的识别功能集成于单个关键点检测模型中，其内部参数由算法自动化计算回归，可更加精确地检测出画面内的刀闸的具体位置和端部位置，提高检测准确率，并且具有高泛化能力和通用性，容易批量化应用。
15.另一方面，模型训练是基于样本图像中的特征进行训练学习，利用大量差异化多样的样本图像，可以提高关键点检测模型对环境、场景及观测对象变化等情况的适应性和稳定性。
16.可选的，所述总损失函数包括目标框损失函数和关键点损失函数；其中，所述目标框损失函数基于所述样本框和所述预测框确定，所述关键点损失函数基于所述样本关节点和所述预测结关节点确定。
17.通过采用上述技术方案，对应于目标框检模块和关键点检测模块，关键点检测模型的总损失函数应包括目标框损失函数和关键点损失函数，通过目标框损失函数反映初始检测模型检测得到的目标框与真实的目标框之间的偏差，并通过关键点损失函数反映初始检测模型检测得到的关键点与真实的关键点之间的偏差，使总损失函数能够更加全面、合理地反映出初始检测模型的误差。
18.可选的，在基于检测信息，确定一一对应于刀闸的中线信息的具体步骤中，包括：基于检测信息，确定一一对应于开合部的关节点对；其中，所述关节点对包括两个分布于所述开合部两端中部的关节中点；基于关节点对进行连线，确定一一对应于开合部的辅助中线；基于开合部和刀闸之间的归属关系，对各个辅助中线进行分组，确定一一对应于刀闸的中线信息。
19.通过采用上述技术方案，对应于同一开合部的两个关节中点分别分布于该开合部的两端，由于开合部的两端必定沿该开合部的长度方向间隔分布，因此辅助中线可以反映出开合部的长度方向。若开合部在现实场景中发生转动，则关节点对中各个关节中点的分布和位置也会发生变化，导致辅助中线的延伸方向发生变化，以使辅助中线的延伸方向能够跟随开合部的活动而发生变化。
20.可选的，所述刀闸开合状态信息包括用于反映所述刀闸的开合状态的开合检测信息；在结果输出步骤的具体步骤中，包括：确定对应于刀闸开合状态的阈值区间；其中，所述开合状态包括打开状态和闭合状态，所述阈值区间包括对应于打开状态的打开阈值以及对应于闭合状态的闭合阈值；基于中线信息进行夹角计算，确定一一对应于刀闸的开合角信息；基于开合角信息和阈值区间进行比较，并基于比较结果输出一一对应于刀闸的开合检测信息。
21.通过采用上述技术方案，利用对应于两个开合部的两个辅助中线之间的夹角，可以确定对应于同一刀闸的两个开合部之间的开合角度，得到对应于刀闸的开合角信息。利用开合角信息所在的阈值区间，可以对刀闸的开合状态进行评估，确定刀闸处于打开状态或者闭合状态，并通过开合检测信息反馈给终端。
22.可选的，所述开合状态还包括介于打开状态和闭合状态之间的中间状态，所述阈值区间还包括对应于中间状态的中间区间；在确定对应于刀闸开合状态的阈值区间的具体步骤中，包括：收集多个刀闸的开合角数据和对应于各个刀闸的开合状态数据；其中，所述开合角数据用于反映刀闸的两个开合部之间的夹角角度，所述开合状态数据用于反映各个刀闸所对应的开合状态；基于开合角数据以及开合状态数据，以对应于同一开合状态的各个开合角数据为一类进行聚类回归，确定打开阈值、中间区间和闭合阈值。
23.通过采用上述技术方案，中间状态是介于打开状态和闭合状态之间的状态，刀闸在发生开合状态切换时（从打开状态切换至闭合状态，或者从闭合状态切换至打开状态），均需要经过中间状态。虽然处于中间状态的刀闸实际功能与处于闭合状态的刀闸实际功能不一致，但是刀闸处于中间状态和处于闭合状态的开合角夹角数值相差较小，正常情况下容易发生混淆。通过大量历史数据进行聚类回归的方式，可以确定对应于中间状态的中间区间，将打开阈值、中间区间和闭合阈值进行明确分割，以更加准确地检测出刀闸的打开状态、中间状态和闭合状态。
24.可选的，所述刀闸开合状态信息还包括用于反映所述刀闸的异常状态的异常检测信息；在结果输出步骤的具体步骤中，还包括：确定刀闸在开合时段内的开合角信息，并基于开合角信息和阈值区间之间的关系，记录刀闸在中间状态的停留时长；基于停留时长和时长阈值进行比较，基于比较结果输出异常检测信息。
25.通过采用上述技术方案，刀闸在发生开合状态切换时（从打开状态切换至闭合状态，或者从闭合状态切换至打开状态），均需要经过中间状态，但是在正常情况下，刀闸发生开合状态切换时的时间较短，即刀闸停留在中间状态的持续时间应较短，若刀闸停留在中间状态的持续时间较长，则可能是刀闸发生开合状态切换异常，此时通过异常检测信息反馈给终端，以提成相关人员对对应的刀闸进行及时检查。
26.本技术目的二是提供一种基于实时监控的变电站刀闸检测系统，具有提高检测准确性的特点。
27.本技术的上述发明目的二是通过以下技术方案得以实现的：基于实时监控的变电站刀闸检测系统，包括：图像获取模块，用于基于监控模块提供的监控数据，确定待测图像；其中，所述待测图像中具有至少两个能够完成开合状态切换的开合部的成像；模型检测模块，用于将待测图像输入关键点检测模型中，基于目标框检测确定目标框，并基于关键点检测确定关节结点，结合目标框和关节结点，确定检测信息；其中，所述目标框用于反映所述刀闸的位置，各个所述关节结点用于反映所述刀闸的各个所述开合部
的端部位置，各个所述关节结点位于所述刀闸所对应的所述目标框内；中线分析模块，用于基于检测信息，确定一一对应于刀闸的中线信息；其中，所述中线信息包括若干条一一对应于所述开合部的辅助中线，所述辅助中线的延伸方向关联于对应的所述开合部的长度方向；结果输出模块，用于基于中线信息，确定一一对应于刀闸的开合角信息，并基于开合角信息进行角度阈值判断，基于判断结果，确定刀闸开合状态信息。
28.本技术目的三是提供一种智能终端，具有提高检测准确性的特点。
29.本技术的上述发明目的三是通过以下技术方案得以实现的：一种智能终端，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行上述一种基于实时监控的变电站刀闸检测方法的计算机程序。
30.本技术目的四是提供一种计算机存储介质，能够存储相应的程序，具有提高检测准确性的特点。
31.本技术的上述发明目的四是通过以下技术方案得以实现的：一种计算机可读存储介质，存储有能够被处理器加载并执行上述任一种基于实时监控的变电站刀闸检测方法的计算机程序。
32.综上所述，本发明包括以下至少一种有益技术效果：1.利用模型训练的方式，在大量现场图像数据基础上进行深度学习模型训练，得到关键点检测模型，可将不同场景同类结构隔离开关或刀闸的识别功能集成于单个关键点检测模型中，其内部参数由算法自动化计算回归，可更加精确地对图像进行信息提取，提高检测准确率，并且具有高泛化能力和通用性，容易批量化应用；2.模型训练是基于样本图像中的特征进行训练学习，利用大量差异化多样的样本图像，可以提高关键点检测模型对环境、场景及观测对象变化等情况的适应性和稳定性；3.关键点检测模型能够对待测图像中的刀闸的整体位置和开合部的端部位置进行识别检测，基于通过刀闸中开合部的实际情况进行开合状态分析，可实现对刀闸运行状态高精度高准确性的识别；4.利用实时监控的方式，可对刀闸实现全天候实时监控，相较于相关技术中设置于刀闸上的压力传感器，待测图像的获取设备可以安装于距离刀闸较远的位置采用非接触式的方式进行检测，便于进行维护检查，更加方便，适用于大规模的刀闸检测中；5.实际检测对于监控模块的布置点位要求较低，仅需要在合适的距离和角度下，使画面内刀闸的形状完整且大小适中，且监控模块本身容易部署迁移，运维成本较低。
附图说明
33.图1是本技术的基于实时监控的变电站刀闸检测方法的流程示意图。
34.图2是具有旋转式刀闸的待测图像的示意图，其中，图（2a）所示的刀闸为一相刀闸且刀闸处于闭合状态，图（2b）所示的刀闸为一相刀闸且刀闸处于中间状态。
35.图3是具有旋转式三相刀闸的待测图像的示意图，其中，图（3a）所示的刀闸处于打开状态，图（3b）所示的刀闸处于闭合状态。
36.图4是本技术的变电站刀闸检测方法的特征检测模块的输出结果示意图，其中，图（4a）所示的刀闸为旋转式一相刀闸，且刀闸处于闭合状态，图（4b）所示的刀闸为旋转式一
相刀闸，且刀闸处于中间状态。
37.图5是本技术的变电站刀闸检测方法的关键点检测模型的输出结果示意图，其中，图示的刀闸为旋转式三相刀闸，且刀闸处于打开状态。
38.图6是本技术的变电站刀闸检测方法的关键点检测模型的输出结果示意图，其中，图示的刀闸为折叠式二相刀闸，且刀闸处于闭合状态。
39.图7是本技术的基于实时监控的变电站刀闸检测方法的子流程示意图。
40.图8是基于关键点检测模型的输出结果确定辅助中线的演示图，其中，图中所示的刀闸对应于图（4b）所示的刀闸。
41.图9是基于关键点检测模型的输出结果确定辅助中线的演示图，其中，图中所示的刀闸对应于图6所示的刀闸。
42.图10是本技术的基于实时监控的变电站刀闸检测方法中结果输出步骤的子流程示意图。
43.图11是本技术的基于实时监控的变电站刀闸检测方法中优化关键点检测模型的示意图。
44.图12是本技术的基于实时监控的变电站刀闸检测系统的模块示意图。
45.图中，1、图像获取模块；2、模型检测模块；3、中线分析模块；4、结果输出模块。
具体实施方式
46.在利用监控摄像对刀闸开关状态进行检测的相关技术中，通常为使用一台摄像机对应于一相刀闸的方式，将摄像机固定在刀闸正下方，以摄像机的红外光针对隔离开关或刀闸开合触头构建深度图像，并根据触头间的空隙及角度计算，实现对设备运行状态的判别与监测。
47.但是，上述方案针对一组三相开关需要多台摄像机协同工作，造价高昂，并且对摄像机提取图像数据利用率低。基于传统图像处理算法，系统需要根据不同刀闸的不同场景进行调参，随着采集图像的角度、环境亮度、背景复杂度等因素影响会严重影响算法计算准确度，如背景有异物或者光影变换的干扰，则需要重新调参参数，所以泛化能力较弱、通用性较低、鲁棒性较差。
48.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
49.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
50.另外，本实施例中各步骤的标号仅为方便说明，不代表对各步骤执行顺序的限定，在实际应用时，可以根据需要各步骤执行顺序进行调整，或同时进行，这些调整或者替换均属于本发明的保护范围。
51.下面结合说明书附图1-图12对本技术实施例作进一步详细描述。
52.本技术实施例提供一种基于实时监控的变电站刀闸检测方法，所述方法的主要流
程描述如下。
53.参照图1，s1、基于监控模块提供的监控数据，确定待测图像。
54.其中，监控模块指的是通过摄像方式在变电站现场对刀闸进行实时监控的设备，监控模块对刀闸进行实时监控以获取监控数据，监控数据为视频流。在本实施例中，监控模块选用为摄像机。
55.待测图像为系统按照预设的采样间隔从监控数据中抽取的图像，因此，待测图像也为监控模块通过对刀闸进行拍摄得到的图像，待测图像能够呈现出刀闸的具体形状。在本实施例中，采样间隔决定系统进行刀闸的检测频率，采样间隔越小则检测频率越高，反之则检测频率越低，采样间隔的具体参数由使用者设定，使用者可根据实际应用环境的检测频率需求进行设置。
56.每相刀闸一般用于连通两组不同线路的电路，虽然不同刀闸的结构特点以及运行方式之间会存在差异，但是刀闸均具有能够发生相对移动的两个开合部，在本实施例中，开合部指的是刀臂，两个开合部分别对应于两个线路，是决定两个线路导通与否或者导通稳定性的主要因素，而两个开合部之间的夹角，即两个开合之间的开合角，会根据两个开合部之间的相对位移发生变化，因此，利用开合角的角度数值可以分析检测出刀闸所对应的开合状态。
57.对应于不同的结构特点以及运行方式，刀闸可能是其中一侧的开合部进行折叠、伸缩或者是转动，而另一侧的开合部固定不动作为连接点；刀闸也可能是两侧开合部同步相反方向转动，当两开合部转至完整接触时则电路连通，处于闭合状态，反之则电路断开，处于开合状态。为使后续算法能够从待测图像提取出有效的关于刀闸开合的信息，待测图像中应具有至少两个能够完成开合状态切换的开合部的成像，能够呈现出开合部的位置和图形形状，因此，在部署摄像头时，应需要在合适的距离和角度下安装摄像头，使摄像头的拍摄画面中能够呈现出较为完整的开合部且大小适中。
58.在本实施例中，刀闸可以为折叠式刀闸，也可以为旋转式刀闸，或者是其他随着开关状态切换两个开合部之间能够发生角度变化的刀闸。待测图像中的刀闸数量可以为1，也可以为2，也可以为3或者大于3的数，具体由使用者根据监控模块的拍摄视野范围以及刀闸监控数量需要设定。
59.参照图2，其中，当一个监控模块负责对一个刀闸同时进行监控时，如一个摄像头对一相刀闸进行监控时，待测图像的成像内容可以确定一组刀闸，一组刀闸中包含有两个开合部，待测图像中共具有两个能够进行开关检测的开合部。其中，图2a所示的刀闸和图2b所示的刀闸均为旋转式刀闸，而图2a所示的刀闸处于闭合状态，图2b所示的刀闸处于打开状态。
60.当一个监控模块负责对二个刀闸同时进行监控时，如一个摄像头对二相刀闸进行监控时，待测图像的成像内容可以确定两组刀闸，一组刀闸中包含有两个开合部，待测图像中共具有四个能够进行开关检测的开合部。
61.参照图3，当一个监控模块负责对三个刀闸同时进行监控时，如一个摄像头对三相刀闸进行监控时，待测图像的成像内容可以确定三组刀闸，一组刀闸中包含有两个开合部，待测图像中共具有六个能够进行开关检测的开合部。
62.在实际应用中，为了提高检测效率，在算法应用中可以三相刀闸作为检测的基础，
即待测图像中能够呈现出三相刀闸的六个开合部，其中，如图3a所示，待测图像能够展示旋转式三相刀闸处于打开状态；如图3b所示，待测图像能够展示旋转式三相刀闸处于闭合状态；如图6所示，待测图像能够展示折叠式三相刀闸处于闭合状态。通过对每一对对应的开合部分别进行开关检测，达到采集一次图像就可以对三相刀闸的三个线路进行批量检测的目的。
63.参照图1，s2、确定关键点检测模型。
64.其中，关键点检测模型为已经完成训练和优化的深度学习模型，关键点检测模型包括有刀闸分类算法模块、目标框检测算法模块和关键点检测算法模块。刀闸分类算法模块识别对刀闸的种类；目标框检测算法模块用于识别出图像中不同的目标个体，如在待测图像中识别出多个刀闸，每一个刀闸即为一个目标个体；关键点检测算法模块用于检测刀闸中开合部两端的端点。
65.s3、将待测图像输入关键点检测模型中，基于目标框检测确定目标框，并基于关键点检测确定关节结点，结合目标框和关节结点，确定检测信息。
66.其中，刀闸分类算法模块对待测图像中的刀闸进行分类识别，输出刀闸类别。在本实施例中，以折叠式刀闸和旋转式刀闸为例，若刀闸识别为折叠式刀闸，则输出该刀闸所对应的类别为折叠类；若刀闸识别为旋转式刀闸，则输出该刀闸所对应的类别为旋转类。
67.参照图4和图5，目标框检测算法模块在待测图像中识别各个独立的目标个体，在本实施例中，目标设定为刀闸，一个刀闸即为一个目标个体。目标框检测算法模块基于待测图像输出目标个体框，通过目标框将对应的目标个体框选出来，用于反映一个或多个目标个体在待测图像中的位置。
68.具体的，目标框检测算法是通过目标框将待测图像中的刀闸区分出，若待测图像中具有一相刀闸，则能够确定一个围绕刀闸设置的目标框；若待测图像中具有三相刀闸，则能够确定三个目标框，且三个目标框之间可能具有重叠部分。
69.关节结点为位于开合部的端部的像素点，一个开合部对应有两个关节结点，两个关节结点分别位于开合部的两端。关键点检测算法模块在待测图像中识别出开合部的两端的中点，用于反映沿开合部长度方向延伸的两个像素点的位置。关键点检测算法模块基于待测图像中的开合部输出若干个关节结点。
70.具体的，对应于不同刀闸类别的刀闸，关键点检测得到的关节结点的数量和位置也可能不同，即关节结点的布局和数量也会有所不同。进一步的，关节结点应以能够开合部活动端的主要关键结构中心点为主，关节结点的布局和数量应能够充分代表开合部运动状态的最主要的关键节点的布局和数量。例如：对于折叠式刀闸，在同一个刀闸中三个关节结点即可反映开合部的运动状态，则两个开合部相近的两个端部可以共用一个关节结点，一个刀闸中总共分布有三个关节结点；对于旋转式刀闸中，在同一个刀闸中，每一个开合部均需要两个关节结点，即在一个刀闸中，总共需要四个关节结点。
71.参照图4a，以一刀闸类别为旋转式刀闸，且处于闭合状态的一相刀闸为例，可以得到目标框q1，并且可以得到关节结点p1、关节结点p2、关节结点p3和关节结点p4。
72.参照图4b，以一刀闸类别为旋转式刀闸，且处于中间状态的一相刀闸为例，可以得到目标框q1’，并且可以得到关节结点p1’、关节结点p2’、关节结点p3’和关节结点p4’。
73.参照图5，以一刀闸类别为旋转式刀闸，且处于闭合状态的三相刀闸为例，可以得
到目标框q1、目标框q2和目标框q3，并且可以得到关节结点p1、关节结点p2、关节结点p3、
…
、关节结点p12。
74.参照图6，以一刀闸类别为折叠式刀闸，且处于闭合状态的二相刀闸为例，可以得到目标框q1和目标框q2，并且可以得到关节结点p1、关节结点p2、关节结点p3、
…
、关节结点p6。
75.具体的，在基于关键点检测确定关节结点的具体步骤中，还包括：将待测图像转化为关键点热力图，并基于关键点检测确定关节结点。
76.对待测图像进行特征提取，得出目标框区域后，再对目标框区域分别进行关键点热力图特征提取，最后对得出的各个目标框区域的关键点热力图进行回归计算，得到各个关节结点的坐标值。
77.关键点热力图进行回归的具体原理为：将每一类关键点的空间位置用一个概率图来表示，对图片中的每个像素位置都给一个概率，表示该点属于对应类别关键点的概率，其中，距离关键点位置越近的像素点的概率越接近1，距离关键点越远的像素点的概率越接近0，具体可以通过相应函数进行模拟，如二维gaussian等。采用关键点热力图的方法，直接回归出每一类关键点的概率，在一定程度上每一个点都提供了监督信息，网络能够较快的收敛，同时对每一个像素位置进行预测能够提高关键点的定位精度。通过对关键点热力图进行回归得到坐标值的方法为相关技术中的常用手段，本技术实施例中不再进行赘述。
78.在另一实施例中，输出坐标值的方法也可以是直接关键点坐标回归法，直接关键点坐标回归法具体为：直接将关节结点坐标作为最后网络需要回归的目标，这种情况下可以直接得到每个坐标点的直接位置信息。
79.综上所示，目标框检测算法在待测图像中识别出不同的刀闸，用于确定刀闸的整体位置并且将不同的刀闸区分开，而关键点检测算法模块需要在刀闸的基础上对各个开合部的端部进行检测，因此，对应于同一个刀闸的所有关节结点应位于该刀闸所对应的目标框内。
80.具体的，目标框检测和关键点检测在本实施例中采用的是自上而下的策略，在关键点检测模型中，先检测出目标框，然后在目标框基础上检测出各类别关节结点，最后汇总所有关节结点到原待测图像的区域中。因此理论上而言目标检测模块与关键点检测模块是串联结构，这种串联结构可以大大提高关节结点的预测准确率，尤其是针对目标数量较少且同类目标相互重叠遮挡情况较少的场景下可以有较高准确率；同时由于预测的目标框少，可以实现较快的计算速度。
81.检测信息与刀闸一一对应，检测信息包含特征检测集合和标签信息。其中，特征检测集合包含有对应于各个刀闸的一个或多个目标框，以及对应于各个开合部的多个关节结点；各个目标框和各个关节结点均具有一个标签编号以进行区分，标签编号记录于标签信息中。
82.参照图7，s4、基于检测信息，确定一一对应于刀闸的中线信息。
83.其中，中线信息与刀闸一一对应，中线信息包含有若干条辅助中线，各个辅助中线一一对应于刀闸的开合部。在本实施例中，一相刀闸具有两个开合部，因此中线信息中包含有两条辅助中线，两条辅助中线分别对应于两个开合部，且辅助中线的延伸方向关联于对应的开合部的长度方向。在后续步骤中，通过对中线信息的两条辅助中线进行角度分析，可
以模拟出同一组刀闸中两个开合部之间形成的夹角，进而评估刀闸的开合状态。
84.参照图7和图8，在步骤s4中，包括：s41、基于检测信息，确定一一对应于开合部的关节点对。
85.其中，每一个开合部对应有一组关节点对，每一组关节点对包含有两个关节中点，两关节中点分别位于开合部两端的中部。
86.在本实施例中，检测信息中存在多个目标框和多个关节结点，需要对各个关节结点进行选取，其中，需要对各关节结点进行分组，将对应于同一个目标框，即对应于同一个刀闸的各个关节结点划分为一组，然后在每组关节结点中进行区分，将对应于同一开合部的两个关节结点组成一个关节点对。
87.由于对应于不同的刀闸类别，刀闸中开合部所对应的关节结点数量可能会不同，如在折叠式刀闸中，两个开合部可以共用给一个关节结点，而在旋转式刀闸中，两个开合部之间没有共用的关节结点；因此，对应于不同的刀闸类别，如在折叠式刀闸中，两个开合部所对应的两个关节点对中，可以共用给一个关节中点，而在折叠式刀闸中，两个开合部所对应的两个关节点对中，各个关节中点均不相同。
88.s42、基于关节点对进行连线，确定一一对应于开合部的辅助中线。
89.其中，辅助中线为两个关节中点之间的连线，一个开合部对应有一条辅助中线，辅助中线的延伸方向与开合部的长度方向相关联。
90.参照图8，基于关键点检测模型的输出结果，可以确定两组关节点对，分别为：{关节结点p1’、关节结点p2’}、{关节结点p3’、关节结点p4’}，由此，可以确定刀闸其中一开合部所对应的辅助中线f1，另外一开合部所对应的辅助中线f2。在后续算法中，基于辅助中线l1的延伸线和辅助中线l2的延伸线可以确定夹角α，进而确定对应于刀闸的开合角信息。
91.参照图9，待测图像中具有刀闸a和刀闸b，基于关键点检测模型的输出结果，可以确定刀闸a的两组关节点对，分别为：{关节结点p1、关节结点p2}、{关节结点p2、关节结点p3}，由此，可以确定刀闸a的一开合部所对应的辅助中线f1，刀闸a的另外一开合部所对应的辅助中线f2。在后续算法中，基于辅助中线l1的延伸线和辅助中线l2的延伸线可以确定夹角α1，进而确定对应于刀闸a的开合角信息。同时，可以确定刀闸b的两组关节点对，分别为：{关节结点p4、关节结点p5}、{关节结点p5、关节结点p6}，由此，可以确定刀闸b的其中一开合部所对应的辅助中线f3，刀闸b的另外一开合部所对应的辅助中线f4。在后续算法中，基于辅助中线l3和辅助中线l4可以确定夹角α2，进而确定对应于刀闸b的开合角信息。
92.在关节点对中，由于两个关节中点分别位于开合部的两端中部，因此两个关节中点沿开合部的长度方向间隔分布，两个关节中点之间的连线则能够指示开合部的长度方向。若开合部在现实场景中发生转动，个别关节结点（对应于开合部活动端的关节结点）在待测图像中发生位置变化，导致对应的关节中点发生变化位置，辅助中线的延伸方向发生变化，以使辅助中线的延伸方向能够跟随开合部的活动而发生变化。
93.参照图7和图9，s43、基于开合部和刀闸之间的归属关系，对各个辅助中线进行分组，确定一一对应于刀闸的中线信息。
94.其中，归属关系指的是开合部与刀闸之间的对应关系，即各个关节结点和各个目标框之间的位置关系，如其中一个关节结点位于其中一个目标框，则说明该关节结点所对应的开合部属于该目标框对应的刀闸。一个刀闸具有两个开合部，则该两个开合部均属于
该刀闸，该两个开合部所对应的两条辅助中线组成对应于刀闸的中线信息，如在图9中，辅助中线l1和辅助中线l2均属于刀闸a、辅助中线l3和辅助中线l4均属于刀闸b。
95.参照图10，s5、结果输出，基于中线信息，确定一一对应于刀闸的开合角信息，并基于开合角信息进行角度阈值判断，基于判断结果，确定刀闸开合状态信息。
96.其中，开合角信息指的是中线信息中两条辅助中线之间形成的夹角（开合角）的角度。由于刀闸在不同的开合状态下，刀闸的两个开合部之间的夹角角度或相对位置不同，因此通过对开合角信息进行角度分析，可以评估两个开合部之间夹角大小或者相对位置，进而评估刀闸的开合状态。
97.具体的，刀闸开合状态信息包括有开合检测信息和异常检测信息，开合检测信息用于指示刀闸所处于的开合状态，异常检测信息息用于指示刀闸的工作状态。
98.在步骤s5中，包括：s51、确定对应于刀闸开合状态的阈值区间。
99.其中，对应于刀闸的开合状态共有3种，包括打开状态、中间状态和闭合状态；打开状态指的是刀闸完全打开的状态，刀闸所连接的电流电路断开；闭合状态指的是刀闸完全闭合的状态，刀闸所连接的电流电路联通；中间状态指的是刀闸介于打开状态和闭合状态之间的状态，此时刀闸的两侧触头相连接但是未完全闭合。刀闸在发生开合状态切换时（从打开状态切换至闭合状态，或者从闭合状态切换至打开状态），均需要经过中间状态。
100.对应于打开状态、中间状态和闭合状态，阈值区间包括打开阈值、中间区间和闭合阈值。当刀闸的开合角角度满足打开阈值限定的条件时，则可判断刀闸处于打开状态；同理，当刀闸的开合角角度满足中间区间限定的条件时，则可判断刀闸处于中间状态；当刀闸的开合角角度满足闭合阈值限定的条件时，则可判断刀闸处于闭合状态。
101.在步骤s51中，包括：s511、收集多个刀闸的开合角数据和对应于各个刀闸的开合状态数据。
102.其中，开合角数据指的是刀闸的两个开合部之间的夹角角度，开合状态数据用于指示各个刀闸所对应的开合状态。开合角数据和开合状态数据均为历史数据；开合角数据是通过大量的图像数据对于同一类型的刀闸进行开合角检测得到的开合角信息的整合；而开合状态数据是通过人为对开合角数据所对应的图像数据进行状态标注，确定该开合角信息所对应的开合状态为打开状态、中间状态或闭合状态的真实数据。
103.s512、基于开合角数据以及开合状态数据，以对应于同一开合状态的各个开合角数据为一类进行聚类回归，确定打开阈值、中间区间和闭合阈值。
104.通过聚类回归，可以对处于不同的开合状态（打开状态、中间状态和闭合状态）的开合角数据进行分类，确定对应于打开状态的打开阈值、对应于中间状态的中间区间和对应于闭合状态的闭合阈值。
105.在实际测量中，刀闸处于闭合状态的形态和处于中间状态的形态较为接近，难以直接对闭合状态和中间状态进行区分，存在技术缺陷。为了解决上述技术缺点，本技术利用聚类回归的方式确定打开阈值、中间区间和闭合阈值，尤其是对中间区间和闭合阈值进行区分，为后续的开合状态判断提供更为准确、真实的依据。
106.s52、基于中线信息进行夹角计算，确定一一对应于刀闸的开合角信息。
107.其中，开合角信息指的是中线信息中两条辅助中线之间形成的夹角的角度。
108.s53、基于开合角信息和阈值区间进行比较，并基于比较结果输出一一对应于刀闸的开合检测信息。
109.其中，将开合角信息所指示的夹角角度与阈值区间进行比较，可以判断开合角信息所对应的刀闸所对应的开合状态，并输出开合检测信息。若开合角信息所指示的夹角角度小于打开阈值，则说明开合角信息所对应的刀闸处于打开状态；若开合角信息所指示的夹角角度位于中间区间，则说明开合角信息所对应的刀闸处于中间状态；若开合角信息所指示的夹角角度大于闭合阈值，则说明开合角信息所对应的刀闸处于闭合状态。
110.s54、确定刀闸在开合时段内的开合角信息，并基于开合角信息和阈值区间之间的关系，记录刀闸在中间状态的停留时长。
111.其中，开合时段指的是刀闸发生打开状态和闭合状态切换的时间段。开合角信息和阈值区间之间的关系指的是开合角信息所对应的夹角角度大于打开阈值、位于中间区间或者是小于闭合阈值。停留时长指的是开合角信息位于中间区间所持续的时间。
112.在本实施例中，系统在确定刀闸处于中间状态之后，开始进行计时记录停留时长，并在该刀闸脱离中间状态之后，停止进行计时记录停留时长。
113.在其他实施例中，由于待测图像是通过预设的帧率进行拍摄的，系统也可以记录刀闸停留于中间状态的待测图像帧数，来确定该刀闸持续处于中间状态的停留时长。
114.s55、基于停留时长和时长阈值进行比较，基于比较结果输出异常检测信息。
115.其中，时长阈值指的是判断停留时长是否过大的阈值。停留时长可以反映发生状态切换（即从打开状态切换至闭合状态或者从闭合状态切换至打开状态）的状态切换时间，通过比较停留时长和时长阈值，可以评估该状态切换时间是否过长。
116.在本实施例中，刀闸的工作状态共有2种，包括正常工作状态和异常工作状态。其中，检测到刀闸处于异常工作状态时会触发警报功能。
117.在刀闸的正常应用中，刀闸发生状态切换的用时较短，相关人员可根据该用时设定时长阈值，若停留时长大于时长阈值，说明刀闸停留在中间状态的时间过长，刀闸可能发生损坏，则判断该刀闸处于异常工作状态，输出异常检测信息，及时通知相关人员进行检修；若停留时长小于等于时长阈值，说明刀闸停留在中间状态的时间合理，则判断该刀闸处于正常工作状态。
118.参照图11，在本技术的一具体实施方式中，步骤s2中的关键点检测模型的构建方法包括以下步骤：1）确定样本图像和样本信息。
119.其中，样本图像为通过监控模块对刀闸进行拍摄得到的图像，样本图像用于对待测图像进行模拟训练，样本图像应能够模拟多种环境下的拍摄情况，如不同的光照条件下、不同的天气条件下、不同的背景复杂度或者不同的角度等情况。
120.样本信息为使用者根据样本图像中的刀闸的结构特征手动标注出来的像素点或图形，以及对刀闸类型的标注，是人为标注出来的真实数据，用于作为模型学习训练的参考。
121.样本信息包括有样本分类信息和样本目标框结点信息。其中，样本分类信息用于指示待测图像中的刀闸所属的刀闸类别，样本分类信息对应于刀闸分类算法模块的输出结果。
122.样本目标框结点信息包括有对应于各个样本框的像素点和对应于各个关键结点的像素点，通样本目标框结点信息可以推导出各个样本框和各个关键结点，其中，样本框对应于线段特征检测算法模块的输出结果，样本结点对应于结点特征检测算法模块的输出结果。
123.具体的，样本框为基于刀闸的轮廓区域在待测图像中标注出来的矩形框，关键结点为基于开合部的端部关节在待测图像中标注出来的像素点，且关键结点的坐标值通过对关键点热力图进行回归的方式获得。对应于同一个刀闸的各个关键结点位于该刀闸所对应的样本框内。
124.2）将样本图像输入初始检测模型，确定预测信息。
125.其中，初始检测模型为关键点检测模型的前身，原始的初始检测模型的计算误差较大，难以得到满足检测需要的预测结果，因此需要对初始检测模型进行训练，使初始检测模型的权重参数进行迭代更新，最终确定关键点检测模型。
126.预测信息为样本图像输入初始检测模型后的得到的输出结果，预测信息包括有预测分类信息、预测框和预测关节点。
127.其中，预测分类信息用于反映初始检测模型识别的待测图像中的刀闸所属的刀闸类别。预测框为初始检测模型基于刀闸的轮廓区域在样本图像中标注出来的矩形框，用于反映各个刀闸的整体位置和各个刀闸的分布情况。预测关节点为初始检测模型基于开合部的端部关节在样本图像中标注出来的像素点，用于反映所述开合部的端部位置，且预测关节点的坐标值通过对关键点热力图进行回归的方式获得。
128.3）确定初始检测模型所对应的总损失函数，将基于样本信息和预测信息代入总损失函数中，计算总损失值。
129.其中，总损失函数为基于初始检测模型的权重参数所构建的函数，通过将样本信息和预测信息输入总损失函数，可以确定当前批次的初始检测模型所对应的总损失值。总损失值用于反映当前批次的初始检测模型所预测的结果与真实结果之间的误差。
130.在本实施例中，总损失函数包括有类别损失函数、物体背景损失函数、目标框损失函数和关键点损失函数。具体的，类别损失函数基于预测分类信息和样本分类信息之间的误差进行计算。
131.物体背景损失指的是预测框找不到匹配的样本框时的损失。在目标框检测算法中，算法模块会基于样本图像输出一批预测框，然后将这一批次的预测框与标注好的所有样本框进行匹配计算，如果匹配成功，则说明该预测框成功框选了一个刀闸；如果匹配失败，则说明该预测框实际并没有成功框选出一个刀闸，此时存在物体背景损失。
132.目标框损失函数基于预测框和样本框之间的误差进行计算。关键点损失函数基于预测关节点和关键点之间的坐标误差进行计算，预测关节点的坐标和关键点的坐标均通过关键点热力图回归的方式获得。
133.4）基于总损失函数以及当前批次的总损失值，进行通过反向传播的方式计算权重的下降梯度，并对初始检测模型的权重参数进行更新，基于更新结果确定关键点检测模型。
134.其中，通过采用权重梯度下降的方式，对初始检测模型的权重进行更新，每更新一次便需要计算依次总损失值并进行分析，直到至权重优化达到收敛，则确定对应批次的初始检测模型为最终的关键点检测模型。
135.初始检测模型的损失函数如公式（1）所示：（1）其中，ypre为预测信息，即为初始检测模型的模型输入值；ygt为样本信息，即为人为标注的真实值，w为当前批次的初始检测模型的权重参数，x为样本图像。
136.总损失函数如公式（2）所示：（2）其中，lobj为物体背景损失函数所对应的误差值，lcls为类别损失函数所对应的误差值，lbox为目标框损失函数所对应的误差值，lheatmap为关键点损失函数所对应的误差值。
137.权重参数梯度及下降的优化更新过程，如公式（3）和公式（4）所示：（3）（4）其中，η为预设的优化学习率。
138.在初始检测模型的算法学习过程中，算法优化的直接量化目标是使损失函数下降，而实际操作中则是通过逐步改变优化权重，使得与之相关的损失函数下降。因此，实际上是通过将所有权重参数沿着总损失函数的梯度下降的方向去增加或减小不同的值（由于权重参数一开始是随机初始化的，可能大可能小，不同权重参数的变化方向可能不同），最终获得满足要求的算法模型。
139.当总损失函数在连续多个批次的权重优化后不再明显下降，同时初始检测模型在测试集上的表现（即准确率，召回率）不再提高，则表明当前批次的初算法模型的权重优化已经达到收敛，可以确定当前批次的初算法模型为关键点检测模型。
140.在本实施例中，关键点检测模型通过采用bn层结构（即批归一化），减小不同层网络间较大权重对输出结果的影响力，与传统图像处理算法相比，可减少过拟合或是个别权重对整体模型以及损失函数的过度影响。在其他实施例中，若使用传统的机器学习算法损失函数，总损失函数也可以采用引入正则化参数的方式进行梯度下降，避免过度拟合发生。
141.利用模型训练的方式，在大量现场图像数据基础上进行深度学习模型训练，得到关键点检测模型，可将不同场景同类结构隔离开关或刀闸的识别功能集成于单个关键点检测模型中，其内部参数由算法自动化计算回归，可更加识别地分割出画面内的刀闸位置，且目标框的边缘可精确至像素级，具有高泛化能力和通用性，容易批量化应用。
142.在本实施例中，初始检测模型或关键点检测模型的网络结构为多层多尺度级联卷积网络，其中多层多尺度级联卷积网络可用多种骨干网络结构替换，如：残差网络、特征金字塔网络、沙漏网络等结构。实际中，为了实现如计算速度、模型大小、参数量、计算准确度等不同的算法需求，以及实际需要解决的任务类型不同，相关人员应综合考虑选取合适的网络结构。
143.本技术提供的基于实时监控的变电站刀闸检测方法的实施原理为：对待测图像中
的成像内容进行结构特征检测，获得检测信息，检测信息能够反映出刀闸的开合部的形状和位置，因此可以基于检测信息确定辅助中线，并利用辅助中线的延伸方向模拟开合部的长度方向。通过对刀闸中两个开合部分别对应的辅助中线进行角度分析，可以得到两个开合部之间的夹角角度。对于处于打开状态的刀闸、处于中间状态的刀闸处于闭合状态的刀闸，两个开合部之间的角度具有差异性，因此可以检测出刀闸的所处的开合状态。另一方面，通过聚类回归的方式计算阈值区间，可以对中间状态的判断条件和闭合状态的判断条件进行有效区分，从而更加精准地判断刀闸是否处于中间状态，并进一步地计算刀闸的中间状态停留时长，以便对刀闸的异常工作进行监控，达到同时检测刀闸的开合状态以及正常工作状态的效果。
144.待测图像的获取受环境因素（如温度差异、湿度差异、亮度差异、背景复杂度差异）的影响较小，能够基于开合部的实际的长度方向进行后续的分析判断，检测准确性更高。另一方面，相较于相关技术中设置于刀闸上的压力传感器，待测图像的获取设备可以安装于距离刀闸较远的位置采用非接触式的方式进行检测，便于进行维护检查，更加方便，适用于大规模的刀闸状态检测中。
145.相比于已有技术所用的传统图像处理算法需要针对每个刀闸每个场景单独进行算法调参的特点，本技术实施例是在大量现场图像数据基础上进行深度学习模型训练实现，可将不同场景同类结构隔离开关或刀闸的识别功能集成于单个模型中，内部参数由算法自动化计算回归，对刀闸开合部的轮廓特征进行检测，且目标边缘可精确至像素级所以具有高泛化能力和通用性，且容易批量化应用。
146.另一方面，本技术实施例所公开的方法可搭载于摄像机或服务器，可同时处理分析多个隔离开关和刀闸，且对于摄像机布置点位要求低，仅需要在合适的距离和角度下（即拍摄画面内检测目标完整且大小适中），因此能够降低设备安装和运维成本。
147.参照图12，在一个实施例中，提供一种基于实时监控的变电站刀闸检测系统，与上述实施例一中的基于实时监控的变电站刀闸检测方法一一对应，该系统包括：图像获取模块1，用于基于监控模块提供的监控数据，确定待测图像，并向模型检测模块发送待测图像。
148.模型检测模块2，用于将待测图像输入关键点检测模型中，基于目标框检测确定目标框，并基于关键点检测确定关节结点，结合目标框和关节结点，确定检测信息，并向中线分析模块发送检测信息。
149.中线分析模块3，用于基于检测信息 ，确定一一对应于刀闸的中线信息，并向结果输出模块发送中线信息。
150.结果输出模块4，用于基于中线信息，确定一一对应于刀闸的开合角信息，并基于开合角信息进行角度阈值判断，基于判断结果，确定刀闸开合状态信息。
151.本实施例提供的基于实时监控的变电站刀闸检测系统，由于其各模块本身的功能及彼此之间的逻辑连接，能实现前述实施例的各个步骤，因此能够达到与前述实施例相同的技术效果，原理分析可参见前述方法步骤的相关描述，在此不再累述。
152.在一个实施例中，提供了一种智能终端，其包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中存储器存储训练模型中的训练数据、算法公式以及滤波机制等。处理器用于提供计算和控制能力，处理器执行计算机程序时实现基于实时
监控的变电站刀闸检测方法的步骤。
153.本实施例提供的智能终端，由于其存储器中的计算机程序在处理器上运行后，会实现前述实施例的各个步骤，因此能够达到与前述实施例相同的技术效果，原理分析可参见前述方法步骤的相关描述，在此不再累述。
154.在一个实施例中，提供了一种计算机可读存储介质，其存储有能够被处理器加载并执行上述基于实时监控的变电站刀闸检测方法的计算机程序，计算机程序被处理器执行时实现基于实时监控的变电站刀闸检测方法的步骤。
155.本实施例提供的可读存储介质，由于其中的计算机程序在处理器上加载并运行后，会实现前述实施例的各个步骤，因此能够达到与前述实施例相同的技术效果，原理分析可参见前述方法步骤的相关描述，在此不再累述。
156.所述计算机可读存储介质例如包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
157.具体实施方式的实施例均为本技术的较佳实施例，并非依此限制本技术的保护范围，故：凡依本技术的方法、原理所做的等效变化，均应涵盖于本技术的保护范围之内。