基于图像序列的护帮板伸缩角度测量方法及装置与流程

1.本发明涉及煤矿井下综采设备工作状态监测技术领域，具体涉及基于图像序列的护帮板伸缩角度测量方法及装置。


背景技术：

2.煤矿井下综采工作面设备主要包括采煤机、刮板输送机和液压支架。其中，液压支架是唯一的支护设备，综采工作面内所进行的所有采煤及其相关作业均要在液压支架的支护空间内完成。而护帮板作为液压支架的重要组成部分，能够在采煤机完成割煤后对前方煤壁进行支护，从而防止架前片帮现象的发生，对确保采煤机、刮板输送机的正常运行以及人员安全起着重要作用。
3.近年来，随着煤矿智能化的发展，对井下设备运行状态的实时监测提出了更高要求。传统依靠液压支架工用肉眼判断护帮板伸缩状态的方法已经过时，而采用传感器的接触式测量方法存在传感器安装数量多、故障率高、维修难度大、解算误差大等不足，这都无法满足当前智能化开采对综采设备运行状态的高精度测量需求。
4.针对上述问题，目前申请号为201910722429.4的专利公开了一种基于图像识别的护帮板监控方法，通过利用目标检测算法筛选出符合预设条件的图像帧，然后对图像帧中的护帮板进行识别，从而判断出图像帧中的护帮板是否护帮到位；申请号为202010551198.8的专利公开了一种液压支架护帮板与采煤机滚筒截割干涉识别及监测系统，通过利用图像识别技术分别检测出护帮板与采煤机滚筒的轮廓边缘线，然后根据二者之间距离所处的阈值范围来确定护帮板与滚筒间的干涉预警等级。
5.上述方法实现了用机器监控代替人眼监控，然而仅仅对护帮板是否护帮到位或者护帮板与煤机滚筒间的相对位置状态进行了监控，属于定性检测，然而并不能对护帮板伸缩过程中的角度进行实时动态测量实现定量测量。


技术实现要素：

6.本技术提供基于图像序列的护帮板伸缩角度测量方法及装置，以至少解决相关技术中不能对护帮板伸缩过程中的角度进行实时动态测量的技术问题。
7.本技术第一方面实施例提出一种基于图像序列的护帮板伸缩角度测量方法，所述方法包括：
8.采集设置有反光标识关键点的护帮板全运动过程的视频流，并通过提取关键帧的方法将所述视频流转换为图像序列；
9.将所述图像序列输入预先训练好的神经网络模型中，对所述图像序列进行关键点检测与跟踪，得到所述护帮板中所述各个关键点对应的运动轨迹曲线；
10.基于各个关键点对应的运动轨迹曲线确定所述护帮板伸缩角度的测量值；
11.其中，所述预先训练好的神经网络模型由设置有反光标识关键点的护帮板的图像信息和所述图像信息中关键点运动轨迹构成的训练集和验证集进行训练验证得到的；
12.所述神经网络模型包括：残差神经网络层和反卷积网络层。
13.本技术第二方面实施例提出一种基于图像序列的护帮板伸缩角度测量装置，所述装置包括：
14.图像采集模块，用于采集设置有反光标识关键点的护帮板全运动过程的视频流，并通过提取关键帧的方法将所述视频流转换为图像序列；
15.检测跟踪模块，用于将所述图像序列输入预先训练好的神经网络模型中，对所述图像序列进行关键点检测与跟踪，得到所述护帮板中所述各个关键点对应的运动轨迹曲线；
16.确定模块，用于基于各个关键点对应的运动轨迹曲线确定所述护帮板伸缩角度的测量值；
17.其中，所述预先训练好的神经网络模型由设置有反光标识关键点的护帮板的图像信息和所述图像信息中关键点运动轨迹构成的训练集和验证集进行训练验证得到的；
18.所述神经网络模型包括：残差神经网络层和反卷积网络层。
19.本技术第三方面实施例提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如本技术第一方面的预测方法。
20.本技术第四方面实施例提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如本技术第一方面的预测方法。
21.本技术的实施例提供的技术方案至少带来以下有益效果：
22.本发明提供的基于图像序列的护帮板伸缩角度测量方法及装置，所述方法包括：采集设置有反光标识关键点的护帮板全运动过程的视频流，并通过提取关键帧的方法将所述视频流转换为图像序列；将所述图像序列输入预先训练好的神经网络模型中，对所述图像序列进行关键点检测与跟踪，得到所述护帮板中所述各个关键点对应的运动轨迹曲线；基于各个关键点对应的运动轨迹曲线确定所述护帮板伸缩角度的测量值。本发明提供的技术方案，可实现对护帮板运动过程中的伸缩角度进行实时测量与可视化显示。
23.本技术附加的方面以及优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
24.本技术上述的和/或附加的方面以及优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
25.图1是根据本技术一个实施例提供的基于图像序列的护帮板伸缩角度测量方法的流程图；
26.图2是根据本技术一个实施例提供的基于图像序列的护帮板伸缩角度测量方法的具体流程图；
27.图3是根据本技术一个实施例提供的基于图像序列的护帮板伸缩角度测量方法中反光标识点编号图；
28.图4是根据本技术一个实施例提供的基于图像序列的护帮板伸缩角度测量方法中关键点运动轨迹中椭圆与圆轨迹关系对应图；
29.图5是根据本技术一个实施例提供的基于图像序列的护帮板伸缩角度测量装置的结构图；
30.图6是根据本技术一个实施例提供的基于图像序列的护帮板伸缩角度测量装置中确定模块的结构图；
31.图7是根据本技术一个实施例提供的基于图像序列的护帮板伸缩角度测量装置中包含显示模块的装置结构图；
32.图8是根据本技术一个实施例提供的基于图像序列的护帮板伸缩角度测量装置安放位置图。
具体实施方式
33.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
34.本技术提出的基于图像序列的护帮板伸缩角度测量方法及装置，所述方法包括：采集设置有反光标识关键点的护帮板全运动过程的视频流，并通过提取关键帧的方法将所述视频流转换为图像序列；将所述图像序列输入预先训练好的神经网络模型中，对所述图像序列进行关键点检测与跟踪，得到所述护帮板中所述各个关键点对应的运动轨迹曲线；基于各个关键点对应的运动轨迹曲线确定所述护帮板伸缩角度的测量值。本发明提供的技术方案，可实现对护帮板运动过程中的伸缩角度进行实时测量与可视化显示。
35.实施例1
36.需要说明的是，为了便于理解，下面首先介绍一些常用的术语：
37.片帮，是煤炭领域的通用术语，指在煤炭开采过程中开采侧煤壁上的煤或岩石突然大片崩落的现象。
38.护帮，是煤炭领域的通用术语，指通过采取措施对开采侧煤壁进行支护保护。
39.护帮板，是液压支架的重要组成部分，为金属板状结构，其一端侧与液压支架顶梁前端铰接，护帮板完全打开时贴紧煤壁对其进行护帮保护。
40.图1为本公开实施例提供的一种基于图像序列的护帮板伸缩角度测量方法的流程图，如图1所示，所述方法包括：
41.步骤1：采集设置有反光标识关键点的护帮板全运动过程的视频流，并通过提取关键帧的方法将所述视频流转换为图像序列；
42.步骤2：将所述图像序列输入预先训练好的神经网络模型中，对所述图像序列进行关键点检测与跟踪，得到所述护帮板中所述各个关键点对应的运动轨迹曲线；
43.需要说明的是，所述预先训练好的神经网络模型由设置有反光标识关键点的护帮板的图像信息和所述图像信息中关键点运动轨迹构成的训练集和验证集进行训练验证得到的；
44.所述神经网络模型包括：残差神经网络层和反卷积网络层。
45.在本公开实施例中，所述预先训练好的神经网络模型的训练过程包括：
46.步骤f1:采集历史时段内设置有反光标识关键点的护帮板的图像信息及各图像对应的检测目标信息并构成样本集，并将所述样本集按照预设的比例划分为训练集和验证
集；
47.需要说明的是，所述采集的设置有反光标识关键点的护帮板的图像信息包括：从所述关键点的不同角度采集图像信息；其中，所述不同角度包括：左、正中和右。
48.步骤f2：通过神经网络模型中的残差神经网络所对所述训练集进行关键点检测训练，并通过神经网络模型中的反卷积网络层对关键点进行回归，得到训练后的神经网络模型；
49.步骤f3：将所述验证集中护帮板的图像信息输入训练后的神经网络模型中，得到所述模型输出的所述图像信息对应的坐标信息；
50.步骤f4：基于验证集确定训练后的神经网络模型的精确度与召回率,若所述训练后的神经网络模型的精确度大于预设的精度阈值且召回率大于预设的召回率阈值，则将所述训练好的神经网络模型作为训练好的神经网络模型，否则调整模型的学习率并重新进行训练，直至训练后的神经网络模型的精确度大于预设的精度阈值且召回率大于预设的召回率阈值，得到训练好的神经网络模型；
51.其中，所述检测目标信息包括：图片中所述关键点的坐标信息。
52.步骤3：基于各个关键点对应的运动轨迹曲线确定所述护帮板伸缩角度的测量值。
53.在本公开实施例中，所述基于各个关键点对应的运动轨迹曲线确定所述护帮板伸缩角度的测量值，包括：
54.构建所述各个关键点对应的运动轨迹与其在相机平面内投影的椭圆运动轨迹之间的映射关系；
55.基于所述映射关系确定各个关键点在各个位置所对应的护帮板伸缩角度测量值。
56.具体的，以护帮板完全打开时的伸缩角度为90度角，完全收起时的伸缩角度为0度角，利用前馈神经网络训练对关键点运动轨迹和护帮板伸缩角度进行映射拟合，分别建立图像序列中各个关键点的运动轨迹点和空间角度之间的对应关系；
57.获取同一时刻各个关键点所对应的空间角度的平均值，并将结果其作为护帮板伸缩角度的测量值。
58.在本公开实施例中，所述基于各个关键点对应的运动轨迹曲线确定所述护帮板伸缩角度的测量值之后还包括：
59.将护帮板伸缩角度的测量值按照时间戳在可视化界面中进行实时显示。
60.结合上述一种基于图像序列的护帮板伸缩角度测量方法对本技术的具体方法进行举例说明：
61.如图2所示提供一种基于图像序列的护帮板伸缩角度测量方法的具体流程图，所述方法包括：
62.步骤s10：在护帮板内侧的四个位置处分别安设反光标识点，并按顺序1-4对其进行编号，如图3所示；
63.步骤s11：利用相机从左、正中、右三个角度对步骤s10中安设有反光标识点的护帮板进行图像采集，获得若干张包含不同视角的护帮板图像，构成护帮板图像样本数据集s；
64.步骤s12：将护帮板上所安设的四个反光标识点作为关键点，利用图像标注工具labelimg对步骤s11所获得的样本数据集s中的图片一一进行关键点数据标注，得到标注后的图片及其对应的标签文件，其中所述标签文件包括图片中所述关键点的坐标信息及像素
信息。
65.步骤s13：将步骤s12中完成关键点数据标注的样本数据集分为训练集s1和验证集s2两部分，其中训练集s1占样本数据集的90％，验证集s2占样本数据集的10％；
66.步骤s14：通过残差神经网络resnet50对步骤s13中的训练集s1进行关键点检测训练，并通过叠加反卷积网络层对关键点进行回归，得到训练后的网络模型ma；
67.步骤s15：利用步骤s13中构建的验证集s2对步骤s14中所得到的网络模型ma进行评估，若评估结果满足预设阈值，则将其作为最优网络模型；若不满足，则调整模型参数重新进行训练，直至获得满足预设阈值的最优网络模型m'a；
68.需要说明的是，在所述步骤s15中采用精确度p与召回率r两个指标对步骤s14中所得到的网络模型ma进行评估，具体过程为：首先，分别预先设置二者的阈值t
p
和tr；然后，利用验证集s2对训练后的网络模型ma进行评估，分别得到二者的评估结果p和r；若满足精确度p》t
p
且召回率r》tr，则将此模型ma作为最优网络模型；否则，调整模型的学习率、循环轮数并重新进行训练，直至二者评估结果满足预设阈值，从而得到最优网络模型m'a；
69.步骤s16：通过摄像仪采集护帮板全运动过程的视频流，并通过提取关键帧的方法将之转换为图像序列；
70.步骤s17：利用步骤s15所获得的最优网络模型ma或m'a对步骤s16中的图像序列进行关键点检测与跟踪，分别得到关键点1-4所对应的运动轨迹曲线；
71.需要说明的是，护帮板的伸缩运动为绕固定转轴的旋转运动，其上关键点的空间运动则为四分之一圆周运动，根据摄像仪与关键点的相对位置关系，护帮板上关键点的运动在相机平面内的投影为椭圆运动的一部分，如图4所示。因此，通过构建关键点圆周运动轨迹与其在相机投影平面内投影的椭圆运动轨迹之间的映射关系，即可获得关键点在各个位置所对应的护帮板伸缩角度。
72.步骤s18：以护帮板完全打开时的伸缩角度为90度角，完全收起时的伸缩角度为0度角，用前馈神经网络训练对关键点运动轨迹和护帮板伸缩角度进行映射拟合，分别建立图像序列中关键点1-4的运动轨迹点和空间角度之间的对应关系；
73.步骤s19：求取同一时刻关键点1-4所对应的空间角度的平均值，并将结果其作为护帮板伸缩角度的测量值；
74.步骤s20：将护帮板伸缩角度的测量值按照时间戳在可视化界面中进行实时显示。
75.综合上述，本发明提供的一种基于图像序列的护帮板伸缩角度测量方法，通过在护帮板上安设反光标识点，然后利用神经网络训练对其进行关键点检测与回归，最后通过构建关键点运动轨迹与护帮板伸缩角度之间的映射关系，实现了对护帮板运动过程中伸缩角度的实时测量与可视化显示，同时该方法对于实现液压支架的智能化控制、防止发生工作面煤壁片帮及护帮板与煤机滚筒碰撞干涉、减少人员劳动强度等都具有重要的现实意义。
76.实施例2
77.图5为本公开实施例提供的一种基于图像序列的护帮板伸缩角度测量装置的结构图，如图5所示，所述装置包括：
78.图像采集模块100，用于采集设置有反光标识关键点的护帮板全运动过程的视频流，并通过提取关键帧的方法将所述视频流转换为图像序列；
79.检测跟踪模块200，用于将所述图像序列输入预先训练好的神经网络模型中，对所述图像序列进行关键点检测与跟踪，得到所述护帮板中所述各个关键点对应的运动轨迹曲线；
80.确定模块300，用于基于各个关键点对应的运动轨迹曲线确定所述护帮板伸缩角度的测量值；
81.其中，所述预先训练好的神经网络模型由设置有反光标识关键点的护帮板的图像信息和所述图像信息中关键点运动轨迹构成的训练集和验证集进行训练验证得到的；
82.所述神经网络模型包括：残差神经网络层和反卷积网络层。
83.在本公开实施例中，所述预先训练好的神经网络模型的训练过程包括：
84.步骤l1:采集历史时段内设置有反光标识关键点的护帮板的图像信息及各图像对应的检测目标信息并构成样本集，并将所述样本集按照预设的比例划分为训练集和验证集；
85.步骤l2：通过神经网络模型中的残差神经网络所对所述训练集进行关键点检测训练，并通过神经网络模型中的反卷积网络层对关键点进行回归，得到训练后的神经网络模型；
86.步骤l3：将所述验证集中护帮板的图像信息输入训练后的神经网络模型中，得到所述模型输出的所述图像信息对应的坐标信息；
87.步骤l4：基于验证集确定训练后的神经网络模型的精确度与召回率,若所述训练后的神经网络模型的精确度大于预设的精度阈值且召回率大于预设的召回率阈值，则将所述训练好的神经网络模型作为训练好的神经网络模型，否则调整模型的学习率并重新进行训练，直至训练后的神经网络模型的精确度大于预设的精度阈值且召回率大于预设的召回率阈值，得到训练好的神经网络模型；
88.其中，所述检测目标信息包括：图片中所述关键点的坐标信息及像素信息。
89.需要说明的是，所述采集的设置有反光标识关键点的护帮板的图像信息包括：
90.从所述关键点的不同角度采集图像信息；
91.其中，所述不同角度包括：左、正中和右。
92.在本公开实施例中，如图6所示，所述确定模块300，包括：
93.构建单元301，用于构建所述各个关键点对应的运动轨迹与其在相机平面内投影的椭圆运动轨迹之间的映射关系；
94.确定单元302，用于基于所述映射关系确定各个关键点在各个位置所对应的护帮板伸缩角度测量值。
95.进一步的，所述构建单元301用于：
96.以护帮板完全打开时的伸缩角度为90度角，完全收起时的伸缩角度为0度角，利用前馈神经网络训练对关键点运动轨迹和护帮板伸缩角度进行映射拟合，分别建立图像序列中各个关键点的运动轨迹点和空间角度之间的对应关系；
97.获取同一时刻各个关键点所对应的空间角度的平均值，并将结果其作为护帮板伸缩角度的测量值。
98.在本公开实施例中，如图7所示，所述装置还包括：显示模块400，用于将护帮板伸缩角度的测量值按照时间戳在可视化界面中进行实时显示。
99.需要说明的是，如图8所示，本公开实施例提供的装置安装于液压支架两立柱之间，用于对护帮板运动过程中的伸缩角度进行实时监测与测量。
100.综上所述，本公开实施例提供的基于图像序列的护帮板伸缩角度测量装置，包括：图像采集模块100、检测跟踪模块200、确定模块300和显示模块400，可实现对护帮板运动过程中的伸缩角度进行实时测量与可视化显示。
101.实施例3
102.为了实现上述实施例，本公开还提出一种计算机设备。
103.本实施例提供的计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现实施例1中的方法。
104.实施例4
105.为了实现上述实施例，本公开还提出一种非临时性计算机可读存储介质。
106.本实施例提供的计算机设备，其上存储有计算机程序，计算机程序被处理器执行时实现实施例1中的方法。
107.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
108.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
109.尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。