基于直播推流的边坡监测预警方法、系统、设备及介质与流程

1.本发明涉及地质环境监测技术领域，尤其涉及一种基于直播推流的边坡监测预警方法、系统、设备及介质。


背景技术：

2.边坡（side slope）是为保证路基稳定，在路基两侧做成的具有一定坡度的坡面。边坡按成因分类：可分为人工边坡和自然边坡；按地层岩性分类：可分为土质边坡和岩质边坡；按使用年限分类：可分为永久性边坡和临时性边坡。
3.在山区基础设施建设中，经常需要开挖山体或填筑边坡。受地形条件及场地标高要求等限制，部分工程开挖深度大或填筑高度高，形成开挖深度较大的深路堑边坡或填筑较高的高路堤边坡。尤其是在山区铁路路基边坡工程中，因线路平纵要求高且限制多，几乎不可避免会出现高填深挖的高陡边坡。这些边坡施工及运营期间安全风险高，除应按照设计要求进行施工开挖和防护外，还有赖于在施工及运营期间对其变形和稳定性进行实时监测，实现监测数据的实时分析，以评价边坡的稳定性，用以实现设计、施工、运营与稳定的实时互动。
4.若边坡出现了较大幅度的下沉和变形等情况，即很有可能会引发后续的安全事故，继而需要对边坡进行变形监测，用以及时发现相关的情况，并进行对应的处理。


技术实现要素：

5.本发明实施例提供一种基于直播推流的边坡监测预警方法、系统、设备及介质，以解决对边坡进行变形监测，用以及时发现相关的情况，并进行对应的处理的问题。
6.一种基于直播推流的边坡监测预警方法，包括：获取摄像头根据边坡待监测位置实时拍摄的边坡直播推流；按指定频度提取边坡直播推流中的直播帧，获取边坡待监测位置的二维帧图像；将二维帧位置图像映射到边坡待监测位置对应的边坡三维模型上，用于获取边坡待监测位置三维图像；获取相邻两帧边坡待监测位置三维图像之间对应的图像特征相似度，基于图像特征相似度，触发对应等级的预警信息。
7.一种基于直播推流的边坡监测预警系统，包括：直播推流获取模块，用于获取摄像头根据边坡待监测位置实时拍摄的边坡直播推流；二维图像获取模块，用于按指定频度提取边坡直播推流中的直播帧，获取二维帧位置图像；三维图像获取模块，用于将二维帧位置图像映射到边坡待监测位置对应的边坡三维模型上，用于获取边坡待监测位置三维图像；等级预警信息触发模块，用于获取相邻两帧边坡待监测位置三维图像之间对应的
图像特征相似度，基于图像特征相似度，触发对应等级的预警信息。
8.在一些实施例中，等级预警信息触发模块，还用于：提取每一边坡待监测位置三维图像的空间特征值，获取相邻的边坡待监测位置三维图像之间的图像特征相似度；基于每一图像特征相似度，获取相邻的图像特征相似度对应的特征值位移变化向量；基于特征值位移变化向量对应的变化范围，触发对应等级的预警信息。
9.在一些实施例中，等级预警信息触发模块，还用于：在获取相邻的边坡待监测位置三维图像之间的图像特征相似度之后，还包括：若图像特征相似度小于设定预警阈值，则触发设定预警阈值对应等级的预警信息。
10.在一些实施例中，等级预警信息触发模块，还用于：对边坡待监测位置三维图像进行图像去噪处理；将进行图像去噪处理后的边坡待监测位置三维图像进行二值矩阵化，获取边坡待监测位置三维图像对应的二值化矩阵；比对相邻两帧边坡待监测位置三维图像之间分别对应的二值化矩阵，获取相邻的边坡待监测位置三维图像之间的图像特征相似度。
11.在一些实施例中，该基于直播推流的边坡监测预警系统，还用于：通过摄像头获取当前角度对应的边坡现场图像；基于边坡待监测位置对应的标准图像比对边坡现场图像，获取角度偏差；基于角度偏差，调整摄像头的拍摄角度，以使摄像头基于边坡待监测位置进行拍摄。
12.在一些实施例中，该基于直播推流的边坡监测预警系统，还用于：若预警信息为高等级预警，则将边坡直播推流和边坡待监测位置三维图像推送给远程服务器；获取边坡待监测位置所在的地理位置，基于地理位置获取对应的天气情况；结合天气情况、边坡直播推流和边坡待监测位置三维图像，形成本次监测预警综合研判信息并推送给监测预警责任端，用于为监测预警责任提供研判依据。
13.在一些实施例中，该基于直播推流的边坡监测预警系统，还用于：按指定期限提取在指定期限内的每一预警分析信息中的预警关键词；基于所有预警关键词，生成指定期限内的预警分析报告趋势图。
14.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于直播推流的边坡监测预警方法。
15.一种计算机可读介质，所述计算机可读介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于直播推流的边坡监测预警方法。
16.上述基于直播推流的边坡监测预警方法、系统、设备及介质，通过可监控边坡的摄像头实时可拍摄得到的边坡直播推流，对该边坡直播推流经分析后可触发不同的等级预警，可及时准确地对边坡进行变形监测，发现异常情况，及时发布对应等级的预警信息和启动应急响应，避免使用各种类型的传感器对边坡现场进行监测，降低系统监控成本和监控复杂性，有效保障处于边坡隐患威胁人身安全性。
附图说明
17.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图
获得其他的附图。
18.图1绘示本发明一实施例中基于直播推流的边坡监测预警方法的应用环境示意图；图2绘示本发明第一实施例中基于直播推流的边坡监测预警方法的第一流程图；图3绘示本发明第二实施例中基于直播推流的边坡监测预警方法的第二流程图；图4绘示本发明一实施例中基于直播推流的边坡监测预警系统的示意图；图5绘示本发明一实施例中电子设备的示意图。
具体实施方式
19.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.本发明实施例提供的基于直播推流的边坡监测预警方法，可应用在如图1的应用环境中，该基于直播推流的边坡监测预警方法应用在基于直播推流的边坡监测系统中，该基于直播推流的边坡监测系统包括摄像头、本地服务器和远程服务器，其中，摄像头通过网络与本地服务器进行通信。本地服务器和远程服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
21.在一实施例中，如图2所示，提供一种基于直播推流的边坡监测预警方法，以该方法应用在图1中的本地服务器为例进行说明，具体包括如下步骤：s10.获取摄像头根据边坡待监测位置实时拍摄的边坡直播推流。
22.其中，直播推流可以使将边坡上的待监测位置对应的实时现场视频流推送到网络上的过程。推流，指的是把采集阶段封包好的内容传输到服务器的过程，其实就是将现场的视频信号传到网络的过程。
23.具体地，本实施例可根据每个摄像头可拍摄的最大范围的中心点为参考点，划定重点的容易出现事故，比如易坍塌的待监测位置，比如，靠近坡地接近道路的位置、全坡面的位置等。摄像头的设置数量和角度以能覆盖该待监测位置，用于在该待监测位置对应的三维边坡模型进行投影时可完全实现投影即可。
24.本实施例可利用互联网的直观、快速，表现形式好、内容丰富、交互性强和地域不受限制等特点，可随时为提供重播、点播，有效延长了直播的时间和空间，发挥对于边坡监测采用直播形式的最大价值。本实施例可实时查看现场情况，同时对于可疑的待监测位置可进行反复的重播查看，用以确认现场存在的问题。
25.s20.按指定频度提取边坡直播推流中的直播帧，获取边坡待监测位置的二维帧图像。
26.其中，指定频度即为提取边坡直播推流中的直播帧中的照片提取速度，比如，可以为1帧/秒。二维帧位置图像即为从边坡直播推流中提取出的每帧照片。
27.具体地，本实施例可通过ffmep 执行命：ffmpeg
ꢀ‑
i rtmp://xxxx/live/openurl/qppqj7a
ꢀ‑
r 1/1
ꢀ‑
f image2 c://mp4/%05d.png，来获取边坡直播推流的地址，从而根据指定频度，比如，指定频度可以为每秒钟，来获取一帧二维的二维帧位置图像（现场照片）。其
中，ffmpeg是可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。它提供了录制、转换以及流化音视频的完整解决方案，包含音频/视频编解码库libavcodec。
28.ffmpeg在linux平台下开发，但它同样也可以在其它操作系统环境中编译运行，包括windows、mac os x等。ffmpeg的名称来自mpeg视频编码标准，前面的“ff”代表“fast forward”。ffmpeg编码库可以使用gpu加速。
29.s30.将二维帧位置图像映射到边坡待监测位置对应的边坡三维模型上，用于获取边坡待监测位置三维图像。
30.其中，三维边坡模型即为待监测位置对应的原始简单标准模型，可为提供幕布式的切坡等，便于二维帧位置图像的图像映射。边坡待监测位置三维图像是将二维帧位置图像映射到待监测位置对应的三维边坡模型上后形成的模拟且立体的待监测位置对应的边坡现场图像。
31.具体地，图像获取贴合边坡三维模型进行测算，通过投影的方式确定到对应的位置，从而将图像从平面变成立体，获取向量数据。
32.本实施例可通过cesium创建实体entity多边形（本实施例中可采用长方形表示由边坡上的待监测位置对应的幕布），在幕布上加载二维帧位置图像（照片），每秒切换一张照片进行展示。或者，用户还可根据实际需要，调整切换照片频次，实现实时动态更新效果。其中：cesium是三维地球和地图可视化开源javascript库，为三维gis提供了一个高效的数据可视化平台，使用webgl来进行硬件加速图形，使用时不需要任何插件支持。cesium的知识体系，跨gis、web前端和图形学，用于地理数据可视化。支持海量数据的高效渲染，支持时间序列动态数据的三维可视化，具备太阳、大气、云雾等地理环境要素的动态模拟和地形等要素的加载绘制。
33.本实施例可采用三维点云曲面重建算法，将二维帧位置图像映射到待监测位置对应的三维边坡模型上，形成更为直观地展示现场的边坡待监测位置三维图像。
34.s40.获取相邻两帧边坡待监测位置三维图像之间对应的图像特征相似度，基于图像特征相似度，触发对应等级的预警信息。
35.其中，图像特征相似度是相邻两帧边坡待监测位置三维图像之间对应的图像特征的相似度，本实施例中，图像特征可采用图像向量，比如二值化矩阵等。获取相邻两帧边坡待监测位置三维图像之间对应的图像特征的相似度，也即获取两个二值化矩阵的相似度。设定预警阈值可根据经验值进行设定。比如，可先暂时设定为90%，并不断地根据反馈的数据进行阈值优化。
36.等级预警可根据应用场景进行具体限定，比如，可根据现场的安全级别设定最高级预警级别为一级预警，次级预警级别为二级预警，安全的现场情况可设定为三级预警或者无需预警等。
37.具体地，本实施例可对相邻两帧边坡待监测位置三维图像做对比，如果这两张照片差别较大，可认为当前摄像头拍摄的边坡发生了异常。因相邻两帧边坡待监测位置三维图像来自同一视频流，同一数据源，理论上照片的大小尺寸都是一样的。若出现差别，即为照片里面的内容存在差异，可判定边坡发生异常情况，比如某处的边缘变化，或者存在掉落的物体等，也即当前的边坡存在安全隐患。
38.本实施例提供的基于直播推流的边坡监测预警方法，通过可监控边坡的摄像头实时可拍摄得到的边坡直播推流，对该边坡直播推流经分析后可触发不同的等级预警，可及时准确地对边坡进行变形监测，发现异常情况，及时发布对应等级的预警信息和启动应急响应，避免使用各种类型的传感器对边坡现场进行监测，降低系统监控成本和监控复杂性，有效保障处于边坡隐患威胁人身安全性。
39.在一些实施例中，在步骤s40中，即获取相邻两帧边坡待监测位置三维图像之间对应的图像特征相似度，基于图像特征相似度，触发对应等级的预警信息，具体包括如下步骤：s411.提取每一边坡待监测位置三维图像的空间特征值，获取相邻的边坡待监测位置三维图像之间的图像特征相似度。
40.s412.基于每一图像特征相似度，获取相邻的图像特征相似度对应的特征值位移变化向量。
41.s413.基于特征值位移变化向量对应的变化范围，触发对应等级的预警信息。
42.其中，特征值位移变化向量是相邻的图像特征相似度的变化速率，比如，第一张照片和第二张照片的图像特征相似度是96%，第二张照片和第三张照片的图像特征相似度是94%，第三张照片和第四张照片的图像特征相似度是90%，则从96%变化到94%的特征值位移变化向量（变化速率）为2%，从94%变化到90%的特征值位移变化向量（变化速率）为4%，比对特征值位移变化向量对应的变化范围：0~2%，为安全状态；2%~8%，为三级等级预警（可能存在危害）；8%~10%，为二级等级预警（当前存在一般危害）；10%及以上，为一级等级预警（当前存在紧急危害，需现场人员紧急撤离）；本实施例提供的第一个特征值位移变化向量为2%时，根据上表可暂时无需发布等级预警信息；当第二个特征值位移变化向量为4%时，根据上表应发布二级等级预警信息，也即提醒现场人员当前的边坡可能存在危害，需持续观察现场并注意人身安全等。
43.在一些实施例中，在步骤s411之后，即在获取相邻的边坡待监测位置三维图像之间的图像特征相似度之后，还具体包括如下步骤：s401.若图像特征相似度小于设定预警阈值，则触发设定预警阈值对应等级的预警信息。
44.具体地，设定预警阈值是相邻的边坡待监测位置三维图像之间的图像特征相似度小于某个设定值，比如，65%，也即通过步骤s41直接获取相邻的边坡待监测位置三维图像之间的图像特征相似度为65%，可判定现场瞬时发生了重大场景变化，应直接立即触发设定预警阈值对应等级的预警信息。
45.在一些实施例中，在步骤s40中，即获取相邻两帧边坡待监测位置三维图像之间对应的图像特征相似度，具体包括如下步骤：s421.对边坡待监测位置三维图像进行图像去噪处理。
46.s422.将进行图像去噪处理后的边坡待监测位置三维图像进行二值矩阵化，获取边坡待监测位置三维图像对应的二值化矩阵。
47.s423.比对相邻两帧边坡待监测位置三维图像之间分别对应的二值化矩阵，获取相邻的边坡待监测位置三维图像之间的图像特征相似度。
48.其中，图像去噪处理是将边坡待监测位置三维图像去除曝光和阴影等杂质光线的处理，可采用基于滤波器的方法（filtering-basedmethods）、基于模型的方法（model-basedmethods）和基于学习的方法（learning-basedmethods）等处理边坡待监测位置三维图像，实现去噪的效果。
49.具体地，二值化体现特征值，不受像素和曝光度的影响。
50.本实施例通过视频流获取的照片进行前后对比，前1个照片1.png，后一个照片2.png，对比规则：因照片属于同一数据源，所以照片的尺寸都相同，且在实际应用中，摄像头拍摄范围尽可能合理地覆盖到可能出现崩塌的位置（作为待监测位置），以下举例说明对比规则：将1.png（图像1）二值矩阵化将2.png（图像2）二值矩阵化10101010101010101111101010101010101011110000000000000000000000000011000000000000111111111111111111111111110011111111111111111111111111111000111111111111111110000000000000000000000000000000000000000000上例中，一张图片对应的二值化矩阵的一行的数字数量是20个，一共是五行，即为共总100个二值化数字。其中，存在四个位置上的数字是不一样的，可理解为100个数字中不一样的数字有四个，也即该举例中相邻的边坡待监测位置三维图像之间的图像特征相似度为96%。
51.在一些实施例中，在步骤s10之前，即在获取摄像头根据边坡待监测位置实时拍摄的边坡直播推流之前，还具体包括如下步骤：s101.通过摄像头获取当前角度对应的边坡现场图像。
52.s102.基于边坡待监测位置对应的标准图像比对边坡现场图像，获取角度偏差。
53.s103.基于角度偏差，调整摄像头的拍摄角度，以使摄像头基于边坡待监测位置进行拍摄。
54.具体地，本实施例中摄像头的架设要求尽可能不涵盖较多能够经常改变的物体，比如，只要图片能够完整拍摄到边坡情况即可。
55.现实应用中，可能存在摄像头启动后未面向待监测位置的情形，为了实现摄像头的角度自适应调整，可通过比如现场图像和标准图像，获取两张图像中的图像特征的向量差和角度差，确定摄像头的偏移量（角度偏差），并根据偏移量自动旋转回默认的监控角度。
56.在一些实施例中，在步骤s40之后，即在触发对应等级的预警信息之后，还具体包括如下步骤：s402.若等级预警为高等级预警，则将边坡直播推流和边坡待监测位置三维图像推送给远程服务器。
57.s403.获取边坡待监测位置所在的地理位置，基于地理位置获取对应的天气情况。
58.s404.结合天气情况、边坡直播推流和边坡待监测位置三维图像，形成本次监测预警综合研判信息并推送给监测预警责任端，用于为监测预警责任提供研判依据。
59.本实施例可及时根据边坡待监测位置所在的地理位置获取当前的天气情况，将天气情况对于待监测位置的影响进行统计，可协助监测人员有效判定现场出现危险情况的原因等。
60.在一些实施例中，在步骤s404之后，即在形成本次监测预警综合研判信息并推送给监测预警责任端之后，还具体包括如下步骤：s4041.按指定期限提取在指定期限内的每一预警分析信息中的预警关键词。
61.s4042.基于所有预警关键词，生成指定期限内的预警分析报告趋势图。
62.本实施例可通过指定期限内的每一预警分析信息中的预警关键词，生成指定期限内的预警分析报告趋势图，快速便捷直观地得到指定期限内可能存在的频繁出现的安全隐患、与安全隐患的出现存在关联的因素、出现的时间等，进行综合性分析，用以后续通过预警分析报告趋势图提升系统，减少有害因子，提高边坡的安全性或者监测系统的可靠性。
63.本实施例提供的基于直播推流的边坡监测预警方法，如图3所示，通过可监控边坡的摄像头实时可拍摄得到的边坡直播推流，对该边坡直播推流经分析后可触发不同的等级预警，可及时准确地对边坡进行变形监测，发现异常情况，并进行对应的预警和处理，避免使用各种类型的传感器对边坡现场进行监测，降低系统监控成本和监控复杂性，有效保障处于边坡的周围人员的人身安全性。
64.本实施例提供的基于直播推流的边坡监测预警方法，包括：通过边坡现场摄像头实时获取边坡直播推流以及二维帧位置图像，二维帧位置图像可实时叠加至三维地图倾斜摄影模型上，与三维倾斜摄影模型高度融合，可以查看边坡整体特征和隐患区域的实时情况；通过实时提取视频流画面，结合三维倾斜摄影模型，实时提取边坡空间特征值，把相邻时间点的特征值进行二值矩阵化对比，判断出两组边坡特征值的相似度情况，根据已设定的等级预警对应的相似度范围值，可触发相应的等级预警，并通过预警短信通知巡查人员。
65.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
66.在一实施例中，提供一种基于直播推流的边坡监测预警系统，该基于直播推流的边坡监测预警系统与上述实施例中基于直播推流的边坡监测预警方法一一对应。如图4所示，该基于直播推流的边坡监测预警系统包括直播推流获取模块10、二维图像获取模块20、三维图像获取模块30和等级预警信息触发模块40。各功能模块详细说明如下：直播推流获取模块10，用于获取摄像头根据边坡待监测位置实时拍摄的边坡直播推流。
67.二维图像获取模块20，用于按指定频度提取边坡直播推流中的直播帧，获取二维帧位置图像。
68.三维图像获取模块30，用于将二维帧位置图像映射到边坡待监测位置对应的边坡三维模型上，用于获取边坡待监测位置三维图像。
69.等级预警信息触发模块40，用于获取相邻两帧边坡待监测位置三维图像之间对应的图像特征相似度，基于图像特征相似度，触发对应等级的预警信息。
70.关于基于直播推流的边坡监测预警系统的具体限定可以参见上文中对于基于直播推流的边坡监测预警方法的限定，在此不再赘述。上述基于直播推流的边坡监测预警系
统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
71.在一实施例中，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图5所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性介质和内存储器。该非易失性介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性介质中的操作系统和计算机程序的运行提供环境。该电子设备的数据库用于基于直播推流的边坡监测预警方法相关的数据。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于直播推流的边坡监测预警方法。
72.在一实施例中，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例基于直播推流的边坡监测预警方法，例如图2所示s10至步骤s40。或者，处理器执行计算机程序时实现上述实施例中基于直播推流的边坡监测预警系统的各模块/单元的功能，例如图4所示模块10至模块40的功能。为避免重复，此处不再赘述。
73.在一实施例中，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例基于直播推流的边坡监测预警方法，例如图2所示s10至步骤s40。或者，该计算机程序被处理器执行时实现上述系统实施例中基于直播推流的边坡监测预警系统中各模块/单元的功能，例如图4所示模块10至模块40的功能。为避免重复，此处不再赘述。
74.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
75.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
76.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。