基于特征码图像位姿检测的地质灾害预警方法与流程

1.本发明涉及地质灾害监测技术领域，尤其涉及一种基于特征码图像位姿检测的地质灾害预警方法。


背景技术：

2.滑坡是指斜坡上的土岩体由于多种因素的影响，在重力的作用下，沿着软弱面或软弱带，整体或部分地顺坡向下滑动的现象。滑坡灾害是具有危害较大的地质灾害之一。因为地质条件的差异，滑坡的种类、现象很多，这也对滑坡的监测制造了较高的难度。
3.公开号为cn215769998u的专利文公开了一种滑坡灾害监测预警系统，该系统包括：监测单元，监测单元包括滑坡深度监测模块、环境监测模块和视频监测模块，滑坡深度监测模块用于获取滑坡在不同平面位置、不同深度的滑坡位移情况，环境监测模块用于测量滑坡监测区域内的环境参数变化，视频监测模块用于获取监测区域出现滑坡时的视觉变化；卫星云图读取识别单元，卫星云图读取识别单元包括卫星云图读取模块和卫星云图识别模块，卫星云图读取模块用于输入实时的卫星云图；卫星云图识别模块与卫星云图读取模块连接，卫星云图识别模块识别获取卫星云图中不同的天气系统，确定降雨具体的位置，并评估降雨强度和发展趋势；数据处理单元，数据处理单元包括数据接收模块、数据存储模块和数据分析模块，数据接收模块与滑坡深度监测模块、环境监测模块、视频监测模块、卫星云图识别模块连接，用于接收对滑坡深度监测模块、环境监测模块、视频监测模块和卫星云图识别模块获取的数据文件，并传输给数据存储模块进行存储；数据分析模块与数据存储模块连接，数据分析模块用于获取数据存储模块存储的数据文件，并根据数据存储模块存储的监测数据文件对滑坡的状态进行分析、评估和预判；动态监测预警单元，与数据分析模块连接，用于根据数据分析模块的预判结果实时判别异常情况并精准定位发出警报。
4.但是，由于需要借助卫星云图中的降雨强度和发展趋势进而定位到可能发生滑坡危险的位置，采用卫星定位的方式进行定位的成本较高。


技术实现要素：

5.为此，本发明提供一种基于特征码图像位姿检测的地质灾害预警方法，可以解决现有技术中的灾害预测成本高的技术问题。
6.为实现上述目的，本发明提供一种基于特征码图像位姿检测的地质灾害预警方法，包括：布设特征码及监控摄像机，所述特征码设置在待监测边坡上，所述监控摄像机的视场内存在至少一个所述特征码，所述监控摄像机用以实时拍摄包含特征码图像的监测图像，根据拍摄时间的不同形成监测图像组，所述监测图像组包括若干监测图像；设置特征码基准图像和标准偏移阈值；计算所述监测图像中的特征码图像与所述特征码基准图像的位置或姿态的偏移量，若所述偏移量》标准偏移阈值，则进行灾害预警；
若所述偏移量≤标准偏移阈值，则继续监测。
7.进一步地，计算所述特征码图像与所述特征码基准图像的位置或姿态的偏移量包括：提取监测图像中特征码在像素坐标系中的几何信息，结合监控摄像机的内参和特征码在世界坐标系中的三维几何信息，通过监控摄像机成像原理构建监控摄像机成像的数学模型，根据所述数学模型和所述几何信息计算出特征码相对于监控摄像机的位置和姿态；检测到的第一帧图像的特征码的位置和姿态作为初始状态，或者将预设时刻的特征码的位置和姿态作为初始状态；存储每帧图像的时间，以及检测到的特征码位置和姿态信息，计算与初始状态的偏差，所述偏差为偏移量。
8.进一步地，在进行灾害等级预警时，还包括目标检测，基于深度神经网络的图像目标监测方法对边坡附近有安全隐患范围内的人车进行实时检测，当检测到有山体滑坡风险，且又检测到人或车时，将灾害预警的等级升级。
9.进一步地，所述监测图像中特征码在像素坐标系中的几何信息通过图像识别算法提取，提取角点和边长信息；监控摄像机的内参通过张正友标定法测量；特征码在世界坐标系中的三维几何信息通过几何尺寸测量工具测量。
10.进一步地，所述监控摄像机带有摄像机内参，所述摄像机内参是由监控摄像机的结构特征、加工安装工艺和光学特征组合而成的数据信息；在应用过程中，通过监控摄像机拍摄到具有变形的二维特征码图像，通过摄像机内参和特征码三维几何信息进行计算，计算出两组数据，分别是几何信息相对于监控摄像机的位置信息和几何信息相对于拍摄摄像机的旋转姿态信息，共六个自由度的数据信息；在安装监测摄像机和特征码并启动检测程序后，以第一次拍摄或者起始一段时间内检测得到的六自由度信息作为偏差计算的基准值，通过实时监测并计算特征码的六自由度偏差值来判断是否发生滑坡。
11.进一步地，在进行监测之前对六自由度数据变化范围进行预先设定和分级管理，在进行分级管理时包括设置a级、b级、c级、d级、e级和f级六种滑坡等级，其中a级》b级》c级》d级》e级》f级；预先设置有分钟阈值、小时阈值、天阈值、周阈值、月阈值、年阈值；所述分钟阈值的判断属于a级，所述小时阈值的判断属于b级，所述天阈值的判断属于c级，所述周阈值的判断属于d级，所述月阈值的判断属于e级，所述年阈值的判断属于f级；将目标检测结果附加在灾害预警等级上，形成12种风险等级：第一级，第二级，第三级，第四级，第五级，第六级，第七级，第八级，第九级，第十级，第十一级，第十二级；第一级属于a级滑坡有生命财产风险，第二级属于b级滑坡有生命财产风险，第三级属于c级滑坡有生命财产风险，第四级属于d级滑坡有生命财产风险，第五级属于e级滑坡有生命财产风险，第六级属于f级滑坡有生命财产风险，第七级属于a级滑坡无生命财产风险，第八级属于b级滑坡无生命财产风险，第九级属于c级滑坡无生命财产风险，第十级属于d级滑坡无生命财产风险，第十一级属于e级滑坡无生命财产风险，第十二级属于f级滑坡无
生命财产风险。
12.进一步地，所述特征码用直线段和色块构成。
13.进一步地，所述特征码为漫反射材料制作，确保不同光照角度下，摄像机均能清晰拍摄到特征码。
14.与现有技术相比，本发明的有益效果在于，通过设置监测摄像机来拍摄特征码，并根据时间变化过程中的特征码的位置和姿态的变化预示待监测边坡的运行状态，无需依赖其他设备，就可以进行边坡产生地质灾害的可能性，进而进行有效地预警，提高对于地质灾害进行有效预警，提高预警效率。
15.尤其，通过将特征码像素化之后，便于定位特征码的几何信息，在实际应用中，构建特征码像素图像的几何信息与特征码的几何信息之间的投影关系方程组，从而计算出特征码相对于监控摄像机的位置和姿态，并将第一帧图像的特征码的位置和姿态作为初始状态，也就是本发明实施例中的特征码基准图像的基准特征码，根据时间的差异判定偏差的大小，并且不同的时间间隔选择不同的偏差基准，便于对特征码所在的边坡异常进行有效判断，提高预警的精准性。
16.尤其，通过从监测摄像机拍摄的图片进行深度学习处理，能够精准定位其中的车辆或人，便于在确定边坡存在地质灾害风险，能够及时给予行人或车辆进行及时提醒，在实际应用中，若是检测到有行人或车辆，则将提前进行预警，以便给与行人或车辆足够的远离危险的时间，避免人员车辆损害，减少不必要的人身和经济损失。
17.尤其，通过角点信息以及边长信息作为特征码的参数信息，使得对于特征码的提取过程更加高效，便于快速确定角点信息以边长信息，当特征正为五角星时，则角点信息则为各个拐点，而边长信息则为五角星的各个角的边长，在实际应用中若是角点的位置发生变化，或是任意角的边长发生变化，就代表边坡上的土壤发生了位移，但是位置或是姿态发生的变化超出一定程度，则判定有发生地址灾害的风险，需要进行灾害预警，以给人们及时警示，便于及时进行躲避或准备应急方案，减少损失。
18.尤其，通过比较六个自由度的数据信息的变化值，在实际应用中，若是几何信息相对于监控摄像机的位置信息发生变化的程度以及几何信息相对于拍摄摄像机的旋转姿态信息发生变化的程度总和作为判定边坡状态，使得对于边坡状态的判定更为精准和高效，提高预警效率。
19.尤其，通过设置不同优先等级的标准阈值，本发明实施例通过设置分级管理的方式将标准阈值设置成不同的优先级别，使得对于数据变化范围更为精细化分析，使得对于边坡状态的判定更为精准。
20.尤其，通过设置简单结构的特征码，便于进行提取和识别，另外采用漫反射材料的特征码，使得在不同光照角度下，均能进行有效识别，进而提高识别精准度，便于实现对特征码的参数的精准判断，提高边坡状态的判定准确性。
附图说明
21.图1为本发明实施例提供的基于特征码图像位姿检测的地质灾害预警方法的流程示意图。
具体实施方式
22.为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
23.下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
24.需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
25.此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
26.请参阅图1所示，本发明实施例提供了一种基于特征码图像位姿检测的地质灾害预警方法，该方法包括：步骤s100：布设特征码及监控摄像机，所述特征码设置在待监测边坡上，所述监控摄像机的视场内存在至少一个所述特征码，所述监控摄像机用以实时拍摄所述特征码，根据拍摄时间的不同形成监测图像组，所述监测图像组包括若干特征码图像；步骤:s200：设置特征码基准图像和标准偏移阈值；步骤s300：计算所述特征码图像与所述特征码基准图像的位置或姿态的偏移量，若所述偏移量》标准偏移阈值，则进行灾害预警；步骤s400：若所述偏移量≤标准偏移阈值，则继续监测。
27.具体而言，通过在待监测边坡上设置特征码，利用特征码的位置和姿态变化来表征边坡的状态，通过监控摄像机拍摄待监测边坡，获取拍摄图像，从拍摄图像中提取特征码，确定特征码的位置和姿态，通过比较拍摄图像中的特征码的位置和姿态与特征码基准图像中的位置与姿态的偏移量，若是特征码的位置的偏移量或姿态的偏移量随着时间的变化，设定特征码基准图像产生的时间为t0, 在任意时刻t1,获取t1时刻的拍摄图像，从该拍摄图像中提取特征码图像，在实际应用中，特征码图像的参数可以包括任意特征点的位置，姿态或是其他参数信息，当时间由t0到达t1的过程中，确定特征码图像的位置或姿态偏移量，与预先设置的标准偏移阈值进行比较，若是实际的偏移量，则表示在这段时间内，偏移量较大，有发生地质灾害的风险，则进行预警，否则继续监测。
28.具体而言，所述特征码图像可以是标准图形、不标准图形、标准图形的组合、不标准图形的组合，以及标准图形与不标准图像的组合，在此不一一列举，以实际实施为准。
29.具体而言，本发明实施例通过设置监测摄像机来拍摄特征码，并根据时间变化过程中的特征码的位置和姿态的变化预示待监测边坡的安全状态，无需依赖其他设备，就可以进行边坡产生地质灾害的可能性，进而进行有效地预警，提高对于地质灾害进行有效预警，提高预警效率。
30.具体而言，计算所述特征码图像预与所述特征码基准图像的位置或姿态的偏移量
包括：提取出特征码的几何信息，所述几何信息为角点信息和三维几何信息；构建特征码像素图像的几何信息与特征码的几何信息之间的投影关系方程组，从而计算出特征码相对于监控摄像机的位置和姿态；检测到的第一帧图像的特征码的位置和姿态作为初始状态，或者将预设时刻的特征码的位置和姿态作为初始状态；存储每帧图像的时间，以及检测到的特征码位置和姿态信息，计算与初始状态的偏差，所述偏差为偏移量。
31.具体而言，特征码图形在监控摄像机坐标系中的位置和姿态的计算方法为：在监控摄像机的内参标定和畸变矫正的基础上，采用小孔成像原理得到，监控摄像机的内参标定及畸变矫正采用张正友标定法。
32.具体而言，本发明实施例通过将特征码像素化之后，便于定位特征码的几何信息，在实际应用中，构建特征码像素图像的几何信息与特征码的几何信息之间的投影关系方程组，从而计算出特征码相对于监控摄像机的位置和姿态，并将第一帧图像的特征码的位置和姿态作为初始状态，也就是本发明实施例中的特征码基准图像的基准特征码，根据时间的差异判定偏差的大小，并且不同的时间间隔选择不同的偏差基准，便于对特征码所在的边坡异常进行有效判断，提高预警的精准性。
33.具体而言，还包括目标检测，在对边坡附近监控摄像机拍摄范围内中划设风险控制区域，基于dnn 对该区域内的人或车进行实时检测，检测到人或车时，将标识框精准识别车辆或人，定位图像中的车辆或人的精确位置。
34.具体而言，本发明实施例通过从监测摄像机拍摄的图片进行深度学习处理，能够精准定位其中的车辆或人，便于在确定边坡存在地质灾害风险，能够及时给予行人或车辆进行及时提醒，在实际应用中，若是检测到有行人或车辆，则将提前进行预警，以便给与行人或车辆足够的远离危险的时间，避免人员车辆损害，减少不必要的人身和经济损失。
35.具体而言，在本发明中，要计算特征码的位姿，实际是需要求解监控摄像机的外部参数矩阵。外部参数矩阵和zc一共7个未知数，至少需要7个不相关方程来求解，则理论上有4个像素坐标和世界坐标的点对即可求解上述七个参数。
36.首先设计一个特征码图形，需要确保特征码的图形中至少有四个有效角点，并在特征码图形上建立世界坐标系：特征码制作后，可精确测量出图形中各个角点的坐标。即得到了监控摄像机成像模型中的世界坐标。监控摄像机拍摄到特征码后，识别图像得到角点的像素坐标，并通过图像匹配，得到至少四对像素坐标和世界坐标点对，从而利用成像模型计算出监控摄像机在世界坐标系中的姿态和位置。由于特征码和监控摄像机之间的位姿关系是相对的，因此也得到了特征码图形相对于监控摄像机的位姿。
37.上述特征码图形的角点识别和图像匹配等属于计算机视觉领域的常用方法，本发明不做赘述。
38.在实际应用中，利用特征码位姿偏差来预警山体滑坡，可在每个监控摄像机视场范围内部署多个特征码图形，从而保证识别的可靠性。
39.监控摄像机的成像模型可用下面这个公式表示：
简写为简写为其中：m1为监控摄像机的内部参数矩阵。
40.m2为监控摄像机的外部参数矩阵。
41.u、v是经畸变矫正后的像素坐标，可用畸变模型fd得到，即（u，v）=fd(u’，v’)，其中畸变模型fd (u’，v’)是未经畸变矫正的像素坐标，fd是畸变模型，其参数可采用张正友标定法标定得到。畸变矫正在计算机视觉领域是常用方法，在此不赘述。
42.具体而言，所述角点信息为在一个特征码内每个几何图案的相交点；所述三维几何信息为每个几何形状的边长、边的组合共同形成的图案信息。
43.具体而言，本发明实施例通过角点信息以及边长信息作为特征码的参数信息，使得对于特征码的提取过程更加高效，便于快速确定角点信息以边长信息，当特征码为五角星时，则角点信息则为各个拐点，而边长信息则为五角星的各个角的边长，在实际应用中若是角点的位置发生变化，或是五角星图案中任意角的边长发生变化就代表边坡上的土壤发生了位移，如果位置或是姿态发生的变化超出一定程度，则判定有发生地址灾害的风险，需要进行灾害预警，以给人们及时警示，便于及时进行躲避或准备应急方案，减少损失。
44.具体而言，所述监控摄像机带有摄像机内参，所述摄像机内参是由结构特征和光学特征组合而成的数据信息；在应用过程中，通过监控摄像机拍摄到具有变形的二维特征码图像，通过摄像机内参和特征码几何信息进行计算，计算出两组数据，分别是几何信息相对于监控摄像机的位置信息和几何信息相对于拍摄摄像机的旋转姿态信息，共六个自由度的数据信息；在安装监测摄像机和特征码时，按照第一次拍摄或者起始一段时间内的拍摄特征码为基准，作为计算的初始值，通过对特征码六自由度的变化值进行实时监测，判断是否发
生滑坡。
45.具体而言，本发明实施例通过比较六个自由度的数据信息的变化值的实时监测，在实际应用中，若是几何信息相对于监控摄像机的位置信息发生变化的程度以及几何信息相对于拍摄摄像机的旋转姿态信息发生变化的程度总和作为判定边坡状态，使得对于边坡状态的判定更为精准和高效，提高预警效率。
46.具体而言，在进行监测之前对六自由度数据变化范围进行预先设定和分级管理，在进行分级管理时包括设置有六个级别，分别为a级、b级、c级、d级、e级和f级，其中a级》b级》c级》d级》e级》f级；预先设置有分钟阈值、小时阈值、天阈值、周阈值、月阈值、年阈值；所述分钟阈值的判断属于a级，所述小时阈值的判断属于b级，所述天阈值的判断属于c级，所述周阈值的判断属于d级，所述月阈值的判断属于e级，所述年阈值的判断属于f级。
47.具体而言，本发明实施例通过设置不同优先等级的标准阈值，本发明实施例通过设置分级管理的方式将标准阈值设置成不同的优先级别，使得对于数据变化范围更为精细化分析，使得对于边坡状态的判定更为精准。
48.具体而言，对于任意级别的预警信息，还根据目标特征的识别结果将预警信息进行更为精细化的危险等级的评估，本发明实施例中将人车监测结果附加在滑坡等级上，形成12种风险等级：第一级，第二级，第三级，第四级，第五级，第六级，第七级，第八级，第九级，第十级，第十一级，第十二级；第一级属于a级滑坡有生命财产风险，第二级属于b级滑坡有生命财产风险，第三级属于c级滑坡有生命财产风险，第四级属于d级滑坡有生命财产风险，第五级属于e级滑坡有生命财产风险，第六级属于f级滑坡有生命财产风险，第七级属于a级滑坡无生命财产风险，第八级属于b级滑坡无生命财产风险，第九级属于c级滑坡无生命财产风险，第十级属于d级滑坡无生命财产风险，第十一级属于e级滑坡无生命财产风险，第十二级属于f级滑坡无生命财产风险。
49.具体而言，本发明实施例中对于灾害风险的评估结果是基于特征码的变化信息和目标监测结果共同决定的，使得对于地质灾害的危险性进行不同程度的预警，使得预警信息更为精准和丰富，提高预警效率。
50.具体而言，本发明实施例提供的基于特征码图像位姿检测的地质灾害预警方法，对于不同的风险等级设置对应的预警信息数据量长度和预警音量，本发明实施例中的风险等级越严重，则进行预警的信息的数据量要越小，预警音量越大，因此本发明实施例中的灾害等级越严重，则采用简短高音量的预警信息，给予的警示作用更大。具体而言，本发明实施例中12个风险等级对应不同的预警信息数据量长度，也是不同的预警音量，且本发明实施例中的分钟阈值、小时阈值、天阈值、周阈值、月阈值、年阈值的敏感程度是依次降低的，在实际应用中，若实际的位姿变化值满足分钟阈值，可能不满足小时阈值、天阈值、周阈值、月阈值、年阈值，任意阈值均可以被满足，也可以不被满足，若是高于对应的阈值，则需要进行预警。在此不再赘述。
51.具体而言，所述特征码用直线段和色块构成。所述特征码为漫反射材料制作，确保不同光照角度下，摄像机均能清晰拍摄到特征码。
52.具体而言，本发明实施例通过设置简单结构的特征码，便于进行提取和识别，另外
采用漫反射材料的特征码，使得在不同光照角度下，均能进行有效识别，进而提高识别精准度，便于实现对特征码的参数的精准判断，提高边坡状态的判定准确性。
53.至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
54.以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。 凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。