一种基于计算机视觉的居民抗震性能评估参数快速测算方法与流程

1.本发明涉及一种基于计算机视觉的居民抗震性能评估参数快速测算方法，属于房屋结构性能评估领域。


背景技术：

2.我国是地震灾害多发国家，地震多、强度大、分布广、灾害重是一个基本国情。相关调查表明，中国地震断裂带大多分布在农村地区，且和城市建筑相比，农房安全系数更低、农房建设处于实质上的“监管空白”。专家认为，在此前多地发生的地震等灾害中，农村房屋抗震性能较差是造成人员伤亡的重要原因之一。而对于房屋的安全质量问题，普通人无法对自己的房屋质量做出正确判断，因此，利用科学的分析手段辅助普通人获取房屋质量情况具有重大意义。
3.目前对于房屋抗震性能的评估主要通过专业人员进行现场检查、走访入户或建筑工匠等进行了解评估，对专家具有依赖性，效率低。因此亟需一种科学的测算方法，以提高评估效率，同时保证评估的准确性。


技术实现要素：

4.本发明提供一种基于计算机视觉的居民抗震性能评估参数快速测算方法，基于计算机视觉，分析计算农村房屋建筑抗震指标等数据，用于辅助评估农村房屋的抗震性能，提高了评估效率，降低了技术门槛。
5.本发明解决其技术问题所采用的技术方案是：
6.一种基于计算机视觉的居民抗震性能评估参数快速测算方法，具体包括以下步骤：
7.步骤s1：在农村房屋建筑的每个墙面上粘贴大小以及内容均固定的标志图像，利用移动设备对农村房屋建筑的每个墙面进行图像采集，获取图像数据；
8.步骤s2：对采集的图像数据中有效墙面的轮廓以及墙面层数进行计算，其中有效墙面即为粘贴标志图像的墙面；
9.步骤s3：对采集的图像数据中孔洞以及粘贴的标志图像计算，其中，孔洞是对墙面结构造成影响的洞口；
10.步骤s4：将步骤s2中有效墙面的轮廓计算结果结合步骤s3中孔洞、粘贴标志图像的计算结果，获取有效墙面内孔洞结果以及图像标志结果；
11.步骤s5：对获取的孔洞结果以及图像标志结果进行处理，将结果转化为四边形结构；
12.步骤s6：基于步骤s5处理后得到的图像标志结果计算比例尺；
13.步骤s7：将有效墙面的轮廓计算结果结合步骤s6中获取的比例尺，计算有效墙面的宽度和高度，其中，墙面的高度为有效墙面的最高点与农村房屋底部之间的距离，墙面的宽度为农村房屋墙面底部从一侧至另一侧之间的距离；
14.步骤s8：将孔洞的计算结果与有效墙面轮廓的计算结果相结合，计算得出孔洞占比率；
15.步骤s9：基于步骤s2中获取的墙面层数结果，选取最大层数为整栋农村房屋楼层层数结果，完成所有测算；
16.作为本发明的进一步优选，步骤s2中，对采集的图像数据中有效墙面的轮廓以及墙面层数进行计算，采用的是deepsnake计算方法进行分割，具体步骤为：
17.步骤s21：对有效墙面进行检测，得到目标矩形框以及目标类别，其中得到的目标矩形框为有效墙面的粗定位，得到的目标类别为有效墙面的楼层层数；
18.步骤s22：将得到的目标矩形框的中点连接，得到菱形轮廓；
19.步骤s23：通过deepsnake计算方法对菱形轮廓进行变形，预测指向目标极点的偏移量，得到目标极点；
20.步骤s24：将得到的目标极点构造成八角轮廓；
21.步骤s25：通过deepsnake计算方法对八角轮廓进行变形，预测指向农村房屋边缘点的偏移量，最终得到整个农村房屋的轮廓；
22.作为本发明的进一步优选，步骤s3中，对采集的图像数据中孔洞以及粘贴的标志图像计算采用的是mobileunet-edge计算方法，具体步骤为：
23.步骤s31：向模型中输入采集的图像数据，模型的编码模块中出现不同阶段的特征矩阵；
24.步骤s32：将编码模块中出现的不同阶段的特征矩阵与解码模块中的相应特征进行连接，得到连接后的特征；
25.步骤s33：步骤s32中得到的连接后的特征通过激活得到边缘概率矩阵，将边缘概率矩阵与连接后的特征结合，组成新的特征矩阵用于后续的解码计算；
26.步骤s34：步骤s33中得到的边缘概率矩阵进行输出，且输出包括两个通道，第一个通道为孔洞概率矩阵，第二个通道为标志图像概率矩阵；
27.步骤s35：通过设定阈值，获取孔洞以及标志图像的二值图；
28.作为本发明的进一步优选，步骤s35中，设定阈值为0.5，输出通道中将输出概率低于阈值的置为0，高于或等于阈值的置为1，分别得到孔洞和标志图像的二值图；
29.作为本发明的进一步优选，步骤s4中获取有效墙面内孔洞结果以及图像标志结果的具体步骤为：
30.步骤s41：对步骤s2中有效墙面的轮廓进行填充，得到有效墙面轮廓的二值图；
31.步骤s42：将步骤s35中获取的孔洞二值图、标志图像二值图与有效墙面轮廓的二值图相乘，得到有效墙面内孔洞结果以及图像标志结果；
32.作为本发明的进一步优选，
33.步骤s41中对有效墙面的轮廓进行填充，轮廓内填充1，轮廓外填充0，得到有效墙面轮廓的二值图；
34.作为本发明的进一步优选，
35.步骤s5中对获取的图像标志结果进行处理的具体步骤为：
36.步骤s511：对步骤s35中获取的标志图像二值图进行腐蚀膨胀以及孔洞填充；
37.步骤s512：对步骤s511中处理后的标志图像二值图进行连通域分析；
38.步骤s513：将获得的连通域中数值最大的进行多边形拟合，得到标志图像多边形结构；
39.步骤s514：将标志图像多边形结构置于二维坐标系中，遍历所有坐标点，具有最大y值的点位于下边线，具有最小y值的点位于上边线，且下边线和上边线的斜率绝对值最小，基于所述特性从坐标点集中选择上边线的两个点和下边线的两个点确定两条直线；
40.步骤s515：遍历所有坐标点，具有最小x值的点位于左边线，具有最大x值的点位于右边线，且左边线和和右边线的斜率绝对值最大或不存在斜率，基于所述特性从坐标点集中选择左边线的两个点和右边线的两个点确定两条直线；
41.步骤s516：通过步骤s514和步骤s515确定的四条直线，求取左边线和上边线、上边线和右边线、右边线和下边线、下边线和左边线的交点，即为标志图像四边形结构的左上、右上、右下、左下坐标点；
42.步骤s5中对获取的孔洞结果进行处理的具体步骤为：
43.步骤s521：对步骤s35中获取的孔洞二值图进行腐蚀以及孔洞填充操作；
44.步骤s522：对步骤s521中处理后的孔洞二值图进行连通域分析；
45.步骤s523：将获得的连通域进行多边形拟合，得到孔洞多边形结构，并重复步骤s513-步骤s516，得到每个连通域的孔洞四边形；
46.步骤s524：对得到的孔洞四边形进行填充，得到孔洞二值图，并对其进行膨胀，得到处理后的孔洞结果；
47.作为本发明的进一步优选，步骤s6中对图像标志结果计算比例尺的具体为：
48.基于步骤s516中得到的标志图像四边形结构的顶点，分别得到标志的上下两个宽度和左右两个高度，以最大宽度和最大高度作为最终的像素宽度和像素高度，则比例尺计算公式为：
49.scale
width
＝mark_len/width_pixel
50.scale
height
＝mark_len/height_pixel
51.其中，mark_len为标志的实际尺寸，width_pixel为最终的像素宽度，height_pixel为最终的像素高度，所得scale
width
为宽度比例尺，scale
height
为高度比例尺；
52.作为本发明的进一步优选，步骤s7中计算墙面宽度和高度的具体步骤为：
53.步骤s71：对步骤s2中获取的有效墙面的轮廓进行多边形拟合；
54.步骤s72：从拟合的点集序列中选择最大y值点p，并获取该点的前一个点p1和后一个点p2；
55.步骤s73：从点p1和p2中选取和点p所构成的直线中具有最小斜率的两个点，选取的两个点即为当前有效墙面轮廓的墙面底部，两点之间的距离即为对应墙面的像素宽度；
56.步骤s74：基于步骤s73得到墙面底部线段中选取两点，设为ps和pe，其中ps为线段起始点，pe为线段终点，对于获取的多边形点集少于或等于四个点的情况，获取ps的前一点p
pre
，pe的后一点p
next
，则所求墙面像素高度为：
57.h＝max(l(p
pre
，ps)，l(pe，p
next
))
58.其中，l为空间中两点的欧式距离，max为最大值，h为有效墙面高度；
59.步骤s75：对于获取的多边形点集多于四个点的情况，确定墙面最大高度所在直线hl
max
，其中有效墙面最大高度所在直线是平行于墙面轮廓的中轴线，同时有效墙面最大高
度所在直线上存在墙面的最高点即墙面轮廓最小y值点；根据步骤s73得到的两点，确定最大宽度所在直线wl
max
，hl
max
和wl
max
的交点为墙面最大高度的终止点，墙面轮廓最小y值点为墙面最大高度的起始点，所得起始点和终止点之间的欧氏距离则为对应墙面的像素高度；
60.步骤s76：基于步骤s73获取的像素宽度、像素高度，步骤s6中获取的高度比例尺、宽度比例尺，计算有效墙面的实际高度和实际宽度为
61.wall_height＝wall_height_pixel*scale
height
62.wall_width＝wall_width_pixel*scale
width
63.其中，wall_height为墙面实际高度，wall_width为墙面实际宽度，wall_height_pixel为墙面像素高度，wall_width_pixel为墙面像素宽度；
64.作为本发明的进一步优选，步骤s8中计算孔洞占比率的具体步骤为：
65.步骤s81：对有效墙面的轮廓进行填充，轮廓内填充1，轮廓外填充0，得到有效墙面的轮廓二值图，对轮廓二值图进行求和获取有效墙面像素数；
66.步骤s82：对步骤s35中获取的孔洞二值图进行求和，得到孔洞像素数；
67.步骤s83：孔洞占比率计算公式为
68.孔洞占比率＝孔洞像素数/有效墙面像素数。
69.通过以上技术方案，相对于现有技术，本发明具有以下有益效果：
70.1、本发明基于的计算机视觉，充分考虑了农村房屋特性，通过移动设备(如手机)即可实现图像收集，降低了房屋评估的技术门槛；
71.2、本发明仅仅通过计算机视觉的一系列方法，即可获取墙体轮廓以及墙体上的孔洞等图像数据，进而得到相关抗震性能评估参数，辅助普通人获取房屋抗震能力相关指标，提高了评估效率，成本较低。
附图说明
72.下面结合附图和实施例对本发明进一步说明。
73.图1是本发明提供的训练流程图；
74.图2是本发明对图像数据中孔洞以及粘贴的标志图像计算采用的mobileunet-edge模型结构图；
75.图3是本发明采用的mobileunet-edge模型结构图涉及的组件结构图；
76.图4是本发明得到的墙面轮廓计算结果图；
77.图5是本发明得到的孔洞计算结果图。
具体实施方式
78.现在结合附图对本发明作进一步详细的说明。本技术的描述中，需要理解的是，术语“左侧”、“右侧”、“上部”、“下部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，“第一”、“第二”等并不表示零部件的重要程度，因此不能理解为对本发明的限制。本实施例中采用的具体尺寸只是为了举例说明技术方案，并不限制本发明的保护范围。
79.如背景技术中阐述的，目前对于房屋抗震性能的评估主要是依赖专业人员进行现
场检查、走访入户或者建筑师进行了解评价，因此工作效率较低，且对专家具有较大的依赖性。本技术基于的前提，针对的是农村房屋，一般农村房屋普遍面积小，楼层低，因此只需要普通的移动设备，如手机，对房屋进行拍摄，通过拍摄获取的图像基于计算机视觉的一系列方法，即可实现相关抗震性能评估，而若针对的是城市建筑，其普遍楼层较高，外立面较为复杂，因此单纯靠移动设备是无法做到数据全面收集。
80.接下来对本技术提供的基于计算机视觉的居民抗震性能评估参数快速测算方法进行具体阐述，图1是一个整体流程示意图，匹配到相关步骤即为：
81.步骤s1：在农村房屋建筑的每个墙面上粘贴大小以及内容均固定的标志图像，利用移动设备对农村房屋建筑的每个墙面进行图像采集，获取图像数据；
82.步骤s2：对采集的图像数据中有效墙面的轮廓以及墙面层数进行计算，其中有效墙面即为粘贴标志图像的墙面；
83.步骤s3：对采集的图像数据中孔洞以及粘贴的标志图像计算，其中，孔洞是对墙面结构造成影响的洞口；
84.步骤s4：将步骤s2中有效墙面的轮廓计算结果结合步骤s3中孔洞、粘贴标志图像的计算结果，获取有效墙面内孔洞结果以及图像标志结果；
85.步骤s5：对获取的孔洞结果以及图像标志结果进行处理，将结果转化为四边形结构；
86.步骤s6：基于步骤s5处理后得到的图像标志结果计算比例尺；
87.步骤s7：将有效墙面的轮廓计算结果结合步骤s6中获取的比例尺，计算有效墙面的宽度和高度，其中，墙面的高度为有效墙面的最高点与农村房屋底部之间的距离，墙面的宽度为农村房屋墙面底部从一侧至另一侧之间的距离；
88.步骤s8：将孔洞的计算结果与有效墙面轮廓的计算结果相结合，计算得出孔洞占比率；
89.步骤s9：基于步骤s2中获取的墙面层数结果，选取最大层数为整栋农村房屋楼层层数结果，完成所有测算。
90.接下来针对相关的流程图我们进行步骤详解，步骤s2中，对采集的图像数据中有效墙面的轮廓以及墙面层数进行计算，采用的是deepsnake计算方法，此方法是一种实例分割方法，具体步骤为：
91.步骤s21：对有效墙面进行检测，得到目标矩形框以及目标类别，其中得到的目标矩形框为有效墙面的粗定位，得到的目标类别为有效墙面的楼层层数；
92.步骤s22：将得到的目标矩形框的中点连接，得到菱形轮廓；
93.步骤s23：通过deepsnake计算方法对菱形轮廓进行变形，预测指向目标极点的偏移量，得到目标极点；
94.步骤s24：将得到的目标极点构造成八角轮廓；
95.步骤s25：通过deepsnake计算方法对八角轮廓进行变形，预测指向农村房屋边缘点的偏移量，最终得到整个农村房屋的轮廓，即为图4所示。
96.步骤s3中，对采集的图像数据进行孔洞以及墙面标志图像计算，获取视野内墙面孔洞及墙面标志，墙面孔洞指对墙面结构造成影响的洞口，如门、窗或者其他形式的孔洞等，标志图像即为上面所述的固定大小及内容的图像标志；在此步骤中进行计算采用的是
mobileunet-edge计算方法，其是一种像素分割方法，模型结构如图2所示，整体包括编码模块和解码模块，其中编码模块采用mobilenetv2的前12个反转残差结构；为了防止梯度消失，在编码阶段和解码阶段之间加入跳跃连接；同时，训练过程中加入孔洞以及标志边缘作为额外的信息监督，以提高模型的边缘表现，提高模型精度。在图2中，input_image表示输入的rgb图像数据(采集的图像数据)；skip_f1，skip_f2和skip_f3分别为前述mobilenetv2模块返回的不同阶段的特征矩阵，图中s表示步长，设定当前特征尺寸为原始输入图像尺寸的1/s，c表示输出特征通道数；图中组件1为卷积操作，用于特征提取；组件2，3，5，7结构参考图3，其中对于组件2，input_x对应的输入是组件1的输出，skip_x对应的输入是skip_f3,对于组件3，input_x对应的输入是组件2的输出，skip_x对应的输入是skip_f2，对于组件5，input_x对应的输入是组件4的输出，skip_x对应的输入是skip_f1，对于组件7，input_x对应的输入是组件6的输出，skip_x对应的输入是input_image，upsample为上采样操作，cnn表示相应的卷积操作，用于特征提取；组件4，6，8为特征连接操作，其中组件4为组件3的输出及其sigmoid激活得到的边缘概率矩阵进行特征连接，组件6为组件5的输出及其sigmoid激活得到的边缘概率矩阵进行特征连接，组件8为组件7的输出及其sigmoid激活得到的边缘概率矩阵进行特征连接；segm表示基于组件8得到的特征进行分割得到的概率矩阵，整个模型的输出具有两个通道，一个通道表示墙面孔洞概率矩阵，一个通道表示墙面标志概率矩阵，利用阈值0.5，将输出概率低于阈值的置为0，高于或等于阈值的置为1，分别得到孔洞和标志图像的二值图，所得二值图即为要求的墙面孔洞和墙面标志图像。
97.步骤s4中获取有效墙面内孔洞结果以及图像标志结果的具体步骤为：
98.步骤s41：对步骤s2中有效墙面的轮廓进行填充，轮廓内填充1，轮廓外填充0，得到有效墙面轮廓的二值图；
99.步骤s42：将步骤s35中获取的孔洞二值图、标志图像二值图与有效墙面轮廓的二值图相乘，得到有效墙面内孔洞结果以及图像标志结果。
100.在步骤s5中包含了对图像标志结果以及孔洞结果进行处理的阐述，首先对获取的图像标志结果进行处理的具体步骤为：
101.步骤s511：对步骤s35中获取的标志图像二值图进行腐蚀膨胀以及孔洞填充；
102.步骤s512：对步骤s511中处理后的标志图像二值图进行连通域分析；
103.步骤s513：将获得的连通域中数值最大的进行多边形拟合，得到标志图像多边形结构；
104.步骤s514：将标志图像多边形结构置于二维坐标系中，遍历所有坐标点，具有最大y值的点位于下边线，具有最小y值的点位于上边线，且下边线和上边线的斜率绝对值最小，基于所述特性从坐标点集中选择上边线的两个点和下边线的两个点确定两条直线；
105.步骤s515：遍历所有坐标点，具有最小x值的点位于左边线，具有最大x值的点位于右边线，且左边线和和右边线的斜率绝对值最大或不存在斜率，基于所述特性从坐标点集中选择左边线的两个点和右边线的两个点确定两条直线；
106.步骤s516：通过步骤s514和步骤s515确定的四条直线，求取左边线和上边线、上边线和右边线、右边线和下边线、下边线和左边线的交点，即为标志图像四边形结构的左上、右上、右下、左下坐标点；
107.接着阐述步骤s5中对获取的孔洞结果进行处理的具体步骤为：
108.步骤s521：对步骤s35中获取的孔洞二值图进行腐蚀以及孔洞填充操作；
109.步骤s522：对步骤s521中处理后的孔洞二值图进行连通域分析；
110.步骤s523：将获得的连通域进行多边形拟合，得到孔洞多边形结构，并重复步骤s513-步骤s516，得到每个连通域的孔洞四边形；
111.步骤s524：对得到的孔洞四边形进行填充，得到孔洞二值图，并对其进行膨胀，得到处理后的孔洞结果，如图5所示，图中白色部分即为处理得到的。
112.针对前述处理后得到的图像标志结果，需要计算比例尺，具体为：基于步骤s516中得到的标志图像四边形结构的顶点，分别得到标志的上下两个宽度和左右两个高度，以最大宽度和最大高度作为最终的像素宽度和像素高度，则比例尺计算公式为：
113.scale
width
＝mark_len/width_pixel
114.scale
height
＝mark_len/height_pixel
115.其中，mark_len为标志的实际尺寸，width_pixel为最终的像素宽度，height_pixel为最终的像素高度，所得scalewidth为宽度比例尺，scaleheight为高度比例尺。
116.接着进行墙面宽度与高度的计算，具体步骤为：
117.步骤s71：对步骤s2中获取的有效墙面的轮廓进行多边形拟合；
118.步骤s72：从拟合的点集序列中选择最大y值点p，并获取该点的前一个点p1和后一个点p2；
119.步骤s73：从点p1和p2中选取和点p所构成的直线中具有最小斜率的两个点，选取的两个点即为当前有效墙面轮廓的墙面底部，两点之间的距离即为对应墙面的像素宽度；
120.步骤s74：基于步骤s73得到墙面底部线段中选取两点，设为ps和pe，其中ps为线段起始点，pe为线段终点，对于获取的多边形点集少于或等于四个点的情况，获取ps的前一点p
pre
，pe的后一点p
next
，则所求墙面像素高度为：
121.h＝max(l(p
pre
，ps)，l(pe，p
next
))
122.其中，l为空间中两点的欧式距离，max为最大值，h为有效墙面高度；
123.步骤s75：对于获取的多边形点集多于四个点的情况，确定墙面最大高度所在直线hl
max
，其中有效墙面最大高度所在直线是平行于墙面轮廓的中轴线，同时有效墙面最大高度所在直线上存在墙面的最高点即墙面轮廓最小y值点；根据步骤s73得到的两点，确定最大宽度所在直线wl
max
，hl
max
和wl
max
的交点为墙面最大高度的终止点，墙面轮廓最小y值点为墙面最大高度的起始点，所得起始点和终止点之间的欧氏距离则为对应墙面的像素高度；
124.步骤s76：基于步骤s73获取的像素宽度、像素高度，步骤s6中获取的高度比例尺、宽度比例尺，计算有效墙面的实际高度和实际宽度为
125.wall_height＝wall_height_pixel*scale
height
126.wall_width＝wall_width_pixel*scale
width
127.其中，wall_height为墙面实际高度，wall_width为墙面实际宽度，wall_height_pixel为墙面像素高度，wall_width_pixel为墙面像素宽度。
128.最后进行孔洞占比率的计算，具体步骤为：
129.步骤s81：对有效墙面的轮廓进行填充，轮廓内填充1，轮廓外填充0，得到有效墙面的轮廓二值图，对轮廓二值图进行求和获取有效墙面像素数；
130.步骤s82：对步骤s35中获取的孔洞二值图进行求和，得到孔洞像素数；
131.步骤s83：孔洞占比率计算公式为
132.孔洞占比率＝孔洞像素数/有效墙面像素数。
133.这里设计者还是需要再次强调，本技术的所有实施步骤皆是在农村房屋作为检测对象的前提下，无非专业人士即可进行前期的图像采集获取房屋建筑数据，降低了技术门槛，再通过计算机视觉的一系列方法，对所拍摄数据的墙体轮廓以及墙体上的孔洞等进行计算，进一步得到相关抗震性能评估参数——房屋层数，墙体的宽度和高度以及孔洞占比，从而分析计算相关的房屋建筑抗震指标等数据，用于辅助评估民居抗震性能性能，提高了工作效率。
134.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
135.本技术中所述的“和/或”的含义指的是各自单独存在或两者同时存在的情况均包括在内。
136.本技术中所述的“连接”的含义可以是部件之间的直接连接也可以是部件间通过其它部件的间接连接。
137.以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。