一种识别钢材锈蚀类型的方法

1.本技术涉及钢结构锈蚀技术领域，尤其涉及一种识别钢材锈蚀类型的方法。


背景技术：

2.近几十年来，国家经济发展十分迅速，建筑与交通市政基础设施的开发日新月异，桥梁、大型体育场馆、交通枢纽、铁路车站、机场航站楼、工业厂房等建(构)筑物如雨后春笋般不断涌现，这些市政基础设施大量采用了钢结构，据统计既有钢结构面积已超过70亿平方米。
3.锈蚀病害是钢结构运行的重要影响因素。长期处于近海、工业大气等具有腐蚀性的环境中的钢结构，随着时间的增长，表面涂层材料会逐渐劣化、变薄甚至脱落而导致内部的钢材暴露出来，极易发生锈蚀。锈蚀后的钢材的强度、塑性、韧性等力学性能均会发生不同程度的劣化，既影响钢结构的耐久性，也严重影响其安全性。因此，锈蚀是钢结构破坏的一种主要机制，锈蚀会导致材料损耗，增加结构后期维护、维修成本，造成资源浪费和经济损失，而且也将严重影响结构安全性；此外，不同的锈蚀类型对结构的影响也是不同。
4.在现有技术中，常用的钢结构锈蚀检测评估方法主要是依靠有经验的专业检测员结合相关仪器设备进行检查。这些检测方法效率低、误检及漏检率高、劳动强度大，而且人工检测的成本高；同时，还具有一定的局限性，在大面积区域作业时费时费力，在无法进入的区域或者禁止设备使用的区域进行检测作业时的风险很高。同时，钢结构锈蚀分布具有随机性，很难对锈蚀进行标准化评价，易受经验和主观因素影响，同一锈蚀类型，不同检测技术人员凭借个人经验对其判断结果不同。因此亟需一种标准化、智能化手段对钢结构锈蚀类型进行快速识别，以确定其锈蚀程度对结构耐久性和安全性的影响。


技术实现要素：

5.有鉴于此，本发明提供了一种识别钢材锈蚀类型的方法，从而可以快速、方便地识别钢结构锈蚀类型。
6.本发明的技术方案具体是这样实现的：
7.一种识别钢材锈蚀类型的方法，该方法包括：
8.根据表观形态特征将各种钢结构锈蚀情况分为多种不同的钢结构锈蚀类型；
9.采集各种钢结构锈蚀的图片，并根据钢结构锈蚀类型对采集得到的钢结构锈蚀的图片进行分类，得到各种钢结构锈蚀类型图片；
10.对各种钢结构锈蚀类型图片进行预处理；
11.将预处理后的每种钢结构锈蚀类型图片均按照预设的比例划分为训练集、验证集和测试集，并对训练集和验证集中的钢结构锈蚀类型图片进行数据标注；
12.建立用于识别各种钢结构锈蚀类型的卷积神经网络模型；
13.使用每种钢结构锈蚀类型图片的训练集对卷积神经网络模型进行训练，使用对应的验证集进行验证，并设置卷积神经网络模型的超参数；
14.根据各种钢结构锈蚀类型图片的训练集对设置后的卷积神经网络模型进行训练；
15.根据各种钢结构锈蚀类型图片的测试集对训练后的卷积神经网络模型进行测试，生成测试结果；
16.将测试结果与测试集中对应的钢结构锈蚀类型图片所属的钢结构锈蚀类型进行对比，根据对比结果确定测试结果的精度；
17.使用训练后的卷积神经网络模型对待测试的钢结构锈蚀的图片进行识别，确定该待测试的钢结构锈蚀的图片的钢结构锈蚀类型。
18.较佳的，将各种钢结构锈蚀发展的过程分为5种钢结构锈蚀类型：未锈蚀类型、点蚀类型、均匀锈蚀类型、剥落类型和分层类型；
19.其中，所述未锈蚀类型的表观形态特征为：金属表面基本没有变化或轻微颜色变化但未产生浮锈；
20.所述点蚀类型的表观形态特征为：金属表面局部产生小孔状的腐蚀坑；
21.所述均匀锈蚀类型的表观形态特征为：金属表面大部分或全部普遍发生腐蚀，腐蚀产物在金属表面形成，且不发生穿孔；
22.所述剥落类型的表观形态特征为：沿平行金属表面的晶体横向产生各种形式的层状分离；
23.所述分层类型的表观形态特征为：沿垂直金属表面的晶体横向产生各种形式的层状分离。
24.较佳的，将点蚀类型、均匀锈蚀类型、剥落类型和分层类型均再细分为轻微型和严重型；
25.其中，所述点蚀类型的轻微型的表观形态特征为：腐蚀孔孤立或稀疏的存在于金属表面；多数孔径小且孔坑浅；
26.所述点蚀类型的严重型的表观形态特征为：腐蚀孔紧凑的聚集于金属表面；多数孔径大且孔坑深；
27.所述均匀锈蚀类型的轻微型的表观形态特征为：金属表面轻微变色或产生浮锈；
28.所述均匀锈蚀类型的严重型的表观形态特征为：金属表面颜色变暗且产生致密锈层或产生碎片；
29.所述剥落类型的轻微型的表观形态特征为：金属表面产生不连续的小碎片、泡疤；
30.所述剥落类型的严重型的表观形态特征为：金属表面大块金属片脱离金属本体；
31.所述分层类型的轻微型的表观形态特征为：垂直金属表面的晶体横向产生一或两层较薄的层状分离，与基体厚度相差较大；
32.所述分层类型的严重型的表观形态特征为：垂直金属表面的晶体横向产生多层层状分离，与基体厚度相差较小。
33.较佳的，所述对各种钢结构锈蚀类型图片进行预处理包括：
34.根据预设的分辨率，对各种钢结构锈蚀类型图片进行裁剪；
35.对裁剪后的钢结构锈蚀类型图片进行数据筛选，剔除不符合筛选条件的图片；
36.对数据筛选后的钢结构锈蚀类型图片进行数据扩增，使得各种钢结构锈蚀类型图片的数量均达到预设的数量。
37.较佳的，所述对数据筛选后的钢结构锈蚀类型图片进行数据扩增包括：
38.通过旋转和/或翻转对数据筛选后的钢结构锈蚀类型图片进行数据扩增。
39.较佳的，所述对训练集和验证集中的钢结构锈蚀类型图片进行数据标注包括：
40.根据每种钢结构锈蚀类型图片分别建立对应的钢结构锈蚀类型图片数据库，并为每个钢结构锈蚀类型图片数据库设置唯一的标识符；
41.为每个钢结构锈蚀类型图片数据库中的训练集和验证集中的钢结构锈蚀类型图片进行数据标注。
42.较佳的，所述卷积神经网络模型的输出节点数为钢结构锈蚀类型的数量。
43.较佳的，所述卷积神经网络模型为mobilenet v2网络模型。
44.较佳的，所述根据各种钢结构锈蚀类型图片的训练集对设置后的卷积神经网络模型进行训练包括：
45.所述卷积神经网络模型根据各种钢结构锈蚀类型图片的训练集，通过正向传播进行预测，通过损失函数计算误差，然后通过随机梯度下降进行误差逆向传播；在训练的过程中逐层更新卷积神经网络模型的参数。
46.较佳的，当卷积神经网络模型为mobilenet v2网络模型时，利用mobilenet v2网络模型的倒残差结构和线性瓶颈在训练过程中逐层更新网络参数；
47.当达到设置的epoch后，训练截止，模型收敛；保存生成的模型参数。
48.如上可见，在本发明中的识别钢材锈蚀类型的方法中，由于根据表观形态特征将各种钢结构锈蚀情况分为多种不同的钢结构锈蚀类型，然后根据钢结构锈蚀类型对采集得到的钢结构锈蚀的图片进行分类，得到各种钢结构锈蚀类型图片；对各种钢结构锈蚀类型图片进行预处理后，将每种钢结构锈蚀类型图片均按照预设的比例划分为训练集、验证集和测试集，并对训练集和验证集中的钢结构锈蚀类型图片进行数据标注；同时，将建立用于识别各种钢结构锈蚀类型的卷积神经网络模型，使用每种钢结构锈蚀类型图片的训练集对卷积神经网络模型进行训练，使用对应的验证集进行验证，并设置卷积神经网络模型的超参数；然后再根据各种钢结构锈蚀类型图片的训练集对设置后的卷积神经网络模型进行训练，根据各种钢结构锈蚀类型图片的测试集对训练后的卷积神经网络模型进行测试，生成测试结果；将测试结果与测试集中对应的钢结构锈蚀类型图片所属的钢结构锈蚀类型进行对比，根据对比结果确定测试结果的精度；随后，可以使用训练后的卷积神经网络模型对待测试的钢结构锈蚀的图片进行识别，确定该待测试的钢结构锈蚀的图片的钢结构锈蚀类型，从而可以快速、方便地识别钢结构锈蚀类型，实现对钢结构不同锈蚀类型快速识别及判断，避免人为误判，在短时间内可以对上万张不同类型的钢结构锈蚀图像进行快速识别和分类，而且准确度也比较高。
附图说明
49.图1为本发明实施例中的识别钢材锈蚀类型的方法的流程图。
具体实施方式
50.为使本发明的技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明作进一步详细的说明。
51.图1为本发明实施例中的识别钢材锈蚀类型的方法的流程图。如图1所示，本发明
实施例中的识别钢材锈蚀类型的方法包括如下所述步骤：
52.步骤101，根据表观形态特征将各种钢结构锈蚀情况分为多种不同的钢结构锈蚀类型。
53.在实际应用场景中，会出现各种各样的钢结构锈蚀情况。因此，在本技术的技术方案中，将首先根据表观形态特征对各种钢结构锈蚀情况进行分类，将各种钢结构锈蚀情况分为多种不同的钢结构锈蚀类型。
54.在本技术的技术方案中，可以使用多种具体实现方式来对各种钢结构锈蚀情况进行分类。以下将以其中的一种具体实现方式为例，对本技术的技术方案进行详细的介绍。
55.例如，作为示例，在本发明的一个具体实施例中，可以将各种钢结构锈蚀发展的过程分为5种钢结构锈蚀类型：未锈蚀类型、点蚀类型、均匀锈蚀类型、剥落类型和分层类型。
56.其中，所述未锈蚀类型的表观形态特征为：金属表面基本没有变化或轻微颜色变化但未产生浮锈；
57.所述点蚀类型的表观形态特征为：金属表面局部产生小孔状的腐蚀坑；
58.所述均匀锈蚀类型的表观形态特征为：金属表面大部分或全部普遍发生腐蚀，腐蚀产物在金属表面形成，且不发生穿孔；
59.所述剥落类型的表观形态特征为：沿平行金属表面的晶体横向产生各种形式的层状分离；
60.所述分层类型的表观形态特征为：沿垂直金属表面的晶体横向产生各种形式的层状分离。
61.因此，通过相应的表观形态特征，可以将各种钢结构锈蚀情况分为上述的5种钢结构锈蚀类型。
62.另外，作为示例，更进一步的，在本发明的一个具体实施例中，还可以将点蚀类型、均匀锈蚀类型、剥落类型和分层类型等4种钢结构锈蚀类型均再细分为轻微型和严重型。
63.例如，作为示例，在本发明的一个具体实施例中：
64.所述点蚀类型的轻微型的表观形态特征为：腐蚀孔孤立或稀疏的存在于金属表面；多数孔径小且孔坑浅。
65.所述点蚀类型的严重型的表观形态特征为：腐蚀孔紧凑的聚集于金属表面；多数孔径大且孔坑深。
66.所述均匀锈蚀类型的轻微型的表观形态特征为：金属表面轻微变色或产生浮锈。
67.所述均匀锈蚀类型的严重型的表观形态特征为：金属表面颜色变暗且产生致密锈层或产生碎片。
68.所述剥落类型的轻微型的表观形态特征为：金属表面产生不连续的小碎片、泡疤。
69.所述剥落类型的严重型的表观形态特征为：金属表面大块金属片脱离金属本体。
70.所述分层类型的轻微型的表观形态特征为：垂直金属表面的晶体横向产生一或两层较薄的层状分离，与基体厚度相差较大。
71.所述分层类型的严重型的表观形态特征为：垂直金属表面的晶体横向产生多层层状分离，与基体厚度相差较小。
72.通过上述的4种钢结构锈蚀类型的轻微型和严重型，可以对各种钢结构锈蚀情况进行更为细致的分类。
73.步骤102，采集各种钢结构锈蚀的图片，并根据钢结构锈蚀类型对采集得到的钢结构锈蚀的图片进行分类，得到各种钢结构锈蚀类型图片。
74.在本步骤中，将先通过各种方式采集各种钢结构锈蚀的图片，然后根据步骤101中的多种不同的钢结构锈蚀类型，对所采集的各种钢结构锈蚀的图片进行分类，得到各种钢结构锈蚀类型图片，从而可以建立各种钢结构锈蚀类型图片数据库。
75.例如，作为示例，在本发明的一个具体实施例中，可以使用图像采集装置(例如，照相机、摄影机等)在不同应用场景下(例如，不同的地点、光照条件、时间段等)采集得到上述5种钢结构锈蚀类型图片。
76.例如，作为示例，在本发明的一个具体实施例中，所采集的钢结构锈蚀类型图片的分辨率大小可以为4032pixel
×
3024pixel，也可以是其他合适的分辨率。
77.步骤103，对各种钢结构锈蚀类型图片进行预处理，
78.在本技术的技术方案中，在得到各种钢结构锈蚀类型图片之后，还需要对所得到的各种钢结构锈蚀类型图片进行预处理。
79.例如，作为示例，在本发明的一个具体实施例中，所述对各种钢结构锈蚀类型图片进行预处理可以包括如下的步骤：
80.步骤31，根据预设的分辨率，对各种钢结构锈蚀类型图片进行裁剪。
81.例如，作为示例，在本发明的一个具体实施例中，可以使用图片编辑软件(例如，photo shop等)对各种钢结构锈蚀类型图片进行裁剪，使得裁剪后的钢结构锈蚀类型图片的分辨率大小为224pixel
×
224pixel(当然，也可以是其他合适的分辨率)。
82.步骤32，对裁剪后的钢结构锈蚀类型图片进行数据筛选，剔除不符合筛选条件的图片(例如，边缘模糊的图片以及背景图片等)。
83.步骤33，对数据筛选后的钢结构锈蚀类型图片进行数据扩增，使得各种钢结构锈蚀类型图片的数量均达到预设的数量。
84.例如，作为示例，在本发明的一个具体实施例中，可以通过旋转和/或翻转等方法对数据筛选后的钢结构锈蚀类型图片进行数据扩增。
85.再例如，作为示例，在本发明的一个具体实施例中，所述预设的数量可以是10000张，也可以其他合适的数量。
86.通过上述的步骤31～33，即可实现对各种钢结构锈蚀类型图片的预处理。
87.步骤104，将预处理后的每种钢结构锈蚀类型图片均按照预设的比例划分为训练集、验证集和测试集，并对训练集和验证集中的钢结构锈蚀类型图片进行数据标注。
88.在本技术的技术方案中，在对各种钢结构锈蚀类型图片进行预处理之后，还将对预处理后的每种钢结构锈蚀类型图片进行划分，即按照预设的比例(例如，7：1：2)将预处理后的每种钢结构锈蚀类型图片均划分为3个集合：训练集、验证集和测试集，然后对每个训练集和验证集中的钢结构锈蚀类型图片进行数据标注，但不对测试集中的钢结构锈蚀类型图片进行数据标注。
89.例如，作为示例，在本发明的一个具体实施例中，对训练集和验证集中的钢结构锈蚀类型图片进行数据标注可以包括：
90.步骤41，根据每种钢结构锈蚀类型图片分别建立对应的钢结构锈蚀类型图片数据库，并为每个钢结构锈蚀类型图片数据库设置唯一的标识符。
91.例如，作为示例，在本发明的一个具体实施例中，假设一共有5种钢结构锈蚀类型图片，则可以根据5种钢结构锈蚀类型图片分别建立据5个钢结构锈蚀类型图片数据库，并为每个钢结构锈蚀类型图片数据库设置一个唯一的标识符(例如，可以以每种钢结构锈蚀类型的拼音首字母作为对应的钢结构锈蚀类型图片数据库的标识符)。
92.步骤42，为每个钢结构锈蚀类型图片数据库中的训练集和验证集中的钢结构锈蚀类型图片进行数据标注。
93.例如，作为示例，在本发明的一个具体实施例中，假设一共有n种钢结构锈蚀类型图片，n个对应的钢结构锈蚀类型图片数据库，则可以将n个钢结构锈蚀类型图片数据库中的训练集和验证集中的钢结构锈蚀类型图片分别以数字0、1、2、3、4、
……
、n-1进行数据标注。
94.举例来说，假设有5种钢结构锈蚀类型图片：点蚀类型图片、均匀锈蚀类型图片、剥落类型图片、分层类型图片和未锈蚀类型图片，则可以有5个对应的钢结构锈蚀类型图片数据库：点蚀类型图片数据库、均匀锈蚀类型图片数据库、剥落类型图片数据库、分层类型图片数据库和未锈蚀类型图片数据库。因此，可以将点蚀类型图片数据库中的训练集和验证集中的钢结构锈蚀类型图片以数字0进行数据标注，将均匀锈蚀类型图片数据库中的训练集和验证集中的钢结构锈蚀类型图片以数字1进行数据标注，将剥落类型图片数据库中的训练集和验证集中的钢结构锈蚀类型图片以数字2进行数据标注，将分层类型图片数据库中的训练集和验证集中的钢结构锈蚀类型图片以数字3进行数据标注，将未锈蚀类型图片数据库中的训练集和验证集中的钢结构锈蚀类型图片以数字4进行数据标注。但是，对于各个钢结构锈蚀类型图片数据库中的测试集中的钢结构锈蚀类型图片均不进行数据标注。
95.步骤105，建立用于识别各种钢结构锈蚀类型的卷积神经网络模型。
96.在本技术的技术方案中，还需要建立一个卷积神经网络模型，用于识别各种钢结构锈蚀类型。
97.例如，作为示例，在本发明的一个具体实施例中，所述卷积神经网络模型的输出节点数为钢结构锈蚀类型的数量。
98.举例来说，当钢结构锈蚀类型的数量为5种时，则可以将所述卷积神经网络模型的输出节点数设置为5。
99.另外，作为示例，在本发明的一个具体实施例中，所述卷积神经网络模型可以是mobilenet v2网络模型，也可以是其他合适的卷积神经网络模型。
100.步骤106，使用每种钢结构锈蚀类型图片的训练集对卷积神经网络模型进行训练，使用对应的验证集进行验证，并设置卷积神经网络模型的超参数。
101.在本技术的技术方案中，在建立上述卷积神经网络模型之后，可以使用每种钢结构锈蚀类型图片的训练集对该卷积神经网络模型进行训练，然后再使用对应的进行数据标注后的验证集进行验证；随后，可以将所述卷积神经网络模型验证的平均精度作为超参数的对应精度，进行对比之后，将精度最高的超参数作为所述卷积神经网络模型的超参数。
102.步骤107，根据各种钢结构锈蚀类型图片的训练集对设置后的卷积神经网络模型进行训练。
103.在步骤106中对卷积神经网络模型进行设置之后，再根据各种钢结构锈蚀类型图片的训练集分别对设置后的卷积神经网络模型进行训练，即所述卷积神经网络模型通过正
向传播进行预测，通过损失函数计算误差，然后通过随机梯度下降进行误差逆向传播；在训练的过程中逐层更新卷积神经网络模型的参数。
104.例如，作为示例，在本发明的一个具体实施例中，假设所述卷积神经网络模型为mobilenet v2网络模型，则可以利用mobilenet v2网络模型特有的inverted residual block(倒残差结构)和linear bottlenecks结构(线性瓶颈)在训练过程中逐层更新网络参数。当达到设置的epoch后训练截止，模型收敛。保存生成的模型参数，训练精度为99.3％。
105.步骤108，根据各种钢结构锈蚀类型图片的测试集对训练后的卷积神经网络模型进行测试，生成测试结果。
106.在本技术的技术方案中，在通过训练得到训练后的卷积神经网络模型之后，就可以根据各种钢结构锈蚀类型图片的测试集对训练后的卷积神经网络模型进行测试，生成测试结果。
107.例如，作为示例，在本发明的一个具体实施例中，可以将未进行数据标注的各种钢结构锈蚀类型图片的测试集载入训练后的卷积神经网络模型中进行测试，从而可以得到相应的测试结果，即钢结构锈蚀类型的预测结果。
108.步骤109，将测试结果与测试集中对应的钢结构锈蚀类型图片所属的钢结构锈蚀类型进行对比，根据对比结果确定测试结果的精度。
109.在本技术的技术方案中，在得到测试结果之后，可以将测试结果与测试集中对应的钢结构锈蚀类型图片所属的钢结构锈蚀类型进行对比，并可以根据对比结果来确定测试结果的精度。
110.步骤110，使用训练后的卷积神经网络模型对待测试的钢结构锈蚀的图片进行识别，确定该待测试的钢结构锈蚀的图片的钢结构锈蚀类型。
111.在本技术的技术方案中，可以直接使用上述通过训练得到的训练后的卷积神经网络模型，对待测试的钢结构锈蚀的图片进行识别，并可以根据卷积神经网络模型的输出结果来确定该待测试的钢结构锈蚀的图片的钢结构锈蚀类型。
112.例如，作为示例，在本发明的一个具体实施例中，所述待测试的钢结构锈蚀的图片可以是实时拍摄的钢结构锈蚀的图片，也可以是其他的需要进行识别锈蚀类型的钢结构锈蚀的图片。
113.因此，通过上述的步骤101～110，即可快速、方便地识别钢结构锈蚀类型。
114.综上所述，在本发明的技术方案中，由于根据表观形态特征将各种钢结构锈蚀情况分为多种不同的钢结构锈蚀类型，然后根据钢结构锈蚀类型对采集得到的钢结构锈蚀的图片进行分类，得到各种钢结构锈蚀类型图片；对各种钢结构锈蚀类型图片进行预处理后，将每种钢结构锈蚀类型图片均按照预设的比例划分为训练集、验证集和测试集，并对训练集和验证集中的钢结构锈蚀类型图片进行数据标注；同时，将建立用于识别各种钢结构锈蚀类型的卷积神经网络模型，使用每种钢结构锈蚀类型图片的训练集对卷积神经网络模型进行训练，使用对应的验证集进行验证，并设置卷积神经网络模型的超参数；然后再根据各种钢结构锈蚀类型图片的训练集对设置后的卷积神经网络模型进行训练，根据各种钢结构锈蚀类型图片的测试集对训练后的卷积神经网络模型进行测试，生成测试结果；将测试结果与测试集中对应的钢结构锈蚀类型图片所属的钢结构锈蚀类型进行对比，根据对比结果确定测试结果的精度；随后，可以使用训练后的卷积神经网络模型对待测试的钢结构锈蚀
的图片进行识别，确定该待测试的钢结构锈蚀的图片的钢结构锈蚀类型，从而可以快速、方便地识别钢结构锈蚀类型，实现对钢结构不同锈蚀类型快速识别及判断，避免人为误判，在短时间内可以对上万张不同类型的钢结构锈蚀图像进行快速识别和分类，而且准确度也比较高。因此，本发明中的上述识别钢材锈蚀类型的方法的适用范围广，而且判断结果也比较准确；不仅可以有效地节省人力物力，而且还可以提升了检测的智能化。
115.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。