一种基于深度学习的裂纹实例分割方法

本发明涉及图像处理，特别是一种基于深度学习的裂纹实例分割方法。

背景技术：

1、当前我国建筑行业的迅速发展，建筑施工技术也是取得了巨大的进步。作为满足人们生产、居住、学习和公共活动的建筑工程，其主体结构存在各种各样的不安全隐患，例如各式各样的裂纹和建筑材料质量问题等等时刻威胁着人民的生命安全和财产安全。裂纹产生在金属或者其他建筑材料上，减少其使用寿命及安全性，因此裂纹在建筑工程中成了一种质量通病。

2、现阶段关于裂纹的检测方法包括：人工监督、图像处理、机器学习等方法，但由于人工监督的方式存在一定的主观性，并比较耗费人力，效率较低；图像处理的方式又无法做到较好的泛化性，检测精度较低；机器学习的方式又存在需要人工提取相应特征，而裂纹的特征比较复杂，使用机器学习的方式效果并不是很好，所以本发明采用深度学习的方式，基于深度学习模型进行裂纹的实例分割检测，实现裂纹像素级别的分割，便于查看裂纹延伸情况和发展趋势。

3、因此，在深度学习网络中增强裂纹图像特征，加速预测框回归收敛，提高裂纹实例分割的检测精度，是本发明去解决的问题。

技术实现思路

1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

2、鉴于上述和/或现有的深度学习的裂纹实例分割方法中存在的问题，提出了本发明。

3、因此，本发明所要解决的问题在于如何在深度学习网络中增强裂纹图像特征，加速预测框回归收敛，提高裂纹实例分割的检测精度。

4、为解决上述技术问题，本发明提供如下技术方案：一种基于深度学习的裂纹实例分割方法，其包括制作裂纹实例数据集，并将数据集划分为训练集和验证集；将训练集通过改进的kmeans++聚类算法生成先验框；使用改进的mosaic方法进行数据增强预处理；将数据增强预处理后的训练集输入深度学习模型中，并进行迭代训练；将迭代训练后的深度学习模型输出裂纹实例分割模型。

5、作为本发明所述基于深度学习的裂纹实例分割方法的一种优选方案，其中：

6、所述kmeans++聚类算法是基于kmeans算法改进的，具体步骤如下：

7、输入所有掩码标签数据作为聚类数据点。

8、随机选取一个聚类数据点作为第一个聚类中心，并通过改进的聚类标准处理所有聚类数据点，迭代到聚类中心。

9、计算各聚类数据点与各聚类中心的改进的聚类距离。

10、作为本发明所述基于深度学习的裂纹实例分割方法的一种优选方案，其中：所述kmeans++聚类算法是基于kmeans算法改进的，还包括如下步骤：

11、将各聚类数据点回归于与之距离最近的聚类中心。

12、计算各个簇类的聚类数据点的均值，作为新的聚类中心。

13、若聚类中心不再发生变动，结束算法，否则再次计算各聚类数据点与各聚类中心的改进的聚类距离。

14、作为本发明所述基于深度学习的裂纹实例分割方法的一种优选方案，其中：所述聚类中心中包括传统的聚类标准和改进的聚类标准，其中传统的聚类标准公式如下：

15、；

16、其中，dist为范式距离， 、  为第i和第j个样本数据，t为矩阵的转置。

17、改进后的聚类标准是iou交并比，其表达式如下：

18、；

19、其中，  、 分别表示第i个数据点的宽和高，i，j代表任意常数。

20、作为本发明所述基于深度学习的裂纹实例分割方法的一种优选方案，其中：

21、所述初始聚类中心的计算包括如下步骤：

22、通过聚类中心计算所有聚类数据点和已有聚类中心的聚类距离。

23、接着计算出每个聚类数据点被选为下一个聚类中心的概率。

24、根据所有聚类数据点的概率，使用加权概率分布方法从中选出第二个聚类中心，重复步骤，直到选出k个聚类中心。

25、作为本发明所述基于深度学习的裂纹实例分割方法的一种优选方案，其中：

26、所述随机选取一个聚类数据点作为第一个聚类中心，并通过改进的聚类标准处理所有聚类数据点，迭代到聚类中心包括：

27、随机选取一个聚类数据点，在随机选取中被选中聚类中心的概率的表达式为：

28、 = ；

29、其中，表示所有聚类数据点，d(x)表示聚类数据点与已有聚类中心的改进的聚类距离之和。

30、作为本发明所述基于深度学习的裂纹实例分割方法的一种优选方案，其中：

31、所述改进的聚类距离是聚类数据点与各个聚类中心的距离，其表达式如下：

32、；

33、其中，为第 个聚类数据点与第个聚类中心的聚类距离，表示第 个聚类中心，表示聚类数据点。

34、作为本发明所述基于深度学习的裂纹实例分割方法的一种优选方案，其中：所述改进的mosaic方法增强是基于mosaic进行增强的，具体步骤如下：

35、将输出图形分为四部分，并随机从训练集中选择三张图像和当前输入图像进行裁剪和旋转，使其适应原始图像大小。

36、将四张裁剪后的图像拼接成一个新的图像，形成马赛克的效果。

37、新图像中空白部分使用固定颜色填充。

38、将新图像作为增强后的样本，用于训练模型。

39、作为本发明所述基于深度学习的裂纹实例分割方法的一种优选方案，其中：所述训练集通过将改进后的mosaic样本图像、掩码标签信息和kmeans++聚类算法生成的先验框输入到深度学习模型中；深度学习模型对预测信息和输入的掩码标签数据进行损失函数计算得到损失值，通过计算损失函数的梯度，反向传播误差来更新深度学习网络中每个权重参数，使深度学习网络更加拟合训练集。

40、作为本发明所述基于深度学习的裂纹实例分割方法的一种优选方案，其中：所述迭代训练是表现为深度学习模型在验证集上检测精度实现收敛，在收敛后输出裂纹实例分割模型。

技术特征：

1.一种基于深度学习的裂纹实例分割方法，其特征在于：包括，

2.如权利要求1所述的基于深度学习的裂纹实例分割方法，其特征在于：所述kmeans++聚类算法是基于kmeans算法改进的，具体步骤如下：

3.如权利要求1或2所述的基于深度学习的裂纹实例分割方法，其特征在于：所述kmeans++聚类算法是基于kmeans算法改进的，还包括如下步骤：

4.如权利要求3所述的基于深度学习的裂纹实例分割方法，其特征在于：所述聚类中心中包括传统的聚类标准和改进的聚类标准，其中传统的聚类标准公式如下：

5.如权利要求3所述的基于深度学习的裂纹实例分割方法，其特征在于：所述聚类中心的计算包括如下步骤：

6.如权利要求2所述的基于深度学习的裂纹实例分割方法，其特征在于：所述随机选取一个作为第一个聚类中心，并通过改进的聚类标准处理所有聚类数据点，迭代到聚类中心包括：

7.如权利要求3所述的基于深度学习的裂纹实例分割方法，其特征在于：所述改进的聚类距离是聚类数据点与各个聚类中心的距离，其表达式如下：

8.如权利要求1所述的基于深度学习的裂纹实例分割方法，其特征在于：所述改进的mosaic方法增强是基于mosaic进行增强的，具体步骤如下：

9.如权利要求1或8所述的基于深度学习的裂纹实例分割方法，其特征在于：所述训练集通过将改进后的mosaic样本图像、掩码标签信息和kmeans++聚类算法生成的先验框输入到深度学习模型中；深度学习模型对预测信息和输入的掩码标签数据进行损失函数计算得到损失值，通过计算损失函数的梯度，反向传播误差来更新深度学习网络中每个权重参数，使深度学习网络更加拟合训练集。

10.如权利要求1所述的基于深度学习的裂纹实例分割方法，其特征在于：所述迭代训练是变现为深度学习模型在验证集上检测精度实现收敛，在收敛后输出裂纹实例分割模型。

技术总结
本发明公开了一种基于深度学习的裂纹实例分割方法，包括制作裂纹实例数据集，并将数据集划分为训练集和验证集；将训练集通过改进的Kmeans++聚类算法生成先验框并使用改进的mosaic方法进行数据增强预处理；将数据增强预处理后的训练集输入深度学习模型中并进行迭代训练；将迭代训练后的训练集输出实例分割模型。本发明通过改进kmeans++聚类算法生成先验框作为深度学习模型训练的先验知识，同时针对裂纹特征改进了用于数据增强的mosaic方法，具有更高的检测精度、更好的泛化性和更好的鲁棒性。本方法可实现基于图像的裂纹实例分割，进一步可实现裂纹形态特征及位置信息的检测。

技术研发人员：马千里,李棋
受保护的技术使用者：南京邮电大学
技术研发日：
技术公布日：2024/1/13