一种基于maskrcnn的堆叠粗骨料图像分割方法及系统

一种基于mask rcnn的堆叠粗骨料图像分割方法及系统
技术领域
1.本发明涉及工程机械领域，特别指一种基于mask rcnn的堆叠粗骨料图像分割方法及系统。


背景技术：

2.随着计算机技术快速发展，智能图像处理技术在矿业、工业、农业、医疗等领域自动化处理中应用越来越广泛，但是这类图像往往伴随着颗粒相互粘连甚至堆叠的情况，这给图像的分析增加了难度，因此寻找一种能将粘连或堆叠颗粒快速分割的方法十分重要。
3.近几年，研究人员不断地研究如何利用计算机视觉技术来解决实际工程中遇到的难题，涌现出越来越多的图像处理算法，并针对颗粒粘连情况，不少科研人员开始研究图像分割算法。由于图片种类、研究对象各式各样，出现了大量的分割算法，通过对这些算法的特征分析，主要归为以下几类：阈值处理、边缘检测、分水岭分割算法和多种算法组合的图像分割。
4.阈值分割的基本思想是基于图像的灰度特征来计算一个或多个灰度阈值，并将图像中每个像素的灰度值与阈值作比较，最后将像素根据比较结果分到合适的类别中。因此，该方法最关键的就是按照某个准则函数来求得最佳灰度阈值；边缘检测的图像分割算法通过检测包含不同区域的边缘来实现分割，该算法受图像质量影响大，且分割后不能保证边缘的连续性和封闭性；分水岭分割方法是一种拓扑理论的数学形态学分割，其基本思想是把图像看作是测地学上的拓扑地貌，图像上每一点像素的灰度值表示该点的海拔高度，每一个极小值及其影响区域被称为集水盆，而水盆的边界则形成分水岭。分水岭对微弱边缘具有良好的响应，但是图像中的噪声、物体表面细微的灰度变化都有可能产生过分割现象；多种算法组合的分割方法结合了不同的分割算法的优点，能够实现更优的分割效果，但仍有许多不足之处没有解决。粘连颗粒图像由于存在差异性和复杂型，很难有一种良好的分割方法可应用于不同场景，每一种颗粒图像分割方法都需要综合考虑分割对象种类、特征及应用环境，这给实际工程应用带来不便。


技术实现要素：

5.本发明要解决的技术问题，在于提供一种基于mask rcnn的堆叠粗骨料图像分割方法及系统，解决传统的分割方法在应用时对粗骨料种类、表面特征和生产环境的适应性低等问题，同时提高分割准确度。
6.第一方面，本发明提供了一种基于maskrcnn的堆叠粗骨料图像分割方法，所述方法包括如下步骤：
7.步骤s10、通过ccd相机拍摄粗骨料颗粒图片，然后将图片传送到计算机中；
8.步骤s20、通过标注工具对图像进行标注得到训练所需的粗骨料图像数据集；
9.步骤s30、使用mask rcnn模型对现有的coco数据集进行训练得到权重作为初始模型；
10.步骤s40、在初始模型的基础上训练粗骨料图像数据集得到最终需要的图像分割权重及图像分割模型；
11.步骤s50、将采集到的待处理图像输入到所述图像分割模型中进行处理得到分割后的图像；
12.步骤s60、统计所述分割后的图像中每一个粗骨料颗粒的面积；
13.步骤s70、根据粗骨料颗粒的面积计算粗骨料各级配占比。
14.进一步的，所述步骤s20的标注工具采用labelme软件，通过使用多边形框的方法依次对粗骨料轮廓边缘进行框选，形成闭合空间，将所述闭合空间命名为“aggregate”，制作粗骨料数据集。
15.进一步的，所述步骤s50中的待处理图像在输入到所述图像分割模型中之前还包括：将采集到的待处理图像均分为4等分进行预处理消除环境对采集图像的影响。
16.进一步的，所述步骤s60具体为：
17.在分割后的图像中利用不同颜色标记出每颗粗骨料，并统计每颗粗骨料像素面积；
18.所述像素面积计算过程为：遍历分割后的每个mask，利用opencv库中的面积计算函数得到各个粗骨料的面积值，即为像素面积。
19.进一步的，所述步骤s70中的级配占比计算方式如下：根据像素面积采用opencv库中等效椭圆的计算函数依次计算各个粗骨料颗粒的短轴，用所述短轴代表粗骨料颗粒的等效粒径，以所述等效粒径划分整张图片中颗粒的级配占比。
20.第二方面，本发明提供了一种基于maskrcnn的堆叠粗骨料图像分割系统，所述装置包括图像采集模块、标注模块、初始模型模块、训练模块、图像分割模块、面积计算模块和级配占比模块：
21.所述图像采集模块，用于通过ccd相机拍摄粗骨料颗粒图片，然后将图片传送到计算机中；
22.所述标注模块，用于通过标注工具对图像进行标注得到训练所需的粗骨料图像数据集；
23.所述初始模型模块，用于使用mask rcnn模型对现有的coco数据集进行训练得到权重作为初始模型；
24.所述训练模块，用于在初始模型的基础上训练粗骨料图像数据集得到最终需要的图像分割权重及图像分割模型；
25.所述图像分割模块，用于将采集到的待处理图像输入到所述图像分割模型中进行处理得到分割后的图像；
26.所述面积计算模块，用于统计所述分割后的图像中每一个粗骨料颗粒的面积；
27.所述级配占比模块，用于根据粗骨料颗粒的面积计算粗骨料各级配占比。
28.进一步的，所述标注工具采用labelme软件，通过使用多边形框的方法依次对粗骨料轮廓边缘进行框选，形成闭合空间，将所述闭合空间命名为“aggregate”，制作粗骨料数据集。
29.进一步的，所述待处理图像在输入到所述图像分割模型中之前还包括：将采集到的待处理图像均分为4等分进行预处理消除环境对采集图像的影响。
30.进一步的，所述面积计算模块具体为：
31.在分割后的图像中利用不同颜色标记出每颗粗骨料，并统计每颗粗骨料像素面积；
32.所述像素面积计算过程为：遍历分割后的每个mask，利用opencv库中的面积计算函数得到各个粗骨料的面积值，即为像素面积。
33.进一步的，所述级配占比计算方式如下：根据像素面积采用opencv库中等效椭圆的计算函数依次计算各个粗骨料颗粒的短轴，用所述短轴代表粗骨料颗粒的等效粒径，以所述等效粒径划分整张图片中颗粒的级配占比。
34.本发明的优点在于：
35.通过将图像技术与人工智能相结合，利用深度学习算法对训练样本进行学习，得到性能优良的分割模型，该模型能适应不同工作环境，同时提高分割准确度，使得整体分割效果较传统分割算法显著。
附图说明
36.下面参照附图结合实施例对本发明作进一步的说明。
37.图1是本发明一种基于mask rcnn的堆叠粗骨料图像分割方法的流程图。
38.图2是本发明一种基于mask rcnn的堆叠粗骨料图像分割系统的系统框图。
39.图3是本发明一实施例中搭建的实验平台设备结构示意图。
40.图4是本发明一实施例中使用训练好的mask rcnn网络对石灰石骨料的分割结果并利用不同颜色标记粗骨料颗粒的效果图。
41.图5是本发明一实施例中使用训练好的mask rcnn网络对花岗岩骨料的分割结果并利用不同颜色标记粗骨料颗粒的效果图。
具体实施方式
42.请参照图1、图3至图5所示，本发明一种基于mask rcnn的堆叠粗骨料图像分割方法，需提供一设备，所述设备包括ccd相机1、传送带2、led光源3、用于放置ccd相机1和led光源3的外框架4，所述方法包括如下步骤：
43.步骤s10、启动设备传送带，通过位于传送带正上方的ccd相机拍摄粗骨料颗粒图片，然后将图片传送到计算机中；
44.步骤s20、通过标注工具对图像进行标注得到训练所需的粗骨料图像数据集；
45.步骤s30、使用mask rcnn模型对现有的coco数据集进行训练得到权重作为初始模型；所述coco数据集是一个大型的、丰富的物体检测、分割和字幕生成的数据集，并且是当前目标识别、检测等领域的最权威、最重要的标杆，在此数据集训练权重的基础上能够快速得到粗骨料数据集的训练权重。
46.步骤s40、在初始模型的基础上训练粗骨料图像数据集得到最终需要的图像分割权重及图像分割模型；
47.步骤s50、将采集到的待处理图像输入到所述图像分割模型中进行处理得到分割后的图像；
48.步骤s60、统计所述分割后的图像中每一个粗骨料颗粒的面积；
49.步骤s70、根据粗骨料颗粒的面积计算粗骨料各级配占比。
50.较佳的，所述步骤s20的标注工具采用labelme软件，通过使用多边形框的方法依次对粗骨料轮廓边缘进行框选，形成闭合空间，将所述闭合空间命名为“aggregate”，制作粗骨料数据集。
51.较佳的，所述步骤s50中的待处理图像在输入到所述图像分割模型中之前还包括：将采集到的待处理图像均分为4等分进行预处理消除环境对采集图像的影响。
52.较佳的，所述步骤s60具体为：
53.在分割后的图像中利用不同颜色标记出每颗粗骨料，并统计每颗粗骨料像素面积；
54.所述像素面积计算过程为：遍历分割后的每个mask(即分割后的每个颗粒)，利用opencv库中的面积计算函数得到各个粗骨料的面积值，即为像素面积。
55.较佳的，所述步骤s70中的级配占比计算方式如下：根据像素面积采用opencv库中等效椭圆的计算函数依次计算各个粗骨料颗粒的短轴，用所述短轴代表粗骨料颗粒的等效粒径，以所述等效粒径划分整张图片中颗粒的级配占比。
56.如图2至图5所示，本发明的一种基于mask rcnn的堆叠粗骨料图像分割系统，所述装置包括图像采集模块、标注模块、初始模型模块、训练模块、图像分割模块、面积计算模块和级配占比模块：
57.所述图像采集模块，用于启动设备传送带，通过位于传送带正上方的ccd相机拍摄粗骨料颗粒图片，然后将图片传送到计算机中；
58.所述标注模块，用于通过标注工具对图像进行标注得到训练所需的粗骨料图像数据集；
59.所述初始模型模块，用于使用mask rcnn模型对现有的coco数据集进行训练得到权重作为初始模型；所述coco数据集是一个大型的、丰富的物体检测、分割和字幕生成的数据集，并且是当前目标识别、检测等领域的最权威、最重要的标杆，在此数据集训练权重的基础上能够快速得到粗骨料数据集的训练权重。
60.所述训练模块，用于在初始模型的基础上训练粗骨料图像数据集得到最终需要的图像分割权重及图像分割模型；
61.所述图像分割模块，用于将采集到的待处理图像输入到所述图像分割模型中进行处理得到分割后的图像；
62.所述面积计算模块，用于统计所述分割后的图像中每一个粗骨料颗粒的面积；
63.所述级配占比模块，用于根据粗骨料颗粒的面积计算粗骨料各级配占比。
64.较佳的，所述标注工具采用labelme软件，通过使用多边形框的方法依次对粗骨料轮廓边缘进行框选，形成闭合空间，将所述闭合空间命名为“aggregate”，制作粗骨料数据集。
65.较佳的，所述待处理图像在输入到所述图像分割模型中之前还包括：将采集到的待处理图像均分为4等分进行预处理消除环境对采集图像的影响。
66.较佳的，所述面积计算模块具体为：
67.在分割后的图像中利用不同颜色标记出每颗粗骨料，并统计每颗粗骨料像素面积；
68.所述像素面积计算过程为：遍历分割后的每个mask(即分割后的每个颗粒)，利用opencv库中的面积计算函数得到各个粗骨料的面积值，即为像素面积。
69.较佳的，所述级配占比计算方式如下：根据像素面积采用opencv库中等效椭圆的计算函数依次计算各个粗骨料颗粒的短轴，用所述短轴代表粗骨料颗粒的等效粒径，以所述等效粒径划分整张图片中颗粒的级配占比。
70.本发明方法所采用的maskrcnn框架，其是在fasterrcnn的基础上增加了一个mask分支，大体框架还是fasterrcnn的框架，在基础特征网络之后加入了全连接的分割子网，其由原来的两个任务(分类和回归)变为了三个任务(分类、回归和分割)，使mask rcnn不仅能处理颗粒的检测问题，还能处理语义分割问题。并且在mask rcnn中选择使用roialign替换fasterrcnn中的roi pooling，避免了roi pooling中量化操作导致候选框和最开始回归位置存在偏差的问题，利用roialign的双线性内插的方法获得坐标为浮点数的像素点的图像数值，从而将整个特征聚集过程转化为一个连接的操作，能使像素对齐，满足图像语义分割的准确度要求。采用的深度学习方法能够更好适应实际工程环境的变化，分割效果明显高于传统的分割方法
71.虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。