基于点云数据的二维泡沫图像标签自动生成方法和装置

本发明涉及泡沫浮选，尤其涉及一种基于点云数据的二维泡沫图像标签自动生成方法方法和装置。

背景技术：

1、泡沫浮选法是一种利用矿物颗粒表面物理化学性质差异，实现不同矿物有效分离的选矿方法。在基于泡沫浮选的矿物质或金属材料提取工艺流程中，浮选工需观察漂浮在矿浆表面的泡沫特征，并根据经验调整药剂的加入量，其主要观察的泡沫特征包括，泡沫的色泽、大小、数量等。近年来随着图像处理技术和计算机技术的不断发展，以人工智能算法替代浮选工进行泡沫质量的评估，其本质在于让机器精准识别上述泡沫特征。让机器准确识别图像中包含的气泡大小和数量，其核心在于对图像中的泡沫个体进行像素级划分，即识别出图像中哪些像素点属于同一个泡沫，因此模型训练前期需准备的数据标签也是要标注出单个泡沫所占的像素区域，通常采用沿图像中泡沫边缘构建闭合多边形的方式生成二维泡沫图像的标签，由于泡沫数量多，边缘不清晰，标注工作费时费力，极大影响深度学习算法在泡沫浮选场景中的部署应用，因此如何简化二维泡沫图像数据的标注工作、或自动生成泡沫图像的标签是亟需解决的重要问题。

技术实现思路

1、本发明提供了一种基于点云数据的二维泡沫图像标签自动生成方法和装置，用以解决现有技术存在的问题，本发明提供的技术方案如下：

2、一方面，提供了一种基于点云数据的二维泡沫图像标签自动生成方法，所述方法包括：

3、s1、收集泡沫浮选过程中的二维rgb图像数据和对应的三维点云数据，并组成新的点云数据[u,v,x,y,z]，其中，x,y,z为三维点云数据，u,v为对应的二维rgb图像中的像素位置；

4、s2、根据新的点云数据大小，对二维rgb图像中点云未覆盖的区域进行裁剪；

5、s3、根据新的点云数据的z关于x，y方向的差分信息，自动标记泡沫边缘点云；

6、s4、将所述泡沫边缘点云映射至裁剪后的二维rgb图像，生成二维泡沫图像的标签。

7、可选地，所述s2，具体包括：

8、遍历所有新的点云数据[u,v,x,y,z]中的u值和v值，分别获取u和v的最小值及最大值，记作，以四个像素点构成的矩形边界，对二维rgb图像进行裁剪。

9、可选地，所述s3，具体包括：

10、记新的点云数据中x最小值和最大值为、，y的最小值和最大值为、；

11、按行标记泡沫边缘点云，包括：

12、s311、初始化x=，y=；

13、s312、计算z[x,y]关于y的差分为，关于y的差分为，若<0且>0，则标记对应的点云为泡沫边缘点云；

14、s313、设置y=y+1，返回s312，直至；

15、s314、设置x=x+1，重复s312和s313，直至。

16、可选地，所述方法还包括：

17、按列标记泡沫边缘点云，包括：

18、s321、初始化x=，y=；

19、s322、计算z[x,y]关于x的差分为，z[x+1,y]关于x的差分为，若<0且>0，则标记对应的点云为泡沫边缘点云；

20、s323、设置x=x+1，返回步骤s322，直至；

21、s324、设置y=y+1，重复步骤s322和s323，直至。

22、可选地，所述s4，具体包括：

23、遍历所有新的点云数据[u,v,x,y,z]，若某点云数据被标记为泡沫边缘点云，则将（u，v）对应的二维rgb图像的像素点标记为泡沫边缘像素点，标记二维rgb图像中所有的泡沫边缘像素点，生成二维泡沫图像的标签。

24、另一方面，提供了一种基于点云数据的二维泡沫图像标签自动生成装置，所述装置包括：

25、收集模块，用于收集泡沫浮选过程中的二维rgb图像数据和对应的三维点云数据，并组成新的点云数据[u,v,x,y,z]，其中，x,y,z为三维点云数据，u,v为对应的二维rgb图像中的像素位置；

26、裁剪模块，用于根据新的点云数据大小，对二维rgb图像中点云未覆盖的区域进行裁剪；

27、标记模块，用于根据新的点云数据的z关于x，y方向的差分信息，自动标记泡沫边缘点云；

28、生成模块，用于将所述泡沫边缘点云映射至裁剪后的二维rgb图像，生成二维泡沫图像的标签。

29、可选地，所述裁剪模块，具体用于：

30、遍历所有新的点云数据[u,v,x,y,z]中的u值和v值，分别获取u和v的最小值及最大值，记作，以四个像素点构成的矩形边界，对二维rgb图像进行裁剪。

31、可选地，所述标记模块，具体用于：

32、记新的点云数据中x最小值和最大值为、，y的最小值和最大值为、；

33、按行标记泡沫边缘点云，包括：

34、s311、初始化x=，y=；

35、s312、计算z[x,y]关于y的差分为，关于y的差分为，若<0且>0，则标记对应的点云为泡沫边缘点云；

36、s313、设置y=y+1，返回s312，直至；

37、s314、设置x=x+1，重复s312和s313，直至。

38、可选地，所述标记模块，还用于：

39、按列标记泡沫边缘点云，包括：

40、s321、初始化x=，y=；

41、s322、计算z[x,y]关于x的差分为，z[x+1,y]关于x的差分为，若<0且>0，则标记对应的点云为泡沫边缘点云；

42、s323、设置x=x+1，返回步骤s322，直至；

43、s324、设置y=y+1，重复步骤s322和s323，直至。

44、可选地，所述生成模块，具体用于：

45、遍历所有新的点云数据[u,v,x,y,z]，若某点云数据被标记为泡沫边缘点云，则将（u，v）对应的二维rgb图像的像素点标记为泡沫边缘像素点，标记二维rgb图像中所有的泡沫边缘像素点，生成二维泡沫图像的标签。

46、另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有指令，所述指令由所述处理器加载并执行以实现上述基于点云数据的二维泡沫图像标签自动生成方法。

47、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有指令，所述指令由处理器加载并执行以实现上述基于点云数据的二维泡沫图像标签自动生成方法。

48、上述技术方案，与现有技术相比至少具有如下有益效果：

49、本发明能够简化二维泡沫图像数据的标注工作，自动生成二维泡沫图像的标签。

技术特征：

1.一种基于点云数据的二维泡沫图像标签自动生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述s2，具体包括：

3.根据权利要求1所述的方法，其特征在于，所述s3，具体包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述s4，具体包括：

6.一种基于点云数据的二维泡沫图像标签自动生成装置，其特征在于，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述裁剪模块，具体用于：

8.根据权利要求6所述的装置，其特征在于，所述标记模块，具体用于：

9.根据权利要求8所述的装置，其特征在于，所述标记模块，还用于：

10.根据权利要求6所述的装置，其特征在于，所述生成模块，具体用于：

技术总结
本发明涉及泡沫浮选技术领域，尤其涉及一种基于点云数据的二维泡沫图像标签自动生成方法和装置，所述方法包括：S1、收集泡沫浮选过程中的二维RGB图像数据和对应的三维点云数据，并组成新的点云数据[u,v,x,y,z]，其中，x,y,z为三维点云数据，u,v为对应的二维RGB图像中的像素位置；S2、根据新的点云数据大小，对二维RGB图像中点云未覆盖的区域进行裁剪；S3、根据新的点云数据的z关于x，y方向的差分信息，自动标记泡沫边缘点云；S4、将所述泡沫边缘点云映射至裁剪后的二维RGB图像，生成二维泡沫图像的标签。本发明能够简化二维泡沫图像数据的标注工作，自动生成二维泡沫图像的标签。

技术研发人员：王健全,陈肖启,马建福,王振乾,付美霞,王曲,李卫
受保护的技术使用者：北京科技大学
技术研发日：
技术公布日：2024/1/15