基于图像识别物体打磨位置的方法及系统与流程

本技术涉及图像识别领域，且更为具体地，涉及一种基于图像识别物体打磨位置的方法及系统。

背景技术：

1、近年来，随着物联网、人工智能、图像处理等技术的发展，智能化图像识别技术被应用到越来越多的行业，大大提高了工业生产的自动化程度。图像识别技术是通过对图像采集设备采集的图片进行处理、分析和理解，以识别和获取各种不同模式的目标和对象的技术。

2、例如，申请号为202110962704.7的中国专利公开了一种机器人视觉识别及定位方法、智能终端及存储介质，包括：获取待识别图像；其中，所述待识别图像中包括若干待拆卸部件；将所述待识别图像输入图像识别模型，通过所述图像识别模型输出各个待拆卸部件对应的类别信息和图像位置信息；根据所述图像位置信息以及预先确定的相机到机器人末端的转换矩阵，确定所述各个待拆卸部件对应的目标位置信息。该发明通过图像识别模型输出各个待拆卸部件的类别信息及图像位置信息，并根据图像位置信息确定目标位置信息，可以精确识别待拆卸部件的类别信息并精确定位待拆卸部件的位置信息，实现共享单车的自动分类拆卸与共享单车零件的循环利用，解决人工暴力拆卸造成的资源浪费问题。

3、再如，申请号为202010884213.0的中国专利公开了目标物的抓取方法、装置、系统、存储介质及设备。其中，目标物的抓取方法包括：获取目标物的目标物图像；将目标物图像输入识别模型，以得到目标物的特征信息；基于特征信息，生成抓取指令，目标物通过抓取指令控制执行器抓取目标物。该技术方案通过基于人工智能的方法识别目标物的特征信息，再基于特征信息生成抓取指令，可以提高目标物的抓取成功率；另外，降低了更换元件的成本，提高了效率。

4、但是上述相关的图像识别技术应用到产品打磨加工行业比较困难，因为产品打磨是在三维空间内进行，如果要基于图像识别技术，实现产品打磨的智能化和自动化，对产品进行三维建模是核心难点。如果把目前的图像识别技术应用到三维空间的打磨加工，还需要一定的改进。

技术实现思路

1、为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种基于图像识别物体打磨位置的方法及系统，其通过采用学习的人工智能技术，基于摄像头采集产品图像，基于产品图像生成产品三维模型，继而基于产品三维模型来确定打磨位置和打磨参数，这样实现对产品打磨流程的自动化处理，提高生产效率和产品质量，降低人工成本和人为错误。

2、根据本技术的一个方面，提供了一种基于图像识别物体打磨位置的方法，其包括：

3、获取由摄像头采集的待打磨产品图像；

4、将所述待打磨产品图像通过作为浅层特征图提取器的第一卷积神经网络模型以得到产品浅层特征图；

5、将所述产品浅层特征图通过空间注意力模块以得到空间增强产品浅层特征图；

6、将所述空间增强产品浅层特征图通过作为深层特征提取器的第二卷积神经网络模型以得到产品深层特征图；

7、融合所述产品深层特征图和所述空间增强产品浅层特征图以得到产品特征图；

8、对所述产品特征图进行特征去冗余化处理以得到优化后产品特征图；

9、对所述优化后产品特征图进行沿通道维度的全局均值池化以得到产品特征矩阵；

10、将所述产品特征矩阵通过基于扩散模型的三维模型生成器以得到产品三维模型图；

11、基于所述产品三维模型图，计算待打磨产品的表面粗糙度和几何误差，并基于所述待打磨产品的表面粗糙度和几何误差确定打磨位置和打磨参数；

12、将所述打磨位置和所述打磨参数输送给打磨机器人。

13、在上述基于图像识别物体打磨位置的方法中，所述第一卷积神经网络模型包含3-5个卷积层。

14、在上述基于图像识别物体打磨位置的方法中，将所述待打磨产品图像通过作为浅层特征图提取器的第一卷积神经网络模型以得到产品浅层特征图，包括：使用所述作为浅层特征图提取器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为浅层特征图提取器的第一卷积神经网络的最后一层的输出为所述产品浅层特征图，所述作为浅层特征图提取器的第一卷积神经网络的第一层的输入为所述待打磨产品图像。

15、在上述基于图像识别物体打磨位置的方法中，将所述产品浅层特征图通过空间注意力模块以得到空间增强产品浅层特征图，包括：使用所述空间注意力模块的卷积层对所述产品浅层特征图进行卷积编码以得到空间注意力图；将所述空间注意力图输入所述空间注意力模块的softmax激活函数以得到空间注意力得分图；以及，计算所述空间注意力得分图和所述产品浅层特征图的按位置点乘以得到所述空间增强产品浅层特征图。

16、在上述基于图像识别物体打磨位置的方法中，将所述空间增强产品浅层特征图通过作为深层特征提取器的第二卷积神经网络模型以得到产品深层特征图，包括：使用所述作为深层特征提取器的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为深层特征提取器的第二卷积神经网络的最后一层的输出为所述产品深层特征图，所述作为深层特征提取器的第二卷积神经网络的第一层的输入为所述空间增强产品浅层特征图。

17、在上述基于图像识别物体打磨位置的方法中，融合所述产品深层特征图和所述空间增强产品浅层特征图以得到产品特征图，包括：以如下级联公式来融合所述产品深层特征图和所述空间增强产品浅层特征图以得到产品特征图；其中，所述公式为：，其中，表示所述产品深层特征图，表示所述空间增强产品浅层特征图，表示级联函数，表示所述产品特征图。

18、在上述基于图像识别物体打磨位置的方法中，对所述产品特征图进行特征去冗余化处理以得到优化后产品特征图，包括：以如下优化公式对所述产品特征图进行特征去冗余化处理以得到优化后产品特征图；其中，所述公式为：

19、

20、

21、

22、其中，为所述产品特征图，表示单层卷积操作，、和分别表示特征图的逐位置相加、相减和相乘，且和为偏置特征图，且和为偏置特征图，为所述优化后产品特征图。

23、在上述基于图像识别物体打磨位置的方法中，基于所述产品三维模型图，计算待打磨产品的表面粗糙度和几何误差，包括：利用表面重建方法生成所述待打磨产品的表面网格模型；计算所述待打磨产品的表面网格模型中各个网格点的局部曲率值和表面法向量；以及，基于所述各个网格点的局部曲率值和表面法向量，计算得到所述表面粗糙度。

24、在上述基于图像识别物体打磨位置的方法中，基于所述产品三维模型图，计算待打磨产品的表面粗糙度和几何误差，包括：计算所述产品三维模型图与理论三维模型图之间的距离差异以得到所述几何误差。

25、根据本技术的另一方面，提供了一种基于图像识别物体打磨位置的系统，其包括：

26、图像采集模块，用于获取由摄像头采集的待打磨产品图像；

27、第一卷积模块，用于将所述待打磨产品图像通过作为浅层特征图提取器的第一卷积神经网络模型以得到产品浅层特征图；

28、空间增强模块，用于将所述产品浅层特征图通过空间注意力模块以得到空间增强产品浅层特征图；

29、第二卷积模块，用于将所述空间增强产品浅层特征图通过作为深层特征提取器的第二卷积神经网络模型以得到产品深层特征图；

30、融合模块，用于融合所述产品深层特征图和所述空间增强产品浅层特征图以得到产品特征图；

31、优化模块，用于对所述产品特征图进行特征去冗余化处理以得到优化后产品特征图；

32、池化模块，用于对所述优化后产品特征图进行沿通道维度的全局均值池化以得到产品特征矩阵；

33、模型图生成模块，用于将所述产品特征矩阵通过基于扩散模型的三维模型生成器以得到产品三维模型图；

34、打磨位置和打磨参数确定模块，用于基于所述产品三维模型图，计算待打磨产品的表面粗糙度和几何误差，并基于所述待打磨产品的表面粗糙度和几何误差确定打磨位置和打磨参数；

35、打磨位置和打磨参数输送模块，用于将所述打磨位置和所述打磨参数输送给打磨机器人。

36、根据本技术的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于图像识别物体打磨位置的方法。

37、根据本技术的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于图像识别物体打磨位置的方法。

38、与现有技术相比，本技术提供的一种基于图像识别物体打磨位置的方法及系统，其通过采用学习的人工智能技术，基于摄像头采集产品图像，基于产品图像生成产品三维模型，继而基于产品三维模型来确定打磨位置和打磨参数，这样实现对产品打磨流程的自动化处理，提高生产效率和产品质量，降低人工成本和人为错误。