基于无监督的金属螺栓视觉分割方法和系统

本发明属于图像处理领域，尤其涉及基于无监督的金属螺栓视觉分割方法和系统。

背景技术：

1、在智能制造行业中，金属零部件的视觉良品检测、视觉智能分拣、视觉瑕疵检测等算法在工业质检领域中扮演着重要的作用。现有的算法集合中，如何从图片中提取准确的金属零部件主体分割信息往往是算法的重要步骤，一张质量好的零部件主体分割信息也深刻地影响着算法后续的步骤。受金属零部件本身材质的影响，在视觉采集环节中往往伴随着阴影、反光现象；故在图像中能有效地区分出阴影、反光与零部件主体成为了一项重要的挑战。另外，相较于有监督的深度学习语义分割算法，大量的人工标注并不是一种省心省力的智能自动化解决方案。由此，有必要提出一种在视觉良品检测、视觉智能分拣、瑕疵检测场景中，可以有效解决在视觉成像上的反光、阴影问题。

技术实现思路

1、本发明的目的在于提出一种无需标注就能获得精确金属螺栓分割图的基于无监督的金属螺栓视觉分割方法和系统，可以有效地解决阴影、反光的干扰而无需额外地进行人为标注。

2、本发明基于无监督的金属螺栓视觉分割方法，包括如下步骤：

3、步骤100，训练步骤

4、对采集的金属螺栓图进行卷积神经网络特征提取，得到高抽象特征图和低抽象特征图；所述卷积神经网络，包括两个子分支，其中一个用于提取高抽象特征，得到高抽象特征图；另一个用于提取低抽象特征，得到低抽象特征图；该高抽象特征图包括前景特征矩阵和背景特征矩阵；

5、对前景特征矩阵、背景特征矩阵进行点乘操作，并进行逻辑回归运算，得到包含金属螺栓主体的概率分布矩阵，在每个二维空间位置上根据其对应类别概率分布进行加权求和计算，得到联合特征图；所述概率分布矩阵是区域聚类的概率分布矩阵，根据图片中不同区域的语义相似性预先分成了若干个类别，包括代表螺栓主体区域的概率分布矩阵、代表包含金属反光区域的背景概率分布矩阵、代表阴影区域的背景概率分布矩阵，该概率分布矩阵中每一个像素位置分别代表类别及其对应的概率；

6、利用低抽象特征图与联合特征图的两个随机变量间相互依赖性的度量计算互信息量，进行互信息迭代计算；在迭代计算过程中，通过卷积神经网络的反向传播更新所获取的低抽象特征图，从而更新卷积神经网络的模型权重，通过联合特征图最大程度地利用全局信息来辅助无监督的迭代训练过程；当互信息量最大化时停止训练，得到训练完的模型；

7、步骤200，推理步骤

8、利用步骤100训练完的模型对采集的金属螺栓图进行卷积神经网络特征提取，得到高抽象特征图和低抽象特征图；将得到的高抽象特征图与低抽象特征图分别进行点乘操作，得到特征图乘积结果；将特征图乘积结果进行逻辑回归运算操作，得到区域聚类的概率分布矩阵；对区域聚类的概率分布矩阵进行概率变换，获得前景图片和背景图片，从而对输入的金属螺栓图进行螺栓主体提取，得到精细化的螺栓主体分割图并输出。

9、本发明基于无监督的金属螺栓视觉分割系统，包括：

10、图像采集模块，用于采集金属螺栓图并输出至图像分割模块；

11、图像分割模块，包括卷积神经网络和图像分割模型；所述卷积神经网络，包括两个子分支，其中一个用于提取高抽象特征，得到高抽象特征图；另一个用于提取低抽象特征，得到低抽象特征图；该高抽象特征图包括前景特征矩阵h1和背景特征矩阵h0；所述卷积神经网络对输入的金属螺栓图进行特征提取，得到高抽象特征图和低抽象特征图；

12、所述图像分割模型根据如下训练过程得到：对通过卷积神经网络进行特征提取得到的前景特征矩阵、背景特征矩阵进行点乘操作，并进行逻辑回归运算，得到包含金属螺栓主体的概率分布矩阵，在每个二维空间位置上根据其对应类别概率分布进行加权求和计算，得到联合特征图；所述概率分布矩阵是区域聚类的概率分布矩阵，根据图片中不同区域的语义相似性预先分成了若干类别，包括代表螺栓主体区域的概率分布矩阵、代表包含金属反光区域的背景概率分布矩阵、代表阴影区域的背景概率分布矩阵，该概率分布矩阵中每一个像素位置分别代表类别及其对应的概率；利用低抽象特征图与联合特征图的两个随机变量间相互依赖性的度量计算互信息量，进行互信息迭代计算；在迭代计算过程中，通过卷积神经网络的反向传播更新所获取的低抽象特征图，从而更新卷积神经网络的模型权重；通过联合特征图最大程度地利用全局信息来辅助无监督的迭代训练过程，当互信息量最大化时停止训练，得到训练完的模型；

13、使用中，通过卷积神经网络对采集的金属螺栓图进行特征提取，得到高抽象特征图和低抽象特征图；然后图像分割模型将得到的高抽象特征图与低抽象特征图分别进行点乘操作，得到特征图乘积结果；将特征图乘积结果进行逻辑回归运算操作，得到区域聚类的概率分布矩阵，对区域聚类的概率分布矩阵进行概率变换，获得前景图片和背景图片，从而对输入的金属螺栓图进行螺栓主体提取，得到精细化的螺栓主体分割图并输出。

14、一种计算机设备，包括处理器和存储器，存储器中存储有计算机程序，该计算机程序被处理器执行时以实现上述的基于无监督的金属螺栓视觉分割方法。

15、一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的基于无监督的金属螺栓视觉分割方法。

16、本发明卷积神经网络包括两个子分支，分别提取高抽象特征和低抽象特征，对采集的金属螺栓图进行卷积神经网络特征提取，得到高抽象特征图和低抽象特征图；对高抽象特征图的前景特征矩阵、背景特征矩阵进行点乘操作，并进行逻辑回归运算，得到包含金属螺栓主体的概率分布矩阵，在每个二维空间位置上根据其对应类别概率分布进行加权求和计算，得到联合特征图；利用低抽象特征图与联合特征图进行互信息迭代计算，最终达到低抽象特征图与联合特征图间互信息趋于最大化，从而优化特征图的表征，得到精细化的金属螺栓主体分割结果；本发明在经过上述无监督的学习后，可以对进行螺栓主体提取的图片区分出反光区域和阴影区域，从而得到精细化的螺栓主体分割图，可以有效地解决阴影、反光的干扰而无需额外地进行人为标注。

17、由于该联合特征图由高抽象特征图经过逻辑回归得到，类别概率分布与类别在每个二维空间上的对应像素概率得到，因此，该联合特征图保存了每个自动聚类的类别结果的聚合信息，能最大程度地利用全局信息来辅助无监督的迭代训练过程。

技术特征：

1.基于无监督的金属螺栓视觉分割方法，其特征在于包括如下步骤：

2.基于无监督的金属螺栓视觉分割系统，其特征在于包括：

3.一种计算机设备，包括处理器和存储器，存储器中存储有计算机程序，其特征在于：该计算机程序被处理器执行时以实现权利要求1所述的基于无监督的金属螺栓视觉分割方法。

4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：计算机程序被处理器执行时实现权利要求1所述的基于无监督的金属螺栓视觉分割方法。

技术总结
本发明基于无监督的金属螺栓视觉分割方法和系统，对采集的金属螺栓图进行卷积神经网络特征提取，得到高抽象特征图和低抽象特征图；对前景特征矩阵、背景特征矩阵进行点乘操作，并进行逻辑回归运算，得到包含金属螺栓主体的概率分布矩阵，在每个二维空间位置上根据其对应类别概率分布进行加权求和计算，得到联合特征图；利用低抽象特征图与联合特征图进行互信息迭代计算，互信息趋于最大化，从而优化特征图的表征，得到精细化的金属螺栓主体分割结果；本发明在经过上述无监督的学习后，可以对进行螺栓主体提取的图片区分出反光区域和阴影区域，从而有效地解决阴影、反光的干扰而无需额外地进行人为标注。

技术研发人员：洪欣,林杰
受保护的技术使用者：华侨大学
技术研发日：
技术公布日：2024/1/12