一种机器人分拣过程中识别图像前景噪声方法与流程

本发明涉及图像识别，更具体地说，涉及一种机器人分拣过程中识别图像前景噪声方法。

背景技术：

1、在图像处理领域，前景噪声估算是一项重要的任务。前景噪声是指在图像中与前景目标不相关的像素。在许多应用中，如图像分割、目标跟踪和视频压缩等，前景噪声的存在会导致算法的性能下降。因此，准确估算前景噪声是图像处理中的一个重要问题。目前，前景噪声估算的方法主要包括基于统计学的方法和基于机器学习的方法。基于统计学的方法通常假设前景噪声是高斯分布的，并使用统计方法来估算噪声的参数。这种方法的缺点是对噪声分布的假设过于简单，无法处理复杂的噪声分布。基于深度学习的方法通常使用卷积神经网络来判断像素是否为前景噪声。这种方法的优点是可以处理复杂的噪声分布，但需要大量的训练数据和特征工程。

2、分拣机器人是一种利用人工智能技术对农产品进行自动化分拣的机器人。现有的机器人分拣技术有以下几个方面：

3、1、机器视觉技术：通过摄像头获取被测物的图像信息，利用图像处理算法对农产品进行识别和分类。

4、2、机器学习技术：通过对大量被测物图像数据进行训练，建立农产品分类模型，实现对农产品的自动分类。

5、分拣机器人的机器视觉技术通过摄像头获取农产品的图像信息是二维，没有高度信息，且受限于皮带传动输送，物料运动过程中难免会有脱皮，掉渣附着在滚轮上，按照常规的特征工程方法，提取图像中物料前景部分，难免会混入和被测物特征及其相似的前景噪声，因此，如果有算法能计算图片中各个前景的高度信息，那么就能保持图像预处理流程的准确性和一致性，最终保持分拣机器人在实际运行过程中的稳定性。

6、现有技术基于机器视觉测量深度的方法主要包括：

7、1、双目视觉法：通过两个摄像头拍摄同一场景，利用视差来计算深度。缺点是需要精确的摄像头标定和匹配，对光照和纹理敏感，对场景中透明物体和反射物体的深度计算效果较差。且需要增加相机，变相增加成本。

8、2、结构光法：通过投射光栅或条纹等结构光模式，利用相机拍摄的图像来计算深度。缺点是对光照和反射物体敏感，对场景中透明物体的深度计算效果较差。

9、3、时间飞行法：通过激光或led等光源发射短脉冲光，利用相机拍摄的反射光来计算深度。缺点是对光照和反射物体敏感，且需要额外增加元器件，在工业中落地困难。

10、4、立体匹配法：通过多个相机拍摄同一场景，利用立体匹配算法来计算深度。缺点是需要精确的相机标定和匹配，对光照和纹理敏感，对场景中透明物体和反射物体的深度计算效果较差，成本较双目视觉法更高。

技术实现思路

1、1.发明要解决的技术问题

2、鉴于目前在机器人分拣过程中，当分拣机器人长时间生产时，光电箱图像采集关键区域时，容易产生与前景高度相似的脏污，导致分拣效果和产量下降问题，本发明提供了一种机器人分拣过程中识别图像前景噪声方法，将前景噪声识别并去除，提高了图像预处理流程的准确性和一致性，最终保持分拣机器人在实际运行过程中的稳定性。

3、2.技术方案

4、为达到上述目的，本发明提供的技术方案为：

5、本发明的一种机器人分拣过程中识别图像前景噪声方法，其步骤为，

6、步骤一、在机器人分拣过程中，获取机器视觉技术拍摄的原始图像；

7、步骤二、对图像进行分割预处理，将分割预处理后的图像进行图像分割，获取图像的前景和背景；

8、步骤三、对前景部分进行crf建模，建模过程中，将前景噪声的空间相关性考虑在内；

9、步骤四、利用最大似然估计对crf模型进行学习，获得crf模型的参数，对crf模型进行调整；

10、步骤五、利用步骤四获得的crf模型估算实际图像的前景噪声，根据识别结果对crf模型进行校准；

11、步骤六、利用步骤五获得的校准后的crf模型对采集的图像进行预测并设定阈值，判定图像是否存在噪声并剔除噪声，生成更精确的前景图像。

12、更进一步地，所述的步骤一中，采集多种图像，分别为：空白的没有被测物的图像、有被测物但没有前景噪声的图像、无被测物但有前景噪声的图像、有被测物且有前景噪声的图像。

13、更进一步地，所述的步骤二中，对图像进行分割预处理，对每个采集到的图像，按照图中实际场景到摄像头的距离，划分为远距离场景和近距离场景，分别建立前景和后景的距离掩膜图，再利用图像分割算法将图像分割成前景和背景两部分。

14、更进一步地，所述步骤二中，获得前景和背景的阈值分割图，将前景和背景的阈值分割图和距离掩膜图分别合并为新的待建模的前景和后景图像。

15、更进一步地，所述步骤三中，将前景噪声的概率分布表示为crf模型的概率分布如式(1)

16、p(y|x)＝1/z*exp(-e(y，x))           (1)

17、其中，y为前景噪声的标签，x为前景部分的像素值，z为归一化因子，e(y，x)为能量函数，表示前景噪声标签和像素值之间的关系。

18、更进一步地，所述步骤三中，对前景进行crf建模时，考虑前景噪声的空间相关性，即将前景部分的每个像素表示为一个节点，将相邻像素之间的关系表示为边，并将时间维度也考虑在内，将相邻帧之间的关系表示为边，从而进行crf建模。

19、更进一步地，所述的能量函数e(y，x)由式(2)计算

20、

21、其中，i和j表示单个像素和其相邻的像素，k表示像素点离相机距离，是单个像素的能量函数，表示像素值和前景噪声标签之间的关系；是相邻像素之间的能量函数，表示相邻像素之间的关系；像素所处的区域位置的能量函数，表示像素点位置与离相机距离之间的关系。

22、更进一步地，所述的步骤四中，使用训练数据集来估计crf模型的参数，使得模型的似然函数最大化，使用梯度下降等优化算法来求解最大似然估计。

23、更进一步地，所述的步骤五中，利用学习到的crf模型来估算前景噪声，对于每个像素，计算其前景噪声的概率分布，结合查询高度位置，选择概率最大的标签作为前景噪声的估计值，并对crf模型进行校准。

24、更进一步地，所述的步骤六中，将新采集的图像经过图像分割后输入到模型进行运算，设定概率阈值为0.8，保留概率阈值为0.8以上的部分生成掩膜矩阵，将原始图像按掩膜矩阵提取即可得到过滤完相似特征的前景图像。

25、3.有益效果

26、采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：

27、鉴于目前在机器人分拣过程中，当分拣机器人长时间生产时，光电箱图像采集关键区域时，容易产生与前景高度相似的脏污，导致分拣效果和产量下降问题，本发明的一种机器人分拣过程中识别图像前景噪声方法，基于连续条件随机场(crf)，能够更准确地估算前景噪声并去除，且无需大量的训练数据和特征工程，即可在分拣机分拣不同的物料图像处理任务中使用，实现减少分拣机器人长时间加工导致分拣效果下降的概率，提高产品稳定性。本发明使用机器学习中的crf算法替代深度学习中的目标分割算法，牺牲部分精度，用定性检测方法替代定量运算，降低算力需求，提升实时性，降低算法落地难度。在不借助增加相机或使用深度相机替代现有相机的情况下，完成了图像识别精度的提高，从而节约了机器成本，避免机械和光路设计改动，提升产品迭代速度。