基于深度学习的粮库清理机器人视觉识别平台及方法

本发明涉及机器人视觉识别，具体涉及基于深度学习的粮库清理机器人视觉识别平台及方法。

背景技术：

1、基于深度学习的粮库清理机器人视觉识别技术指的是利用深度学习算法，尤其是卷积神经网络(cnn)等深度学习模型，对粮库环境中的图像或视频数据进行分析和处理，从而识别和分类不同的物体、障碍物或环境特征。在粮库清理机器人的应用中，这种视觉识别技术可以帮助机器人识别粮堆中的杂物、漏掉的粮粒、损坏的设备或不规则的堆放方式等问题，进而进行精确的清理和维护操作。深度学习模型通过不断从大量的标注图像中学习，能够自动从环境中提取有用的特征，进行物体检测、分类和定位，从而在复杂的粮库环境中实现自动化、高效的清理工作。这种技术不仅提升了机器人在实际操作中的准确性和可靠性，还降低了人工干预的需求，提高了工作效率和安全性。

2、玻璃碎片难以被深度学习模型识别，主要原因在于其透明或半透明的特性导致在视觉上缺乏显著的纹理和颜色特征，与背景环境(如粮堆或地面)容易融为一体。此外，玻璃碎片的形态多样，可能呈现出不规则的形状和反光特性，这种高反射性在不同光照条件下会产生强烈的光斑或伪影，进一步干扰模型的特征提取和分类能力。这些特性使得模型在训练时难以捕捉玻璃碎片的稳定特征，从而降低了识别的准确性和鲁棒性，未能及时清理的玻璃碎片可能对粮食加工设备造成严重损害，甚至引发安全事故，如设备刃口磨损、传输带刺破或粮食品质污染，带来不可忽视的经济和安全风险。因此，如何在粮库环境高效地识别其内的玻璃碎片是目前亟需解决的问题。

3、在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明的目的是提供基于深度学习的粮库清理机器人视觉识别平台及方法，通过全面图像采集和特征提取，确保深度学习模型输入的准确性，利用预训练模型对玻璃碎片进行初步识别和隐患预测，针对隐患区域，采用自适应边缘锐化技术增强边缘特征，并进行二次识别，提高检测精度，最终，精确标记玻璃碎片区域并生成清理指令，有效减少漏检和误检，提高清理效率和准确性，降低设备损坏和食品安全风险，提升粮库运营的安全性与经济效益，以解决上述背景技术中的问题。

2、为了实现上述目的，本发明提供如下技术方案：基于深度学习的粮库清理机器人视觉识别方法，包括以下步骤：

3、通过粮库清理机器人上的视觉系统对粮库环境中的不同区域进行全面图像采集；

4、将图像划分为若干个子区域，对于每个子区域，从采集到的图像中提取反映潜在玻璃碎片存在的关键特征，对提取的特征进行分析，确保深度学习模型能够接收到准确的输入；

5、将分析后的特征输入到预先训练好的深度学习模型中，通过深度学习模型对粮库中的玻璃碎片进行识别，预测粮库中的玻璃碎片隐患区域和玻璃碎片区域；

6、对初步识别出的玻璃碎片隐患区域进行标记，并描绘出标记区域的边缘，为进一步精细处理提供明确的目标范围；

7、针对标记的玻璃碎片隐患区域，根据深度学习模型的预测结果，对边缘锐化强度进行自适应调节，增强玻璃碎片的边缘特征；

8、将锐化后的边缘特征重新输入深度学习模型进行二次识别，进一步提高深度学习模型对玻璃碎片的检测精度；

9、将最终识别出的玻璃碎片区域及其边界信息输出，并生成清理机器人执行的清理指令。

10、优选的，对粮库环境中的不同区域进行全面图像采集的具体步骤如下：

11、根据粮库的布局和环境特征，明确需要采集图像的区域，并制定采集策略，包括图像分辨率、采集频率和光源配置；

12、在粮库复杂的光照条件下，通过多光源系统提供均匀且稳定的光线，避免因光照不足或光线反射影响图像质量；

13、通过在机器人上安装多角度、多类型摄像头，实现对粮库环境的全方位图像采集，确保不遗漏任何细节；

14、在粮库环境中，通过动态调整摄像头和光源的采集参数，确保持续采集到高质量的图像。

15、优选的，对于每个子区域，提取反映潜在玻璃碎片存在的关键特征，其中，提取的特征包括图像中物体周围因高反光而形成的光晕、图像中反射光谱特征以及普通粮食反射光谱特征，获取后，对图像中物体周围因高反光而形成的光晕进行分析后生成光晕效应参考值，通过光晕效应参考值量化图像中因玻璃碎片高反光而在物体周围形成的光晕区域的强度和范围，突出反光物体的显著性，对图像中反射光谱特征和普通粮食反射光谱特征之间存在的差异进行分析后生成反射频谱偏移参考值，通过反射频谱偏移参考值量化图像中的反射光谱特征相对于普通粮食反射反射光谱的偏移程度，识别出光谱特性异常的物体。

16、优选的，获取到对提取的反映潜在玻璃碎片存在的关键特征进行分析生成的光晕效应参考值和反射频谱偏移参考值后，将光晕效应参考值和反射频谱偏移参考值输入到预先训练好的深度学习模型中生成玻璃碎片特征指数，通过玻璃碎片特征指数对粮库中的玻璃碎片进行识别，预测粮库中的玻璃碎片隐患区域和玻璃碎片区域。

17、优选的，对图像中物体周围因高反光而形成的光晕进行分析后生成光晕效应参考值的具体步骤如下：

18、通过光强阈值分割法在图像中检测光晕区域，设图像像素矩阵为i(x，y)，用于表示图像中的每个像素位置，其中x，y为图像的坐标，对应位置的像素强度为p(x，y)，表示图像中每个像素的亮度，定义光强阈值，当p(x，y)>th时，该像素被标记为光晕区域的一部分，形成光晕像素集φh，为了量化光晕区域的强度，计算每个光晕区域中所有光晕像素的光强累积值，计算的表达式为：

19、,

20、其中，th为光强阈值，预设用于判断光晕区域的边界，sh为光晕区域强度累积值，用于量化光晕区域的光强总量，φ(p，th)为非线性增强函数，φ(p，th)＝p(x，y)2·ln(1+|p(x，y)-th|)，用于放大光晕强度中的显著部分；

21、在完成光晕区域检测后，通过形态学处理获取光晕区域的几何特征，包括光晕区域面积和光晕区域周长，引入复合范围指数来衡量光晕范围的综合特性：

22、,

23、其中，ah为光晕区域面积，由区域内像素数表示，ch为光晕区域周长，由边界像素数量表示，κ为形状复杂度因子，形状复杂度因子的计算表达式为：

24、,

25、用于描述光晕区域形状不规则性，rc为复合范围指数，用于表征光晕区域的范围特性；

26、在获取光晕区域强度累积值sh和表征光晕区域范围特性的复合范围指数rc后，综合光晕区域强度累积值sh和复合范围指数rc生成光晕效应参考值，光晕效应参考值的生成表达式为：

27、heiτ＝λ1·sh+λ2·ln(1+rc),

28、式中，heiτ为光晕效应参考值，用于综合量化光晕区域的强度和范围特性，λ1和λ2为动态权重因子，根据环境条件对强度和范围的贡献进行平衡。

29、优选的，对图像中反射光谱特征和普通粮食反射光谱特征之间存在的差异进行分析后生成反射频谱偏移参考值的具体步骤如下：

30、从图像中提取待检测区域的反射光谱特征和普通粮食的标准反射光谱特，λ为光谱波长，光谱特征差异矩阵的计算表达式为：δs(x，y，λ)＝s1-s2|，其中，

31、,

32、sdetected(x，y，λ)为待检测区域在坐标(x，y)处的实际反射光谱强度，

33、,

34、sreference(x，y，λ)普通粮食的参考反射光谱特征，作为参考基准，δs(x，y，λ)表示在各个空间坐标下的光谱差异，λmin和λmax分别为光谱波长范围的最小值和最大值，w(λ)是波长权重函数，用于强化不同类型波段的重要性；

35、在计算光谱特征差异矩阵后，为了量化光谱偏移的整体程度，生成反射频谱偏移参考值，反射频谱偏移参考值通过对所有坐标的光谱差异进行空间权重加权积分，并引入非线性放大因子来突出高差异区域的贡献，计算的表达式为：

36、,

37、式中，θshiff为反射频谱偏移参考值，量化图像中反射光谱特征相对于普通粮食反射光谱的整体偏移程度，φ(x，y)为空间权重函数，用于突出重点区域的贡献，α为非线性放大系数，控制对高光谱偏移区域的响应程度，当α>1时，高差异区域的影响将显著增加，xmin和xmax分别是图像在横向方向上积分的起点和终点，表示要分析的图像区域在x轴上的范围，ymin和ymax分别是图像在纵向方向上积分的起点和终点，表示要分析的图像区域在y轴上的范围。

38、优选的，将通过深度学习模型对粮库中的玻璃碎片进行预测时生成的玻璃碎片特征指数与预先设定的玻璃碎片特征指数参考阈值范围进行比对分析，对粮库中的玻璃碎片进行识别，识别的步骤如下：

39、若玻璃碎片特征指数小于玻璃碎片特征指数参考阈值范围的最小值，则表明该子区域不存在玻璃碎片，将该子区域划分为无玻璃碎片隐患区域；

40、若玻璃碎片特征指数处于玻璃碎片特征指数参考阈值范围之间，则表明该子区域存在玻璃碎片的隐患，将该子区域划分为玻璃碎片隐患区域；

41、若玻璃碎片特征指数大于玻璃碎片特征指数参考阈值范围的最小值，则表明该子区域存在玻璃碎片，将该子区域划分为玻璃碎片区域。

42、优选的，采用图像分割技术对标记区域的边缘进行描绘，生成精确的边缘轮廓，具体的步骤如下：

43、对初步识别出的玻璃碎片隐患区域进行标记，提取出候选区域，为边缘描绘提供基础；

44、利用图像分割技术生成候选区域内物体的精确边缘轮廓，确保玻璃碎片区域的边缘清晰可见；

45、对生成的边缘轮廓进行优化和可视化，确保轮廓信息能够准确反映玻璃碎片隐患区域，为后续精细处理提供支持；

46、在生成的初步边缘轮廓基础上，应用形态学操作对边缘进行优化，以消除分割过程中的噪声或断裂，优化后的边缘轮廓将被用作最终标记区域的精准边界，在此基础上，将优化后的边缘轮廓进行可视化处理，以清楚标示玻璃碎片的隐患区域。

47、优选的，针对标记的玻璃碎片隐患区域，根据深度学习模型的预测结果，对边缘锐化强度进行自适应调节，具体的步骤如下：

48、根据玻璃碎片特征指数和玻璃碎片特征指数参考阈值范围的最大值和最小值，计算自适应的边缘锐化调节因子，用于调整边缘锐化强度，边缘锐化调节因子的计算表达式为：

49、,

50、glassshard为玻璃碎片特征指数，thresholdmin、thresholdmax分别为玻璃碎片特征指数参考阈值范围的最小值和最大值，定义隐患和实际碎片区域的判断边界，κ'为边缘锐化调节因子，控制边缘锐化强度的动态调整，β为非线性增强因子，当β>1时，对高玻璃碎片特征指数对应区域进行更强的锐化增强；

51、利用计算出的边缘锐化调节因子，对当前的边缘锐化强度进行更新，更新后的实际边缘锐化强度的计算表达式为：

52、σnew＝σcurrent·(1+α′·κ′)

53、，式中，σcurrent为当前边缘锐化强度，表示初始的锐化水平，σnew为更新后的边缘锐化强度，反映针对具体子区域的增强效果，α'为锐化增强系数，调节边缘锐化调节因子对锐化强度变化的权重；

54、对标记的玻璃碎片隐患区域应用更新后的边缘锐化滤波器，锐化滤波的核心操作如下：

55、,

56、其中，表示原始图像的拉普拉斯算子，用于提取边缘细节，ioriginal为原始标记区域的图像，isharpened为锐化后的图像，边缘信息更为突出。

57、基于深度学习的粮库清理机器人视觉识别平台，包括图像采集模块、特征提取与分析模块、玻璃碎片识别模块、隐患区域标记与边缘描绘模块、自适应边缘锐化模块、二次识别模块以及清理指令生成模块；

58、图像采集模块，通过粮库清理机器人上的视觉系统对粮库环境中的不同区域进行全面图像采集；

59、特征提取与分析模块，将图像划分为若干个子区域，对于每个子区域，从采集到的图像中提取反映潜在玻璃碎片存在的关键特征，对提取的特征进行分析，确保深度学习模型能够接收到准确的输入；

60、玻璃碎片识别模块，将分析后的特征输入到预先训练好的深度学习模型中，通过深度学习模型对粮库中的玻璃碎片进行识别，预测粮库中的玻璃碎片隐患区域和玻璃碎片区域；

61、隐患区域标记与边缘描绘模块，对初步识别出的玻璃碎片隐患区域进行标记，并描绘出标记区域的边缘，为进一步精细处理提供明确的目标范围；

62、自适应边缘锐化模块，针对标记的玻璃碎片隐患区域，根据深度学习模型的预测结果，对边缘锐化强度进行自适应调节，增强玻璃碎片的边缘特征；

63、二次识别模块，将锐化后的边缘特征重新输入深度学习模型进行二次识别，进一步提高深度学习模型对玻璃碎片的检测精度；

64、清理指令生成模块，将最终识别出的玻璃碎片区域及其边界信息输出，并生成清理机器人执行的清理指令。

65、在上述技术方案中，本发明提供的技术效果和优点：

66、本发明通过全面的图像采集和细致的特征提取，确保深度学习模型接收到准确的输入；然后，利用预训练的机器学习模型对玻璃碎片进行初步识别和隐患区域预测，针对识别出的隐患区域，采用自适应边缘锐化技术增强玻璃碎片的边缘特征，并进行二次识别，进一步提升了模型的检测精度，最终，精确定位并标记玻璃碎片区域，生成了清理机器人执行的清理指令，不仅减少了漏检和误检的情况，确保了粮库清理的高效性和准确性，降低了玻璃碎片对粮食加工设备和食品安全的潜在风险，提升了粮库运营的安全性和经济效益。