一种基于FPGA的水果成熟度检测柔性机械臂系统

本发明涉及柔性触觉感知及水果成熟度检测，具体涉及一种基于fpga的水果成熟度检测柔性机械臂系统。

背景技术：

1、目前传统的水果成熟度检测技术主要是依靠经验判断或借助糖度检测分析仪、酸度检测分析仪、硬度计等工具来检测判断水果的外观、可溶性糖含量、酸度、硬度或可溶性固溶物等指标，据此依据相关标准判定水果的成熟度等级。根据这些标准，水果成熟度评估是一个费力且耗时的过程，无法进行大规模的实时检测，且通过破坏性检测的水果不能食用或出售。机器学习和各种无损检测方法已被用于预测和分类水果的新鲜度，虽然这些技术可以准确评估水果的成熟度，但往往需要高测量环境、复杂的设备、海量的数据和大量的加工，使得应用于水果成熟度的自动检测和智能分级具有挑战性。

2、机械臂系统的基本组件是触觉传感器，它使机械臂能够精确、速、安全地与环境进行交互。然而，触觉传感的应用和发展受到现有传感器的刚性、弯曲困难和高坚固性的制约，这些传感器通常由硅或其他刚性半导体材料制成。刚性传感器，特别是用于农业应用的传感器，很难适应水果复杂弯曲的表面，并且容易损坏柔软细腻的水果。由于神经网络算法的计算量大，通用处理器不再适合计算密集型的任务。而fpga擅长做矩阵运算，并且符合神经网络的并行思想，尤其以卷积神经网络为代表的算法模型。

技术实现思路

1、针对上述存在的技术不足，本发明提供的一种基于fpga的水果成熟度检测柔性机械臂系统，其大大提高了水果成熟度的检测速度，有效解决果实损失问题。

2、为解决上述技术问题，本发明采用如下技术方案：一种基于fpga的水果成熟度检测柔性机械臂系统，该系统包括柔性触觉感知机械臂模块、数据预处理模块、基于fpga的水果成熟度检测分类模块；

3、所述柔性触觉感知机械臂模块包含六自由度协同机械臂模块、柔性夹持器模块、控制中心模块和柔性触觉传感单元模块；所述六自由度协同机械臂模块作为智能机械臂系统的支撑部分和整体框架，主要用于完成水果的分级动作，所述柔性夹持器模块用于夹持和释放水果；所述控制中心模块用于控制柔性夹持器的夹持运动、机械臂的分级运动和水果的夹持力，所述柔性触觉传感单元用于当柔性夹持器夹持水果时，实时感知水果的硬度；所述控制中心模块包含控制单元和监视单元，所述控制单元通过信息传输层传输的信息，指挥机械臂的运动以及夹持器对水果的夹取和释放，所述监控单元持续跟踪机械臂的角度位置和姿态，以便智能控制其运行并发出故障报警；

4、所述数据预处理模块包含主成分分析模块和k-means聚类算法模块，所述主成分分析模块用于降低原始数据维数，所述k-means聚类算法模块用于对主成分分析模块降维后的硬度数据集进行聚类，增加触觉感知捕获数据的有效特征，提高多类型目标的分类精度；

5、所述基于fpga的水果成熟度检测分类模块主要包含片上缓存模块、dma模块、resnet10模型加速器模块、ddr外部存储模块、axi总线模块、arm处理器模块；所述resnet10模型加速器模块包含卷积层、池化层、批量归一化层、残差网络模型层和dropout层，用于输出目标分类，得出不同阶段水果的成熟度，并将数据反馈到控制单元，控制单元根据反馈数据执行命令，指挥机械臂的运动。

6、所述六自由度协同机械臂选用软硅胶制成。所述柔性夹持器是四个柔性手指夹取的，并且由气动阀来操作，使其在抓取的同时附着在水果表面，实现对水果的无损抓取；所述夹持器的感知和执行层主要由数字舵机控制，动力传递是通过舵机和机械钳的啮合实现的，具有响应速度快、控制性强、精度高、扭矩大等优点。所述柔性手指的每个内表面都附有一个柔性触觉传感器，四个柔性手指形成一个四传感器的三维排列，可以均匀地测量水果四个位置的硬度。

7、所述柔性触觉传感器选用压阻式柔性薄膜传感器，具有近距离测量、结构简单、测量范围宽、成本低等优点。所述柔性传感器通用特性可以完全接触感知水果，并提供更准确的测量数据。所述柔性触觉传感单元通过柔性触觉传感器测量水果的硬度，在抓取水果时，感知果实在不同成熟阶段的硬度，将压力反馈给信息传输层。根据信息传输层的信息，机器学习分类器对不同成熟阶段的水果进行分类。

8、所述控制中心主要根据信息传递层的信息实现控制和执行层，实现机械手的抓取和释放。信息传递层对机械手进行终端控制，可实时控制机械手状态，进行智能控制、故障报警等。柔性传感单元通过执行层中的传感器接收机械手抓取的水果压力信息，得到不同成熟度等级的压力值。

9、所述硬度和成熟度之间的映射关系可以预测和评估水果的成熟度。

10、所述压力值与电压的线性关系可以实现电压与所测压力的对应关系。

11、所述夹持器结构设计采用仿生指型和咬合型的混合，两者的混合保证了夹紧的稳定性，可以更可靠地测量水果某一点的硬度值。

12、所述柔性传感器通过双面胶带固定在机械手的黑色爪形橡胶上，便于更换不同尺寸和类别的传感器和清洁机械手。

13、所述系统的应用场景多在分拣线、定位包装生产线或成熟度配送中心进行成熟度分级，而不是户外水果采摘。所述系统进行测试和评估使用的是不同成熟度的水果，并收集不同成熟度的水果硬度数据，利用硬度数据训练基于resnet10的分类器，正确识别果实的成熟度。

14、所述基于fpga的水果成熟度检测分类模块完成柔性压力传感器对传感执行层的传感，并将传感层的传感信息传输到信息传输层。所述fpga控制元件集成了多个传感器，可实同时测量多个水果点的硬度值。

15、所述片上缓存模块为resnet10模型加速器模块运算过程中产生的中间变量提供缓存空间，同时使得resnet10模型加速器模块中的多个模块分别在不同的缓存模块下工作，可以保证各个模块在运行的过程中产生的数据互不干扰，同时避免了resnet10模型加速器模块频繁的访问ddr外部存储模块，提升了数据访问的速度，实现了进一步的加速。

16、所述dma模块接收arm处理器模块经由axi总线发出的指令。

17、所述resnet10模型加速器模块包含卷积层、池化层、批量归一化层、残差网络模型和dropout层。所述批量归一化层的主要功能是标准化数据，提高训练网络的泛化能力，避免奇异数据对模型的影响等优点；所述池化层是分类器的重要组成部分，其可以减小卷积神经网络模型的规模，提高模型计算速度，提高特征提取的鲁棒性其工作方法是逐渐减小表示的空间大小。由于输入的触觉地图数据需要快速降维，因此本发明设计了最大的池化层来减小触觉地图的大小；所述残差网络模型由许多叠加的残差(resnet)块组成。与传统的神经网络相比，残差网络多了一个直接通道，可以跳过中间层，直接达到输出前的状态，所述两个resnet块之间增加了一个dropout层，以防止训练效果好但测试效果差的问题，即过拟合的问题。

18、所述axi总线模块是一种高性能、高带宽、低延迟的片内总线，分为axi4-lite、axi4、axi4-stream三种接口协议，arm处理器通过axi4-lite总线对dma模块、resnet10模型加速器模块和片上缓存模块进行控制，水果硬度数据通过axi-stream总线由dma模块送入至ddr外部存储模块中。

19、所述arm处理器模块是整体方法运行的控制模块，其内部由一个状态机控制。

20、本发明的有益效果在于：

21、1、柔性传感器的低杨氏模量使其能够适应软质材料和复杂环境，并且在非破坏性弯曲水果抓取方面具有显着优势。通过将柔性传感技术集成到农产品质量控制领域，可以提高农产品的质量和安全。特别是在水果质量检测领域，柔性传感器的应用可以显著降低水果的损失率，保证食品质量安全。

22、2、最常见的分类技术是基于机器视觉和人工成熟度分类。机器视觉技术要求高光环境，由于日光、距离等因素的变化，分类效果不稳定。人工分级的弊端更为明显，不仅会因个人差异、工作时间、疲劳而改变分级标准。本发明基于水果硬度数据，该数据由灵活的传感单元在机械手抓取过程中感知到。因此，日光和距离对系统的运行没有影响。此外，本发明还具有高效率、高精度、高稳定性等优点，与机器视觉和人工分级相比，它更适合应用于水果分级线。

23、3、通过k-means聚类方法处理了32×32个触觉地图数据，并将其输入到resnet10模型中，提高了目标分类效果。其次，fpga的资源丰富，内部的逻辑单元、乘法器和ram的各种组合可以高效地实现多种复杂算法。fpga作为一种硬件设备，不同于冯·诺依曼cpu架构，无需取指和译码，可以并行化实现算法。gpu同属于冯·诺依曼架构，但gpu的功耗高于fpga。并且fpga具有并行计算、低功耗和可重配置等特点，在部署卷积深度学习算法方面具有极大的优势。