一种基于具身智能的机械臂果蔬采摘方法

本发明涉及一种基于具身智能的机械臂果蔬采摘方法，属于果蔬采摘。

背景技术：

1、随着机器人技术的发展，机械臂在果蔬采摘领域中变得越来越重要。在执行采摘任务前，需要先生成采摘任务指令并发送至机械臂。

2、现有的果蔬采摘技术依赖于手动编写任务指令，并且在复杂环境中面临采摘精度不足、操作僵化及易损坏果蔬等问题。机械臂通常使用单一传感器，难以动态调整路径和避障，操作灵活性有限。

技术实现思路

1、本发明的目的在于克服现有技术中的不足，提供一种基于具身智能的机械臂果蔬采摘方法，使机械臂能够在复杂、多变的环境中自适应调整采摘动作，从而解决现有技术中采摘精度不足、操作难度大的问题。

2、为达到上述目的，本发明是采用下述技术方案实现的：

3、第一方面，本发明提供了一种基于具身智能的机械臂果蔬采摘方法，包括：

4、获取果蔬采摘描述信息，所述果蔬采摘描述信息包括待采摘果蔬的特征描述和采摘需求；

5、根据所述果蔬采摘描述信息，采用基于大语言模型的任务指令理解模型进行分析，生成控制机械臂的控制信号；

6、根据所述控制信号，利用具身智能的果蔬智能感知模型，通过深度相机采集的图像确定果蔬类别和抓取位姿，并结合实时反馈调整采摘动作；

7、根据所述控制信号，在机械臂执行采摘任务的过程中，通过具身智能技术进行实时的环境感知，并通过智能避障神经网络模型动态调整运动轨迹以避开障碍物。

8、进一步的，所述根据所述果蔬采摘描述信息，采用基于大语言模型的任务指令理解模型进行分析，生成控制机械臂的控制信号，包括：

9、接收用户输入的自然语言描述的果蔬采摘描述信息；

10、将所述自然语言描述转化为多个词向量，并保持上下文关系；

11、利用自注意力机制识别所述描述中的重要信息；

12、基于预训练的大语言模型，结合微调过程，生成用于控制机械臂执行采摘任务的控制信号。

13、进一步的，所述果蔬智能感知模型包括transformer层，卷积神经网络层以及全连接层。

14、进一步的，所述利用具身智能的果蔬智能感知模型，通过深度相机采集的图像确定果蔬类别和抓取位姿，包括：

15、通过所述果蔬智能感知模型的transformer层对所述rgb图像和所述深度图像进行特征提取，获取所述待采摘果蔬的全局视觉特征；

16、通过所述果蔬智能感知模型的卷积神经网络层对所述rgb图像和所述深度图像进行特征提取，获取所述待采摘果蔬的局部视觉特征；

17、根据所述全局视觉特征和所述局部视觉特征，通过所述果蔬智能感知模型的全连接层确定所述采摘果蔬的类别和所述抓取位姿。

18、进一步的，所述通过具身智能技术进行实时的环境感知，并通过智能避障神经网络模型动态调整运动轨迹以避开障碍物，包括：

19、控制预先设置在机械臂周围的多个深度相机，对所述机械臂的活动空间进行不同角度的扫描，获取所述机械臂周围的不通角度物理环境的体素数据；

20、通过多模态传感器数据融合，将视觉传感器、深度传感器、力觉传感器从不同纬度采集到的信息协同处理，与所述机械臂周围的不同角度物理环境的体素数据进行融合处理，输入到具身智能感知模型中进行三维空间的特征提取，将这些多模态特征通过加权机制进行融合，最终得到综合感知结果以及三维空间结构；

21、基于得到的综合感知结果以及三维空间结构，通过智能避障神经网络模型动态调整运动轨迹以避开障碍物。

22、进一步的，所述智能避障神经网络模型的架构包括三维卷积层、transformer层、力觉传感器信息处理层、多模态特征融合层以及全连接层，用于动态感知和重建机械臂周围的三维物理环境，并结合力觉传感器反馈，实时调整机械臂的运动路径和抓取力度。

23、第二方面，本发明提供一种基于具身智能的机械臂果蔬采摘装置，包括：

24、接收模块，用于获取果蔬采摘描述信息，所述果蔬采摘描述信息包括待采摘果蔬的特征描述和采摘需求；

25、处理模块，用于根据所述果蔬采摘描述信息，采用基于大语言模型的任务指令理解模型进行分析，生成控制机械臂的控制信号；

26、感知模块，用于根据所述控制信号，利用具身智能的果蔬智能感知模型，通过深度相机采集的图像确定果蔬类别和抓取位姿，并结合实时反馈调整采摘动作；

27、执行模块，用于根据所述控制信号，在机械臂执行采摘任务的过程中，通过具身智能技术进行实时的环境感知，并通过智能避障神经网络模型动态调整运动轨迹以避开障碍物。

28、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述中任一项所述方法的步骤。

29、第四方面，本发明提供一种计算机设备，包括：

30、存储器，用于存储计算机程序/指令；

31、处理器，用于执行所述计算机程序/指令以实现前述中任一项所述方法的步骤。

32、第五方面，本发明提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现前述中任一项所述方法的步骤。

33、与现有技术相比，本发明所达到的有益效果：

34、本发明提供一种基于具身智能的机械臂果蔬采摘方法，通过具身智能技术通为机械臂提供实时环境感知，确保在复杂环境中动态调整采摘动作。同时，它允许基于力反馈灵活调整抓取力，避免损坏果蔬。具身智能还结合强化学习，使机械臂能够持续优化采摘策略，提高采摘效率与精度，降低操作难度；具身智能的优势大大提升了机械臂的环境适应性、操作灵活性和采摘效率，解决了传统采摘技术中的局限性。

技术特征：

1.一种基于具身智能的机械臂果蔬采摘方法，其特征在于，包括：

2.根据权利要求1所述的基于具身智能的机械臂果蔬采摘方法，其特征在于，所述根据所述果蔬采摘描述信息，采用基于大语言模型的任务指令理解模型进行分析，生成控制机械臂的控制信号，包括：

3.根据权利要求1所述的基于具身智能的机械臂果蔬采摘方法，其特征在于，所述果蔬智能感知模型包括transformer层，卷积神经网络层以及全连接层。

4.根据权利要求3所述的基于具身智能的机械臂果蔬采摘方法，其特征在于，所述利用具身智能的果蔬智能感知模型，通过深度相机采集的图像确定果蔬类别和抓取位姿，包括：

5.根据权利要求1所述的基于具身智能的机械臂果蔬采摘方法，其特征在于，所述通过具身智能技术进行实时的环境感知，并通过智能避障神经网络模型动态调整运动轨迹以避开障碍物，包括：

6.根据权利要求5所述的基于具身智能的机械臂果蔬采摘方法，其特征在于，所述智能避障神经网络模型的架构包括三维卷积层、transformer层、力觉传感器信息处理层、多模态特征融合层以及全连接层，用于动态感知和重建机械臂周围的三维物理环境，并结合力觉传感器反馈，实时调整机械臂的运动路径和抓取力度。

7.一种基于具身智能的机械臂果蔬采摘装置，其特征在于，包括：

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。

9.一种计算机设备，其特征在于，包括：

10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-6中任一项所述方法的步骤。

技术总结
本发明公开了一种基于具身智能的机械臂果蔬采摘方法，属于果蔬采摘技术领域，所述方法包括获取果蔬采摘描述信息；根据所述果蔬采摘描述信息，采用基于大语言模型的任务指令理解模型进行分析，生成控制机械臂的控制信号；根据所述控制信号，利用具身智能的果蔬智能感知模型，通过深度相机采集的图像确定果蔬类别和抓取位姿，并结合实时反馈调整采摘动作；根据所述控制信号，在机械臂执行采摘任务的过程中，通过具身智能技术进行实时的环境感知，并通过智能避障神经网络模型动态调整运动轨迹以避开障碍物，本发明提供的果蔬采摘方法无需用户手动编写采摘指令代码，显著降低了机械臂的操作复杂度，并提升了采摘任务的准确性和效率。

技术研发人员：刘坤,黄程菲,吉宏亚,耿亮
受保护的技术使用者：南京工程学院
技术研发日：
技术公布日：2025/1/6