一种基于大模型动作解析和自动编程的3C装配免编程方法

本发明属于智能装配领域。

背景技术：

1、随着信息技术的高速发展，人们对计算机类、通信类和消费类电子产品(3c产品)的需求不断增加。现有的3c装配中刚性零件的智能装配已经基本实现，柔性可变形零件尤其是可变线性物体(dlo)的装配还只能依靠人工装配，也无法实现不同产线的切换和迁移。

2、在3c装配行业中仍需要通过构建智能化柔性装配生产线来解决柔性装配出现的物料异性且易变形、装配工艺复杂等难题，提高装配精度和效率，实现智能化生产的需求，突破传统手工装配的局限，适应智能化装配的高速发展。

3、技能学习与发育是机器人实现精准控制与精细操作的重要手段，知识表达是技能学习的核心要素。当前面向装配场景的知识表达缺乏精准性和有效性，且机器人在智能装配的任务理解、动作控制、记忆、和拓展的新技能与任务等方面仍存在巨大挑战。

4、首先，需要依赖大量的技能知识(几何、物理、功能、工艺、数据等)来支持智能化装配的建模、规划、仿真、控制、优化等环节。现有的知识表示系统主要基于静态知识库，对机器人操纵的物体和行为的描述不够细致和灵活。而且，系统的结构设计不合理，导致查询效率低下。可以说，目前没有专业可用的操作技能知识库，且数据采集和分析困难。

5、由于数据缺乏、环境复杂和安全风险等问题直接实施智能装配策略通常是不可行。需要构建了基于该数字孪生环境的学习训练环境和智能算法的训练与测试平台，且该框架平台需要具有与真实场景一致的物理属性，将训练好的深度强化学习策略迁移到物理机器人。但是，目前操作技能从仿真环境到真实装配环境的虚实迁移存在理解任务能力弱、环境适应性差，执行效率低下的难题。需要提高机器人理解任务并学习技能的能力，增强面对多种复杂环境的适应性，提高执行效率，降低学习成本，提升其泛化能力。

6、其次，不同于人类可天然的可以从视频、自然语言中学习，提高语言指令来完成任务。机器人无法把语言和视觉观察联系起来，并实现细粒的理解学习。精准有效的知识表达方法不仅有助于提升机器人面对复杂装配任务的操作精准性以及记忆之前经验，还易于机器人实现对底层硬件的自动化编程。

7、因此，如何拆分不同的知识表示层，便于机器人理解任务并进行技能学习，如何让机器人可以理解语言指令并且做出正确的学习和模仿，都是对于机器人来说仍然是一个不小的挑战。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本发明的目的在于提出一种基于大模型动作解析和自动编程的3c装配免编程方法，用于提高装配系统的智能水平。

3、为达上述目的，本发明第一方面实施例提出了一种基于大模型动作解析和自动编程的3c装配免编程方法，包括：

4、构建智能化装配产线，基于所述智能化装配产线，构建多模态虚拟环境；在多模态虚拟环境中，建立包含视觉、触觉、深度的感知模型，实现对多模态示教视频数据的采集；

5、对所述多模态示教视频数据进行动作解析，得到动作序列集合；

6、构建基础任务学习模型，将所述动作序列集合输入所述基础任务学习模型进行训练，得到任务学习模型；

7、将所述任务学习模型的输入和输出的结果定义为执行序列，根据所述执行序列实现所学技能策略从所述多模态虚拟环境到真实环境的迁移。

8、另外，根据本发明上述实施例的一种基于大模型动作解析和自动编程的3c装配免编程方法还可以具有以下附加的技术特征：

9、进一步地，在本发明的一个实施例中，所述智能化装配产线，包括：

10、循环产线协同装配控制单元、循环导轨控制单元、3c柔性手机载具台上下料装配单元、3c柔性手机软排线的智能装配单元、3c柔性手机前置摄像头的智能装配单元、3c柔性手机sim卡槽的智能装配单元、3c柔性手机同轴缆的智能装配单元。

11、进一步地，在本发明的一个实施例中，所述对所述多模态示教视频数据进行动作解析，包括：

12、将所述多模态示教视频数据分割成单独的帧，将相邻的帧配对，创建成一系列的帧组合；

13、通过多模态信息问答交互对所述帧组合进行分析；

14、根据所述分析的结果在预先定义好的动作技能库中挑选合适的动作进行匹配构建一个连贯的动作序列。

15、进一步地，在本发明的一个实施例中，所述构建基础任务学习模型，将所述动作序列集合输入所述基础任务学习模型进行训练，包括：

16、使用sac算法对所述动作序列进行学习，优化目标函数如下式所示：

17、

18、基于允许的距离误差来作为任务是否成功完成的评价指标，评价指标可表示为：

19、s＝г((xt-x*)≤δe)，

20、其中г是一个指示函数，用于评估目标位置和当前位置之间的距离差是否在误差允许的范围内；

21、在策略优化过程中，采用课程学习机制，并根据以下式来调整允许的距离误差：

22、

23、其中，i表示课程学习迭代的最大步数，其由任务执行的成功率确定，δ0是初始训练阶段允许的距离误差，δn是最终训练阶段允许的最小距离误差，一旦迭代训练步数超过i，将保持允许的距离误差δe为δn不变。

24、进一步地，在本发明的一个实施例中，所述将所述任务学习模型的输入和输出的结果定义为执行序列，根据所述执行序列实现所学技能策略从所述多模态虚拟环境到真实环境的迁移，包括：

25、对所述执行序列的每一个函数进行函数体的生成，使用gpt-4，采用解释说明的方式提供prompt，最后通过自然语言的描述生成可执行的函数体。

26、为达上述目的，本发明第二方面实施例提出了一种基于大模型动作解析和自动编程的3c装配免编程装置，包括以下模块：

27、采集模块，用于构建智能化装配产线，基于所述智能化装配产线，构建多模态虚拟环境；在多模态虚拟环境中，建立包含视觉、触觉、深度的感知模型，实现对多模态示教视频数据的采集；

28、解析模块，用于对所述多模态示教视频数据进行动作解析，得到动作序列集合；

29、训练模块，用于构建基础任务学习模型，将所述动作序列集合输入所述基础任务学习模型进行训练，得到任务学习模型；

30、迁移模块，用于将所述任务学习模型的输入和输出的结果定义为执行序列，根据所述执行序列实现所学技能策略从所述多模态虚拟环境到真实环境的迁移。

31、进一步地，在本发明的一个实施例中，所述解析模块，还用于：

32、将所述多模态示教视频数据分割成单独的帧，将相邻的帧配对，创建成一系列的帧组合；

33、通过多模态信息问答交互对所述帧组合进行分析；

34、根据所述分析的结果在预先定义好的动作技能库中挑选合适的动作进行匹配构建一个连贯的动作序列。

35、进一步地，在本发明的一个实施例中，所述迁移模块，还用于：

36、对所述执行序列的每一个函数进行函数体的生成，使用gpt-4，采用解释说明的方式提供prompt，最后通过自然语言的描述生成可执行的函数体。

37、为达上述目的，本发明第三方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的一种基于大模型动作解析和自动编程的3c装配免编程方法。

38、为达上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的一种基于大模型动作解析和自动编程的3c装配免编程方法。

39、本发明实施例提出的基于大模型动作解析和自动编程的3c装配免编程方法，构建了智能化柔性装配生产线与复杂操作技能知识库系统的基础上，利用具有物理属性的虚拟环境训练机器人学习并理解知识经验，再通过迁移算法将知识和经验迁移到新的技能中，以应对复杂多变的未知任务。完成了对智能装配系统的构建，并且提高了系统的智能水平。