双目视觉引导方法、系统及可读存储介质与流程

本发明涉及人工智能，特别是指一种双目视觉引导方法、系统及可读存储介质。

背景技术：

1、工业经济的迅速发展，对工业的自动化和智能化提出了更高的要求。视觉引导技术是一种机器人和机器视觉相结合的技术，通过视觉系统拍摄物体照片并计算出物体的位姿信息，引导机器人自动的完成物体抓取或者装配任务，是提高工业场景自动化、智能化水平的关键技术，对推动工业的降本增效和转型具有非常重要的意义。但是，目前的视觉引导算法具有计算密集型的特点，算法复杂度高，因此对算力要求较高，功耗较大。

2、为了满足算力的要求，现有视觉引导系统一般部署在基于传统的冯诺依曼计算架构的边缘或者云端设备上，如中控机。基于边缘或者云端处理设备进行视觉引导的方式存在成本高，信号传输速度慢等问题，导致视觉引导效率较低。

技术实现思路

1、本发明的目的是提供一种双目视觉引导方法、系统及可读存储介质，解决了现有的视觉引导方法效率较低的问题。

2、为达到上述目的，本发明的实施例提供一种双目视觉引导方法，所述方法包括：

3、使用双目相机采集目标对象的图像信息，所述双目相机的标定参数存储在存算一体芯片；

4、通过存算一体芯片对所述图像信息进行分析，确定所述目标对象的位置信息；

5、根据所述位置信息控制机器人对所述目标对象进行预设操作。

6、可选的，所述标定参数包括标定的内参数和标定的外参数，所述使用双目相机采集目标对象的图像信息之前，所述方法还包括：

7、对所述双目相机进行内参数标定和外参数标定；

8、根据所述双目相机标定的内参数和外参数，采用最小二乘算法计算第一矩阵；

9、将所述第一矩阵部署到存算一体芯片的存储器阵列中。

10、可选的，所述通过存算一体芯片对所述图像信息进行分析，确定所述目标对象的位置信息，包括：

11、基于存算一体芯片的存储器交叉阵列算法，根据所述图像信息确定所述目标对象在相机坐标系的第一位置；

12、根据所述第一位置确定所述目标对象在机器人坐标系的第二位置。

13、可选的，所述基于存算一体芯片的存储器交叉阵列算法，根据所述图像信息确定所述目标对象在相机坐标系的第一位置，包括：

14、提取所述图像信息的特征点特征；

15、基于存算一体芯片的存储器交叉阵列算法，将所述图像信息的特征点特征与模板图像的特征点特征进行匹配，确定所述目标对象的定位点；

16、根据所述定位点和所述双目相机的标定参数，确定所述定位点在相机坐标系下的第一位置。

17、可选的，所述方法还包括：

18、采集所述目标对象的模板图像；

19、提取所述模板图像的特征点特征，并将所述模板图像的特征点特征部署到存算一体芯片的存储器阵列中。

20、可选的，所述基于存算一体芯片的存储器交叉阵列算法，将所述图像信息的特征点特征与模板图像的特征点特征进行匹配，确定所述目标对象的定位点，包括：

21、基于存算一体芯片的存储器交叉阵列算法，计算所述图像信息的特征点特征与所述模板图像的特征点特征之间的相似度；

22、在所述相似度大于第一阈值的情况下，确定所述图像信息的特征点与所述模板图像的特征点匹配成功，匹配成功的特征点形成匹配点集合；

23、确定所述匹配点集合中的中心点作为所述目标对象的定位点。

24、可选的，所述根据所述定位点和所述双目相机的标定参数，确定所述定位点在相机坐标系下的第一位置，包括：

25、计算所述定位点在相机坐标系下的深度信息；

26、根据所述深度信息，采用最小二乘算法计算所述定位点在相机坐标系下的第一位置。

27、可选的，所述根据所述第一位置确定所述目标对象在机器人坐标系的第二位置，包括：

28、基于存算一体芯片中存储的手眼标定的参数，将所述第一位置转换为所述定位点在机器人坐标系下的第二位置；

29、所述根据所述位置信息控制机器人对所述目标对象进行预设操作，包括：

30、根据所述第二位置控制机器人对所述目标对象进行预设操作。

31、可选的，所述手眼标定的参数包括：相机坐标系与机器人坐标系之间的转换关系矩阵；

32、所述使用双目相机采集目标对象的图像信息之前，所述方法还包括：

33、对机器人与所述双目相机之间的关系进行手眼标定，获取相机坐标系与机器人坐标系之间的转换关系矩阵；

34、将所述转换关系矩阵部署到存算一体芯片的存储器阵列中。

35、为达到上述目的，本发明的实施例提供一种双目视觉引导系统，包括：

36、双目视觉采集模块，用于使用双目相机采集目标对象的图像信息，所述双目相机的标定参数存储在存算一体芯片；

37、信号处理模块，用于通过存算一体芯片对所述图像信息进行分析，确定所述目标对象的位置信息；根据所述位置信息控制机器人对所述目标对象进行预设操作。

38、为达到上述目的，本发明的实施例提供一种双目视觉引导系统，包括处理器和收发器；

39、所述处理器用于：使用双目相机采集目标对象的图像信息，所述双目相机的标定参数存储在存算一体芯片；

40、通过存算一体芯片对所述图像信息进行分析，确定所述目标对象的位置信息；

41、根据所述位置信息控制机器人对所述目标对象进行预设操作。

42、为达到上述目的，本发明的实施例提供一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现上述的双目视觉引导方法的步骤。

43、本发明的上述技术方案的有益效果如下：

44、本申请的实施例，采用预先标定的双目相机采集目标对象的图像信息；基于存算一体对采集到的图像信息进行分析，实现目标对象的定位，并引导机器人进行任务操作。该实施例将视觉引导算法部署并应用在基于存算一体技术的计算架构中，在实现更加快速、高效计算的同时，大幅减少传统架构实现同量级计算所带来的能源损耗，提升视觉引导场景的智能化，实现降本增效。

技术特征：

1.一种双目视觉引导方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述标定参数包括标定的内参数和标定的外参数，所述使用双目相机采集目标对象的图像信息之前，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述通过存算一体芯片对所述图像信息进行分析，确定所述目标对象的位置信息，包括：

4.根据权利要求3所述的方法，其特征在于，所述基于存算一体芯片的存储器交叉阵列算法，根据所述图像信息确定所述目标对象在相机坐标系的第一位置，包括：

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

6.根据权利要求4所述的方法，其特征在于，所述基于存算一体芯片的存储器交叉阵列算法，将所述图像信息的特征点特征与模板图像的特征点特征进行匹配，确定所述目标对象的定位点，包括：

7.根据权利要求4所述的方法，其特征在于，所述根据所述定位点和所述双目相机的标定参数，确定所述定位点在相机坐标系下的第一位置，包括：

8.根据权利要求4所述的方法，其特征在于，所述根据所述第一位置确定所述目标对象在机器人坐标系的第二位置，包括：

9.根据权利要求8所述的方法，其特征在于，所述手眼标定的参数包括：相机坐标系与机器人坐标系之间的转换关系矩阵；

10.一种双目视觉引导系统，其特征在于，包括：

11.一种双目视觉引导系统，其特征在于，包括处理器和收发器；

12.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1-9任一项所述的双目视觉引导方法的步骤。

技术总结
本发明提供一种双目视觉引导方法、系统及可读存储介质。所述方法包括：使用双目相机采集目标对象的图像信息，所述双目相机的标定参数存储在存算一体芯片；通过存算一体芯片对所述图像信息进行分析，确定所述目标对象的位置信息；根据所述位置信息控制机器人对所述目标对象进行预设操作。本申请的实施例将视觉引导算法部署并应用在基于存算一体技术的计算架构中，在实现更加快速、高效计算的同时，大幅减少传统架构实现同量级计算所带来的能源损耗，提升视觉引导场景的智能化，实现降本增效。

技术研发人员：游树娟,徐青青,温雅,李小涛
受保护的技术使用者：中国移动通信有限公司研究院
技术研发日：
技术公布日：2024/1/15