一种基于单目相机的光伏组件位姿计算方法以及系统与流程

本发明涉及新能源，进一步的涉及一种基于单目相机的光伏组件位姿计算方法、系统以及光伏机器人。

背景技术：

1、受益于人工智能及物联网技术，通过集成海量的专家经验和不断的自学习，光伏电站已实现一定程度的智能化，如无人机巡检，机器人自动操作维护，可代替人工处理高危险、高重复性和高精度的海量运维工作，极大提高电站生产力和安全性。

2、在光伏组件安装及清扫机器人作业时，需要准确测算出当前光伏组件的姿态，包括光伏组件的位置和角度。为了计算深度，通常会使用双目相机或者激光设备，成本较高，且双目相机测距对户外光线和环境敏感，由于特征单调容易造成深度缺失等问题。

技术实现思路

1、为了解决上述技术问题，本发明提供一种基于单目相机的光伏组件位姿计算方法、系统以及光伏机器人，降低了计算光伏组件位姿的成本。

2、具体的，本发明的技术方案如下：

3、一种基于单目相机的光伏组件位姿计算方法，其特征在于，包括步骤：

4、获取所述光伏组件平面的四个角点坐标、所述光伏组件的尺度信息、所述相机拍摄所述光伏组件图片中的四个角点坐标以及所述光伏组件图片在所述相机的内参矩阵，其中，所述相机拍摄所述光伏组件图片中的四个角点坐标为所述相机平面的像素坐标；

5、根据所述光伏组件平面的四个所述角点坐标和所述相机拍摄所述光伏组件图片中的四个角点坐标，计算单应矩阵，所述单应矩阵为所述光伏组件平面的所述角点坐标投影至所述相机平面上的对应坐标点的变换；

6、根据所述单应矩阵、所述光伏组件图片在所述相机的内参矩阵以及所述光伏组件的尺度信息，计算所述相机的外参矩阵，所述外参矩阵为所述相机和所述光伏组件之间的空间变换矩阵；

7、根据所述外参矩阵计算所述光伏组件相对所述相机的位姿，并确定所述光伏组件相对所述光伏机器人的位姿。

8、通过先计算出单目相机的外参矩阵，得到单目相机和光伏组件的空间变换关系，再通过外参矩阵得到光伏组件的位姿，降低了计算光伏组件位姿的成本，且通过单目相机计算光伏组件位姿相比双目相机计算光伏组件位姿更加稳定可靠，并且无需进行深度计算或点云匹配。

9、在一些实施方式中，所述的根据所述光伏组件平面的四个所述角点坐标和所述相机拍摄所述光伏组件图片中的四个角点坐标，计算单应矩阵，所述单应矩阵为所述光伏组件平面的所述角点坐标投影至所述相机平面上的坐标点的变换，具体包括步骤：

10、将所述光伏组件平面四个所述角点坐标分别转化为对应的第一齐次坐标，将所述相机拍摄所述光伏组件图片中的四个角点坐标转化为第二齐次坐标；

11、根据所述第一齐次坐标和所述第二齐次坐标，计算所述单应矩阵。

12、利用光伏组件本身的矩形形状特性建立坐标系，根据光伏组件四个角点坐标相应的第一齐次坐标和第二齐次坐标计算单应矩阵，并通过单应矩阵、投影矩阵以及光伏组件的尺度信息计算出单目相机的外参矩阵。从而得到单目相机和光伏组件之间的空间变换关系，最终得到待侧光伏组件的位姿。进一步提高了通过单目相机测量光伏组件位姿的稳定性。通过单目相机拍摄光伏组件得到的rgb图像，避免了通过双目相机测量光伏组件位姿所带来的双目视差计算和点云计算等问题，并且实用单目相机测量光伏组件位姿对环境特征依赖少，算法效率更高。

13、在一些实施方式中，所述的根据所述单应矩阵、所述光伏组件图片在所述相机的内参矩阵以及所述光伏组件的尺度信息，计算外参矩阵，所述外参矩阵为所述相机和所述光伏组件之间的空间变换矩阵，具体包括步骤：

14、所述外参矩阵包括旋转矩阵，根据所述旋转矩阵每列平方和为1的约束，计算所述外参矩阵，具体包括：

15、所述外参矩阵＝所述单应矩阵/(所述尺度信息*所述内参矩阵)；

16、利用所述旋转矩阵每列彼此正交的约束，求解得到完整的所述外参矩阵。

17、在一些实施方式中，所述的获取所述光伏组件平面的四个角点坐标、所述光伏组件的尺度信息、所述相机拍摄所述光伏组件图片中的四个角点坐标、以及所述光伏组件图片在所述相机的内参矩阵之前，还包括步骤：

18、预设所述光伏组件的尺寸信息，所述尺寸信息包括所述光伏组件的长宽信息；

19、根据所述光伏组件平面的中心以及平行于所述光伏组件长宽边缘的方向，建立坐标轴，通过所述尺寸信息确定所述光伏组件平面的四个角点坐标。

20、在一些实施方式中，所述相机拍摄所述光伏组件图片中的四个角点坐标通过深度学习或轮廓识别进行提取。

21、在一些实施方式中，所述的确定所述光伏组件相对所述光伏机器人的位姿之后，还包括步骤：

22、根据所述光伏机器人的安装部与所述单目相机之间的预设姿态变换矩阵，通过完整的所述外参矩阵得到调节姿态矩阵，使所述光伏机器人根据所述调节姿态矩阵控制所述安装部执行对应所述光伏组件姿态调节作业。

23、在一些实施方式中，还包括步骤：

24、根据完整的所述外参矩阵，以及所述光伏机器人接收到的当前所述光伏组件对应的标准姿态矩阵，确认当前所述光伏组件位姿是否处于标准位姿状态；

25、当所述光伏板位姿不处于标准位姿状态时反馈异常，向所述光伏机器人发送姿态调节指令，以使所述光伏机器人的安装部根据所述姿态调节指令调节姿态。

26、本发明还提供一种基于单目相机的光伏组件位姿计算系统，所述相机安装在光伏机器人上，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现前述实施方式所述基于单目相机的光伏组件位姿计算方法的步骤。

27、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现前述实施方式所述基于单目相机的光伏组件位姿计算方法的步骤。

28、本发明还提供一种光伏机器人，所述光伏机器人包括处理器、与所述处理器相连的存储器，以及存储在所述存储器上的程序指令，所述处理器执行所述程序指令时实现如前述实施方式所述的基于单目相机的光伏组件位姿计算方法。

29、与现有技术相比，本发明至少具有以下一项有益效果：

30、1、利用光伏组件本身的矩形形状特性建立坐标系，根据光伏组件四个角点坐标相应的第一齐次坐标和光伏组件在相机平面的第二齐次坐标计算单应矩阵，并通过单应矩阵、相机的内参矩阵以及光伏组件的尺度信息计算出单目相机的外参矩阵。从而得到单目相机和光伏组件之间的空间变换关系，最终得到光伏组件相对单目相机的位姿。进一步提高了通过单目相机测量光伏组件位姿的稳定性。

31、2、基于单应变换通常用于图像2d平面之间的变换关系，本方案创造性的将单目相机图像用于3d和2d之间的转换，通过利用组件平面和其尺度信息，无需移动单目相机即可进行3d信息计算。通过计算单目相机的外参矩阵，得到单目相机和光伏组件的空间变换关系，降低了计算光伏组件位姿的成本，且通过单目相机计算光伏组件位姿相比双目相机计算光伏组件位姿更加稳定可靠，并且无需进行深度计算或点云匹配。

32、3、通过单目相机拍摄光伏组件得到的rgb图像，避免了通过双目相机测量光伏组件位姿所带来的双目视差计算和点云计算等问题，并且使用单目相机测量光伏组件位姿对环境特征依赖少，算法效率更高。