基于追踪摄像头动态特征快速捕捉的云团轨迹预测方法

本发明涉及图像处理，尤其涉及基于追踪摄像头动态特征快速捕捉的云团轨迹预测方法。

背景技术：

1、光伏跟踪系统是能够自动跟踪太阳并提高总体发电量的光伏系统。太阳光伏阵列自动跟踪系统通过实时跟踪太阳运动，使太阳光直射光伏阵列，从而增加光伏阵列接收到的太阳辐射量，提高太阳光伏发电系统的总体发电量。使用广泛的有四种太阳光伏自动跟踪系统，包括水平单轴跟踪、双立柱斜单轴跟踪、垂直单轴跟踪和双轴跟踪，其中水平单轴跟踪和倾斜单轴跟踪、垂直单轴跟踪只有一个旋转自由度，双轴跟踪具有两个旋转自由度。

2、预测太阳附近云团的移动轨迹，可为优化光伏跟踪系统的控制策略、减少无效跟踪提供有效参考。但是，现有技术鲜有基于预测太阳附近云团的移动轨迹作为优化光伏跟踪系统的控制策略参考的技术方案。

技术实现思路

1、本发明提供一种基于追踪摄像头动态特征快速捕捉的云团轨迹预测方法，以解决背景技术中现有技术所述不足。

2、基于追踪摄像头动态特征快速捕捉的云团轨迹预测方法，包括以下步骤：

3、构建多目标云团数据集，然后进行图像预处理；

4、输入待检测图像，并依次进行特征提取、特征融合；

5、对处理后云图数据进行目标检测；

6、对目标检测结果通过目标跟踪算法实现跟踪处理并记录历史云团移动轨迹；

7、对跟踪处理的数据添加卡尔曼滤波算法，实现轨迹预测。

8、进一步的，所述构建多目标云团数据集，然后进行图像预处理，具体为：

9、利用追踪摄像头获取太阳附近的实时视频流数据，视频经抽帧处理，排除掉相似度过高以及清晰度较差的图片作为多目标云团的初始数据集;

10、将初始数据集进行图像预处理操作，其中离线数据增强选用在初始数据集中添加高斯噪声，在线数据增强通过9-mosaic数据增强算法对初始数据集进行处理。

11、进一步的，所述输入待检测图像，并依次进行特征提取、特征融合，具体为：选用yolov5作为目标检测模型，yolov5分为输入端、backbone骨干网络、neck网络层、head输出端四个部分，其中输入端实现前期对图像的预处理操作，backbone骨干网络和neck网络层则分别对输入的图像数据进行特征提取以及特征融合操作，head输出端则主要将从neck网络层输出而来的多尺度特征分别进行解析并进行最后的检测结果输出。

12、进一步的，所述对处理后云图数据进行目标检测，具体为：构建的多目标云团数据集经yolov5模型输入端图像预处理、backbone特征提取以及neck网络层特征融合后，head输出端将从neck网络层输出而来的不同尺度的特征图分别进行解析，再利用ciou_loss作为边界框损失函数以及通过采用加权nms非极大值抑制去除冗余的预测框，寻找最优值。

13、进一步的，所述对目标检测结果通过目标跟踪算法实现跟踪处理并记录历史云团移动轨迹，具体为：在目标检测器yolov5中添加多目标跟踪器deepsort实现针对多目标云团的追踪任务；其中，deepsort多目标跟踪流程包括：首先获取原始视频帧，之后利用目标检测器对视频帧中的目标进行检测，随后提取目标框中的特征，该特征包括表观特征和运动特征，其中运动特征利用卡尔曼滤波算法对其进行预测，最后利用匈牙利算法和级联匹配计算前后两帧目标之间的匹配程度，为每个追踪到的目标分配id。

14、进一步的，所述对跟踪处理的数据添加卡尔曼滤波算法，实现轨迹预测，具体为：在目标检测器yolov5和多目标跟踪器deepsort组成的目标追踪模型后增添卡尔曼滤波算法，利用追踪模型回馈的一系列历史边界框坐标，通过左上、右下两点坐标，进而获取一系列历史边界框中心点坐标；再基于历史边界框中心点坐标利用卡尔曼滤波耦合预测出未来时刻的移动轨迹，从而实现针对多目标云团的轨迹预测；

15、所述卡尔曼滤波包含预测和更新两个阶段，在预测阶段，利用对上一状态的估计，做出对当前状态的估计；在更新阶段，基于当前状态观测值优化预测阶段预测值，获取更高预测精度；其预测公式为：

16、

17、

18、其中，为k-1时刻的最优估计值，为k-1时刻在k时刻的最优估计值，为k-1时刻估计值的协方差矩阵，为k-1时刻在k时刻估计值的协方差矩阵，为作用在上的状态变换模型，为作用在控制器向量上的输入控制模型，为控制向量，为过程噪声的协方差矩阵；

19、在更新阶段，计算三个变量，其计算公式为：

20、

21、

22、

23、其中，测量残差，测量残差协方差，最优卡尔曼增益

24、然后，更新x与p

25、

26、

27、上述两公式为卡尔曼滤波在更新时的公式，其中为k时刻的最优估计值，是k时刻估计值的协方差矩阵，是观察噪声的协方差矩阵，为观测模型，将真实空间状态映射成观测空间，为k时刻真实状态的一个测量值。

28、本发明实施例采用的上述至少一个技术方案能够达到以下有益效果：

29、本发明追踪摄像头通过追踪太阳获取太阳附近的实时视频流数据。捕获的数据经yolov5（目标监测模型）处理实现对云团的目标监测，再通过添加deepsort（多目标追踪模型）实现对云团的多目标追踪并记录历史云团移动轨迹，最后添加卡尔曼滤波，卡尔曼滤波基于历史云团移动轨迹拟合预测出未来时刻云团的移动轨迹，最终实现云团的轨迹预测，预测精度较高。本发明预测太阳附近云团的移动轨迹，可为优化光伏跟踪系统的控制策略、减少无效跟踪提供有效参考。

技术特征：

1.基于追踪摄像头动态特征快速捕捉的云团轨迹预测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于追踪摄像头动态特征快速捕捉的云团轨迹预测方法，其特征在于，所述构建多目标云团数据集，然后进行图像预处理，具体为：

3.根据权利要求1所述的基于追踪摄像头动态特征快速捕捉的云团轨迹预测方法，其特征在于，所述输入待检测图像，并依次进行特征提取、特征融合，具体为：选用yolov5作为目标检测模型，yolov5分为输入端、backbone骨干网络、neck网络层、head输出端四个部分，其中输入端实现前期对图像的预处理操作，backbone骨干网络和neck网络层则分别对输入的图像数据进行特征提取以及特征融合操作，head输出端则主要将从neck网络层输出而来的多尺度特征分别进行解析并进行最后的检测结果输出。

4.根据权利要求1所述的基于追踪摄像头动态特征快速捕捉的云团轨迹预测方法，其特征在于，所述对处理后云图数据进行目标检测，具体为：构建的多目标云团数据集经yolov5模型输入端图像预处理、backbone特征提取以及neck网络层特征融合后，head输出端将从neck网络层输出而来的不同尺度的特征图分别进行解析，再利用ciou_loss作为边界框损失函数以及通过采用加权nms非极大值抑制去除冗余的预测框，寻找最优值。

5.根据权利要求1所述的基于追踪摄像头动态特征快速捕捉的云团轨迹预测方法，其特征在于，所述对目标检测结果通过目标跟踪算法实现跟踪处理并记录历史云团移动轨迹，具体为：在目标检测器yolov5中添加多目标跟踪器deepsort实现针对多目标云团的追踪任务；其中，deepsort多目标跟踪流程包括：首先获取原始视频帧，之后利用目标检测器对视频帧中的目标进行检测，随后提取目标框中的特征，该特征包括表观特征和运动特征，其中运动特征利用卡尔曼滤波算法对其进行预测，最后利用匈牙利算法和级联匹配计算前后两帧目标之间的匹配程度，为每个追踪到的目标分配id。

6.根据权利要求1所述的基于追踪摄像头动态特征快速捕捉的云团轨迹预测方法，其特征在于，所述对跟踪处理的数据添加卡尔曼滤波算法，实现轨迹预测，具体为：在目标检测器yolov5和多目标跟踪器deepsort组成的目标追踪模型后增添卡尔曼滤波算法，利用追踪模型回馈的一系列历史边界框坐标，通过左上、右下两点坐标，进而获取一系列历史边界框中心点坐标；再基于历史边界框中心点坐标利用卡尔曼滤波耦合预测出未来时刻的移动轨迹，从而实现针对多目标云团的轨迹预测；

技术总结
本发明公开了基于追踪摄像头动态特征快速捕捉的云团轨迹预测方法，包括以下步骤：构建多目标云团数据集，然后进行图像预处理；输入待检测图像，并依次进行特征提取、特征融合；对处理后云图数据进行目标检测；对目标检测结果通过目标跟踪算法实现跟踪处理并记录历史云团移动轨迹；对跟踪处理的数据添加卡尔曼滤波算法，实现轨迹预测。本发明追踪摄像头通过追踪太阳获取太阳附近的实时视频流数据。捕获的数据经目标监测模型处理实现对云团的目标监测，再通过添加多目标追踪模型实现对云团的多目标追踪并记录历史云团移动轨迹，最后添加卡尔曼滤波，卡尔曼滤波基于历史云团移动轨迹拟合预测出未来时刻云团的移动轨迹，最终实现云团的轨迹预测。

技术研发人员：廖金伟,舒建棋,刘文,陈淑婷,曾洋彪,乔艺,陈旭,余正楠,严翔,王航
受保护的技术使用者：浙江万里学院
技术研发日：
技术公布日：2024/12/30