基于YOLO算法和PID算法的鸟类摄影云台控制方法

基于yolo算法和pid算法的鸟类摄影云台控制方法
技术领域
1.本发明涉及图像识别及自动控制技术领域，具体涉及一种基于图像识别算法的云台控制方法。


背景技术：

2.云台是一个拍摄设备的支撑平台，是指用来将摄影器材、望远镜和其它光学测量仪器(比如水准仪)的底部和固定支架连接的转向轴。许多高档的照相机三脚架并不提供配套的云台，用户需要自行配备。照相机用的云台可以分为分别调节前后、左右两个方向的角度的三维云台以及可以随意自由转动的球形云台。天文望远镜使用的赤道仪也可看做云台，使用时将这种装置的两个转轴分别垂直和平行于地球赤道的方向。因此在长时间观测天体的时候，只需要根据地球的自传调节其中一个维度(赤经)就可以锁定观测目标。监控用的摄像机以及大型的光学设备如天文台内的望远镜一般使用的都是电动的云台装置。为确保构图保持水平避免歪斜，云台常装有水准管让摄影者可校正水平。一些云台有快拆式设计，使用者可方便迅速的装卸摄影机或相机。
3.鸟类摄影一直是摄影领域的难点。鸟类等动物能快速移动，但人的速度与反应能力有限，而且拍摄对象是无法摆布，瞬间是不能重复的，意味着摄影师也需要有足够的反应力和手持相机的追踪能力，这对于摄影师的水平要求很高，而且很难把控。但是利用一些辅助设备能有效地提高摄影的水平。
4.目前在鸟类摄影圈子中流行的辅助摄影云台大致有两类。一是液压云台，液压云台是影视工业使用的主要云台设计，用内部液体来减少振颤和突然抽搐造成震动的风险，可以为最重的摄影器材提供极其平滑的自由运动。配合重型的三脚架，价格昂贵的液压云台在性能上确实得到了圈内人士的称赞，但是鸟类摄影需要时刻翻山越岭，加上大型设备对鸟类有一定的惊吓作用，这类辅助设备显然有巨大的缺陷。二是悬臂云台。悬臂云台主要为长焦距、重量大的远摄镜头设计，可以平衡相机和镜头的同时用松紧调节营造出一种“失重”效果，用来轻易进行垂轴和横轴跟踪快速移动的物体，在应付沉重器材方面优于几乎所有其他设计，但是通常缺乏精确角运动的能力。悬臂云台价格适中，但是体积还是要比液压云台要大，也是个不容忽视的问题。
5.但是目前市面上的云台都仅仅起到辅助的作用，没有一种专用的鸟类云台来实时追踪鸟类的行迹。


技术实现要素：

6.针对现有技术中存在的不足，本发明提出一种基于yolo算法和pid算法的鸟类摄影云台控制方法，用以自动追踪鸟类的行迹。
7.基于yolo算法和pid算法的鸟类摄影云台控制方法，步骤如下：
8.步骤(1)：准备包含各类鸟类的照片数据；
9.步骤(2)：标注照片数据中的相关区域的类别，采用边框框出鸟类区域，定义此边
框为真实的边框；
10.步骤(3)：将标注好的照片数据输入yolov5网络模型进行训练，得到训练结果并获得模型权重文件；
11.步骤(4)：在现有摄影云台的主控芯片上加载训练好的yolov5网络模型；
12.步骤(5)：主控芯片接收相机中传来的图像，通过加载的yolov5网络模型对该图像进行检测有无鸟类。若有，则获取鸟类的中心坐标；若无，则跳过；
13.步骤(6)：对比鸟类中心坐标和图像中心的坐标，若有偏差，则转动舵机，使得相机追踪鸟类，相机转动角度用pid算法来优化，并保存图像。
14.本发明有益效果如下：
15.1)本发明针对于特定的摄影环境和摄影对象，旨在帮助摄影师更好的追踪和捕捉鸟类，市面上暂时并没有一款摄影云台能够完成类似任务。
16.2)本发明在传统的云台控制算法上，融入了人工智能相关算法，在保证预测准确度的同时，也要充分考虑芯片性能以保证算法运行和算法推理运算速度。
附图说明
17.图1为本发明实施例方法流程图。
18.图2为本发明实施例模型结构图。
具体实施方式
19.以下结合附图与实施例对本发明技术方案进行进一步描述。
20.在模型方面我们根据鸟类数据集对模型进行训练。
21.如图1所示，基于yolo算法和pid算法的鸟类摄影云台控制方法，步骤如下：
22.步骤(1)：准备包含各类鸟类的照片数据；
23.步骤(2)：标注照片数据中的相关区域的类别，采用边框框出鸟类区域，定义此边框为真实的边框；
24.步骤(3)：将标注好的照片数据输入yolov5网络模型进行训练，得到训练结果并获得模型权重文件；
25.步骤(4)：在现有摄影云台的主控芯片上加载训练好的yolov5网络模型；
26.步骤(5)：主控芯片接收相机中传来的图像，通过加载的yolov5网络模型对该图像进行检测有无鸟类。若有，则获取鸟类的中心坐标；若无，则跳过；
27.步骤(6)：对比鸟类中心坐标和图像中心的坐标，若有偏差，则转动舵机，使得相机追踪鸟类，相机转动角度用pid算法来优化，并保存图像。
28.上述yolov5网络模型如图2所示，包括：
29.backbone，同图像细粒度上聚合并形成图像特征的卷积神经网络；
30.neck，一系列混合和组合图像特征的网络层，并将图像特征传递到预测层；
31.head，对图像特征进行预测，生成边界框并预测类别定义此边界框为预测的边框；
32.backbone和neck用于提取图像特征，图像特征即为输入图片预测框中各种鸟类的特征，head用于特征检测和预测类别。
33.yolov5网络模型输出格式为(x,y,w,h,c)，分别表示预测框在图像坐标系上的x、y
坐标，矩形宽高weith、height，以及置信度confidence。yolov5网络模型的输出多个目标，并对多个目标进误差校正，误差校正采用聚类法和非极大值抑制法结合的方式，聚类使得预测结果聚成不同的类，选择confidence较大的结果作为最终结果，使用非极大值抑制的方法筛选掉重合度较高的预测结果框。训练过程中，通过损失函数计算调节权重参数，yolov5网络的损失函数为giou_loss，使用相交尺度衡量的方式计算损失。giou_loss的计算公式为：
[0034][0035]
其中，iou即交并比，计算的是预测的边框和真实的边框的交集和并集的比值，c表示标签给定的真实的边框与模型给出的预测的边框两者的最小外接矩形，差集＝c
–
并集b，并集b即真实框与预测框的并集，在进行预测时，加载训练得到的权重文件，yolov5网络即可对输入的图片给出输出结果(x，y，w，h，c)，将相应的矩形坐标在原图片上表示，即可得到可视化的预测结果。
[0036]
在硬件芯片方面，首先配置各硬件的参数，加载检测模型，然后调用摄像头获取图片，获取到的图片经过yolo算法进行预测之后，将检测到的鸟类的中心坐标与屏幕中心坐标进行比对，并将处理过的每一帧图片在屏幕上输出，如果鸟类中心坐标超出屏幕中心范围，则需控制舵机向相应方向转动，由pid算法修正转动所需要的参数后，将参数输入给舵机控制转动。
[0037]
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。
[0038]
本发明未详细说明部分属于本领域技术人员公知技术。