一种自动跟随目标的手机云台系统

本发明涉及手机云台系统，尤其涉及一种自动跟随目标的手机云台系统。

背景技术：

1、随着智能终端和视频直播平台的发展，视频直播在直播带货、云旅游、中小企业线上会议、教育等领域发挥着越来越重要的作用。其中，摄像头、手机、服务器、云台设备以及相关软件系统为视频直播的实现提供了关键技术支撑。云台承载手机，利用手机摄像头采集目标视频图像，通过网络将视频上传服务器为视频直播提供视频内容。目标检测、跟踪方法的提出则使得云台能够根据所要跟拍的目标物调整姿态，以保持摄像机始终能够捕获被跟踪目标物。

2、已公开专利cn112019742a提出了一种基于opencv人脸检测的手机云台系统，其由手机摄像头、虚拟视频流服务器、pc主机、wifi主控芯片、舵机驱动板和舵机构成。手机摄像头获取目标物图像传送给pc主机，由pc主机调用opencv软件库中的人脸检测算法，获得人脸位置，计算手机拍摄角度与目标角度的偏移量，通过wifi主控芯片将偏移量发送到舵机驱动板调整云台姿态。而云台运动的偏移量依赖于opencv库所提供的人脸检测算法，在每一帧视频中检测到的人脸位置稳定性不足，很容易导致云台抖动，另外对于遮挡、光照变化等外界因素的鲁棒性不够，最终导致云台跟踪精度也较低，另外在云台控制器上wifi主控芯片和舵机驱动板的使用增加了系统的成本。已授权专利cn108259703b提出了一种基于运动预测的云台控制方法，利用目标物中心点位置和速度信息预测目标物在视频帧中的位置，以此调整云台位姿。但是该方法使用卡尔曼滤波、粒子滤波和mean shift跟踪算法来确定目标物在当前视频帧中的位置，这类算法对于目标物外观变化的鲁棒性不足，容易产生跟踪漂移，云台控制器没有明确的控制算法，云台运动缺乏稳定性。

技术实现思路

1、本发明的目的是为了解决现有技术中存在对于目标物外观变化的鲁棒性不足，容易产生跟踪漂移，云台控制器没有明确的控制算法，云台运动缺乏稳定性的缺点，而提出的一种自动跟随目标的手机云台系统。

2、为了实现上述目的，本发明采用了如下技术方案：

3、一种自动跟随目标的手机云台系统，包括手机、pc主机、云台控制模块以及设备间通信模块，手机包括手机视频图像采集模块，pc主机包括pc主机图像处理模块，手机与pc主机处于同一个局域网内，手机与pc主机通过设备间通信模块进行通信，pc主机与云台控制模块通过串口通讯的方式进行指令发送。

4、优选的，所述设备间通信模块为wifi通信。

5、优选的，所述手机视频图像采集模块的功能包括手机自带摄像头获取关于目标物的视频图像、图像上拉框式交互确定被跟踪目标对象、通过套接字socket通信将视频帧图像发送到pc主机。

6、优选的，所述手机上设有视频采集app，视频采集app具备图像采集、被跟踪目标选择和图像网络传输功能。

7、优选的，所述视频采集app包括相机视频即时显示视图控件、服务器ip地址可编辑文本框、端口可编辑文本框和发送按钮。

8、优选的，所述视频采集app使用过程如下：启动视频采集app程序后，手机上的摄像头被打开，通过android平台的相机api读取摄像头拍摄的视频图像显示在视图控件上，用户在视频即时显示视图控件上拉框选取被跟踪目标的矩形图像区域，在点击发送按钮后，在视频采集app主线程之外即开启了一个独立的线程，该线程读取可编辑文本框输入的ip地址和端口号用于创建套接字socket，其首先将被跟踪目标的矩形框坐标通过套接字发送给pc主机，后续则读取相机视频即时显示视图控件上的视频图像，同样通过套接字发送给pc主机，再次点击发送按钮后，线程被终止，视频的发送停止，套接字被销毁。

9、优选的，所述pc主机图像处理模块包括服务器套接字通信、基于相关滤波的目标跟踪算法、位置差计算和串口指令发送，pc主机上设置监听端口，并以此建立服务器套接字，首先其接收视频采集app发送的初始视频帧以及被跟踪目标在该视频帧上的矩形框位置信息，将其输入图像处理算法模块用于建立关于目标图像的相关滤波器模型，随后pc主机继续读取服务器套接字接收手机视频采集app上传的视频图像，使用相关滤波跟踪算法计算目标物在视频图像上的矩形框位置。

10、优选的，在图像处理方面，本发明使用相关滤波跟踪算法计算出每帧视频中目标物的矩形框位置，算法具体步骤如下：

11、(1)输入首帧视频，获取该视频帧中人为手工标记的目标物矩形框位置x0＝(x0，y0，w0，h0)；

12、(2)假设当前帧为第i帧视频，目标矩形框位置确定为xi＝(xi，yi，wi，hi)围绕目标框中心裁剪出宽度和高度分别为2·wi和2·hi的图像，将其缩放为宽度2·w0，高度为2·h0的矩形图像，在该图像区域上提取hog特征φ(xi)，更新计算相关滤波器wi：

13、

14、上式中φ(xi)*wi是hog特征向量与相关滤波器卷积结果，其为相关滤波器对各位置的图像样本特征的响应值，y是以目标图像中心为均值的二维高斯函数，其作为软标签表示理想相关滤波器对于以目标图像中心的图像hog特征响应值最大，而对于远离中心的图像hog特征响应小。‖wi‖2为正则项，用于防止相关滤波器的过拟合，λ为正则参数，跟踪算法中其取值为0.2，为了加速计算，将相关滤波器wi通过傅里叶变换转换到频域内进行计算，根据相关滤波器计算方法，得到wi的频域内计算结果:

15、

16、上式中为wi的傅里叶变换结果，为φ(xi)的傅里叶变换结果，为的复共轭。

17、(3)在随后的第i+1帧视频帧中，围绕前一帧中目标物矩形框中心在当前帧中裁剪出宽度和高度分别为2·wi和2·hi的矩形图像区域，将其缩放至宽度为2·w0，高度为2·h0的矩形图像区域，在该图像区域上提取hog特征φ(xi+1)，由此可计算当前帧中目标物中心位置的似然度li+1：

18、

19、上式中，为ψ(xi+1)的傅里叶变换结果，idft(·)为傅里叶反变换运算，以li+1上最大值所在的位置即为目标物在当前视频帧上的中心坐标值。

20、(4)视频输入未结束，则转至步骤(2)继续执行，否则退出图像处理模块，

21、根据目标跟踪算法处理结果可以计算中每一帧视频中目标物中心位置与视频帧整个图像位置中心的偏移量，将偏移量乘以一个经验常数α＝0.015，即可得到云台舵机的角度偏移量，舵机当前角度值加上角度偏移量即可计算出云台舵机所要转动到的新的角度位置，并通过串口把新角度位置发送给云台控制模块。

22、优选的，所述云台控制模块包括stm32f103c8t6单片机、水平方向数字舵机ds3115和垂直方向舵机ds3115、夹持手机的云台主要构件，pc主机发送的角度位置数据触发stm32f103c8t6单片机上的串口中断，在中断程序中将pc主机发送的角度位置值换算为脉冲宽度调制的占空比，分别在水平面和垂直面对驱动舵机ds3115进行位置调整，以此改变云台的位姿。

23、本发明中，所述一种自动跟随目标的手机云台系统的有益效果：

24、本发明在pc主机上引入了相关滤波跟踪算法计算手机摄像头与被跟踪目标物的角度偏差,提高了跟踪的准确性和稳定性，在pc主机上获得关于被跟踪目标物的视频图像，目标物类型不限，可用于直播带货、线上教育等需要直播视频的应用场合，pc主机上相关滤波跟踪算法并不涉及卷积神经网络等深度学习模块，因此并不要求pc主机配置gpu，因此节省了pc主机的成本，假设用户拥有手机和pc主机的情况下，整个手机云台系统在硬件上主要由stm32f103c8t6单片机、2个数字舵机ds3115和一些基本串口通讯构件组成，整个系统的硬件成本较低。

25、本发明通过整合手机、pc主机上的目标跟踪算法、stm32f103c8t6单片机和舵机，形成一个具有较高跟踪准确性、成本较低的手机云台系统。