一种基于YOLOV5的球员追踪检测方法

一种基于yolo v5的球员追踪检测方法
技术领域
1.本发明涉及一种基于yolo v5的球员追踪检测方法。


背景技术：

2.随着篮球运动的发展，世界篮球运动水平准逐渐提高，篮球运动员的训练方法需要更多的科学依据作为指导，而找到球员的打球方式和习惯、对重要技术，比如投篮姿势、运球方式和上篮方式等进行针对性的改进就对技术的提高有很大帮助。目前录制采用的都是录播的形式，录播的形式可以较好的记录整场比赛的赛况，但是很难拍到球员的细节动作，球员和教练员赛后观看录播的时候很难找到对应的细节，并且录播的时候拍摄相机是固定视角，不可能拍到全部的视角，经常会存在某些地方的视野盲点，对球员的细节录制不够详细。因此，实现对特定球员的追踪检测才能满足球员和教练员的需求，所以利用无人机和计算机等高新技术进行球员运动追踪具有重要的意义。


技术实现要素：

3.本发明的目的在于根据当前教练员和球员对场上球员的目标识别及追踪需求，提供一种基于yolo v5的球员追踪检测方法，集成yolo v5+deepsort算法，同时集成了4个prediction heads预测头来检测不同尺度的目标，最后应用到无人机拍摄上，实现精确的识别和追踪球员运动轨迹并且记录下来。
4.为实现上述目的，本发明的技术方案是：一种基于yolo v5的球员追踪检测方法，利用k-means聚类方法和残差网络模型对目标框的参数进行确定及对数据增强的数据集进行训练，在基于yolo v5算法识别目标的基础上融合deepsort算法，并集成prediction heads预测头，应用在无人机拍摄上，最后达到能在高密度场景中准确定位目标并进行持续追踪录制。
5.在本发明一实施例中，该方法具体实现方式为：首先，对数据集的目标框聚类优化的k-means聚类算法，聚类出目标人物先验框的yolo v5模型，以残差网络模型作为深度学习的框架，利用残差块结构和跳跃连接机制的特点，提高了检测分类精度，优化系统的loss函数。对应机制如下：
6.h(x)＝f(x)+x
7.h(x)是预测值，x为输入特征，f(x)为残差。采取3层跨接一次输入特征x。
8.在球员上场前，对其照片细节作为输入目标划分为多个组。用一组feature map首先从一组输入目标中提取特征，然后将输出目标与另一组输入目标再通过另一组feature map提取特征。这个过程重复几次，直到处理完所有的输入目标。最后，将所有组输出的目标拼接起来，再分别通过3x3、21
×
21和48
×
48的卷积核进行特征融合，同时卷积核也可起到滤波器的作用，高层和底层的feature map具有不同的感受野，高层的feature map负责检测球衣号码和躯干等大目标,底层的feature map负责检测手部脚步等细节部位。拍摄过程是采用无人机拍摄，采用基于cnn的centernet物体检测器，它由2部分组成，一是基于cnn的
主干，用于图像特征提取，另一部分是检测头，用于预测目标的类和box，由于篮球运动的特殊性，运动员的运动较为激烈，目标物的移动比较剧烈，故增加了四个prediction heads来检测不同尺度的目标，这些预测头由预定义数量的前馈网络组成。每个预测头的输出都包含一个类预测和一个预测框，损失是通过计算二分匹配损失来计算的,公式如下：
[0009][0010]
4头结构可以缓解剧烈的目标尺度变化带来的负面影响，可以在高密度移动的场景中准确定位目标。
[0011]
最后就是目标丢失和重叠的部分了，针对此类需求，创新性的融合deepsort算法，deepsort算法的思路是将目标检测算法(如yolo)得到的检测框与预测的跟踪框的iou(交并比)输入到匈牙利算法中进行线性分配来关联帧间id，并且将目标的外观信息加入到帧间匹配的计算中，这样在目标被遮挡但后续再次出现的情况下，还能正确匹配这个id，从而减少id的切换，达到持续跟踪的目的。在跟踪之前，已经对所有目标已经完成检测，实现了特征建模过程。第一帧进来时，以检测到的目标初始化并创建新的跟踪器，标注id；后面帧进来时，先到卡尔曼滤波器中得到由前面帧box产生的状态预测和协方差预测。求跟踪器所有目标状态预测与本帧检测的box的iou，用马氏距离计算物体检测bbox dj和物体跟踪bbox yi之间的距离(注：不使用欧式距离的原因是dj和yi的空间域分布不同，欧式距离忽略空间域分布的计算结果不能准确反映两者的真实距离)公式如下：
[0012][0013]
通过匈牙利指派算法得到iou最大的唯一匹配(数据关联部分)，再去掉匹配值小于iou_threshold的匹配对,当两者距离≤特定阈值，则表示两者关联:
[0014][0015]
用本帧中匹配到的目标检测box去更新卡尔曼跟踪器，计算卡尔曼增益、状态更新和协方差更新，并将状态更新值输出，作为本帧的跟踪box。对于本帧中没有匹配到的目标重新初始化跟踪器。其中，卡尔曼跟踪器联合了历史跟踪记录，调节历史box与本帧box的残差，更好的匹配跟踪id。
[0016]
相较于现有技术，本发明具有以下有益效果：本发明创新的基于yolo v5目标检测算法中融入了deepsort算法和prediction heads预测头，并且应用到了无人机上，因此命明为dp-yolo v5算法。在visdrone2021数据集上的大量实验表明，dp-yolo v5在无人机捕获场景上具有良好的性能和可解释性。在det-test-challenge数据集上dp-yolov5的ap结果为39.18％，比之前的sota方法(dpnetv3)提高了1.81％。在visdrone challenge 2021中，dp-yolo v5与yolov5相比提高了约7％。
附图说明
[0017]
图1是yolo v5的网络结构示意图。
[0018]
图2是本发明的实施例的工作流程图。
[0019]
图3是特征点的提取。
[0020]
图4是具体的识别结果。
具体实施方式
[0021]
下面结合附图，对本发明的技术方案进行具体说明。
[0022]
本发明一种基于yolo v5的球员追踪检测方法，利用k-means聚类方法和残差网络模型对目标框的参数进行确定及对数据增强的数据集进行训练，在基于yolo v5算法(图1是yolo v5的网络结构示意图)识别目标的基础上融合deepsort算法，并集成prediction heads预测头，应用在无人机拍摄上，最后达到能在高密度场景中准确定位目标并进行持续追踪录制。
[0023]
以下为本发明具体实现过程。
[0024]
本实施例提供一种基于dp-yolo v5算法的球员运动追踪检测方法，其包括对数据集的目标框聚类优化的k-means维度聚类算法，yolo v5目标识别检测和deepsort算法。
[0025]
下面将结合附图2工作流程图来说明具体实施步骤：
[0026]
步骤1、收集实验数据集。本实验的实验数据集主要由各类球员的动态和静态照片，并加入不同时期的身穿不同球衣的照片，为了提高检测效果，我们对现有的数据集进行数据拓展，包括将部分图片进行随机旋转、随机平移、随机变形、随机缩放、镜像翻转等处理。
[0027]
步骤2、通过k-means聚类算法获得合适的先验框参数。通过不同的k值对loss曲线收敛情况对比找出k值。本实验设定的k值为6。对图像进行灰度化处理，使用高斯滤波对图像进行降噪。
[0028]
步骤3、yolo v5模型在残差网络中进行训练。将拓展后的数据集进行训练，训练过程中，利用不同的卷积核得到不同尺度的feature map，高层的feature map负责检测球衣号码和躯干等大目标,底层的feature map负责检测手部脚步等细节部位，然后留下一部分数据作为测试集。然后将图形拼接起来进行特征点对比。图3是特征点的提取。
[0029]
步骤4、集成4个predition heads来检测不同尺度的目标，这些预测头由预定义数量的前馈网络组成，通过提取的特征图检测目标的位置和类别，完成特征建模。
[0030]
步骤5、融合deepsort算法，将目标检测算法yolo v5得到的检测框与预测的跟踪框的iou(交并比)输入到匈牙利算法中进行线性分配，以检测到的目标初始化并创建新的跟踪器。
[0031]
步骤6、在无人机上装载上高清相机和基于cnn的centernet物体检测器。若检测目标远离无人机，利用无人机的机动性和高清相机的变焦功能追踪到检测目标。图4是具体的识别结果。
[0032]
步骤7、相机完成录制后，可通过相应的数据分析系统来分析所需要的数据。供教练员和球员赛后复盘。
[0033]
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。