一种基于深度学习的乒乓球轨迹跟踪装置及方法

1.本发明属于嵌入式领域，具体涉及一种基于深度学习的乒乓球轨迹跟踪装置及方法。


背景技术：

2.目前常见的乒乓球赛事分析都是通过人眼与教练员的主观判断，教练对于轨迹的观察由于是单一视角，对乒乓球位置会存在视觉错位，教练无法准确的得知乒乓球三维轨迹信息。正确的赛事分析对教练员的能力有着很高的要求，这也使大多的乒乓球赛事中，选手无法得到较好的击球方案。除此之外，在部分情况下，教练员需要回顾以往的赛事视频去回顾乒乓球比赛，摄像头视角的多次切换与单一视角也会影响教练员对乒乓球轨迹的判断，影响教练员对赛事的正确分析。
3.在乒乓球员日常的训练中，乒乓球员也难以去客观了解自己的击球轨迹规律，较难去找到正确的方法矫正自身击球缺点，乒乓球员日常训练的科学分析，也成为了一大难题。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种基于神经网络的乒乓球轨迹跟踪装置，包括：姿态传感球拍、六轴传感器、无线传输设备、第一摄像头，第二摄像头、usb3.1传输设备、fpga、视觉处理单元、中央处理器、显示屏、存储器、gprs模块和网络设备，其中：
5.所述姿态传感球拍中设置姿态传感器，获取击球状态；
6.所述六轴传感器，安装在第一摄像头与第二摄像头上，获取摄像头俯仰角度；
7.所述无线传输设备，在2.4ghz频段无线传输姿态传感球拍与六轴传感器数据至中央处理器；
8.所述第一摄像头与第二摄像头为两个高速工业摄像头；
9.所述fpga，进行网络输入图片预处理，接收第一摄像头与第二摄像头实时图像，进行尺寸压缩与滤波算法；
10.所述视觉处理单元，具有高dnn性能，获取fpga预处理图片，运行基于 rcnn的乒乓球目标检测网络，获得乒乓球识别结果；
11.所述中央处理器，获取网络识别结果，接收无线传输设备传输的数据，进行乒乓球二维坐标合成，进行基于梯度下降的乒乓球桌识别，分析得出击球数据；
12.所述存储器，存储中央处理器处理后的乒乓球轨迹数据及击球数据；
13.所述显示屏，显示中央处理器处理结果；
14.所述gprs模块，连接显示屏，上传乒乓球识别轨迹及击球数据至网络设备；
15.所述网络设备，为可联网的移动终端，查看gprs模块上传数据
16.优选地，所述第一摄像头水平放置，与乒乓球桌的球网保持同一水平位置，距离乒乓球桌0.37米，第二摄像头竖直放置，在乒乓球桌的球网正上方、乒乓球桌中央上方，距离
乒乓球桌距离0.88米。
17.基于上述目的，本发明还提供了一种基于神经网络的乒乓球轨迹跟踪方法，采用上述装置，包括基于梯度下降的乒乓球桌识别和基于rcnn的乒乓球目标检测。
18.优选地，所述基于梯度下降的乒乓球桌识别，包括以下步骤：
19.s10，使用高斯平滑滤波器卷积降噪；
20.s20，使用一阶偏导算子计算梯度，
21.梯度幅值及相应方向计算公式：
[0022][0023]
其中，g
x
为水平x方向掩码模板，g
y
为垂直y方向掩码模板，θ为直线角度，
[0024][0025][0026]
s30，进行非极大值抑制，提取单像素框边缘；
[0027]
s40，使用双阈值方式，获取图片边缘信息；
[0028]
s50，通过图片边缘信息点集创建直线族，并离散化直线角度θ＝
ꢀ‑
45
°
，0
°
，45
°
，90
°
；
[0029]
s60，按点坐标(x，y)与直线角度θ求直线族长度r＝xcosθ+ysinθ；
[0030]
s70，根据r值取局部极大值，通过乒乓球桌形状、颜色信息过滤干扰直线；
[0031]
s80，通过图片边缘信息获取乒乓球桌边缘直线轮廓；
[0032]
s90，对四条直线轮廓坐标计算交点得到乒乓球桌位置信息。
[0033]
优选地，所述基于rcnn的乒乓球目标检测，包括以下步骤：
[0034]
s11，设定图片输入尺寸为416
×
416，使用cspdarknet53_tiny作为主干特征提取网络提取图像特征，根据乒乓球像素半径r，设定特征层将图片进行x 次分割，得到特征层shape(x,x,18)；
[0035]
s21，获取数据集，将数据集划分为训练集、测试集和验证集，
[0036]
s31，在训练集上采用k
‑
means聚类算法聚类边界框坐标，计算出单个尺度卷积层特征图的3个边界框坐标。
[0037]
与现有技术相比，本发明公开的一种基于深度学习的乒乓球轨迹跟踪装置，具有以下优势：
[0038]
1、装置制作成本较低，设备易于部署；
[0039]
2、使用基于rcnn的乒乓球目标检测网络，更快更准确的识别乒乓球位
[0040]
置；
[0041]
3、使用识别模块驱动视觉处理单元推理乒乓球目标检测网络，可以实现嵌入式应用，减小资源消耗。
附图说明
[0042]
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
[0043]
图1为本发明实施例的乒乓球轨迹跟踪装置的结构示意图；
[0044]
图2为本发明实施例的乒乓球轨迹跟踪装置的结构框图。
具体实施方式
[0045]
有鉴于此，本发明目的在于提供一种基于神经网络的乒乓球轨迹跟踪装置包括：姿态传感球拍14、六轴传感器13、无线传输设备24、第一摄像头11，第二摄像头12、usb3.1传输设备21、fpga22、视觉处理单元23、中央处理器31、显示屏41、存储器32、gprs模块33和网络设备42，其中：
[0046]
姿态传感球拍14中设置姿态传感器，获取击球状态；
[0047]
六轴传感器13，安装在第一摄像头11与第二摄像头12上，获取摄像头俯仰角度；
[0048]
无线传输设备24，在2.4ghz频段无线传输姿态传感球拍14与六轴传感器 13数据至中央处理器31；
[0049]
第一摄像头11与第二摄像头12为两个高速工业摄像头；
[0050]
fpga22，进行网络输入图片预处理，接收第一摄像头11与第二摄像头12 实时图像，进行尺寸压缩与滤波算法；
[0051]
视觉处理单元23，具有高dnn性能，获取fpga22预处理图片，运行基于rcnn的乒乓球目标检测网络，获得乒乓球识别结果；dnn为深度神经网络deep neural networks；
[0052]
中央处理器31，获取网络识别结果，接收无线传输设备传输的数据，进行乒乓球二维坐标合成，进行基于梯度下降的乒乓球桌识别，分析得出击球数据；
[0053]
存储器32，存储中央处理器31处理后的乒乓球轨迹数据及击球数据；
[0054]
显示屏41，显示中央处理器31处理结果；
[0055]
gprs模块33，连接显示屏41，上传乒乓球识别轨迹及击球数据至网络设备42；
[0056]
网络设备42，为可联网的移动终端，查看gprs模块33上传数据。
[0057]
第一摄像头11水平放置，与乒乓球桌的球网保持同一水平位置，距离乒乓球桌0.37米，第二摄像头12竖直放置，在乒乓球桌的球网正上方、乒乓球桌中央上方，距离乒乓球桌距离0.88米。
[0058]
具体实施例中，姿态传感器包括mpu9250；六轴传感器13包括mpu6050；无线传输设备24包括nrf24l01；第一摄像头11与第二摄像头12的型号均为 mv
‑
ld
‑8‑
3m
‑
a，与第一摄像头11和第二摄像头12连接的还有相机，相机的机身型号为mv
‑
sua50gm
‑
t；fpga22型号为zynqultrascale+mpsocxczu3eg
‑
sfvc784
‑1‑
i quad cortex
‑
a53 1.2ghz；中央处理器31包括core i7 8700；存储器32包括st1000nm0008；显示屏41包括s27e360h；gprs模块 33包括sim800a模块。
[0059]
本发明还提供了一种基于神经网络的乒乓球轨迹跟踪方法，采用上述装置，包括基于梯度下降的乒乓球桌识别和基于rcnn的乒乓球目标检测。
[0060]
基于梯度下降的乒乓球桌识别，包括以下步骤：
[0061]
s10，使用高斯平滑滤波器卷积降噪；
[0062]
s20，使用一阶偏导算子计算梯度，
[0063]
梯度幅值及相应方向计算公式：
[0064][0065]
其中，g
x
为水平x方向掩码模板，g
y
为垂直y方向掩码模板，θ为直线角度，
[0066][0067][0068]
s30，进行非极大值抑制，提取单像素框边缘；
[0069]
s40，使用双阈值方式，获取图片边缘信息；
[0070]
s50，通过图片边缘信息点集创建直线族，并离散化直线角度θ＝
ꢀ‑
45
°
，0
°
，45
°
，90
°
；
[0071]
s60，按点坐标(x，y)与直线角度θ求直线族长度r＝xcosθ+ysinθ；
[0072]
s70，根据r值取局部极大值，通过乒乓球桌形状、颜色信息过滤干扰直线；
[0073]
s80，通过图片边缘信息获取乒乓球桌边缘直线轮廓；
[0074]
s90，对四条直线轮廓坐标计算交点得到乒乓球桌位置信息。
[0075]
基于rcnn的乒乓球目标检测，包括以下步骤：
[0076]
s11，设定图片输入尺寸为416
×
416，使用cspdarknet53_tiny作为主干特征提取网络提取图像特征，根据乒乓球像素半径r，设定特征层将图片进行x 次分割，得到特征层shape(x,x,18)；
[0077]
s21，获取数据集，将数据集划分为训练集、测试集和验证集，
[0078]
s31，在训练集上采用k
‑
means聚类算法聚类边界框坐标，计算出单个尺度卷积层特征图的3个边界框坐标。
[0079]
具体实施例中，基于梯度的乒乓球桌识别，包括以下步骤：
[0080]
s10，使用size＝5的高斯内核与输入图片进行卷积降噪消除噪点；
[0081]
s20，使用一阶偏导算子计算梯度，
[0082]
梯度幅值及相应方向计算公式：
[0083][0084]
g
x
为水平x方向掩码模板，g
y
为垂直y方向掩码模板。
[0085][0086]
[0087]
算出图像中梯度幅值g与对应角度θ；
[0088]
s30，根据图像梯度，寻找像素点进行局部最大值，将非极大值点所对应的灰度值设置为背景像素点，像素邻域区域满足梯度值的局部最优值判断为该像素的边缘，对其与非极大值的相关信息进行抑制，利用该准则提出大部分非边缘像素，提取单像素框边缘；
[0089]
s40，设置高阈值和低阈值，将像素位置的幅值超过高阈值的像素点保留为边缘像素，幅值低于低阈值的像素点将被排除，若像素位置幅值在两个阈值之间，该像素仅仅在连接到一个高阈值像素时被保留；
[0090]
s50，设定直线角度为θ＝
‑
45
°
，0
°
，45
°
，90
°
，将上述保留下的所有像素点建立直线角度为θ的直线集；
[0091]
s60，按点坐标(x，y)与直线角度θ求直线族长度r＝xcosθ+ysinθ，每个点对应图像空间一条直线，转化为极坐标参数(r,θ)；
[0092]
s70，在极坐标参数空间中找通过点(r,θ)的最多正弦曲线数设定为存留直线，计算每一条直线斜率k与直线截距b值，根据乒乓球桌形状特征，乒乓球桌为梯形存在，则通过k，b筛选为上下左右四个直线数组，之后通过乒乓球桌边缘颜色进行筛选，由于乒乓球桌边缘为白色，则通过设置rgb值阈值，令四个直线数组中都只留下一条直线；
[0093]
s80，通过四条直线的确定，接收信息为乒乓球桌边缘直线；
[0094]
s90，通过计算四条直线k，b值，取直线上任意两个点，通过行列式计算两条直线上四个点交点，得到乒乓球桌四个顶点位置信息；
[0095]
s100，使用图像算法将图像1与图像2进行尺寸压缩至满足乒乓球目标检测网络输入尺寸，同时进行滤波预处理算法，消除高速摄像头噪点，进行白平衡操作，消除光照影响。
[0096]
基于rcnn的乒乓球目标检测网络，rcnn为region
‑
cnn，是第一个成功将深度学习应用到目标检测上的算法。r
‑
cnn基于卷积神经网络(cnn)，线性回归，和支持向量机(svm)等算法，实现目标检测技术。
[0097]
s11，为便于设定图片输入尺寸为416
×
416，使用cspdarknet53_tiny作为主干特征提取网络提取图像特征，根据乒乓球像素半径r，设定特征层将图片进行x次分割，得到特征层shape(x,x,18)；
[0098]
s21，选取多场景情况录制乒乓球击球视频，对乒乓球视频进行图片抽取与筛选，按照网络输入设置图片尺寸，使用labelimg标注训练标签，得到数据集，之后将数据集按照3：1的比例分割为训练集与测试集；
[0099]
s31，在数据集上采用k
‑
means均值聚类算法聚类边界框坐标，计算出单个尺度卷积层特征图的3个边界框坐标，设置为乒乓球目标检测网络锚框。进行多次训练得到目标检测网络。
[0100]
通过pcie接口，使用io控制多个视觉处理单元进行乒乓球目标检测网络异步推理，将推理数据返回识别模块，使用非极大值抑制算法，筛选出两幅实时图像中乒乓球位置信息。
[0101]
通过两个视角中的乒乓球位置信息，与乒乓球桌位置信息结合，使用乒乓球桌建立三维坐标系，将乒乓球视为坐标系中点坐标。
[0102]
上述步骤，重复获取乒乓球点坐标绘制为乒乓球轨迹。
[0103]
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。