基于差帧法的跳绳真假判断方法及系统与流程

1.本发明涉及运动目标检测技术领域，具体涉及一种基于差帧法的跳绳真假判断方法及系统。


背景技术：

2.跳绳中，当绳子甩动速度过快时，难以用肉眼区分是否为有绳跳绳或无绳跳绳。由于绳子又细又长，即便是应用现有的运动目标检测算法也很难准确识别到高速甩动的绳子。现有技术中，对跳绳作真假检测的方法主要为基于深度学习的目标检测方法。该方法主要应用现有的ssd模型或yolo模型对输入的跳绳图像中是否有绳子进行目标检测，如果检测到绳子，则判定跳绳为真，否则判定跳绳为假。但高速跳绳运动中，绳子是高度模糊的，现有的ssd或yolo模型难以准确识别到绳子，因此所作出的判断结果参考价值不大。


技术实现要素：

3.本发明以提高对跳绳真假判断的准确度为目的，提供了一种基于差帧法的跳绳真假判断方法及系统。
4.为达此目的，本发明采用以下技术方案：
5.提供一种基于差帧法的跳绳真假判断方法，包括步骤：
6.s1，对若干段跳绳视频作帧间差分计算，得到按时间顺序排列的对应每段所述跳绳视频的差帧图像序列，记为q，q＝p1、p2、
…
、pi、
…
、pn，pi表示所述差帧时序图像中的第i张差帧图像，i＝1、2、
…
、n，n为差帧图像序列q中的所述差帧图像的数量；
7.s2，将所述差帧图像序列q中的所有所述差帧图像叠加为一张图像，并将关联各段所述跳绳视频的各叠加图作为跳绳真假判断模型训练的样本进行模型训练；
8.s3，对获取的实时跳绳视频作帧间差分计算，得到所述实时跳绳视频的差帧序列，并将所述差帧序列中的各差帧合并为差帧叠加图后输入到步骤s2训练而得的所述跳绳真假判断模型中作跳绳真假判断，并输出判断结果。
9.作为本发明的一种优选方案，n＝20。
10.作为本发明的一种优选方案，所述差帧图像为二值图。
11.作为本发明的一种优选方案，训练所述跳绳真假判断模型的神经网络结构包括依序级联的第一卷积层、第一归一化层、第一最大池化层、第二卷积层、第二归一化层、第二最大池化层、第三卷积层、第三归一化层、第三最大池化层、第四卷积层、第四归一化层、第四最大池化层、第五卷积层、第五归一化层、flatten层、dropout层和dense层，
12.所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层以及所述第五卷积层用于提取作为模型训练样本的所述叠加图的图像特征；
13.所述第一归一化层、所述第二归一化层、所述第三归一化层、所述第四归一化层以及第五归一化层分别用于对所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层以及所述第五卷积层输出的特征图作图像像素批量归一化处理；
14.所述第一最大池化层、所述第二最大池化层、所述第三最大池化层和所述第四最大池化层分别用于对所述第一归一化层、所述第二归一化层、所述第三归一化层以及所述第四归一化层输出的特征图用二维最大池化使特征降维，以压缩数据和参数数量；
15.所述flatten层用于将所述第五归一化层输出的多维的数据一维化；
16.所述dropout层用于减少模型过拟合；
17.所述dense层作为网络输出层，用于将提取的图像特征映射到输出空间上。
18.作为本发明的一种优选方案，训练所述跳绳真假判断模型的方法步骤包括：
19.s21，对各所述叠加图进行数据增强；
20.s22，将经数据增强后的所述叠加图作为模型训练样本输入到所述神经网络中训练形成所述跳绳真假判断模型；
21.s23，获取所述差帧得加图并输入到所述跳绳真假判断模型中作跳绳真假判断；
22.s24，计算所述跳绳真假判断模型的判断误差，并根据误差计算结果调整模型训练参数后返回步骤s21对所述跳绳真假判断模型进行更新训练，直至满足迭代更新的终止条件，得到最终的所述跳绳真假判断模型。
23.作为本发明的一种优选方案，对所述叠加图进行数据增强的方法包括对所述叠加图进行缩放、平移、旋转、随机裁剪、左翻转或右翻转中的任意一种或多种。
24.作为本发明的一种优选方案，对经数据增强后的所述叠加图作像素归一化后作为训练所述跳绳真假判断模型的样本。
25.作为本发明的一种优选方案，将所述差帧叠加图作像素归一化后输入到所述跳绳真假判断模型中作跳绳真假判断。
26.本发明还提供了一种基于差帧法的跳绳真假判断系统，可实现所述的基于差帧法的跳绳真假判断方法，所述跳绳真假判断系统包括：
27.帧间差分计算模块，用于对若干跳绳视频作帧间差分计算，得到按时间顺序排列的对应每段所述跳绳视频的差帧图像序列；
28.差帧图像叠加模块，连接所述帧间差分计算模块，用于将所述差帧图像序列中的所有差帧图像叠加为一张图像后输出；
29.模型训练模块，连接所述差帧图像叠加模块，用于将关联各段所述跳绳视频的各叠加图作为跳绳真假判断模型训练的样本进行模型训练，得到跳绳真假判断模型；
30.实时跳绳视频获取模块，用于获取实时跳绳视频并输入给所述帧间差分模块；
31.所述帧间差分模块，还连接所述实时跳绳视频获取模块，用于对获取的所述实时跳绳视频作帧间差分计算，得到所述实时跳绳视频的差帧序列；
32.所述差帧图像叠加模块，还用于将所述差帧序列中的各差帧合并为差帧叠加图后输出；
33.跳绳真假判断模块，分别连接所述差帧图像叠加模块和所述模型训练模块，用于利用所述跳绳真假判断模型根据输入的所述差帧叠加图对跳绳是否作假进行判断，并输出判断结果。
34.本发明通过对若干段跳绳视频作帧间差分计算，并将关联同段跳绳视频的多张差帧图像叠加为一张图后，将关联各段跳绳视频的各叠加图作为跳绳真假判断模型的训练样本，大幅提升了模型对跳绳真假判断的准确度。
附图说明
35.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1是本发明一实施例提供的基于差帧法的跳绳真假判断方法的实现步骤图；
37.图2是训练跳绳真假判断模型的方法步骤图；
38.图3是本发明对跳绳真假判断的逻辑框图；
39.图4是本发明训练跳绳真假判断模型的逻辑框图；
40.图5是对差帧图像进行叠加后的叠加图的示意图；
41.图6是本发明一实施例提供的基于差帧法的跳绳真假判断系统的结构示意图.
具体实施方式
42.下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
43.其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
44.本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
45.在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
46.帧间差分法(简称差帧法)是一种通过对视频图像序列的连续两帧图像作差分运算获取运动目标轮廓的方法。当监控场景中出现异常目标运动时，相邻两帧图像之间会出现较为明显的差别，两帧相减，求得图像对应位置像素值差的绝对值，判断其是否大于某一阈值，进而分析视频或图像序列的物体运动特性。
47.本发明通过对跳绳视频作帧间差分计算，得到二值化后的差帧图，并通过将关联同段跳绳视频的多张差帧图(二值图)叠加为一张图来增强跳绳的运动轨迹特征，有效过滤背景环境，并以关联每段跳绳视频的多张叠加图为跳绳真假判断模型的训练样本，增强了模型的抗干扰能力，从而解决了现有的ssd、yolo等模型对绳子作目标检测准确度不够理想的问题。
48.具体地，本发明实施例提供的基于差帧法的跳绳真假判断方法如图1和图3所示，
包括：
49.步骤s1，对若干段跳绳视频作帧间差分计算，得到按时间顺序排列的对应每段跳绳视频的差帧图像序列，记为q，q＝p1、p2、
…
、pi、
…
、pn，pi表示差帧时序图像中的第i张差帧图像，i＝1、2、
…
、n，n为差帧图像序列q中的差帧图像的数量；n优选为20，即跳绳视频中优选含21帧图像，第二帧与第一帧作帧间差分计算，得到差帧图像p1；第三帧与第二帧作帧间差分计算，得到差帧图像p2，以此类推，第21帧与第20帧作帧间差分计算，得到差帧图像p
20
；
50.步骤s2，将差帧图像序列q中的所有差帧图像叠加为一张图像，并将关联各段跳绳视频的各叠加图作为跳绳真假判断模型训练的样本进行模型训练；
51.差帧图像的叠加方式为：
52.差帧图像p1作为待叠加的第一张图；差帧图像p2与第一张图叠加后得到第二张图；差帧图像p3与第二张图叠加后得到第三张图，以此类推，差帧图像p
20
与第十九张图叠加后得到第二十张图(叠加的二十张图请见附图5)。我们将最终叠加的第二十张图作为训练跳绳真假判断模型的样本。样本包括正样本和负样本，图像中有绳子的为正样本，无绳子的为负样本。
53.本发明训练跳绳真假判断模型的神经网络结构如下表1所示，包括依序级联的第一卷积层、第一归一化层、第一最大池化层、第二卷积层、第二归一化层、第二最大池化层、第三卷积层、第三归一化层、第三最大池化层、第四卷积层、第四归一化层、第四最大池化层、第五卷积层、第五归一化层、flatten层、dropout层和dense层，
54.第一卷积层、第二卷积层、第三卷积层、第四卷积层以及第五卷积层用于提取作为模型训练样本的叠加图的图像卷积特征；
55.第一归一化层、第二归一化层、第三归一化层、第四归一化层以及第五归一化层分别用于对第一卷积层、第二卷积层、第三卷积层、第四卷积层以及第五卷积层输出的特征图作图像像素批量归一化处理，以加快收敛加速训练；
56.第一最大池化层、第二最大池化层、第三最大池化层和第四最大池化层分别用于对第一归一化层、第二归一化层、第三归一化层以及第四归一化层输出的特征图用二维最大池化使特征降维，以压缩数据和参数数量；
57.flatten层用于将第五归一化层输出的多维的数据一维化；
58.dropout层用于减少模型过拟合；
59.dense层作为网络输出层，用于将提取的图像特征映射到输出空间上。
60.网络输入层输入的叠加图的尺寸为384
×
384
×
1(“384”表示叠加图的长或宽，“1”表示通道数)；输入的叠加图经第一卷积层的卷积特征提取后输出尺寸为384
×
384
×
32(“384”表示特征图的长或宽，“32”表示通道数，即32个3
×
3的卷积核去提取图像特征)的特征图，第一卷积层的“320”为卷积层的参数量，由3
×3×
32+32(后面加上的这个“32”为常数项参数个数)计算而得。同样地，以下的其他卷积层中的、归一化层和最大池化层中的shape变量，分别代表(n,h,w,c)，n即none代表当前层每次需要处理的图片数量；h表示height，为图片的高；w表示width，为图片的宽，c表示channel，为图片的通道数。正常的grba为4通道图片，但我们输入到网络的是二值图，所以输入到网络输入层中的图片的通道数为“1”。下表1中的“layer”表示作了什么操作，比如作了卷积操作或归一化操作或最大池化操作；“output shape”表示这一层输出数据的形状；“param”表示这一层参数的数量。
[0061][0062]
表1
[0063]
训练跳绳真假判断模型的方法如图2和图4所示，包括：
[0064]
步骤s21，对各叠加图进行数据增强，数据增强的目的是为了增加样本量，数据增强方式包括对叠加图进行缩放、平移、旋转、随机裁剪、左翻转、右翻转中的任意一种或多种；
[0065]
步骤s22，将经数据增强后的叠加图作为模型训练样本输入到上述的神经网络中训练形成跳绳真假判断模型；
[0066]
步骤s23，获取跳绳视频帧图像并输入到跳绳真假判断模型中作跳绳真假判断；如果模型识别出跳绳视频帧图像中有绳，则判定跳绳为真，否则判定跳绳为假；
[0067]
步骤s24，计算跳绳真假判断模型的判断误差，并根据误差计算结果调整模型训练参数后返回步骤s21对跳绳真假判断模型进行更新训练，直至满足迭代更新的终止条件，得到最终的跳绳真假判断模型。
[0068]
为了消除特征之间量级不同对模型训练效果的影响，优选地，对经数据增强后的各叠加图作像素归一化后作为训练跳绳真假判断模型的样本，且归一化后使得后面数据处理更加方便，其次还加速了模型训练的收敛速度。
[0069]
请继续参照图1，本实施例提供的跳绳真假判断方法，还包括：
[0070]
步骤s3，对获取的实时跳绳视频作帧间差分计算，得到实时跳绳视频的差帧序列，并将差帧序列中的差帧合并为差帧叠加图后输入到步骤s2训练而得的跳绳真假判断模型中，模型根据输入的差帧叠加图对跳绳是否作假进行判断，并输出判断结果。
[0071]
为了提高模型判断的速度，优选地，将差帧叠加图作像素归一化后输入到跳绳真假判断模型中作跳绳真假判断。
[0072]
综上，本发明通过对若干段跳绳视频作帧间差分计算，并将关联同段跳绳视频的多张差帧图像叠加为一张图后，将关联各段跳绳视频的各叠加图作为跳绳真假判断模型的训练样本，大幅提升了模型对跳绳真假判断的准确度
[0073]
本发明还提供了一种基于差帧法的跳绳真假判断系统，可实现上述的基于差分法的跳绳真假判断方法，如图6所示，该系统包括：
[0074]
帧间差分计算模块，用于对若干跳绳视频作帧间差分计算，得到按时间顺序排列的对应每段跳绳视频的差帧图像序列；
[0075]
差帧图像叠加模块，连接帧间差分计算模块，用于将差帧图像序列中的所有差帧图像叠加为一张图像后输出；
[0076]
模型训练模块，连接差帧图像叠加模块，用于将关联各段跳绳视频的各叠加图作为跳绳真假判断模型训练的样本进行模型训练，得到跳绳真假判断模型；
[0077]
实时跳绳视频获取模块，用于获取实时跳绳视频并输入给帧间差分模块；
[0078]
帧间差分模块，还连接实时跳绳视频获取模块，用于对获取的实时跳绳视频作帧间差分计算，得到实时跳绳视频的差帧序列；
[0079]
差帧图像叠加模块，还用于将差帧序列中的各差帧合并为差帧叠加图后输出；
[0080]
跳绳真假判断模块，分别连接差帧图像叠加模块和模型训练模块，用于利用跳绳真假判断模型根据输入的差帧叠加图对跳绳是否作假进行判断，并输出判断结果。
[0081]
需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本技术说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。