一种用于人体运动识别的视频数据筛选方法与流程

1.本发明涉及一种用于人体运动识别的视频数据筛选方法，属于计算机视觉技术领域。


背景技术：

2.随着深度学习技术的发展，深度学习模型的参数和网络的层数越来越多，需要大量的数据和标签，来让模型进行拟合，模型最终的精度表现，强依赖于给定的训练数据；
3.现有技术中庞大的数据量依赖人工进行标注和筛选，需要大量的人力和时间。
4.例如：中国发明专利：cn201811489982.x，所公开的“数据筛选方法、装置、服务器及存储介质”，其说明书公开：对每个训练数据而言，需要准备10-20个的标注数据，使得对数据标注投入的人力成本很大，并且由于人力资源有限，无法对尽可能多的数据进行人工标注，使得对海量的来自于互联网的原始数据利用不充分....；上述专利可以佐证现有技术存在的缺陷。
5.因此我们对此做出改进，提出一种用于人体运动识别的视频数据筛选方法。


技术实现要素：

6.本发明要解决的技术问题是：庞大的数据量依赖人工进行标注和筛选，需要大量的人力和时间的问题。
7.为了实现上述发明目的，本发明提供了一种用于人体运动识别的视频数据筛选方法，包括：
8.步骤一、输入视频、起始帧位以及末尾帧位；
9.步骤二、判断末尾帧位与起始帧位之差是否小于30帧，当末尾帧位与起始帧位之差小于30帧时，则进行步骤三，反之则结束；
10.步骤三、计算末尾帧与起始帧的相似度；
11.步骤四、判断相似度是否小于阈值，当相似度小于阈值时，则进行步骤五，反之则进行步骤六；
12.步骤五、输出该视频还有无明显动作变化的视频段并结束；
13.步骤六、输入视频、起始帧位以及中间帧位，再次进行步骤二以及步骤七；
14.步骤七、函数执行完毕，输入视频、中间帧位以及末尾帧位，再次进行步骤二；
15.还包括：
16.利用图像金字塔计算不同尺度下图片的余弦相似度；
17.利用像素直方图中两两相邻的bin之间差值，重新构建图像直方图；
18.利用尺度余弦相似度的平均值和新构建的图像直方图的乘积作为图像结构相似度量。
19.本发明所提供的一种用于人体运动识别的视频数据筛选方法，其有益效果是：
20.1.本技术的优点在于可以自动化筛选存在无明显动作变化的视频，降低人力的投
入，核心技术为衡量视频中两张图片的相似度，该技术可以保证尺度不变性和旋转不变性；
21.2.利用图像金字塔计算不同尺度下图片的余弦相似度、利用像素直方图中两两相邻的bin之间差值，重新构建图像直方图、利用尺度余弦相似度的平均值和新构建的图像直方图的乘积作为图像结构相似度量，解决了解决由传统的ssim相似性度量法无法鉴别尺度不同以及发生旋转的两张图片的相似性，完成在多个视频中筛选无明显动作变化的视频。
附图说明
22.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1为本技术提供的用于人体运动识别的视频数据筛选方法的流程示意图；
24.图2为本技术提供的图像金字塔的示意图；
25.图3为本技术提供的计算两张图像在对应尺度上的余弦相似度的计算过程图；
26.图4为本技术提供的利用余弦相似度的平均值代表多尺度下图片的相似度的示意图；
27.图5为本技术提供的像素直方图进行改进过程示意图。
具体实施方式
28.下面结合说明书附图和实施例，对本发明的具体实施方式做进一步详细描述。以下实施例仅用于说明本发明，但不能用来限制本发明的范围。
29.实施例1：
30.如图1所示，本实施方式提出一种用于人体运动识别的视频数据筛选方法，包括：
31.步骤一、输入视频、起始帧位以及末尾帧位；
32.步骤二、判断末尾帧位与起始帧位之差是否小于30帧，当末尾帧位与起始帧位之差小于30帧时，则进行步骤三，反之则结束；
33.步骤三、计算末尾帧与起始帧的相似度；
34.步骤四、判断相似度是否小于阈值，当相似度小于阈值时，则进行步骤五，反之则进行步骤六；
35.步骤五、输出该视频还有无明显动作变化的视频段并结束；
36.步骤六、输入视频、起始帧位以及中间帧位，再次进行步骤二以及步骤七；
37.步骤七、函数执行完毕，输入视频、中间帧位以及末尾帧位，再次进行步骤二；
38.还包括：
39.利用图像金字塔计算不同尺度下图片的余弦相似度；
40.利用像素直方图中两两相邻的bin之间差值，重新构建图像直方图；
41.利用尺度余弦相似度的平均值和新构建的图像直方图的乘积作为图像结构相似度量。
42.实施例2：
43.下面结合具体的工作方式对实施例1中的方案进行进一步的介绍，详见下文描述：
44.作为优选的实施方式，在上述方式的基础上，进一步的，还包括核心算法，核心算法为计算一个视频段首尾两帧的相似度，ssim结构性度量将整张图片用数量为像素个数的坐标表示一个向量，再将两张图像的代表向量计算余弦相似度；
45.实施例3：
46.下面结合具体的工作方式对实施例1和实施例2中的方案进行进一步的介绍，详见下文描述：
47.作为优选的实施方式，在上述方式的基础上，进一步的，利用图像金字塔计算不同尺度下图片的余弦相似度包括：
48.面对尺度和旋转发生变化的条件下，需要寻找一种更为稳定的向量表示方法，使得代表图片结构的向量发生很小的改变，在针对尺度变化方面，需要寻找向量的多尺度表达，利用下采样的方式生成图像的多尺度表达，通过4
×
4的滑动窗口将窗口内的像素值求平均，利用滑动窗口对图像的所有像素值执行求平均的操作，在像素不足4个的地方用零值进行填充；
49.对480p视频中的帧采取7次下采样最终得到的顶层图片的分辨率为7
×
4，将彩色图片转换为灰度图片，使用如下公式进行转换：
50.yh＝0.3r+0.59g+0.11b；
51.其中，yh为灰度图片单通道像素值；r为彩色图片红色通道像素值；g为彩色图片绿色通道像素值；b为彩色图片蓝色通道像素值。
52.如图2和图3所示，作为优选的实施方式，在上述方式的基础上，进一步的，经过转换得到一组灰度图像来表征图像金字塔，转化后的结果如图2，计算两张图像在对应尺度上的余弦相似度，计算过程如图3；
53.参照图2，金字塔层数自下而上分为1-8层，1-8层图像大小依次为854
×
480、427
×
240、214
×
120、107
×
60、54
×
30、27
×
15、14
×
8、7
×
4。
54.作为优选的实施方式，在上述方式的基础上，进一步的，计算不同尺度上的余弦相似度，xi代表该尺度下图片的像素值，μ
x
代表该尺度下图片像素的平均值，计算公式如下：
[0055][0056]
其中，i为第i个像素；xi代表该尺度下图片的第i个像素值；μ
x
代表该尺度下图片像素的平均值；n为该尺度下像素的个数；θ为代表高维向量之间的夹角；yi为另一张图片在该尺度下的图像的第i个像素值；μy为另一张图片在该尺度下的图像的像素平均值。
[0057]
如图4所示，作为优选的实施方式，在上述方式的基础上，进一步的，经过计算后得到分别代表8个尺度下的余弦相似度，利用余弦相似度的平均值代表多尺度下图片的相似度表达如图4，计算公式如下：
[0058][0059]
其中，为类似代表多尺度下图片的相似度夹角；θi为第i个尺度下两张图片之间的余弦相似性度。
[0060]
作为优选的实施方式，在上述方式的基础上，进一步的，来考虑相机旋转的条件
下，图像变化过程前后不变量的表达，由于只有相机的角度发生变化，而相机视角范围内的物体没有发生变化，并且如果在光照条件未发生改变的情况下，相机拍摄出来的照片中成像物体对应的像素值几乎没有发生改变，只是像素值所对应的像素坐标发生了改变；
[0061]
利用像素直方图中两两相邻的bin之间差值，重新构建图像直方图包括：
[0062]
采用图像直方图表征图像的像素分布，为抗击光照条件的变化，采用直方图中相邻两个bin之间的差值，重新计算图像的直方图表征，因为光照发生改变会使成像物体的整体像素值发生改变；
[0063]
由于物体本身的纹理，使得像素之间的梯度不会发生改变，受这个思想的启发，对像素直方图的改进，对原图进行灰度图像化，统计计算图像直方图，计算直方图中相邻两个bin之间的差值，最终直方图坐标的区间变为0～254，整个过程如图5所示。
[0064]
作为优选的实施方式，在上述方式的基础上，进一步的，利用尺度余弦相似度的平均值和新构建的图像直方图的乘积作为图像结构相似度量包括：
[0065]
利用直方图欧氏距离的相似性度量来判断两张图像的相似性，计算公式如下：
[0066][0067]
其中，d(x,y)为两张图片直方图相似性度量；x为图片x利用改进后的直方图计算法则得到图片的直方图x；y为图片y利用改进后的直方图计算法则得到图片的直方图y；xi为直方图x上第i个柱上对应的数值；yi为直方图y上第i个柱上对应的数值。
[0068]
作为优选的实施方式，在上述方式的基础上，进一步的，利用计算得来的cos和d(x,y)对原来的ssim计算公式进行改进，结果如下：
[0069][0070]
其中，ss(x,y)为两张图片之间的多尺度相似性度量；x为图片x；y为图片y；l(x,y)为两张图片亮度相似度衡量；c(x,y)为两张图片对比度相似度衡量；为两张图片的多尺度余弦相似性度量。
[0071]
最终利用改进后的ssim计算方法进行两张图片的相似性，实现视频的筛选。
[0072]
以上实施方式仅用于说明本发明，而非对本发明的限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。