一种基于视频数据的人体动作分析方法与流程

技术特征：

1.一种基于视频数据的人体动作分析方法，其特征在于，主要包括数据输入(一)；空间动作评价(二)；时间动作路径提取(三)；行动建议生成(四)。

2.基于权利要求1所述的数据输入(一)，其特征在于，包括训练和测试两部分，其中使用UCF-Sports数据进行训练，使用Olympic sports dataset数据进行测试；

(1)UCF-Sports数据集有10种动作，150段短视频，已被广泛用于动作定位；

(2)Olympic sports dataset：该数据库有16种行为，783段视频。

3.基于权利要求1所述的空间动作评价(二)，其特征在于，包括人体评价、运动评价和动作分数计算。

4.基于权利要求3所述的评价，其特征在于，包括具有评价指标，评价是基于行动建议与地面实况G之间的平均IoU值，它被定义为：

其中G_t和分别是在第t帧检测的包围盒和地面实况，o(…)是IoU值，|C|是一组帧，其中的检测结果或地面实况不为空；当时，则行动建议为阳性组；η是指定的阈值，η设置为0.5。

5.基于权利要求3所述的人体评价，其特征在于，执行训练数据，旋转每个训练样本，分别为从到的七个不同的角度，间隔为表示在第t框的第i个动作的包围盒，包围盒表示为[x,y,w,h]，其中w和h分别代表宽度和高度，(x,y)是中心；培训结束后，每个包围盒在测试视频中的概率可以通过CNN网络评价；通过设置一个概率阈值，具有更高概率的人类建议，保持用于后续处理。

6.基于权利要求3所述的动作评价，其特征在于，包括利用运动线索排除阴性行动建议；光流直方图(HOF)描述符是用来描述每个人的运动建议；基于HOFs构建了两个高斯混合模型(GMMs)，G_p(.)和G_n(.)，分别代表了阳性和阴性建议，预测属于动作或地面实况的运动模式的概率；HOFs计算相交单元(IoU)包围盒，重叠与地面实况超过0.5作为阳性样品，而那些重叠小于0.1为阴性样品；给定一个测试方案和它的HOFh_i，定义的可能性作为一个运动评分，使用两个高斯模型的混合物的预测：

σ＝1/(1+e^-x)映射可能性的范围为[0,1]。

7.基于权利要求3所述的动作分数计算，其特征在于，一个包围盒动作评分由人体检 测评分和运动评分两部分组成，定义如下：

λ_p是平衡人类评价和运动评价评分的参数。

8.基于权利要求1所述的时间动作路径提取(三)，其特征在于，包括动作路径生成和联系、动作路径完成，步骤如下：

(1)动作路径生成

在每一个框架上的行动建议，找到一组行动路径P＝{p₁,p₂,…,p_i}，其中对应一个路径，从s-th帧开始到e-th帧结束；制定寻找行动路径集P为最大集覆盖问题(MSCP)，制定一个改进的优化目的MSCP，同时使动作评分和路径集合P中的成员之间的相似性最大；形式上，优化目标如下：

W(p_i,p_j)表示动作路径p_i和p_j之间的相似性，它的定义将在行动路径关联中解释；S(b_t)是包围盒b_t的动作评分；Φ是动作路径候选集；η_P是一个阈值；

方程(4)中的第一个约束设置包含路径P的最大数目；第二个约束有利于P避免产生重叠的冗余动作路径；两种路径的重叠通过O(p_i,p_j)评价，定义如下：

在方程(5)中，定义为代表两个包围盒和的IoU；

为了解决方程(4)中的MSCP，需要先获得行动路径候选集φ；φ由时空光滑路径p_i组成，其连续元应满足以下两个要求：

代表IoU，和代表的颜色直方图(HOC)和直方图的梯度(HOG)；λ_a是平衡这两个权重的权衡；η_o和η_f是阈值；方程(6)中的第一个要求保证连续的包围盒和 在空间上连续；第二个要求确保和有相似的外观；因此，路径p_i可能会跟随相同动作者；

获得φ的算法包括两个阶段：前向搜索和后向跟踪；前者的目的是定位路径的结束，后者的目的是要恢复整个路径；其中心思想是要维持一个更新的最佳Top-N路径候选人，表示为φ＝(τ_k,b^k)，k＝1,2,…,N，其中，τ_k路径K得分，通过积累的获得，b^k是k路径末端的包围盒；在正向搜索中，它也记录每个的累计动作分数

和满足公式(6)的两个要求，在t帧的根据以下两个步骤更新路径候选池：针对每个候选，(τ_k,b^k)，k＝1,2,…,N，如果存在任何的连接到b^k，然后b^k将被有最大的的 取代；如果的累计分数比N-th建议的分数更大，例如，(τ_N,b^N)，则更新为 向前搜索后，向后跟踪恢复候选路径(τ_k,b^k)的每个更具体地说，对于路径p_k，获得通过求解方程

(2)动作路径联系

获得φ之后，可以解决公式(4)中的MSCP；最大的集合覆盖问题用贪婪搜索算法可以实现1-1/e近似比；在开始的时候，在φ使用最大动作分数τ_k寻找的候选池p_i，然后将它添加到路径集P；假设P具有包含k动作路径，列举φ中的其余路径，找到一个最大的流动方程为：

在公式(6)中，W(p_i,p_j)动作路径p_i和p_j的相似性，定义为

W(p_i,p_j)＝1/(‖C(p_i)-C(p_j)‖+λ_a‖H(p_i)-H(p_j)‖) (10)

C(p_*)和H(p_*)分别代表路径p_*包围盒HOC和HOG的聚类中心，W(p_i,p_j)的较大值，p_i和p_j可能是相同的动作者；为了减少在集合P中的冗余路径，新添加的路径p_i应满足方程(5)中的约束。

9.基于权利要求8所述的动作路径完成，其特征在于，包括训练的线性支持向量机作为框式水平仪探测器；初始组的阳性包括数据集P的包围盒，而阴性包围盒组成排除数据集p， 包围盒在阳性组随机选择，IoU小于0.3；在t帧给定检测区域b_t，在t+1帧错过的检测位置，为了找到最有可能的位置；第一，随着区域b_t内的光流中的转变，b_t映射到b_t′₊₁；第二，通过扩展b_t′₊₁的高度和宽度，过去一半的原始长度，构建搜索区域b_t′₊₁；第三，通过一套窗口扫描b_t′₊₁，宽度和长度的比值在[0.8,1.2]范围内变化适应一个演员可能大小变化；b_t+1最好的区域选择作为一个地以下方程最大限度：

N(b_t′₊₁)表示扫描b_t′₊₁产生的窗口集，S_f(·)是SVM分类器，输入特征被选择作为HOC和HOG的组合；在获得了b_t+1之后，更新的支持向量机检测器，通过添加作为一个阳性样本，b_t+1IoU小于0.3的包围盒为阴性。

10.基于权利要求1所述的行动建议生成(四)，其特征在于，包括时空连续轨道可以被视为一个动作，专注于一个动作者从出现直到消失；对于每一个动作，如果它的持续时间大于一个指定的阈值，这个行动建议，表示为