36 ] (3)计算相机坐标系到人体坐标系的第一位置矩阵，第一位置矩阵包括旋转部分矩阵和 平移部分矩阵微体相机获取的人体左肩L的坐标为(VYl、)，人体右肩R的坐标为(CXr，CYr， CZr)， 人体中心T的坐标为(?，eYT，eZT)，旋转部分矩阵为#，则第一位置矩阵々=%+ ，
[0037]旋转部分矩阵为丨W通过式(1)计算得到，
[0039] 其中，瓦表示人体右肩到左肩的向量，兩表示人体中心到人体坐标系原点的向 量，表示人体右肩到人体中心的向量，X
[0040] (4)由于通过采集到的点云数据所计算的基于三个左肩、右肩和躯心得到的旋转 部分矩阵不一定正交，因此需要将旋转部分矩阵正交化，得到第二位置矩阵，第二位置矩阵 「R'为:
[0042] 其中，許为旋转部分矩阵，U和λ满足4 Λ)·υ。
[0043] (5)将人体各个关节点的坐标通过坐标变换换算到人体坐标系中，得到人体各个 关节点关于人体坐标系的相对位置，并将该相对位置作为动作识别的所需特征的一部分， 解决了视角变化在动作识别中的影响；但对于四肢运动区别不明显的动作序列，还需增加 人体坐标系在运动中的变化，用以区别例如旋转，跳跃等动作。
[0044] (6)由于人体运动等效成为一个刚体，人体的运动在相邻两帧之间的变化较为平 缓，不会发生突变，因此对得到的相邻两帧之间的旋转平移矩阵进行平滑化处理，平滑处理 过程具体为:对求得的相邻两帧之间的旋转平移矩阵进行算术平均。平滑化处理之后累加 相邻两针之间的变化量，得出从动作开始到当前时刻人体坐标系的平移变化量和旋转变化 量；
[0045]如图3所示，假设在t时刻人体位于Α点，t+Ι时刻位于Β点，设α、β和γ分别为人体绕 X轴、y轴及Z轴的旋转角度，则旋转矩阵
通过计算可得到其欧拉角
此时得到的变化量为帧与帧之间的 变化且较为微小，在动作识别中，需要将变化量进行累加，计算得出从动作开始到当前时刻 人体坐标系的平移和旋转变化。
[0046] (7)将步骤(5)中的相对位置与步骤(6)中的平移变化量和旋转变化量作为当前时 刻的特征向量。
【主权项】
1. 一种基于立体相机的骨架信息动作特征提取方法，其特征在于，包括W下步骤： (1) 利用立体相机获取人体各个关节点的坐标； (2) 确定人体坐标系； (3) 计算相机坐标系到人体坐标系的第一位置矩阵，所述的第一位置矩阵包括旋转部 分矩阵和平移部分矩阵； (4) 计算人体各个关节点到相机坐标系的第二位置矩阵； (5) 计算人体各个关节点关于人体坐标系的相对位置； (6) 对相邻两帖之间的旋转平移矩阵进行平滑化处理，并累加相邻两针之间的变化量， 得出从动作开始到当前时刻人体坐标系的平移变化量和旋转变化量； (7) 生成当前时刻的特征向量。2. 根据权利要求1所述的一种基于立体相机的骨架信息动作特征提取方法，其特征在 于，所述的人体坐标系的原点0为人体左肩L及右肩R的连接线和人体对称轴的交点为原点， 所述的人体坐标系的X轴为原点0到左肩L的射线，所述的人体坐标系的y轴为原点0到人体 中屯、T的射线，所述的人体坐标系的Z轴与所述的X轴和y轴所在的平面垂直并满足右手定 则。3. 根据权利要求1所述的一种基于立体相机的骨架信息动作特征提取方法，其特征在 于，所述的步骤(3)具体为:设立体相机获取的人体左肩L的坐标为(EXl，呀l，EZl)，人体右肩R 的坐标为(％，所，旬），人体中屯、了的坐标为(咕，咕，％)，旋转部分矩阵为詳，则所述的第 一位置矩阵0戶二,0灰叩+ 0巧胃?，其中，*"扣01?0为平移部分矩阵/PCORG = [ G〇x，G〇y /Oz ] T，，Ep为人体各关节点在人体坐 标系中的坐标。4. 根据权利要求1所述的一种基于立体相机的骨架信息动作特征提取方法，其特征在 于，所述的旋转部分矩阵为通过式(1)计算得到，(1) 其中，舟:表示人体右肩到左肩的向量，巧）表示人体中屯、到人体坐标系原点的向量， 威表示人体右肩到人体中屯、的向量，巧=扁X厮。5. 根据权利要求1所述的一种基于立体相机的骨架信息动作特征提取方法，其特征在 于，所述的步骤(4)具体为:将所述的第一位置矩阵中的旋转部分矩阵正交化，得到第二位 置矩阵，所述的第二位置矩阵为：其中，蘇为旋转部分矩阵，U和λ满足與护.航悠(斗令年).U。6. 根据权利要求1所述的一种基于立体相机的骨架信息动作特征提取方法，其特征在 于，所述的步骤(5)具体为:将人体各个关节点的坐标通过坐标变换换算到人体坐标系中， 得到人体各个关节点关于人体坐标系的相对位置。7. 根据权利要求1所述的一种基于立体相机的骨架信息动作特征提取方法，其特征在 于，所述的平滑化处理具体为:对求得的相邻两帖之间的旋转平移矩阵进行算术平均。8. 根据权利要求1所述的一种基于立体相机的骨架信息动作特征提取方法，其特征在 于，所述的步骤(7)具体为:将步骤(5)中的相对位置与步骤(6)中的平移变化量和旋转变化 量作为当前时刻的特征向量。
【专利摘要】本发明涉及一种基于立体相机的骨架信息动作特征提取方法，包括以下步骤：(1)利用立体相机获取人体各个关节点的坐标；(2)确定人体坐标系；(3)计算相机坐标系到人体坐标系的第一位置矩阵，所述的第一位置矩阵包括旋转部分矩阵和平移部分矩阵；(4)计算人体各个关节点到相机坐标系的第二位置矩阵；(5)计算人体各个关节点关于人体坐标系的相对位置；(6)对相邻两帧之间的旋转平移矩阵进行平滑化处理，并累加相邻两针之间的变化量，得出从动作开始到当前时刻人体坐标系的平移变化量和旋转变化量；(7)生成当前时刻的特征向量。与现有技术相比，本发明具有精度高、应用方便等优点。
【IPC分类】G06K9/00
【公开号】CN105550667
【申请号】CN201610047866
【发明人】陈启军, 尹晓川, 韩云
【申请人】同济大学
【公开日】2016年5月4日
【申请日】2016年1月25日