一种基于视频图像分析处理系统及装置的制作方法

1.本发明属于视频图像处理技术领域，特别涉及一种基于视频图像分析处理系统及装置。


背景技术：

2.棒球最早起源于15世纪，即当时流行于英国的板桨球。后来传到美国。1839年，美国纽约州古帕斯敦举行了首次棒球比赛。1978年，国际棒联得到国际奥委会的承认，国际棒球联合会于1994年将总部设在瑞士洛桑。1992年棒球被列入奥运会比赛项目。对于球员训练而言，传统的棒球培训以教练为主，教练通过球员运动时的动作、姿态、球的距离等定制训练方案，但这种方式过于主观，很多数据和参数受限于人主观因素的影响，往往最后事倍功半；现如今越来越多的国内外研究者将视线聚焦在辅助训练系统的研发，其中针对高尔夫球运动所占的比重最大。高尔夫球运动的辅助训练系统应用于棒球是可行的，但是目前的现有技术来看，缺陷也较为明显；
3.如“cn201810555225.1一种基于学生运动的运动辅助系统、方法、装置及介质”以及“cn201910683497.4一种基于姿态比对的高尔夫挥杆动作评分估计方法”提出的系统及方法，上述两个现有技术是单纯通过视频处理，利用算法将用户的姿态与标准数据库中的标准姿态进行评分，这样的方法固然可以利用算法的优势进行实现，但缺点也很突出，即忽略了个体的差异性，人与人之间的肌肉发力情况、姿态的变化情况各不相同，实际得到的分数并不相同，如果依靠标准数据库来处理评分，则无法保证每个人能够根据其本身的特性进行训练；现有技术的zepp装置一定程度解决了数据反馈的问题，但其采用三轴陀螺仪，数据精度还存在一定的问题；同时上述的现有技术只能依据姿态和标准库进行匹配，没有将数据和视频进行融合过渡，无法提供有效的数据反馈，那么现有技术中的方案只能机械性的提示用户姿态和标准姿态的差异和视频回放的功能；同时标准姿态往往是某个独特的人在某个特殊情况下得出的最标准的结果，无法将标准姿态量化为数据，套用至用户自身，进行定制化训练。


技术实现要素：

4.(一)要解决的技术问题
5.解决现有技术中视频数据过于单一，精度不足，无法量化数据，为定制化方案提供建议的缺陷。
6.(二)技术方案
7.本发明通过如下技术方案实现：一种基于视频图像分析处理系统；包括采集单元、用户终端、分析单元；
8.分析单元与采集装置及用户终端通讯连接；
9.所述采集单元包括至少一个视频图像采集装置以及至少一个传感装置；
10.所述用户终端为至少一个用于信息接收及可视化展示的装置；
11.所述分析单元包括：动作数据库、传感器数据库、视频数据库。
12.作为上述方案的进一步说明，所述动作数据库包括动作采集单元及关节点提取单元；用于通过检测算法提取用户在视频中的人体关节点，并将关节点反馈至视频数据库。
13.作为上述方案的进一步说明，所述传感器数据库包括传感器数据采集单元及关节点提取单元；用于将获得的传感器数据与其对应的人体关节点进行配对，并将关节点反馈至视频数据库。
14.作为上述方案的进一步说明，所述视频数据库包括视频预处理单元、帧间配对单元、可视化处理单元、捕捉单元；用于将采集单元获得的视频图像进行预处理、视频帧间的匹配及用户动作后相应物体变化状态的捕捉，最后将数据融合进行可视化处理。
15.作为上述方案的进一步说明，所述视频采集装置布置于场地；所述传感装置安装于用户的腰部及手部。
16.作为上述方案的进一步说明，所述传感装置用于监测用户开始动作至动作结束期间的角速度、加速度、角度变化、速度变化。
17.作为上述方案的进一步说明，所述捕捉单元通过帧间配对后的视频以及传感装置获得的传感数据分析用户动作后相应物体的初始角度、初始加速度以及物体变化轨迹。
18.本发明还提出一种用于视频图像分析处理系统的手部传感装置，所述手部传感装置包括手套、传感单元；
19.所述传感单元包括传感器、通讯单元、供电单元、存储单元；
20.所述传感器与通讯单元、存储单元电性连接；
21.所述供电单元与传感器、通讯单元、存储单元电性连接；
22.所述传感单元活动连接于手套背部。
23.本发明还提出一种用于视频图像分析处理系统的腰部传感装置，所述腰部传感装置包括至少一个传感单元、至少一个传感单元连接装置、柔性连接带、连接带固定装置；
24.所述传感单元包括传感器、通讯单元、供电单元、存储单元；
25.所述传感器与通讯单元、存储单元电性连接；
26.所述供电单元与传感器、通讯单元、存储单元电性连接；
27.所述柔性连接带用于串联传感单元连接装置，通过连接带固定装置将腰部传感装置固定于腰部。
附图说明
28.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
29.图1为本发明系统框架图；
30.图2为本发明实施例中视频采集装置采集示意图；
31.图3为本发明实施例中采集后人体骨骼关节点示意图；
32.图4为本发明实施例中人体骨骼关节点抛球动作的示意图；
33.图5为本发明实施例中人体骨骼关节点挥棒动作的示意图；
34.图6为本发明实施例中一种用于视频图像分析处理系统的手部传感装置的示意图；
35.图7为本发明实施例中一种用于视频图像分析处理系统的腰部传感装置的示意图；
36.图中：头部关节点标号(1)、天突关节点标号(2)、右肩关节点标号(3)、右肘关节点标号(4)、左肩关节点标号(5)、左肘关节点标号(6)、腰部关节点标号(7)、右膝关节点标号(8)、右脚关节点标号(9)、左膝关节点标号(10)、左脚关节点标号(11)、右手关节点标号(12)、左手关节点标号(13)、棒球棍(14)、手套(15)、传感单元(16)、传感单元连接装置(17)、第一连接孔(171)、安装槽(172)、传感单元(173)；柔性连接带(18)、双钩面魔术带层(181)、连接带固定装置(19)、第二连接孔(191)、视频采集装置(20)。
37.(三)有益效果
38.本发明相对于现有技术，具有以下有益效果：本发明利用传感数据和视频分析处理两种模式，将传感数据与视频数据进行融合，实现多元数据融合，为用户提供更多的运动数据，弥补运动时的不确定性，解决现有技术中视频数据过于单一，精度不足，无法量化数据，为定制化方案提供建议的缺陷；本发明还提出两种采用惯性测量单元能够检测六轴数据，弥补现有技术中精度不足的问题；还利用视频分析技术提取棒球被击打时合外力的作用时间，反向演算击球时球所受的重力在内的所有外力的合力，提供挥棒时的发力数据，并将其与视频数据融合，进一步实现可视化处理。
具体实施方式
39.实施例
40.参考图1，系统包括采集单元、用户终端、分析单元；
41.分析单元与采集装置及用户终端通讯连接；
42.采集单元包括至少一个视频图像采集装置以及至少一个传感装置；
43.所述用户终端为至少一个用于信息接收及可视化展示的装置；
44.所述分析单元包括：动作数据库、传感器数据库、视频数据库。
45.所述动作数据库包括动作采集单元及关节点提取单元；用于通过检测算法提取用户在视频中的人体关节点，并将关节点反馈至视频数据库。
46.作为上述方案的进一步说明，所述传感器数据库包括传感器数据采集单元及关节点提取单元；用于将获得的传感器数据与其对应的人体关节点进行配对，并将关节点反馈至视频数据库。
47.作为上述方案的进一步说明，所述视频数据库包括视频预处理单元、帧间配对单元、可视化处理单元、捕捉单元；用于将采集单元获得的视频图像进行预处理、视频帧间的匹配及用户动作后相应物体变化状态的捕捉，最后将数据融合进行可视化处理。
48.分析单元是整个系统的核心部分，负责所有的分析处理，参考图2，视频采集装置20布置于场地。采集视频图像后，将信息传输至分析单元，分析单元采用算法提取视频中人的关节点；参考图3，具体的关节点包括如下表所示：
49.表1各关节点编号所对应的含义
50.关节编号关节名称关节编号关节名称1头部8右膝2天突9右脚
3右肩10左膝4右肘11左脚5左肩12右手6左肘13左手7腰部
ꢀꢀ
51.需要说明的是在本实施例中采用的是较为成熟的openpose对原始视频进行采集；在现有技术中往往提取20个以上的关节点进行后续的分析，但事实上棒球运动的主要内容包括抛球和挥棒两个部分，参考图4、图5，图4为抛球的过程，图5为挥棒的过程；其核心的对训练有价值的部分在于腰部的情况及手部的情况，在本实施例中视频图像分析的作用在于逐帧与采集单元获取的实时数据进行对应，反演整个动作的流程；相比于现有技术如“cn201810555225.1一种基于学生运动的运动辅助系统、方法、装置及介质”以及“cn201910683497.4一种基于姿态比对的高尔夫挥杆动作评分估计方法”提出的系统及方法而言，本实施例优点是数据和视频的融合；数据和视频融合的优点在于弥补运动时的不确定性，上述两个现有技术是单纯通过视频处理，利用算法将用户的姿态与标准数据库中的标准姿态进行评分，这样的方法固然可以利用算法的优势进行实现，但缺点也很突出，即忽略了个体的差异性，人与人之间的肌肉发力情况、姿态的变化情况各不相同，实际得到的分数并不相同，如果依靠标准数据库来处理评分，则无法保证每个人能够根据其本身的特性进行训练；
52.综上所述，为了实现数据与视频的相融合，还需要解决数据的问题，因此本实施例根据棒球运动的特性提出两种相对应的传感装置；
53.一种用于视频图像分析处理系统的手部传感装置，参考图6，所述手部传感装置包括手套15、传感单元16；传感单元16包括传感器、通讯单元、供电单元、存储单元；在本实施例中传感器部分采用的是惯性测量单元，其优点在于惯性测量单元可以测量用户手部的三轴姿态角(或角速率)以及加速度，其能够实现六轴传感，惯性测量单元包括三轴陀螺仪和三轴加速度计。陀螺仪利用转子测量转速，根据采样时间来输出角速度w。更为重要的是其重量较轻，尺寸较小，在本实施例中采用的惯性测量单元其重量为55g，重量极轻，对用户的影响较小，其尺寸为44.8mm*38.6mm*21.5mm，尺寸较小，功耗小于1.5w，便于与通讯单元、供电单元、存储单元集成，实现传感单元的集成化、轻量化；需要说明的是传感单元的集成化为现有技术，在本实施例中不再进行过多的赘述。传感单元16可以通过背胶、魔术带、卡口等方式连接于手套15背部，便于训练时的穿脱；相较于现有技术的zepp装置而言，本装置的核心在于利用惯性测量单元，其优点也极为明显，相较于zepp传感器采用三轴陀螺仪，采用惯性测量单元能够检测六轴数据，弥补精度的问题。
54.一种用于视频图像分析处理系统的腰部传感装置，参考图7腰部传感装置包括两个传感单元连接装置17、柔性连接带18、连接带固定装置19；
55.传感单元连接装置上设有两个用于柔性连接带18穿过的第一连接孔171，用于安装传感单元173的安装槽172；
56.柔性连接带18表面设有双钩面魔术带层181；
57.连接带固定装置19两边设有用于柔性连接带18穿过的第二连接孔191；
58.传感单元173安装于安装槽172，利用柔性连接带18一端固定于连接带固定装置19
上一边第二连接孔191，另一端穿过的第一连接孔171，最后穿过第二连接孔191，利用双钩面魔术带层181实现固定，需要说明的是在本实施例中柔性连接带18所采用的材质为玉米纹松紧带，其优点在于弹力强劲，更容易贴合腰部；传感单元连接装置17及连接带固定装置19采用硅胶制成，其优点在于轻便、贴合；
59.传感单元包括传感器、通讯单元、供电单元、存储单元；
60.所述传感器与通讯单元、存储单元电性连接；
61.所述供电单元与传感器、通讯单元、存储单元电性连接；
62.需要说明的是传感单元与一种用于视频图像分析处理系统的手部传感装置所用的传感单元相同，此处不再赘述；两个传感装置用于监测用户开始动作至动作结束期间的手部及腰部的角速度、加速度、角度变化、速度变化。
63.上述描述已经将本实施例中的系统及装置的原理进行阐述，下一步对本实施例的系统、装置、分析部分流程进行说明：
64.首先的用户使用时需要现将两个传感装置安装于腰部和手部，视频图像采集装置布置于场地内，当用户进行抛球或者挥棒动作时，视频图像采集装置获取整个动作的信息将其反馈至分析单元进行视频预处理，预处理部分用于判断整个动作的起止帧位置；
65.将视频数据导入动作数据库完成动作采集后，针对人的动作进行关节点提取，并将数据再次反馈视频数据库准备下一步分析；
66.将视频数据及传感数据导入传感器数据库，针对人的动作进行关节点提取，将手部数据与腰部数据与关节点进行对应，同时依据传感器的数据获取发力点，具体的当球抛出或者棒击中球的瞬间，传感器测得的数据会出现突变，在突变的起止数据作为发力的时间段；在本实施例中对应的关节点为7和12；并将数据再次反馈视频数据库准备下一步分析；
67.上述两个步骤完成后需要进行帧间配对，其目的在于传感数据为时域数据，视频数据也为时域数据，需要将两个数据进行一一配对实现数据的融合，具体的传感装置开始使用时会进行静态判定，获得传感装置的初始数值，当监测到数值开始变化时将其作为起始点，将起始点与预处理后的视频中的第一帧进行配对，以预处理后的视频最后一帧作为结束，预处理后的视频最后一帧之后获得的数据不列入分析范围；
68.完成上述步骤后得了以下的数据：
69.1、人物关节点；
70.2、视频与传感数据融合后的数据；
71.利用可视化处理单元将人物关节点绘制于视频，便于用户观察变化；融合后的数据可以便于用户观察整个动作流程中，手部、腰部的发力情况，结合可视化处理后的人物关节点，更直观的看出姿态的变化。
72.完成上述步骤的同时需要调用捕捉单元，捕捉单元的用处在于捕捉棒球轨迹；所述捕捉单元通过帧间配对后的视频以及传感装置获得的传感数据分析用户动作后相应物体的初始角度、初始加速度以及物体变化轨迹。
73.需要说明的是利用捕捉单元捕捉球速方法有多种，在本实施例中采用帧差法进行提取，优点在于算法简单，对环境敏感度较低，能够适应各种动态环境；同时由于棒球运动速度可以避免该算法较难检测低速物体的问题。同时需要进一步说明的是本实施例所采用
的视频图像采集装置为微软公司发布的kinect传感器以及高速相机；kinect传感器其机身上有三个摄像头，依次为红外线发射器、彩色(rgb)摄像头，以及由红外cmos摄像机所构成的3d结构光深度感应器；高速相机传感器尺寸为1/2.3英寸，有效像素2800万，分辨率为1920*1080@60帧。需要进一步说明的是本发明计算得到的球在被击中后所受的冲量以及力的大小受限于环境影响，仅用于相对数值的参考，而非绝对数值。
74.完成上述步骤后每次动作的数据将会保存至用户终端，用户可以通过终端对数据进行存储、删除以及动作标记，通用动作标记用户可以直观的了解对于自身而言最优的发力角度及发力程度，便于用户进行定制化训练。
75.以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
76.此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。