一种基于机顶盒的AI健身系统及实现方法与流程

一种基于机顶盒的ai健身系统及实现方法
技术领域
1.本发明涉及机顶盒领域，特别是涉及一种基于机顶盒的ai健身系统及实现方法。


背景技术：

2.随着生活水平的提高，人们愈发关注个人的身体健康。对于大部分工作的人员而言，在工作日并没有太多的运动时间，因此会选择通过健身，满足身体的运动量需求。在健身的过程中，通常会要求肢体完成一些指定的动作，对于这一类指定动作，需要外部环境进行监督，包括智能终端采集图像实现监督、通过教练人工监督等。
3.在健身领域的智能终端，包括互联网ott智能机顶盒和移动终端，大多采用终端摄像头采集视频图像，并利用终端芯片的嵌入式神经网络处理器(npu)模块基于人工智能完成逻辑推理，输出结果。其中嵌入式神经网络处理器(npu)采用“数据驱动并行计算”的架构，擅长处理视频、图像类的海量多媒体数据。对于含有npu模块的终端芯片，比如入门级的amlogic s905 d3芯片等，能够满足健身业务的需求；另一方面，这类终端芯片的价格较高，运用在机顶盒中性价比极低，不适合推广。
4.而目前的机顶盒的终端芯片中，均不包括npu模块，而是直接利用gpu或者cpu进行ai逻辑推理，运算速度慢，难以满足ai健身的高实时性的要求。比如广电市场的4k机顶盒主芯片采用的hi3798mv200h、gk6323v100a、mso9385ad；iptv市场的4k机顶盒主芯片采用的hi3798mv310、aml s905l3、mso9385ak；ott市场的4k机顶盒主芯片采用的amlogic s905系列芯片、hi3798mv310。目前的机顶盒芯片配置难以实现和推广ai健身业务。因此需要一种用于平台服务进行ai健身的系统及实现方法。


技术实现要素：

5.本发明的目的是解决现有技术的不足，提供一种基于机顶盒的ai健身系统及实现方法。
6.为了解决上述问题，本发明采用如下技术方案：
7.一种基于机顶盒的ai健身系统，包括机顶盒、服务器平台以及显示设备；其中机顶盒与服务器平台通信连接，机顶盒还与显示设备连接；机顶盒包括拍摄部，拍摄部用于获取图像，并上传至服务器平台；显示设备用于显示拍摄图像以及显示图像中的设定区域；服务器平台用于获取图像中的设定区域，服务器平台用于在图像上获取设定区域。
8.进一步的，所述机顶盒中的摄像部为usb摄像头。
9.进一步的，所述服务器平台包括图像识别模块；图像识别模块采用gpu集群。
10.一种基于机顶盒的ai健身实现方法，包括如下步骤：
11.步骤1：通过机顶盒中的摄像部，实时采集图像，并将采集的图像及图像识别请求传输至服务器平台；
12.步骤2：服务器平台接收图像识别请求，判断获取的图像识别请求的数量是否超过设定阈值；若超过设定阈值，则关闭视频转码服务的docker实例；否则，启动视频转码服务
的docker实例；
13.步骤3：服务器平台通过gpu集群，识别图像中的骨骼节点，并返回骨骼节点数据；
14.步骤4：机顶盒接收服务器平台返回的骨骼节点数据，并在显示设备上显示骨骼节点；
15.步骤5：显示设备还会显示摄像部采集的图像或者健身锻炼的参考图像。
16.进一步的，所述步骤1中摄像部采集图像以yuv格式输出，并通过基于udp的quic协议直接上传。
17.进一步的，所述机顶盒通过网络与服务器平台的连接；网络的带宽在30m以上。
18.进一步的，所述步骤3中返回的骨骼节点数据包括骨骼节点的名称以及骨骼节点的坐标和区域；骨骼节点的坐标为识别获取的骨骼节点的中心坐标；骨骼节点的区域为预设的区域大小，其中骨骼节点的区域与骨骼节点的名称相对应。
19.进一步的，所述步骤4中服务器平台返回的数据还包括运动标准程度的评价、完成动作得分以及动作计数，但不包括接收的图像数据。
20.进一步的，所述步骤5中，显示设备能够通过外部操控，切换显示的图像，包括摄像部采集的图像以及健身锻炼的参考图像。
21.本发明的有益效果为：
22.通过机顶盒端采集图像，再通过服务器平台处理图像，获取图像中的骨骼节点，使得不具备npu模块的机顶盒能够实现ai健身业务；
23.通过转换服务器平台的职能，包括视频转码以及ai健身业务，提高对服务器平台算力的利用效率，避免资源浪费；
24.通过基于udp的quic协议，将采集的视频图像直接上传，提高传输效率，降低端到端的时延，另外通过服务器平台传回骨骼节点数据，减少数据传输量，进一步提高传输效率。
附图说明
25.图1为本发明实施例一的结构连接示意图；
26.图2为本发明实施例一的数据流向示意图。
具体实施方式
27.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
28.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
29.实施例一：
30.如图1、2所示，一种基于机顶盒的ai健身系统，包括机顶盒、服务器平台以及显示设备；其中机顶盒与服务器平台通信连接，机顶盒还与显示设备连接；机顶盒包括拍摄部，拍摄部用于获取图像，并上传至服务器平台；显示设备用于显示拍摄图像以及显示图像中的设定区域，在本例中设定区域为骨骼节点；服务器平台用于获取图像中的设定区域，其中服务器平台通过现有的图像识别技术在图像上获取设定区域。
31.所述机顶盒中的摄像部为usb摄像头，摄像头的分辨率为1280*960、720*480、640*480或者320*240等，在本例中，摄像头的分辨率选用320*240；选用低分辨率的图像的目的是为了提升视频流由机顶盒端传输至服务器平台端的速度。
32.所述服务器平台包括图像识别模块，在本例中图像识别模块采用gpu集群，gpu集群可用于视频转码以及ai健身业务，ai健身业务包括识别上传图像中的骨骼节点。
33.一种基于机顶盒的ai健身实现方法，包括如下步骤：
34.步骤1：通过机顶盒中的摄像部，实时采集图像，并将采集的图像及图像识别请求传输至服务器平台；
35.步骤2：服务器平台接收图像识别请求，判断获取的图像识别请求的数量是否超过设定阈值；若超过设定阈值，则关闭视频转码服务的docker实例；否则，启动视频转码服务的docker实例；
36.步骤3：服务器平台通过gpu集群，识别图像中的骨骼节点，并返回骨骼节点数据；
37.步骤4：机顶盒接收服务器平台返回的骨骼节点数据，并在显示设备上显示骨骼节点；
38.步骤5：显示设备还会显示摄像部采集的图像或者健身锻炼的参考图像。
39.所述步骤1中摄像部采集图像以yuv格式输出，并通过基于udp的quic协议直接上传，需要说明的是，在机顶盒部分，并不会对图像进行压缩处理，提高整体的速度。机顶盒通过网络实现与服务器平台的连接，在本例中要求网络的带宽在30m以上。
40.所述步骤2中图像识别请求，基于k8s架构实现。
41.所述步骤3中返回的骨骼节点数据包括骨骼节点的名称以及骨骼节点的坐标和区域；其中骨骼节点的名称包括膝关节、肘关节、颈部等；骨骼节点的坐标为识别获取的骨骼节点的中心坐标，在本例中等同骨骼节点区域的中心坐标；骨骼节点的区域为预设的区域大小，其中骨骼节点的区域与骨骼节点的名称相对应，骨骼节点的区域的中心坐标，即骨骼节点的坐标。需要说明的是在本例中，服务器平台并不会返回接收的图像数据，目的是能够减小传输文件的大小，提高传输速度。其中对于识别图像的骨骼节点的方法包括训练图像识别模型等。在本例中还通过提高硬件性能以及优化训练数据，提高模型输出速度。服务器平台返回的数据还包括运动标准程度的评价、完成动作得分以及动作计数，但不包括接收的图像数据。
42.所述步骤5中，能够通过外部操控，切换显示设备显示的图像类型，图像类型包括摄像部采集的图像以及健身锻炼的参考图像。其中若显示摄像部采集的图像，则便于健身人员直接观察自身的动作；若显示健身锻炼的参考图像，则便于健身人员对自身的动作进行修正。在本例中，显示设备还会显示动作评分，动作评分通过机顶盒或者服务器平台获取，动作评分根据参考图像数据中的设定骨骼节点坐标与根据图像获取的骨骼节点数据进行比较获得。
43.在步骤5中，为了保证返回的骨骼节点数据能够与显示器显示的图像数据相对应，还会根据骨骼节点对应的时间调整显示的图像数据。其中在返回的骨骼节点数据中还包括时间节点，在显示器显示图像时，会优先读取骨骼节点数据中的时间节点数据，并根据读取的时间节点数据显示图像；在本例中，若读取的骨骼节点数据与显示的图像数据的时间差超出设定阈值，则对显示的图像数据进行校准，保证显示图像和骨骼节点数据的同步性能；时间差的的设定阈值为0.5s。
44.在实施的过程中，能够控制返回骨骼节点数据的延时在150ms内，满足ai健身实时性要求；通过机顶盒端采集图像，再通过服务器平台处理图像，获取图像中的骨骼节点，使得不具有npu的机顶盒能够实现ai健身业务；通过转换服务器平台的职能，包括视频转码以及ai健身业务，提高对服务器平台算力的利用效率，避免资源浪费；通过基于udp的quic协议，将采集的视频图像直接上传，提高传输效率，降低端到端的时延，另外通过服务器平台传回骨骼节点数据，减少数据传输量，进一步提高传输效率。
45.以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。