一种基于人脸识别与骨骼算法实现智能跑道的方法和系统与流程

1.本技术涉及人工智能训练技术领域，尤其涉及一种基于人脸识别与骨骼算法实现智能跑道的方法和系统。


背景技术：

2.目前，跑步训练日益成为全民健身运动中的一项重要项目，各个年龄段的人群进行跑步训练的热情很高。但是，对于不同年龄、性别、身高、体重等类型的人群，其实科学的跑步训练方式是不同的。
3.目前绝大部分跑步爱好者，在进入学校操场、公共操场等跑道时，往往只能根据自身情况进行主观的跑步训练，往往由于并不符合生理学规律，训练健身结果并不理想。


技术实现要素：

4.有鉴于此，本技术的目的在于提出一种基于人脸识别与骨骼算法实现智能跑道的方法和系统，本发明能够在人员进入跑道时，及时、准确、科学的提出跑步训练建议，提升用户体验。
5.基于上述目的，本技术提出了一种基于人脸识别与骨骼算法实现智能跑道的方法，包括：
6.在跑道入口设置摄像头，实时拍摄进入人员的脸部图像和全身图像，获得监控图像数据；
7.解析所述脸部图像，通过人脸识别算法预测所述人员的年龄、性别；
8.解析所述全身图像，通过骨骼算法预测所述人员的体检信息，所述体检信息至少包括性别、身高、体重、血压、以及心跳信息；
9.当通过人脸识别算法预测的人员性别和通过骨骼算法预测的人员性别匹配度超过预设阈值时，将预测获得的所述人员的年龄、性别、身高、体重、血压、以及心跳信息输入训练好的人员分类神经网络，对所述人员的跑步训练类型进行分类；
10.根据所述分类的结果，推荐并展示所述人员的跑步训练方法。
11.在一些实施例中，所述在跑道入口设置摄像头，实时拍摄进入人员的脸部图像和全身图像，获得监控图像数据，包括：
12.提取所述监控图像数据的实时特征流。
13.在一些实施例中，在提取所述监控图像数据的实时特征流之前还包括：对所述监控图像数据中的图像进行目标定位，截取检测到的目标并分别提取特征，得到目标特征；对比所述目标特征与例外特征的差异度；若差异度小于阈值，则将此图像的帧剔除，不进行后续步骤；若差异度大于阈值，进行后续步骤。
14.在一些实施例中，所述提取所述监控图像数据的实时特征流，包括：提取监控图像数据的特征，得到实时特征流；对所述实时特征流进行特征变换。
15.在一些实施例中，所述特征变换包括以下方式中的至少一种：特征加扰、特征编
码、同态加密。
16.在一些实施例中，所述解析所述脸部图像，通过人脸识别算法预测所述人员的年龄、性别，包括：
17.步骤1，对人脸图像数据集进行数据预处理，并生成对应的标签；步骤2，对预处理后的人脸图像数据集进行增强操作，包括旋转、缩放、随机裁剪以及亮度、色度变换；步骤3，将增强操作后的数据集进行训练/验证/测试集的划分；步骤4，构建网络结构，导入训练集、验证集及其对应的标签进行训练；测试阶段具体包含如下步骤：步骤5，对人脸图像数据集进行数据预处理；步骤6，将预处理后的人脸图像数据集输入步骤4构建的网络结构，加载网络结构对应的模型参数进行前向传播；步骤7，取出网络结构的输出结果，根据标签生成规则得到预测标签；步骤8，根据每类标签的含义将所述预测标签转化即得到最终的预测结果。
18.在一些实施例中，所述解析所述全身图像，通过骨骼算法预测所述人员的体检信息，包括：
19.识别所述全身图像中的人体骨骼关键点；
20.根据所述人体骨骼关键点构建人体的整体骨骼画像；
21.根据所述整体骨骼画像计算所述人员的主要骨骼尺寸、形状，与标准人体数据库中的数据进行匹配，获得所述人员的性别、身高、体重、血压、以及心跳信息。
22.基于上述目的，本技术还提出了一种基于人脸识别与骨骼算法实现智能跑道的系统，包括：
23.监控模块，用于在跑道入口设置摄像头，实时拍摄进入人员的脸部图像和全身图像，获得监控图像数据；
24.人脸识别模块，用于解析所述脸部图像，通过人脸识别算法预测所述人员的年龄、性别；
25.骨骼算法模块，用于解析所述全身图像，通过骨骼算法预测所述人员的体检信息，所述体检信息至少包括性别、身高、体重、血压、以及心跳信息；
26.训练类型分类模块，用于当通过人脸识别算法预测的人员性别和通过骨骼算法预测的人员性别匹配度超过预设阈值时，将预测获得的所述人员的年龄、性别、身高、体重、血压、以及心跳信息输入训练好的人员分类神经网络，对所述人员的跑步训练类型进行分类；
27.推荐展示模块，用于根据所述分类的结果，推荐并展示所述人员的跑步训练方法。
28.总的来说，本技术的优势及给用户带来的体验在于：
29.1、本发明能够在人员进入跑道时，及时、准确、科学的提出跑步训练建议，提升用户体验。
30.2、采用了最新的神经网络预测技术，提高了人脸识别的精度和效率；
31.3、采用了骨骼算法，能够更加准确、快速的对跑步训练的人员身体状况进行分类，提高人员分类的效率。
附图说明
32.在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明
公开的一些实施方式，而不应将其视为是对本发明范围的限制。
33.图1示出本发明的系统架构原理示意图。
34.图2示出根据本发明实施例的基于人脸识别与骨骼算法实现智能跑道的方法的流程图。
35.图3示出根据本发明实施例的基于人脸识别与骨骼算法实现智能跑道的系统的构成图。
36.图4示出了本技术一实施例所提供的一种电子设备的结构示意图；
37.图5示出了本技术一实施例所提供的一种存储介质的示意图。
具体实施方式
38.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
39.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
40.图1示出本发明的系统架构原理示意图。本发明的实施例中，设备包括摄像头、处理器、显示屏、语音播报器等。在跑道入口设置摄像头，实时拍摄进入人员的脸部图像和全身图像，获得监控图像数据；通过处理器解析所述脸部图像，通过人脸识别算法预测所述人员的年龄、性别；解析所述全身图像，通过骨骼算法预测所述人员的体检信息，所述体检信息至少包括性别、身高、体重、血压、以及心跳信息；当通过人脸识别算法预测的人员性别和通过骨骼算法预测的人员性别匹配度超过预设阈值时，将预测获得的所述人员的年龄、性别、身高、体重、血压、以及心跳信息输入训练好的人员分类神经网络，对所述人员的跑步训练类型进行分类；根据所述分类的结果，通过显示屏推荐并展示所述人员的跑步训练方法。进一步的，也可以通过语音播报器播放智能推荐结果。
41.图2示出根据本发明实施例的基于人脸识别与骨骼算法实现智能跑道的方法的流程图。如图2所示，该基于人脸识别与骨骼算法实现智能跑道的方法包括：
42.步骤101：在跑道入口设置摄像头，实时拍摄进入人员的脸部图像和全身图像，获得监控图像数据。
43.本实施例中，首先对所述监控图像数据中的图像进行目标定位，截取检测到的目标并分别提取特征，得到目标特征；对比所述目标特征与例外特征的差异度；若差异度小于阈值，则将此图像的帧剔除，不进行后续步骤；若差异度大于阈值，进行后续步骤。
44.然后，通过摄像头提取所述监控图像数据的实时特征流，包括：提取监控图像数据的特征，得到实时特征流；对所述实时特征流进行特征变换。所述特征变换包括以下方式中的至少一种：特征加扰、特征编码、同态加密。
45.在本技术的优选实施例中，对于监控场景的视频流数据，会根据分辨率的大小，按照帧的要求分解成图像数据。由于视频可以分为空域和时域两个组成部分。空域部分，以单个视频帧的形式存在，携带视频中的场景和目标信息。而时域部分，以视频帧间的运行形势存在，传递观察者(摄像头等视频采集设备)和目标之间的移动。空域部分的输入流即为单独帧的图像数据，而时域部分则采用一些连续视频帧的堆叠光流位移场作为输入流。计算
多帧之间光流场(光流位移场)的方法包括光流栈(optica lflow stacking)和轨迹叠加(trajectory stacking)。
46.步骤102：解析所述脸部图像，通过人脸识别算法预测所述人员的年龄、性别，包括：
47.步骤1，对人脸图像数据集进行数据预处理，并生成对应的标签；步骤2，对预处理后的人脸图像数据集进行增强操作，包括旋转、缩放、随机裁剪以及亮度、色度变换；步骤3，将增强操作后的数据集进行训练/验证/测试集的划分；步骤4，构建网络结构，导入训练集、验证集及其对应的标签进行训练；测试阶段具体包含如下步骤：步骤5，对人脸图像数据集进行数据预处理；步骤6，将预处理后的人脸图像数据集输入步骤4构建的网络结构，加载网络结构对应的模型参数进行前向传播；步骤7，取出网络结构的输出结果，根据标签生成规则得到预测标签；步骤8，根据每类标签的含义将所述预测标签转化即得到最终的预测结果。
48.步骤103：解析所述全身图像，通过骨骼算法预测所述人员的体检信息，所述体检信息至少包括性别、身高、体重、血压、以及心跳信息，包括：
49.识别所述全身图像中的人体骨骼关键点；在这个步骤中，例如可以使用可识别25个关键部位的openpose算法对每个人体位置框中的对象进行关键点坐标和置信度数值的获取。
50.根据所述人体骨骼关键点构建人体的整体骨骼画像；在这个步骤中，例如可以根据coco数据集的格式对openpose的结果进行整理；将根据coco数据集的格式整理好的关键点数据送入pose2seg背景去除算法，完成对于人体区域的背景去除；将去除背景的人体区域和骨骼关键点数据送入smplify－x建模算法获取人体的3d模型。
51.根据所述整体骨骼画像计算所述人员的主要骨骼尺寸、形状，与标准人体数据库中的数据进行匹配，获得所述人员的性别、身高、体重、血压、以及心跳信息。在医学上，根据人的主要骨骼的情况，可以较为精准的获取和预测人员的性别、身高、体重、血压、胖瘦以及心跳等等信息，关于这方面的论著、专利、和论文已经有较多方面的阐述，在此不再赘述。本技术所采用的标准人体数据库，可以采用协和医院的研究论著当中所提及的数据库及数据。
52.步骤104：当通过人脸识别算法预测的人员性别和通过骨骼算法预测的人员性别匹配度超过预设阈值时，将预测获得的所述人员的年龄、性别、身高、体重、血压、以及心跳信息输入训练好的人员分类神经网络，对所述人员的跑步训练类型进行分类。具体，例如，可以包括以下过程：
53.s1、将大批量已知人员的年龄、性别、身高、体重、血压、以及心跳信息导入到人员分类神经网络，得到各个人员的跑步训练类型；将所述人员的年龄、性别、身高、体重、血压、以及心跳信息和跑步训练类型构成的特征向量作为训练样本，构建训练样本集；
54.s2、用训练数据集训练由基于全连接神经网络的自动编码器模型和k－means模型构成的akc模型；
55.s3、将待分类用户的特征向量输入训练好的akc模型中，得到该用户分类。
56.本技术的神经网络，例如可以基于一种人工智能推理计算设备。根据本公开内容的一个方面，人工智能推理计算设备包含印刷电路板(pcb)和安装在其上的若干电子部件。
电子部件包括无线通信模块、控制器模块、存储器模块、储存模块以及至少一个基于细胞神经网络(cnn)的集成电路(ic)，该集成电路被配置用于执行深度学习模型中的卷积操作，以从输入数据中提取出特征。每一个基于cnn的ic包括可操作地耦接到至少一个输入/输出数据总线的若干cnn处理引擎。cnn处理引擎利用时钟偏移电路以环路连接。无线通信模块被配置用于传输深度学习模型的预训练的滤波器系数、输入数据和分类结果。
57.每一个输入流(空域输入流和时域输入流)都使用了一个深度卷积神经网络。原本卷积神络网络在隐含层之后会得到特征图，在全连接层被展开为向量进行后续运算。本技术直接将展开后的一维浮点向量用作输出，作为提取到的特征数据，传输至云端，用做后续的分析计算处理。
58.本发明的数字细胞神经网络基于卷积神经网络，使用第一组滤波器或权重利用卷积来处理多层输入图像数据。由于图像数据大于滤波器，处理图像数据的每个对应的重叠子区域。在获得卷积结果之后，可以在第一池化操作之前进行激活。在一个实施方式中，通过在整流线性单元中执行的整流来实现激活。作为第一池化操作的结果，图像数据被减少为一组减少的图像数据。对于2x2池化，该组减少的图像数据集比先前组减少了4倍。
59.重复先前的卷积到池化过程。然后使用第二组滤波器用卷积处理该组减小的图像数据集。类似地，处理每个重叠的子区域。可以在第二池化操作之前进行另一激活。卷积到池化过程被重复多层并最终连接到全连接网络(fcn)。在图像分类中，可以计算相应的预定义类别的概率。
60.本发明中，使用已知的数据集或数据库来训练该重复的卷积到池化过程。对于图像分类，数据集包含预定义的类别。在用于分类图像数据之前，可以调谐并获得一组特定的滤波器、激活和池化，例如，滤波器类型的特定组合、滤波器的数量、滤波器的顺序、池化类型和/或何时执行激活。在一个实施方式中，卷积神经网络基于视觉几何群(vgg16)架构神经网络，其包含13个卷积层和三个完全连接的网络层。
61.步骤105：根据所述分类的结果，推荐并展示所述人员的跑步训练方法。当然，进一步的，也可以通过语音播报器播放智能推荐结果。以下举例说明本技术的推荐效果(例如识别8个人的情况，4男4女)：
[0062][0063]
申请实施例提供了一种基于人脸识别与骨骼算法实现智能跑道的系统，该系统用于执行上述实施例所述的基于人脸识别与骨骼算法实现智能跑道的方法，如图3所示，该系统包括：
[0064]
监控模块501，用于在跑道入口设置摄像头，实时拍摄进入人员的脸部图像和全身图像，获得监控图像数据；
[0065]
人脸识别模块502，用于解析所述脸部图像，通过人脸识别算法预测所述人员的年龄、性别；
[0066]
骨骼算法模块503，用于解析所述全身图像，通过骨骼算法预测所述人员的体检信息，所述体检信息至少包括性别、身高、体重、血压、以及心跳信息；
[0067]
训练类型分类模块504，用于当通过人脸识别算法预测的人员性别和通过骨骼算法预测的人员性别匹配度超过预设阈值时，将预测获得的所述人员的年龄、性别、身高、体重、血压、以及心跳信息输入训练好的人员分类神经网络，对所述人员的跑步训练类型进行分类；
[0068]
推荐展示模块505，用于根据所述分类的结果，推荐并展示所述人员的跑步训练方法。当然，进一步的，也可以通过语音播报器播放智能推荐结果。
[0069]
本技术的上述实施例提供的基于人脸识别与骨骼算法实现智能跑道的系统与本技术实施例提供的基于人脸识别与骨骼算法实现智能跑道的方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
[0070]
本技术实施方式还提供一种与前述实施方式所提供的基于人脸识别与骨骼算法
实现智能跑道的方法对应的电子设备，以执行上基于人脸识别与骨骼算法实现智能跑道的方法。本技术实施例不做限定。
[0071]
请参考图4，其示出了本技术的一些实施方式所提供的一种电子设备的示意图。如图4所示，所述电子设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本技术前述任一实施方式所提供的基于人脸识别与骨骼算法实现智能跑道的方法。
[0072]
其中，存储器201可能包含高速随机存取存储器(ram：random access memory)，也可能还包括非不稳定的存储器(non
‑
volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
[0073]
总线202可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本技术实施例任一实施方式揭示的所述基于人脸识别与骨骼算法实现智能跑道的方法可以应用于处理器200中，或者由处理器200实现。
[0074]
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
[0075]
本技术实施例提供的电子设备与本技术实施例提供的基于人脸识别与骨骼算法实现智能跑道的方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
[0076]
本技术实施方式还提供一种与前述实施方式所提供的基于人脸识别与骨骼算法实现智能跑道的方法对应的计算机可读存储介质，请参考图5，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于人脸识别与骨骼算法实现智能跑道的方法。
[0077]
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
[0078]
本技术的上述实施例提供的计算机可读存储介质与本技术实施例提供的基于人
脸识别与骨骼算法实现智能跑道的方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
[0079]
需要说明的是：
[0080]
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本技术也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本技术的内容，并且上面对特定语言所做的描述是为了披露本技术的最佳实施方式。
[0081]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本技术的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0082]
类似地，应当理解，为了精简本技术并帮助理解各个发明方面中的一个或多个，在上面对本技术的示例性实施例的描述中，本技术的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本技术要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本技术的单独实施例。
[0083]
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0084]
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本技术的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0085]
本技术的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本技术实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本技术还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本技术的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0086]
应该注意的是上述实施例对本技术进行说明而不是对本技术进行限制，并且本领
域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本技术可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0087]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。