应用于电视场景的检测特定年龄段不良姿势的方法与流程

1.本发明涉及图像处理技术领域，具体的说，是应用于电视场景的检测特定年龄段不良姿势的方法。


背景技术：

2.人工智能ai技术的大力发展推动了各行业智能化的发展进程，硬件、算法与数据共同发展，使得ai技术在各行各业获得越来越广泛的应用，但ai技术通常不能直接输出我们最需要的结果，还需对ai的输出结果进行相关后处理才可得到满足需求的结果。现有的坐姿检测大多只涉及到了肢体关键点，但未与通过人脸判断的年龄挂钩，未进行相应匹配跟踪，无法应用于电视场景下针对特定年龄段的不良姿势的检出。


技术实现要素：

3.本发明的目的在于提供一种应用于电视场景的检测特定年龄段不良姿势的方法，用于解决现有技术中坐姿检测中未与人脸判断结合，无法适用电视场景下特定年龄段不良姿势的检测与纠正的问题。
4.本发明通过下述技术方案解决上述问题：
5.应用于电视场景的检测特定年龄段不良姿势的方法，包括：
6.步骤s100、检测人脸数据和肢体关键点数据，其中人脸数据中包括年龄数据、脸部姿态角(yaw,roll,pitch)和人脸框，肢体关键点数据包括肢体关键点位置和肢体框；
7.步骤s200、将人脸数据与肢体关键点数据进行匹配、过滤和人体数据跟踪补全，从中检测特定年龄段的人的不良姿势；当对连续的多帧图像检测到同一不良姿势后触发提示。
8.所述步骤s100中通过水平安装的摄像头采集人体数据并传输至电视，电视中安装有两个ai模型，分别用于从图像中获取人脸数据、肢体关键点数据。
9.所述步骤s200中将人脸数据与肢体关键点数据进行匹配指具体包括将同时满足人脸框在肢体框内、肢体关键点中的头部关键点在人脸框内这两个条件的人脸数据和肢体关键点数据进行匹配，得到一个人体数据。
10.所述步骤s200中将人脸数据与肢体关键点数据过滤指从人体数据中过滤错误数据，具体包括：
11.若人体数据中的脸部姿态角(yaw,roll,pitch)大于第一设定阈值，则过滤该人体数据；
12.根据肢体关键点中的脊柱关键点位置判断图像的脊柱长度与人脸框长度的倍数关系，若该倍数关系小于第二设定阈值，则过滤该人体数据；
13.根据肢体关键点中的点位数据判断图像中肩膀长度和脊柱长度，若肩膀长度与脊柱长度的比值小于第三设定阈值后，则过滤该人体数据。
14.所述步骤s200中将人脸数据与肢体关键点数据进行人体数据跟踪补全具体包括：
若经过匹配、过滤得到的一帧人体数据中缺少年龄数据，该人体数据内的人脸数据或肢体关键点数据分别与前帧的人脸数据或肢体关键点数据进行匹配，若二者的人脸框或肢体框的iou值大于阈值，则判定为二者匹配，则将该前帧的年龄数据匹配到该人体数据，用于补全年龄数据，实现筛选特定年龄段的人的不良姿势。
15.本发明与现有技术相比，具有以下优点及有益效果：
16.(1)本发明通过对人脸数据与肢体关键点数据匹配，人脸数据与肢体数据过滤，人体数据跟踪补全，以及通过连续姿势判断来实现对特定年龄段人群不良坐姿的检出，实现了基于脸部数据和肢体关键点数据筛选出特定年龄段不良姿势并纠正。
17.(2)本方法中硬件只需要单目摄像头，不再需要其他感应设备，且仅要求安装时大致水平即可。本发明不单单利用了肢体数据，还利用了人脸数据，从而使其可以针对特定年龄进行不良姿势检出，且数据跟踪效果更好。
18.(3)本发明对两个常见的ai模型(人脸和肢体)得到的结果进行匹配，通过脸部姿态角(yaw,roll,pitch)过滤年龄可信度，判断是否为肢体上半身未完全在画面上出现或者肢体上半身被遮挡等情况，判断是否为侧身，进行过滤数据，并进行人体数据跟踪补全方法，处理后使其能够应用在电视场景，提示特定年龄段的不良坐姿，方法简单有效。
附图说明
19.图1为本发明的流程图。
具体实施方式
20.下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。
21.实施例1：
22.结合附图1所示，应用于电视场景的检测特定年龄段不良姿势的方法，包括：
23.步骤s100、检测人脸数据和肢体关键点数据，其中人脸数据中包括年龄数据、脸部姿态角(yaw,roll,pitch)和人脸框，肢体关键点数据包括肢体关键点位置和肢体框；
24.步骤s200、将人脸数据与肢体关键点数据进行匹配、过滤和人体数据跟踪补全，从中检测特定年龄段的人的不良姿势；当对连续的多帧图像检测到同一不良姿势后触发提示。
25.所述步骤s100中通过水平安装的摄像头采集人体数据并传输至电视，电视中安装有两个ai模型，分别用于从图像中获取人脸数据、肢体关键点数据。
26.人脸数据与肢体关键点数据匹配是指找出单帧图像得到的人脸数据和肢体关键点的关系。由于有的图像中会存在有人脸数据但无对应肢体关键点数据(图像中只露脸)，以及存在有肢体关键点数据但无对应人脸数据(图像中没露脸)。匹配方法为：将同时满足人脸框在肢体框内、肢体关键点中的头部关键点在人脸框内这两个条件的人脸数据和肢体关键点数据进行匹配，得到一个人体数据。该人体数据有三种情况，既有人脸也有肢体数据、只有人脸数据、只有肢体数据。
27.人脸数据与肢体关键点数据过滤是指对上一匹配步骤得到的人体数据内的人脸数据与肢体关键点数据的可能为错误的数据进行过滤。其中包括通过脸部姿态角(yaw,roll,pitch)判断是否过滤年龄，通过人脸框和肢体关键点位置判断是否过滤肢体，通过肢
体关键点位置关系判断是否过滤肢体。通过脸部姿态角(yaw,roll,pitch)判断是否过滤年龄是指如果该脸部姿态角(yaw,roll,pitch)大于第一设定阈值，说明脸并非正对摄像头，而只有通过正脸得到的年龄数据最准确，所以需过滤非正脸的年龄数据。通过人脸框和肢体关键点位置判断是否过滤肢体是指当肢体上半身未完全在画面上出现或者肢体上半身被遮挡等情况时，此时的肢体上半身的脊柱关键点位置判断画面的脊柱长度与人脸框长度的倍数关系会变小，如果其长度倍数关系小于第二设定阈值，则过滤肢体关键点数据。通过肢体关键点位置关系判断是否过滤肢体是指，当人处在侧对摄像头的状态造成身体关键点数据可能会变得不准确，需通过肢体关键点里的点位数据判断画面中肩膀的长度和脊柱长度，侧对是肩膀长度会变小，脊柱长度不变，因此其比值也会变小，当小于第三设定阈值后，则可以判断出此时人为侧身，过滤肢体关键点数据。
28.人体数据跟踪补全是指将经过前两步的处理后得到的过滤后的一帧人体数据，其可能会缺失年龄数据，因此可根据前帧人体数据对该帧数据进行补全。补全方法为人体数据内的人脸数据与肢体关键点数据分别与上一帧的人体数据内的人脸数据与肢体关键点数进行匹配。匹配方式为交并比iou(intersection over union)匹配方式，iou计算的是“预测的边框”和“真实的边框”的交集和并集的比值，通过计算iou的值是否大于阈值，如大于则可判定匹配。则可将上一帧的年龄数据匹配至该人体数据。
29.举例如下：
30.假设摄像头捕捉到a，b，c三人(摄像头设置只需大致水平即可)，前一时间段数据正常，后一时间段数据异常，后一时间段具体发生了a将肢体移到摄像头画面外，b对肢体进行遮挡(产生错误肢体关键点数据)，c将脸部移到摄像头画面外，肢体倾斜。那么三人可获取到的信息由前一时间段的6条信息(人脸a，人脸b，人脸c，肢体a，肢体b，肢体c)变为后一时间段的4条信息(人脸a，人脸b，异常肢体b，异常肢体c)。
31.首先进行人脸与肢体数据匹配，根据技术方案里提到的匹配规则，可以获得前一时间段信息为人体a(人脸a，肢体a)，人体b(人脸b，肢体b)，人体c(人脸c，肢体c)，后一时间段信息为人体a(人脸a，缺失)，人体b(人脸b，异常肢体b)，人体c(缺失，异常肢体c)。
32.其次进行人脸数据与肢体数据过滤，经过数据过滤，由于后一时间段b对肢体进行遮挡，那么相应的关键点位置也会改变，根据技术方案里提到过滤方案会将人体b(人脸b，异常肢体b)内的异常肢体b数据进行过滤，那么后一时间段的信息为人体a(人脸a，缺失)，人体b(人脸b，缺失)，人体c(缺失，异常肢体c)。
33.接着进行人体数据跟踪补全，根据补全方案，结合前一时间段信息对人体c进行补全，可得到后一时间段的信息为人体a(人脸a，缺失)，人体b(人脸b，缺失)，人体c(补全人脸c，异常肢体c)。
34.最后进行连续姿势判断可以判断出人体c(补全人脸c，异常肢体c)其中如果补全人脸c内的年龄数据在设定的特定年龄段内，那么则可检出异常的肢体c，如果连续多帧都检测到异常肢体c，则会确认检出，提醒用户改正看电视姿势。
35.尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本技术公开的原则范围和精神之内。