一种基于视图解析的人脸和人体的关联方法与流程

本发明涉及图像处理，具体为一种基于视图解析的人脸和人体的关联方法。

背景技术：

1、视图解析是指通过计算机视觉技术对图像或视频进行分析和理解的过程，在视图解析中，计算机系统会对输入的图像或视频进行处理，提取其中的信息并进行分析，从而实现对图像内容的理解和识别，在人脸和人体的关联中，视图解析可以帮助实现二者之间的关联；

2、但是在现有的人脸与人体关联方法中，当视图中有较多人数时，会导致较远处人像的像素较低，虽然可以通过人脸超分辨率技术提升视图中人像的像素质量，但这会影响系统处理整体视图的效率，为此，我们提出一种基于视图解析的人脸和人体的关联方法。

技术实现思路

1、本发明的目的在于提供一种基于视图解析的人脸和人体的关联方法。

2、以解决上述背景技术中提出的问题，本发明提供如下技术方案：一种基于视图解析的人脸和人体的关联方法，所述人脸与人体关联的步骤如下：

3、s1、获取视图信息，将视图信息中的人体以及人脸分别划分出相应关联区域；

4、s2、人像信息关键点检测，将人脸关联区域中的人脸信息通过face super-resolution对人脸信息分别进行通用面、预引导人脸、属性约束的人脸、保持身份的人脸、参考面以及联合面的超分辨率处理，对视图信息中人脸关联区域的人脸分辨率进行识别，当人脸关联区域中的人脸像素低于45个像素点时，face super-resolution会将人脸关联区域中的人脸像素提升至45个像素点；

5、s3、人脸数据分析，将人脸关联区域中的人脸脸框标记为几何的中心点，以人脸标识为基准对人脸关键点位进行分析，人脸关键点包括眼睛、鼻子、嘴巴以及耳朵，通过分析人脸关键点在不同情绪下的位置，可以预测出后续的人体姿态，根据分析得出的人体姿态，提供相应的人体姿态特征信息；

6、s4、人体姿态分析，根据人体关联区域中cnn识别到的人体信息进行腿部、躯干、肩膀以及胳膊的人体信息关键点识别，并由cnn分析人体姿态信息的关键点，提取出人脸面部的基本特征信息；

7、s5、图像位置分析，通过处理器对图像位置进行分析，确定人体关联区域和人脸关联区域之间的相对位置，同时对背景图像进行分析；

8、s6、人像姿态评估，并将s3与s4中的人脸特征信息和人体姿态特征信息分别在图像中的位置进行识别，通过multimodal fusion将人脸和人体的位置进行关联，并对人脸和人体姿态进行对齐。

9、作为本发明的进一步方案：所述s1中获取视图信息后，将视图信息中的图像根据人数分别以人脸和人体按照关联区域进行规划，并根据人脸关联区域的像素大小进行排列。

10、作为本发明的进一步方案：所述s2中face super-resolution对人脸关联区域中的人脸像素大小低于45个像素的信息进行处理，当人脸像素大小超过45个像素时人脸关联区域数据传输至s3中。

11、作为本发明的进一步方案：所述s3优先对s2中超过45个像素点的人脸进行几何分析，并通过像素大小对人脸关联区域的人脸图像进行优先级分析。

12、作为本发明的进一步方案：所述s4中人体姿态分析具体方式如下：

13、s4.1、根据cnn对人体关联区域中的图像信息进行人体姿态识别，当cnn识别到腿部、躯干、肩膀以及胳膊中所设置的人体信息关键点时，会对人体关联区域中的人体姿态特征进行分析；

14、s4.2、当cnn识别到部分腿部、躯干、肩膀以及胳膊的人体信息关键点时，cnn会根据部分识别到的人体信息关键点特征对人体信息进行临时补充；

15、s4.3、cnn将补充后的人体信息特征与识别到的部分人体信息关键点特征进行再次分析，由cnn推断人体的基本特征信息以及人脸面部的基本体征信息。

16、作为本发明的进一步方案：所述s4中cnn对人体与人脸的关键点进行信息识别，并在cnn中插入信息补充单元，所述信息补充单元主要用于补充人体姿态，将人体姿态与信息补充单元中的姿态信息进行匹配，以此来完善中的人体姿态信息补充至不完善部分，并且能够完善补充人体图像中剩余的姿态特征。

17、作为本发明的进一步方案：所述s5中处理器优先调取大于45个像素点的人脸关联区域，调取顺序取决于人脸关联区域的像素大小，当调取人脸关联区域大小的像素后，对人体关联区域根据视图中的占比大小进行优先调取，因人体比例与人脸比例在常规情况下成正比，因而确定人体与人脸之间的关系以及它们在图像中的位置关系。

18、作为本发明的进一步方案：所述s5在人体与人脸之间的关系以及它们在图像中的位置关系确定后，对人体关联区域和人脸关联区域中的图像进行位置分析，当人脸图像背景与人体图像背景位置不匹配时，处理器会将当前人脸关联区域和人体关联区域的信息传输至s6中，s6中的人像姿态评估会对相应的人脸和人体数据进行分析，并调取s3和s4中的人脸和人体特征信息，根据当前人体姿态判断人脸关联区域的大小，根据人脸关联区域的大小判断人体关联区域的大小，然后将判断出的数据再次传输至s5中，处理器根据姿态特征调取相应的人体关联区域，并再次进行图像位置分析。

19、作为本发明的进一步方案：所述s6中对人脸图像背景与人体图像背景位置不匹配的人脸图像图片进行优先级调整，将s6人脸图像位置对应的图片进行姿态分析，当s5中人脸图像照片对齐完成后，将s6中分析完成后的人脸图像照片传输至s5中，对人脸图像照片与剩余的人体图像进行匹配后，将匹配好的人脸图像照片和人体图像照片传输至multimodal fusion进行姿态对齐。

20、采用上述技术方案，与现有技术相比，本发明的有益效果在于：

21、1、本发明通过face super-resolution对小于45个像素点的人脸进行处理，facesuper-resolution会将人脸关联区域中的像素提升至45个像素点，然后将处理完成后的人脸关联区域输送至s5中，s5根据s1中像素排列位置对人脸关联区域和人体关联区域中的位置信息进行背景图像分析，人脸关联区域和人体关联区域中图像位置相关联后，由s6将人脸图像与人体图像对齐，当无法检测到关联数据时，s5将人脸图像传输至s6，s6调取s3和s4的具体姿态信息，能够提高视图中人脸与人体关联的精准性，并减少系统在人脸与人体关联时的内存消耗；

22、2、本发明通过cnn对人体图像缺失部分进行识别，然后对识别到的人体关键点进行分析，接着将cnn分析出的结果传输至信息补充单元中，信息补充单元将对剩余人体关键点进行详细分析，并补充人体关联区域中应有的人体图像，从而完善视图中人像的完整性；

23、3、本发明通过s5中的人脸与人体图像位置匹配，当人脸与人体图像匹配时，multimodal fusion优先处理已经匹配的人脸与人体图像，当s5中的人脸与人体图像位置不匹配时，s6会分别调取s3和s4中的人脸和人体特征信息，并将信息再次传输至s5中，s5中的处理器将人脸图像与图片进行比对，确定人脸与人体图像信息匹配后，由multimodalfusion将人脸与人体进行姿态对齐，从而提高了人体与人脸之间的整体对齐效率。