一种人体图片质量评分方法与流程

本申请属于图像处理，更具体地说，是涉及一种人体图片质量评分方法。

背景技术：

1、人体图片质量评分是现如今视频结构化、行人重识别技术中比较常见的技术。人体图片质量评分通过对人体坐标框内的内容进行评分，评分规则依据亮度、曝光度、清晰度、完整度等多方面。有了人体质量评分对人体图片的筛选，才能保证视频结构化、行人重识别的准确性。

2、在现有技术中，cn112528770a公开了一种利用人体混合模型对人体roi区域进行特征提取，得到人体关键点、图片亮度、曝光度等属性特征和人体分割特征，然后根据关键点得分和图片属性得分及人体分割确定的遮挡部分面积得到人体质量综合得分的方法。采用该方法对人体图片进行评分比较复杂，人体混合模型中，仅通过对人体roi区域提取特征就输出人体关键点、图片属性特征及人体分割图像，训练难度较大，并且评分规则未能全面反应图片质量，导致视频结构化以及行人再识别的准确性不足。

技术实现思路

1、本申请实施例的目的在于提供一种人体图片质量评分方法，以解决现有技术对人体图片质量评分过程中存在的训练难度较大以及导致视频结构化以及行人再识别的准确性不足的技术问题。

2、为实现上述目的，本申请采用的技术方案是：提供一种人体图片质量评分方法，包括步骤：

3、人体检测获取人体roi区域，裁剪得到人体图片；

4、人体图片输入人体属性分类网络得到人体角度预测和人体完整度预测；

5、根据人体角度预测和人体完整度预测进行评分计算；

6、根据人体图片清晰度及尺寸进行评分计算；

7、加权求和评分得到人体质量综合得分。

8、优选的，裁剪得到人体图片之后，还包括步骤：

9、从人体图片中提取人体轮廓；

10、获取人体轮廓的掩膜图像mask；

11、将人体图片与掩膜图像mask叠加，得到去除背景的人体图片；

12、对去除背景的人体图片中心以加padding补充0像素的方式，resize到n×n尺寸大小。

13、优选的，从人体图片中提取人体轮廓之后，还包括步骤：

14、保留面积或周长最大的轮廓，去除其余轮廓。

15、优选的，所述人体属性分类网络的训练过程包括以下步骤:

16、准备人体训练图片的训练标签，所述训练标签包括行人角度标签以及完整度标签，所述行人角度标签包括正面、背面、侧面以及俯视，所述完整度标签包括头部、身体以及脚部。

17、优选的，所述人体属性分类网络的训练过程还包括以下步骤:

18、构建网络结构，网络结构分为backbone部分、branch1部分以及branch2部分；

19、训练人体角度分支，backbone部分和branch1部分均进行参数更新，角度分支的损失函数采用softmax，训练标签取人体训练图片的行人角度标签进行损失计算；

20、训练人体完整度分支branch2部分，加载人体角度分支中backbone部分的权重，训练过程中冻结backbone部分的参数学习，只训练branch2部分的参数，损失函数采用sigmoid，训练标签取人体训练图片的完整度标签进行损失计算；

21、同时加载训练人体角度分支、训练人体完整度分支得到的模型权重，将backbone部分、branch1部分以及branch2部分的参数更新都打开。

22、优选的，人体角度预测的评分计算方法，包括以下步骤：

23、设人体各个角度的满分分数为xi，i取0、1、2、3时分别代表正面、背面、侧面以及俯视的分数，各个角度的概率通过人体属性分类网络预测得到pi，i取0、1、2、3时分别代表正面、背面、侧面以及俯视的概率，且p0+p1+p2+p3＝1，则人体角度加权评分s1为：

24、

25、归一化后的人体角度加权评分score1为：

26、

27、优选的，人体完整度预测的评分计算方法，包括以下步骤：

28、设人体各个部位的满分分数为yi，i取0、1、2、3时分别代表头部、身体、脚部的分数，各个部位的概率通过人体属性分类网络预测得到mi，i取0、1、2、3时分别代表头部、身体、脚部的概率，取值范围为0到1，则人体完整度加权评分s2为：

29、

30、归一化后的人体完整度加权评分score2为：

31、

32、优选的，人体图片清晰度的评分计算方法，包括以下步骤：

33、在opencv函数中是采用sobel算子分别提取图片的水平、垂直方向的梯度值得到当前人体图片计算得到的清晰度分数；

34、定义若干清晰人体图片集s，求得清晰人体图片集s的平均清晰度分数为ts；

35、则归一化后的人体图片清晰度评分score3用公式表示为：

36、

37、优选的，人体图片尺寸的评分计算方法，包括以下步骤：

38、设定一个满分尺寸的面积阈值为ta，则归一化后的人体图片尺寸评分score4用公式表示为：

39、

40、其中b为当前人体图片的面积。

41、优选的，加权求和评分得到人体质量综合得分的方法，包括以下步骤：

42、设人体角度、人体完整度、图片清晰度、图片尺寸代表的权重分别为w1、w2、w3、w4，其中w1+w2+w3+w4＝1，则人体质量综合得分s可用公式表示为：

43、

44、本申请提供的人体图片质量评分方法的有益效果在于：与现有技术相比，通过综合考虑行人的拍摄角度、主体完整度、尺寸及清晰度定义行人质量的评分，既综合了人体属性与图片属性因素，能保证视频结构化以及行人再识别的准确性，又简化了评分规则，训练难度较小，方便实际中应用。

技术特征：

1.一种人体图片质量评分方法，其特征在于，包括步骤：

2.如权利要求1所述的人体图片质量评分方法，其特征在于，裁剪得到人体图片之后，还包括步骤：

3.如权利要求2所述的人体图片质量评分方法，其特征在于，从人体图片中提取人体轮廓之后，还包括步骤：

4.如权利要求1所述的人体图片质量评分方法，其特征在于，所述人体属性分类网络的训练过程包括以下步骤:

5.如权利要求4所述的人体图片质量评分方法，其特征在于，所述人体属性分类网络的训练过程还包括以下步骤:

6.如权利要求1至5任意一项所述的人体图片质量评分方法，其特征在于，人体角度预测的评分计算方法，包括以下步骤：

7.如权利要求6所述的人体图片质量评分方法，其特征在于，人体完整度预测的评分计算方法，包括以下步骤：

8.如权利要求7所述的人体图片质量评分方法，其特征在于，人体图片清晰度的评分计算方法，包括以下步骤：

9.如权利要求8所述的人体图片质量评分方法，其特征在于，人体图片尺寸的评分计算方法，包括以下步骤：

10.如权利要求9所述的人体图片质量评分方法，其特征在于，加权求和评分得到人体质量综合得分的方法，包括以下步骤：

技术总结
本申请提供了一种人体图片质量评分方法，包括步骤：人体检测获取人体ROI区域，裁剪得到人体图片；人体图片输入人体属性分类网络得到人体角度预测和人体完整度预测；根据人体角度预测和人体完整度预测进行评分计算；根据人体图片清晰度及尺寸进行评分计算；加权求和评分得到人体质量综合得分；本申请的人体图片质量评分方法通过综合考虑行人的拍摄角度、主体完整度、尺寸及清晰度定义行人质量的评分，既综合了人体属性与图片属性因素，能保证视频结构化以及行人再识别的准确性，又简化了评分规则，训练难度较小，方便实际中应用。

技术研发人员：李山路,朱光强,龚小龙,罗富章,冯金会
受保护的技术使用者：盛视科技股份有限公司
技术研发日：
技术公布日：2024/1/14