人体质量评价方法、装置、机器可读介质及设备与流程

本发明涉及人工智能领域，具体涉及一种人体质量评价方法、装置、机器可读介质及设备。

背景技术：

在行人视频结构化、行人重识别等应用场景中，在获取人体检测结果之后，需要进一步过滤质量较差人体图像，或筛选最佳人体，供后续计算人体行为、人体完整度等相关信息。

而过滤低质量人体、筛选最佳人体等都需要进行人体质量评价，人体质量主要是对人体目标矩形框区域进行评价。

人体质量主要考虑人体的完整性，包括人体截断、遮挡等，另外人体图像的模糊、过亮过暗、尺寸过小等因素也会导致人体质量变差。由于考虑因素众多，实际场景中又会出现各种模糊、遮挡、截断、异常姿态等情况，这些都是人体质量评价的考虑因素。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种人体质量评价方法、装置、机器可读介质及设备，用于解决现有技术存在的问题。

为实现上述目的及其他相关目的，本发明提供一种人体质量评价方法，包括：

对待处理的图片进行人体检测，得到人体roi区域；

通过人体混合模型对人体roi区域进行特征提取，得到人体关键点特征、图片属性特征，并通过人体混合模型输出人体关键点特征的可见度；

根据人体关键点特征的可见度确定人体质量基础分；

通过所述图片属性特征和所述人体关键点特征确定图片属性得分和人体关键点得分；

通过所述图片属性得分以及所述人体关键点得分对所述人体质量基础分进行调整，得到人体质量分；

根据所述人体质量分生成评价结果。

可选地，所述人体关键点得分包括以下至少之一：人体遮挡得分、人体尺寸得分。

可选地，所述图片属性特征包括以下至少之一：模糊度特征、亮度特征、人体网格分割特征，所述图片属性得分包括以下至少之一：模糊度得分、亮度得分。

可选地，所述根据人体关键点特征的可见度确定人体质量基础分，包括：

根据人体关键点的可见度确定相应的权重；

将所有人体关键点的可见度加权平均得到所述人体质量基础分。

可选地，通过所述图片属性得分以及所述人体关键点得分对所述人体质量基础分进行调整，得到人体质量分，包括：

根据人体尺寸得分调整人体质量基础分，得到第一人体质量基础分；

根据模糊度得分以及亮度得分调整所述第一人体质量基础分，得到第二人体质量基础分；

根据人体遮挡得分调整所述第二人体质量基础分，得到人体质量分。

可选地，所述根据人体尺寸得分调整所述人体质量基础分得到第一人体质量基础分，包括：

确定人体roi区域面积；

比较所述人体roi区域面积与阈值面积的大小；若所述人体roi区域面积大于所述阈值面积，则所述人体尺寸得分等于1，若所述人体roi区域面积小于阈值面积，则所述人体尺寸得分等于人体roi区域面积与阈值面积的商；

根据所述人体尺寸得分与所述人体质量基础分得到第一人体质量基础分。

可选地，所述根据模糊度得分以及亮度得分调整所述第一人体质量基础分，得到第二人体质量基础分，包括：

确定模糊度权重与亮度权重；

对所述模糊度得分以及亮度得分进行加权平均得到第一质量分权重；

根据所述第一质量分权重以及第一人体质量基础分得到第二人体质量基础分。

可选地，所述根据人体遮挡得分调整所述第二人体质量基础分，得到人体质量分，包括：

根据所述人体遮挡得分确定第二质量分权重；

根据所述第二质量分权重调整所述第二人体质量基础分，得到人体质量分。

可选地，所述人体遮挡得分的获取方法包括：

确定人体roi区域最小外接框；

根据人体网格分割得到的前景网格数量和网格总数得到人体遮挡基础得分；

根据人体roi区域最小外接框得到人体占比；

根据所述人体占比调整所述人体遮挡基础得分，得到人体遮挡得分。

可选地，若所述人体占比超过第一人体占比，且所述人体遮挡基础得分小于第一基础得分，则增大人体遮挡得分；若所述人体占比小于第二人体占比，且所述人体遮挡基础得分大于第二基础得分，则减小人体遮挡得分；其中，所述第一人体占比大于所述第二人体占比，所述第一基础得分小于所述第二基础得分。

可选地，所述人体占比获取方法包括:

确定人体关键点最小外接框；

根据所述人体roi区域最小外接框与所述人体关键点最小外接框得到综合最小外接框；

根据所述综合最小外接框得到所述人体占比。

可选地，通过宽高比阈值以及所述人体关键点最小外接框的宽高比对所述人体关键点最小外接框进行过滤。

为实现上述目的及其他相关目的，本发明提供一种人体质量评价装置，包括：

人体检测模块，用于对待处理的图片进行人体检测，得到人体roi区域；

特征提取模块，用于通过人体混合模型对人体roi区域进行特征提取，得到人体关键点特征、图片属性特征，并通过人体混合模型输出人体关键点特征的可见度；

人体质量基础分获取模块，用于根据人体关键点特征的可见度确定人体质量基础分；

人体质量影响因素得分获取模块，用于通过所述图片属性特征和所述人体关键点特征确定图片属性得分和人体关键点得分；

人体质量分调整模块，用于通过所述图片属性得分以及所述人体关键点得分对所述人体质量基础分进行调整，得到人体质量分；

评价结果生成模块，用于根据所述人体质量分生成评价结果。

可选地，所述人体关键点得分包括以下至少之一：人体遮挡得分、人体尺寸得分；所述图片属性特征包括以下至少之一：模糊度特征、亮度特征、人体网格分割特征，所述图片属性得分包括以下至少之一：模糊度得分、亮度得分。

可选地，所述人体质量基础分获取模块包括：

权重确定子模块，用于根据人体关键点的可见度确定相应的权重；

加权子模块，用于将所有人体关键点的可见度加权平均得到所述人体质量基础分。

可选地，所述人体质量分调整模块包括：

第一调整子模块，用于根据人体尺寸得分调整人体质量基础分，得到第一人体质量基础分；

第二调整子模块，用于根据模糊度得分以及亮度得分调整所述第一人体质量基础分，得到第二人体质量基础分；

第三调整子模块，用于根据人体遮挡得分调整所述第二人体质量基础分，得到人体质量分。

可选地，所述第一调整子模块包括：

人体roi区域面积确定单元，用于确定人体roi区域面积；

比较单元，用于比较所述人体roi区域面积与阈值面积的大小；

若所述人体roi区域面积大于所述阈值面积，则所述人体尺寸得分等于1，若所述人体roi区域面积小于阈值面积，则所述人体尺寸得分等于人体roi区域面积与阈值面积的商；

第一人体质量基础分获取单元，用于根据所述人体尺寸得分与所述人体质量基础分得到第一人体质量基础分。

可选地，所述第二调整子模块包括：

权重确定单元，用于确定模糊度权重与亮度权重；

第一质量分权重获取单元，用于对所述模糊度得分以及亮度得分进行加权平均得到第一质量分权重；

第二人体质量基础分获取单元，用于根据所述第一质量分权重以及第一人体质量基础分得到第二人体质量基础分。

可选地，所述第三调整子模块包括：

第二质量分权重获取模块，用于根据所述人体遮挡得分确定第二质量分权重；

人体质量分获取模块，用于根据所述第二质量分权重调整所述第二人体质量基础分，得到人体质量分。

可选地，所述人体质量影响因素得分获取模块包括：人体遮挡得分获取子模块，用于获取人体遮挡得分；所述人体遮挡得分获取子模块包括：

人体roi区域最小外接框获取单元，用于确定人体roi区域最小外接框；

人体遮挡基础得分获取单元，用于根据人体网格分割得到的前景网格数量和网格总数得到人体遮挡基础得分；

人体占比单元，用于根据人体roi区域最小外接框得到人体占比；

人体遮挡得分获取单元，用于根据所述人体占比调整所述人体遮挡基础得分，得到人体遮挡得分。

可选地，所述人体遮挡得分获取单元在所述人体占比超过第一人体占比，且所述人体遮挡基础得分小于第一基础得分时，增大人体遮挡得分；在所述人体占比小于第二人体占比，且所述人体遮挡基础得分大于第二基础得分时，减小人体遮挡得分；其中，所述第一人体占比大于所述第二人体占比，所述第一基础得分小于所述第二基础得分。

为实现上述目的及其他相关目的，本发明还提供一种人体质量评价设备，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行前述的一个或多个所述的方法。

为实现上述目的及其他相关目的，本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行前述的一个或多个所述的方法。

如上所述，本发明提供的一种人体质量评价方法、装置、机器可读介质及设备，具有以下有益效果：

本发明的一种人体质量评价方法，包括：对待处理的图片进行人体检测，得到人体roi区域；通过人体混合模型对人体roi区域进行特征提取，得到人体关键点特征、图片属性特征，并通过人体混合模型输出人体关键点特征的可见度；根据人体关键点特征的可见度确定人体质量基础分；通过所述图片属性特征和所述人体关键点特征确定图片属性得分和人体关键点得分；通过所述图片属性得分以及所述人体关键点得分对所述人体质量基础分进行调整，得到人体质量分；根据所述人体质量分生成评价结果。本发明通过对不同信息进行整合处理，来实现对人体质量各个影响因素的评价，从而对人体质量进行综合的一个评价。

附图说明

图1为本发明一实施例一种人体质量评价方法的流程图；

图2为本发明一实施例人体网格分割效果示意图；

图3为本发明一实施例人体关键点示意图；

图4为本发明一实施例人体网格分割标注图；

图5为本发明一实施例人体质量基础分获取方法流程图；

图6为本发明一实施例人体质量分获取方法流程图；

图7为本发明一实施例第一人体质量基础分获取方法流程图；

图8为本发明一实施例第二人体质量基础分获取方法流程图；

图9为本发明一实施例根据人体遮挡得分调整所述第二人体质量基础分的流程图；

图10为本发明一实施例人体遮挡得分的获取方法流程图；

图11为本发明一实施例人体占比获取方法流程图；

图12为本发明一实施例人体roi区域以及人体关键点最小外接框示意图；

图13为本发明一实施例人体关键点左右点对的示意图；

图14为本发明一实施例一种人体质量评价装置的结构示意图；

图15为本发明一实施例中终端设备的硬件结构示意图；

图16为本发明一实施例中终端设备的硬件结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，一种人体质量评价方法，包括：

s11对待处理的图片进行人体检测，得到人体roi区域；

s12通过人体混合模型对人体roi区域进行特征提取，得到人体关键点特征、图片属性特征，并通过人体混合模型输出人体关键点特征的可见度；

其中，关键点可见度表示关键点是否可见，根据可见度的大小可以将关键点分成三个类别：可见可预测、不可见可预测、不可见不可预测；可见度越大，表示越可见。

s13根据人体关键点特征的可见度确定人体质量基础分；

s14通过所述图片属性特征和所述人体关键点特征确定图片属性得分和人体关键点得分；

其中，所述人体关键点得分包括以下至少之一：人体遮挡得分、人体尺寸得分；所述图片属性特征包括以下至少之一：模糊度特征、亮度特征、人体网格分割特征，所述图片属性得分包括以下至少之一：模糊度得分、亮度得分；

s15通过所述图片属性得分以及所述人体关键点得分对所述人体质量基础分进行调整，得到人体质量分；

s16根据所述人体质量分生成评价结果。例如，当人体质量分超过设定阈值，则认为其质量比较好，反之则质量比较差。

本发明通过对不同信息进行整合处理，来实现对人体质量各个影响因素的评价，从而对人体质量进行综合的一个评价。

在步骤s11中，待处理的图片可以通过拍照、选择本地图片、输入图片链接地址等方式获取。其中，待处理的图片中包含有一个目标人体。利用人体检测算法可以得到待处理图片中的人体roi区域。人体roi区域为人体所在区域最小外接框，一般用矩形框表示；矩形框左上角坐标、结合矩形框的宽高，可确定人体roi区域。

在步骤s12中，所述的通过人体混合模型对人体roi区域进行特征提取，即将所述待处理的图片输入到人体混合模型中，对人体roi区域进行特征提取。在将待处理图片输入到人体混合模型前，需要先通过crop、resize等预处理方法，使得人体roi目标区域大小转换为适合模型的输入大小。

在对人体roi区域进行特征提取时，通过人体混合模型中特征提取网络进行特征提取；例如，残差网络resnet，vgg，hrnet(high-resoultionnet)，mobilenet等模型进行特征提取。特征提取网络中的骨干网可以选用深度较浅的模型，如resnet18、hrnet-w18-small等模型。

在完成特征提取后，需要通过头部网对人体关键点特征、人体关键点的可见度以及图片属性特征进行回归和预测。其中，头部网可以设置多个head分支，分支可以采用的网络方案包括但不限于：全连接网络，1×1卷积网络，转置卷积(反卷积)网络等。具体地，通过回归head网络，预测关键点坐标；通过分类head网络，预测关键点特征的可见度；通过分类head网络，预测人体roi区域的模糊度与亮度；在进行图片网络分割进行预测时，采用全卷积网络。

一般来说，关键点回归常采用heatmap方法，但heatmap方法耗时大，后处理流程更多，对耗时影响较大。而本方案将heatmap方案替换为更为直接的全连接网络或1×1卷积网络，基本没有后处理，减少了后处理耗时，提高模型推理速度。

一般的人体网格分割，都是采用像素级分割，但针对不需要精确的分割边界的情况，可以采用低分辩率的分割方法即可满足要求。同时，采用低分辨率网格分割方案，可以大大提高模型的推理速度。在对人体网络分割结果进行预测时，实际输出的每一个网格都会输出一个人体前景置信度，该人体前景置信度代表该网格是否属于人体前景的概率，如图2所示。当网格的人体前景置信度大于某一阈值时，认为该网格属于人体前景，反之则属于背景。

在一实施例中，为了提高人体混合模型的检测准确度，在训练阶段计算loss时,通过难样本挖掘ohem方法增加难姿态样本学习权重，通过难关键点挖掘ohkm方法增加难关键点学习权重，优化复杂姿态人体。

在推理阶段，通过将头部网预测的关键点坐标，解码变换为相对于图片的坐标输出；同时，模型会输出人体图像的模糊度与亮度，以及人体关键点的可见度，以及人体网格分割时，每个网络的人体前景置信度。

人体混合模型由事先训练好，在训练人体混合模型时，训练数据集的数据为包含单目标人体图片。训练数据含有标注，包括关键点(如图3，以14的关键点为例，人体关键点骨架结构，红色点表示可见可预测点，蓝色点表示不可见可预测点，需注意，关键点的左右是相对与人体而言的)、人体网格分割标注(如图4，每个人体roi区域会被均分为16x16个区域，每个区域被标注是否属于人体前景区域，如图中黄色覆盖区域)、以及模糊度、亮度标注。

分割标注一般是像素级的标注，在另一实施例中，采用网格区域统计的方案进行转换。具体来说，就是针对16x16的网格划分下，每一个网格都统计属于人体前景的像素数量，如果前景像素数量所占网格像素比例超过一定阈值，则认为该网格为人体前景，否则为背景。

在一实施例中，如图5所示，所述根据人体关键点特征的可见度确定人体质量基础分，包括：

s51根据人体关键点的可见度确定相应的权重；

其中，人体关键点特征的可见度可以通过人体混合模型进行预测得到；根据关键点的可见度确定相应的权重。例如，可见度为a，权重为b；可见度为a1，权重为b1；可见度为a2，权重为b2；需要说明的是，可见度的值越大，相应的权重应越大。当然，也可以认为一个范围内的可见度对应一个权重，例如，可见度在c1～c2范围内，权重为c3；可见度为d1～d2，权重为d3。

s52将所有人体关键点的可见度加权平均得到所述人体质量基础分。

在一实施例中，如图6所示，通过所述图片属性得分以及所述人体关键点得分对所述人体质量基础分进行调整，得到人体质量分，包括：

s61根据人体尺寸得分调整人体质量基础分，得到第一人体质量基础分；

s62根据模糊度得分以及亮度得分调整所述第一人体质量基础分，得到第二人体质量基础分；

s63根据人体遮挡得分调整所述第二人体质量基础分，得到人体质量分。

具体地，如图7所示，所述根据人体尺寸得分调整所述人体质量基础分得到第一人体质量基础分，包括：

s71确定人体roi区域面积；

人体roi区域面积可以通过人体roi区域最小外接框来反应，通过检测人体roi区域最小外接框的长宽，就可以得到人体roi区域面积；

s72比较所述人体roi区域面积与阈值面积的大小；若所述人体roi区域面积大于所述阈值面积，则所述人体尺寸得分等于1，若所述人体roi区域面积小于阈值面积，则所述人体尺寸得分等于人体roi区域面积与阈值面积的商；

s73根据所述人体尺寸得分与所述人体质量基础分得到第一人体质量基础分。

在前述过程中，得到了人体质量基础分，通过人体尺寸得分调整人体质量基础分即将人体尺寸得分作为系数与人体质量基础分，得到第一人体质量基础分。例如，人体质量基础分为m，人体尺寸得分为α，则第一人体质量基础分等于αm。

在一实施例中，如图8所示，所述根据模糊度得分以及亮度得分调整所述第一人体质量基础分，得到第二人体质量基础分，包括：

s81对所述模糊度得分以及亮度得分进行加权平均得到第一质量分权重；

s82根据所述第一质量分权重以及第一人体质量基础分得到第二人体质量基础分。

其中，模糊度得分、亮度得分可根据人体混合模型输出进行获取。由于实际模糊度、亮度波动范围集中在0-0.5分数段，实际分数大于0.5时，视为模糊度、亮度质量基本都非常好，满足需求，不做区分。本实施例的关键在于筛选模糊、亮度质量较差的目标人体。因此，针对大于0.5的分数采取截断操作，大于0.5的模糊度或亮度都取为0.5，然后将截取后分数范围映射到0-1.0区间输出，流程如下所示：

首先，将模糊度得分、亮度值得分大于0.5的调整为0.5；

然后，将模糊度得分、亮度得分调整值乘2，取值范围缩放到0-1.0；

最后，利用模糊度得分、亮度得分调整第一人体质量基础分。

在利用模糊度得分与亮度得分调整第一人体质量基础分时，对所述模糊度得分以及亮度得分进行加权平均得到第一质量分权重；其中，在进行加权平均过程中，会设置模糊度权重和亮度权重，对于这模糊度得分与亮度得分中较小的给以较大的权重，而较大的得分会给以较小的权重。

在步骤s82中，根据所述第一质量分权重以及第一人体质量基础分得到第二人体质量基础分，即将第一体质量基础分乘以第一质量分权重，得到第二人体质量基础分。

在一实施例中，如图9所示，所述根据人体遮挡得分调整所述第二人体质量基础分，得到人体质量分，包括：

s91根据所述人体遮挡得分确定第二质量分权重；

s92根据所述第二质量分权重调整所述第二人体质量基础分，得到人体质量分。

其中，将第二质量分权重作为人体遮挡得分，根据第二质量分权重调整所述第二人体质量基础分，即将第二质量分权重与所述第二人体质量基础分相乘，得到人体质量分。

需要说的是，人体遮挡可能是大面积的遮挡，也可能只是某一个关键点被遮挡。遮挡程度的大小会影响人体的质量，遮挡面积更大对后续人体处理的影响更大。因此，对于人体遮挡的质量评价，则是尽可能估计人体遮挡区域比例。本方法采用关键点和人体网络分割所确定的前景分别构造一个最小外接矩形，然后结合关键点和分割信息来大致估计遮挡比例。

本实施例中，人体遮挡得分以前景网格数量占比作为人体遮挡基础得分，遮挡分越低越有可能被遮挡。同时需要在人体占比较大、人体遮挡基础得分较低情况下适当增大人体遮挡得分，在人体占比较小、人体遮挡基础得分较高的情况下减小人体遮挡得分。

具体地，如图10所示，所述人体遮挡得分的获取方法包括：

s101确定人体roi区域最小外接框；

s102根据人体网格分割得到的前景网格数量和网格总数得到人体遮挡基础得分；

其中，人体遮挡得分等于前景网络数量与网络总数的比值；

s103根据人体roi区域最小外接框得到人体占比；其中，所述人体占比指人体roi区域面积占整个待处理图片面积的比例；

s104根据所述人体占比调整所述人体遮挡基础得分，得到人体遮挡得分。

在一实施例中，若所述人体占比超过第一人体占比，且所述人体遮挡基础得分小于第一基础得分，则增大人体遮挡得分；若所述人体占比小于第二人体占比，且所述人体遮挡基础得分大于第二基础得分，则减小人体遮挡得分；其中，所述第一人体占比大于所述第二人体占比，所述第一基础得分小于所述第二基础得分。第一人体占比、第二人体占比、第一人体遮挡基础得分、第二人体遮挡基础得分可以根据需求进行设置。

在一实施例中，如图11所示，所述人体占比获取方法包括:

s111确定人体关键点最小外接框；

s112根据所述人体roi区域最小外接框与所述人体关键点最小外接框得到综合最小外接框；其中，人体roi区域最小外接框如图12中的蓝框所示，人体关键点最小外接框如图12中的红色框所示。

s113根据所述综合最小外接框得到所述人体占比。

其中，在步骤s112中，根据所述人体roi区域最小外接框与所述人体关键点最小外接框得到综合最小外接框，即为通过比较人体roi区域最小外接框与所述人体关键点最小外接框得到综合最小外接框的面积，若两者的面积差大于设定阈值，则适当减小人体roi区域最小外接框的大小或适当增大人体关键点最小外接框的大小，将调整后的框作为综合最小外接框。

在一实施例中，通过所述人体关键点最小外接框的宽高比对所述人体关键点最小外接框进行过滤。其中，若宽高比小于设定的阈值，则可以认为是由于侧身人体导致关键点最小外接框过小。

在一实施例中，可根据可见的关键点数量及左右点对遮挡数量筛选遮挡较少但人体遮挡得分偏低的目标。如图13所示，左右点对是指图中1-2，3-4，5-6，7-8，9-10，11-12等对应的左右点对，若点对中有一个点不可见，则认为该关键点被遮挡的可能性比较高，则相应的这个关键点的遮挡分越低。

人体遮挡类型包括被人遮挡、被其他物体遮挡、无遮挡。

被人遮挡主要通过目标人体的人体关键点在遮挡人体的分割前景区域包含数量来判断。具体来说，首先判断两个人体框是否相交，然后计算目标人体14个关键点落在遮挡人体网格分割前景内的点数。一般来说不可见关键点落在分割前景的置信度更高，给以更大权重。当不可见关键点数超过一定阈值，则判断目标人体被人遮挡，同时记录遮挡人体的id。

被其他物体遮挡需满足两个条件：其一，排除被人遮挡的可能；其二，计算的遮挡质量分过低，被遮挡的概率较大。

若人体均不满足上述两个类别条件，则认为该目标人体无遮挡。

在一实施例中，通过将float32的模型权重数据转化为fp16或int8的数据类型，减少表示每个权重所需的比特数，来达到压缩加速网络的目的。

本发明首先根据获取得到的关键点可见度构造人体质量基础分，可见度值反映的是当前点可见的置信概率。

然后，根据计算得到的尺寸得分、模糊度/亮度得分、人体遮挡得分来调整人体质量基础分。调整人体质量基础分的宗旨，就是抑制差样本的得分，达到过滤筛选的目的。其中，尺寸得分直接作为系数乘到人体质量基础分。模糊度得分/亮度得分和遮挡分的调整，则会分别构造一个质量分权重来进行调整，当权重较大，相对抑制幅度较小；当权重较小时，相对抑制幅度较大。

对于模糊度得分/亮度得分，根据两个得分加权平均构造一个质量分权重，对于两个得分较小的给以更大的质量分权重，较大的给以更小的质量分权重。对于人体遮挡得分，直接取人体遮挡得分为质量分权重，对于人体遮挡得分低但人体质量基础分高的情况，减小人体遮挡得分质量权重，增大抑制幅度。本发明采用二次函数关系(如y＝x(2-x))来调整质量分权重，然后作为权重系数对人体质量基础分进行抑制。该二次函数关系能保证值域仍在0-1范围之内，并且对于高分段抑制作用较小，对于低分段抑制作用较大，如图13所示。

本发明利用关键点、模糊度/亮度以及人体网格分割等信息，设计了一种人体质量评价算法，用于评价人体总质量；同时采用int8量化加速技术，加快了模型的推理速度，gpu上可达亚毫秒级的推理速度。

如图14所示，一种人体质量评价装置，包括：

人体检测模块141，用于对待处理的图片进行人体检测，得到人体roi区域；

特征提取模块142，用于通过人体混合模型对人体roi区域进行特征提取，得到人体关键点特征、图片属性特征，并通过人体混合模型输出人体关键点特征的可见度；

人体质量基础分获取模块143，用于根据人体关键点特征的可见度确定人体质量基础分；

人体质量影响因素得分获取模块144，用于通过所述图片属性特征和所述人体关键点特征确定图片属性得分和人体关键点得分；

人体质量分调整模块145，用于通过所述图片属性得分以及所述人体关键点得分对所述人体质量基础分进行调整，得到人体质量分；

评价结果生成模块146，用于根据所述人体质量分生成评价结果。

在一实施例中，所述人体关键点得分包括以下至少之一：人体遮挡得分、人体尺寸得分；所述图片属性特征包括以下至少之一：模糊度特征、亮度特征、人体网格分割特征，所述图片属性得分包括以下至少之一：模糊度得分、亮度得分。

在一实施例中，所述人体质量基础分获取模块包括：

权重确定子模块，用于根据人体关键点的可见度确定相应的权重；

加权子模块，用于将所有人体关键点的可见度加权平均得到所述人体质量基础分。

在一实施例中，所述人体质量分调整模块包括：

第一调整子模块，用于根据人体尺寸得分调整人体质量基础分，得到第一人体质量基础分；

第二调整子模块，用于根据模糊度得分以及亮度得分调整所述第一人体质量基础分，得到第二人体质量基础分；

第三调整子模块，用于根据人体遮挡得分调整所述第二人体质量基础分，得到人体质量分。

在一实施例中，所述第一调整子模块包括：

人体roi区域面积确定单元，用于确定人体roi区域面积；

比较单元，用于比较所述人体roi区域面积与阈值面积的大小；

若所述人体roi区域面积大于所述阈值面积，则所述人体尺寸得分等于1，若所述人体roi区域面积小于阈值面积，则所述人体尺寸得分等于人体roi区域面积与阈值面积的商；

第一人体质量基础分获取单元，用于根据所述人体尺寸得分与所述人体质量基础分得到第一人体质量基础分。

在一实施例中，所述第二调整子模块包括：

权重确定单元，用于确定模糊度权重与亮度权重；

第一质量分权重获取单元，用于对所述模糊度得分以及亮度得分进行加权平均得到第一质量分权重；

第二人体质量基础分获取单元，用于根据所述第一质量分权重以及第一人体质量基础分得到第二人体质量基础分。

在一实施例中，所述第三调整子模块包括：

第二质量分权重获取模块，用于根据所述人体遮挡得分确定第二质量分权重；

人体质量分获取模块，用于根据所述第二质量分权重调整所述第二人体质量基础分，得到人体质量分。

在一实施例中，所述人体质量影响因素得分获取模块包括：人体遮挡得分获取子模块，用于获取人体遮挡得分；所述人体遮挡得分获取子模块包括：

人体roi区域最小外接框获取单元，用于确定人体roi区域最小外接框；

人体遮挡基础得分获取单元，用于根据人体网格分割得到的前景网格数量和网格总数得到人体遮挡基础得分；

人体占比单元，用于根据人体roi区域最小外接框得到人体占比；

人体遮挡得分获取单元，用于根据所述人体占比调整所述人体遮挡基础得分，得到人体遮挡得分。

在一实施例中，所述人体遮挡得分获取单元在所述人体占比超过第一人体占比，且所述人体遮挡基础得分小于第一基础得分时，增大人体遮挡得分；在所述人体占比小于第二人体占比，且所述人体遮挡基础得分大于第二基础得分时，减小人体遮挡得分；其中，所述第一人体占比大于所述第二人体占比，所述第一基础得分小于所述第二基础得分。

在本实施例中，该装置实施例与前述的方法实施例相对应，具体功能和技术效果参照上述实施例即可，此处不再赘述。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、mp3(动态影像专家压缩标准语音层面3，movingpictureexpertsgroupaudiolayeriii)播放器、mp4(动态影像专家压缩标准语音层面4，movingpictureexpertsgroupaudiolayeriv)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中方法所包含步骤的指令(instructions)。

图15为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(centralprocessingunit，简称cpu)、应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如usb接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图16为本申请的一个实施例提供的终端设备的硬件结构示意图。图16是对图15在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(randomaccessmemory，简称ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(lcd)和触摸面板(tp)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(mic)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个实施例中，该终端设备中可以包括sim卡插槽，该sim卡插槽用于插入sim卡，使得终端设备可以登录gprs网络，通过互联网与服务器建立通信。

由上可知，在图16实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图15实施例中的输入设备的实现方式。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。