关键点检测模型及其检测方法、装置及计算机存储介质与流程

文档序号:24422969发布日期:2021-03-26 22:27阅读:来源:国知局

技术特征:
1.一种关键点检测模型训练方法,其特征在于,所述方法包括:根据初始训练样本,确定所述初始训练样本中各关键点对应的各坐标参数与各第一可见度类别参数;根据预设数据增强规则、所述初始训练样本中各关键点对应的各坐标参数和各第一可见度类别参数,针对所述初始训练样本执行数据增强处理,获得增强训练样本以及所述增强训练样本中各所述关键点对应的各第二可见度类别参数;以及构建关键点检测模型,并将所述增强训练样本作为输入,将各所述关键点对应的各所述坐标参数以及各所述第二可见度类别参数作为输出,以训练所述关键点检测模型。2.根据权利要求1所述的关键点检测模型训练方法,其特征在于,所述预设数据增强规则包括图片模糊增强规则、图片昏暗增强规则、图片擦除增强规则、图片变形增强规则中的至少一个。3.根据权利要求1所述的关键点检测模型训练方法,其特征在于,所述初始训练样本包括人脸图像。4.根据权利要求3所述的关键点检测模型训练方法,其特征在于,所述预设数据增强规则为图片擦除增强规则,所述第一可见度类别参数、所述第二可见度类别参数用于标识所述关键点的可见度类别,所述可见度类别包括可见类别和不可见类别中的一个。5.根据权利要求4所述的关键点检测模型训练方法,其特征在于,所述根据预设数据增强规则、所述初始训练样本中各所述关键点对应的各所述坐标参数和各所述第一可见度类别参数,针对所述初始训练样本执行数据增强处理,获得增强训练样本以及所述增强训练样本中各所述关键点对应的各第二可见度类别参数包括:根据所述图片擦除增强规则和各所述关键点对应的各所述坐标参数,获得待擦除的至少一个所述关键点以作为目标隐藏点;根据各所述目标隐藏点对应的各所述坐标参数,确定目标擦除区域的位置信息;根据所述目标擦除区域的位置信息,针对所述初始训练样本中的对应区域执行数据擦除处理,获得所述增强训练样本;以及针对所述增强训练样本中属于所述目标隐藏点的各所述关键点,将所述不可见类别确定为各所述关键点对应的各所述第二可见度类别参数,针对所述增强训练样本中不属于所述目标隐藏点的各所述关键点,将各所述关键点对应的各所述第一可见度类别参数确定为各所述关键点对应的各所述第二可见度类别参数,据以获得所述增强训练样本中所有所述关键点对应的各所述第二可见度类别参数。6.根据权利要求5所述的关键点检测模型训练方法,其特征在于,所述目标擦除区域包括所述人脸图像中的眉部区域、眼部区域、嘴部区域、鼻部区域、下颚区域、面颊区域中的至少一个。7.根据权利要求4所述的关键点检测模型训练方法,其特征在于,所述根据预设数据增强规则、所述初始训练样本中各所述关键点对应的各所述坐标参数和各所述第一可见度类别参数,针对所述初始训练样本执行数据增强处理,获得增强训练样本以及所述增强训练样本中各所述关键点对应的各第二可见度类别参数包括:目标擦除区域生成步骤,根据所述图片擦除增强规则,随机生成所述目标擦除区域的位置信息;
数据擦除步骤,根据所述目标擦除区域的位置信息,针对所述初始训练样本中的对应区域执行数据擦除处理,获得所述增强训练样本;以及针对所述增强训练样本中位于所述目标擦除区域中的各所述关键点,将所述不可见类别确定为各所述关键点对应的各所述第二可见度类别参数,针对所述增强训练样本中位于所述目标擦除区域之外的各所述关键点,将各所述关键点对应的各所述第一可见度类别参数确定为各所述关键点对应的各所述第二可见度类别参数,据以获得所述增强训练样本中所有所述关键点对应的各所述第二可见度类别参数。8.根据权利要求7所述的关键点检测模型训练方法,其特征在于,所述根据所述图片擦除增强规则,随机生成所述目标擦除区域的位置信息还包括:根据各所述关键点对应的各所述坐标参数和所述目标擦除区域的位置信息,获得所述目标擦除区域中的所述关键点的数量;根据预设隐藏点数量、所述目标擦除区域中的所述关键点的数量,若所述目标擦除区域中的所述关键点的数量不超过所述预设隐藏点数量,执行所述数据擦除步骤;若所述目标擦除区域中的所述关键点的数量超过所述预设隐藏点数量,则重复所述目标擦除区域生成步骤。9.根据权利要求8中任一项所述的关键点检测模型训练方法,其特征在于,所述目标擦除区域为所述人脸图像中的随机区域,所述预设隐藏点数量为3个。10.根据权利要求4所述的关键点检测模型训练方法,其特征在于,所述构建关键点检测模型,并将所述增强训练样本作为输入,并将各所述关键点对应的各所述坐标参数以及各所述第二可见度类别参数作为输出,以训练所述关键点检测模型包括:构建包括有坐标位置预测器和可见度类别预测器的所述关键点检测模型;将所述增强训练样本作为输入,以供所述坐标位置预测器针对所述增强训练样本中各所述关键点的坐标位置进行预测,获得各所述关键点对应的各坐标预测结果,并根据各所述关键点对应的各所述坐标参数和各所述坐标预测结果,训练所述坐标位置预测器;以及将所述增强训练样本作为输入,以供所述可见度类别预测器针对所述增强训练样本中各所述关键点的所述可见度类别进行预测,获得各所述关键点对应的各可见度类别预测结果,并根据各所述关键点对应的各所述第二可见度类别参数和各所述可见度类别预测结果,训练所述可见度类别预测器。11.根据权利要求10所述的关键点检测模型训练方法,其特征在于,所述坐标位置预测器、所述可见度类别预测器采用全连接网络方案或1x1卷积网络方案执行预测。12.根据权利要求10所述的关键点检测模型训练方法,其特征在于,所述方法还包括:根据所述初始训练样本,获得所述初始训练样本中的所述人脸图像的至少一角度值;根据预设难度类别规则以及所述人脸图像的至少一角度值,确定所述初始训练样本对应的所述增强训练样本的难度类别;以及根据所述难度类别,确定所述增强训练样本的难度权重参数;根据增强训练样本的所述难度权重参数,训练所述坐标位置预测器和所述可见度类别预测器。13.根据权利要求12所述的关键点检测模型训练方法,其特征在于,所述方法还包括:利用预设模型训练目标函数,迭代优化所述坐标位置预测器和所述可见度类别预测
器,直至所述预设模型训练目标函数收敛至稳定值;所述预设模型训练目标函数表示为:其中,所述loss表示所述增强训练样本的总损失值;所述n表示所述增强训练样本的数量;所述i表示第i个所述增强训练样本;所述lr
i
表示第i个所述增强训练样本的所述坐标预测结果的损失值;所述lc
i
表示第i个所述增强训练样本的所述可见度类别预测结果的损失值,所述ω
i
表示第i个所述增强训练样本的所述难度权重参数;所述μ表示所述lr
i
的权重值;所述β表示所述lc
i
的权重值。14.根据权利要求10所述的关键点检测模型训练方法,其特征在于,所述方法还包括:利用特征提取模型提取所述增强训练样本中的特征信息,以提供所述坐标位置预测器基于所述特征信息预测各所述关键点的坐标位置,获得各所述关键点对应的各所述坐标预测结果,并提供所述可见度类别预测器基于所述特征信息预测各所述关键点的所述可见度类别,获得各所述关键点对应的各所述可见度类别预测结果。15.根据权利要求14所述的关键点检测模型训练方法,其特征在于,所述特征提取模型包括ghostnes模型、shufflenet模型中的一个。16.根据权利要求14所述的关键点检测模型训练方法,其特征在于,所述特征提取模型包括mobilenet模型,所述特征提取模型的通道系数为所述mobilenet模型的原始通道系数的0.35倍,所述特征提取模型的扩张系数为所述mobilenet模型的原始扩张系数的0.5倍。17.一种关键点检测方法,其特征在于,所述方法包括:获得目标样本;以及利用根据权利要求1至16中任一项所述的关键点检测模型训练方法所训练的所述关键点检测模型,针对所述目标样本中的各关键点执行检测,获得所述目标样本中各所述关键点对应的各坐标检测结果以及各可见度分类检测结果。18.一种计算机存储介质,其特征在于,所述计算机存储介质中储存有用于执行根据权利要求1

16中任一项所述的关键点检测模型训练方法的各所述步骤的指令;或所述计算机存储介质中储存有用于执行根据权利要求17所述的关键点检测方法的各所述步骤的指令。19.一种关键点检测模型训练装置,其特征在于,所述装置包括:样本获得模块,用于根据初始训练样本,确定所述初始训练样本中多个关键点对应的多个坐标参数和多个第一可见度类别参数;样本处理模块,用于根据预设数据增强规则、所述初始训练样本中各所述关键点对应的各所述坐标参数和各所述第一可见度类别参数,针对所述初始训练样本执行数据增强处理,获得增强训练样本以及所述增强训练样本中各所述关键点对应的各第二可见度类别参数;模型训练模块,用于构建关键点检测模型,并将所述增强训练样本作为输入,将各所述关键点对应的各所述坐标参数以及各所述第二可见度类别参数作为输出,以训练所述关键点检测模型。20.一种关键点检测装置,其特征在于,所述装置包括:
目标样本获得模块,用于获得目标样本;目标样本检测模块,用于利用根据权利要求19所述的关键点检测模型训练装置所训练的所述关键点检测模型,针对所述目标样本中的各关键点执行检测,获得所述目标样本中各所述关键点对应的各坐标检测结果以及各可见度分类检测结果。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1