姿态分类方法和姿态分类模型的训练方法、装置与流程

文档序号:28689152发布日期:2022-01-29 11:11阅读:来源:国知局

技术特征:
1.一种姿态分类方法,包括:提取包括至少一个目标对象的待处理图像的特征,得到第一特征图;针对所述至少一个目标对象中的每个目标对象,基于所述第一特征图,确定针对所述每个目标对象的位置信息;以及基于针对所述每个目标对象的位置信息和所述第一特征图,确定所述每个目标对象的姿态类别。2.根据权利要求1所述的方法,其中,所述基于针对所述每个目标对象的位置信息和所述第一特征图,确定所述每个目标对象的姿态类别包括:基于所述位置信息,确定所述第一特征图中针对所述每个目标对象的局部特征;以及基于所述局部特征,确定所述每个目标对象的姿态类别。3.根据权利要求2所述的方法,其中,所述基于所述局部特征,确定所述每个目标对象的姿态类别包括:对所述局部特征进行区域对齐处理,得到处理后特征;以及基于所述处理后特征,采用卷积运算确定所述每个目标对象的姿态类别。4.一种姿态分类模型的训练方法,其中,所述姿态分类模型包括特征提取网络、位置确定网络和类别预测网络;所述方法包括:将样本图像输入所述特征提取网络,得到第二特征图,所述样本图像包括至少一个目标对象中每个目标对象的实际位置信息和实际姿态类别;将所述第二特征图输入所述位置确定网络,得到至少一个预测位置信息;基于所述实际位置信息和所述第二特征图,采用所述类别预测网络确定所述每个目标对象的预测姿态类别;以及基于所述预测姿态类别、所述实际姿态类别、所述至少一个预测位置信息和所述实际位置信息,对所述姿态分类模型进行训练。5.根据权利要求4所述的方法,其中,所述基于所述实际位置信息和所述第二特征图,采用所述类别预测网络确定所述每个目标对象的预测姿态类别包括:基于所述每个目标对象的实际位置信息,确定所述第二特征图中针对所述每个目标对象的局部特征,得到至少一个局部特征;以及基于所述至少一个局部特征,采用所述类别预测网络得到至少一个预测姿态类别,所述至少一个预测姿态类别与所述至少一个目标对象一一对应。6.根据权利要求4所述的方法,其中,所述基于所述实际位置信息和所述第二特征图,采用所述类别预测网络确定所述每个目标对象的预测姿态类别包括:基于所述至少一个预测位置信息和所述至少一个目标对象的至少一个实际位置信息,确定所述至少一个预测位置信息中的每个预测位置信息与实际位置信息之间的匹配关系;基于所述至少一个预测位置信息,确定所述第二特征图中针对所述至少一个目标对象的至少一个局部特征;基于所述至少一个局部特征,采用所述类别预测网络得到至少一个预测姿态类别;以及基于所述匹配关系,确定所述至少一个预测姿态类别中所述每个目标对象的预测姿态类别。
7.根据权利要求5或6所述的方法,其中,所述基于所述至少一个局部特征,采用所述类别预测网络得到至少一个预测姿态类别包括:对所述至少一个局部特征分别进行区域对齐处理,得到至少一个处理后特征;以及将所述至少一个处理后特征输入所述类别预测网络,得到所述至少一个预测姿态类别。8.根据权利要求6所述的方法,其中,确定所述至少一个预测位置信息中的每个预测位置信息与实际位置信息之间的匹配关系包括:针对所述至少一个预测位置信息中的每个预测位置信息,确定所述至少一个实际位置信息中与所述每个预测位置信息的交并比最高的位置信息,作为与所述每个预测位置信息相匹配的实际位置信息。9.根据权利要求4所述的方法,其中,所述基于所述预测姿态类别、所述实际姿态类别、所述至少一个预测位置信息和所述实际位置信息,对所述姿态分类模型进行训练包括:基于所述至少一个预测位置信息和所述实际位置信息,对所述特征提取网络和所述位置确定网络进行训练;以及基于预测姿态类别和所述实际姿态类别,对所述特征提取网络、所述位置确定网络和所述类别预测网络进行训练。10.一种姿态分类装置,包括:第一特征提取模块,用于提取包括至少一个目标对象的待处理图像的特征,得到第一特征图;第一位置确定模块,用于针对所述至少一个目标对象中的每个目标对象,基于所述第一特征图,确定针对所述每个目标对象的位置信息;以及第一姿态确定模块,用于基于针对所述每个目标对象的位置信息和所述第一特征图,确定所述每个目标对象的姿态类别。11.根据权利要求10所述的装置,其中,所述第一姿态确定模块包括:第一特征确定子模块,用于基于所述位置信息,确定所述第一特征图中针对所述每个目标对象的局部特征;以及第一姿态确定子模块,用于基于所述局部特征,确定所述每个目标对象的姿态类别。12.根据权利要求11所述的装置,其中,所述第一姿态类别确定子模块包括:第一对齐单元,用于对所述局部特征进行区域对齐处理,得到处理后特征;以及第一姿态确定单元,用于基于所述处理后特征,采用卷积运算确定所述每个目标对象的姿态类别。13.一种姿态分类模型的训练装置,其中,所述姿态分类模型包括特征提取网络、位置确定网络和类别预测网络;所述装置包括:第二特征提取模块,用于将样本图像输入所述特征提取网络,得到第二特征图,所述样本图像包括至少一个目标对象中每个目标对象的实际位置信息和实际姿态类别;第二位置确定模块,用于将所述第二特征图输入所述位置确定网络,得到至少一个预测位置信息;第二姿态确定模块,用于基于所述实际位置信息和所述第二特征图,采用所述类别预测网络确定所述每个目标对象的预测姿态类别;以及
模型训练模块,用于基于所述预测姿态类别、所述实际姿态类别、所述至少一个预测位置信息和所述实际位置信息,对所述姿态分类模型进行训练。14.根据权利要求13所述的装置,其中,所述第二姿态确定模块包括:第二特征确定子模块,用于基于所述每个目标对象的实际位置信息,确定所述第二特征图中针对所述每个目标对象的局部特征,得到至少一个局部特征;以及第二姿态确定子模块,用于基于所述至少一个局部特征,采用所述类别预测网络得到至少一个预测姿态类别,所述至少一个预测姿态类别与所述至少一个目标对象一一对应。15.根据权利要求13所述的装置,其中,所述第二姿态确定模块包括:匹配子模块,用于基于所述至少一个预测位置信息和所述至少一个目标对象的至少一个实际位置信息,确定所述至少一个预测位置信息中的每个预测位置信息与实际位置信息之间的匹配关系;第三特征确定子模块,用于基于所述至少一个预测位置信息,确定所述第二特征图中针对所述至少一个目标对象的至少一个局部特征;第二姿态确定子模块,用于基于所述至少一个局部特征,采用所述类别预测网络得到至少一个预测姿态类别;以及姿态匹配子模块,用于基于所述匹配关系,确定所述至少一个预测姿态类别中所述每个目标对象的预测姿态类别。16.根据权利要求14或15所述的装置,其中,所述第二姿态确定子模块包括:第二对齐单元,用于对所述至少一个局部特征分别进行区域对齐处理,得到至少一个处理后特征;以及第二姿态确定单元,用于将所述至少一个处理后特征输入所述类别预测网络,得到所述至少一个预测姿态类别。17.根据权利要求15所述的装置,其中,所述匹配子模块还用于:针对所述至少一个预测位置信息中的每个预测位置信息,确定所述至少一个实际位置信息中与所述每个预测位置信息的交并比最高的位置信息,作为与所述每个预测位置信息相匹配的实际位置信息。18.根据权利要求13所述的装置,其中,所述模型训练模块包括:第一训练子模块,用于基于所述至少一个预测位置信息和所述实际位置信息,对所述特征提取网络和所述位置确定网络进行训练;以及第二训练子模块,用于基于预测姿态类别和所述实际姿态类别,对所述特征提取网络、所述位置确定网络和所述类别预测网络进行训练。19.一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1~9中任一项所述的方法。20.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1~9中任一项所述的方法。21.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根
据权利要求1~9中任一项所述的方法。

技术总结
本公开提供了一种姿态分类方法和姿态分类模型的训练方法、装置、设备、介质,涉及人工智能领域,具体涉及计算机视觉和深度学习技术领域。姿态分类方法包括:提取包括至少一个目标对象的待处理图像的特征,得到第一特征图;针对至少一个目标对象中的每个目标对象,基于第一特征图,确定针对每个目标对象的位置信息;以及基于针对每个目标对象的位置信息和第一特征图,确定每个目标对象的姿态类别。确定每个目标对象的姿态类别。确定每个目标对象的姿态类别。


技术研发人员:卢子鹏 王健 孙昊 丁二锐
受保护的技术使用者:北京百度网讯科技有限公司
技术研发日:2021.10.29
技术公布日:2022/1/28
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1