一种基于图像的特征提取方法及设备与流程

本发明涉及图像识别，特别是涉及一种基于图像的特征提取方法及设备。

背景技术：

1、图像识别技术是人工智能的一个重要组成部分。通过图像识别技术结合人工智能算法能够对图像中人像进行识别，并获取图像中人体的姿态，实现对人体行为的识别。

2、目前，现有技术采用提取骨架点的方式进行预测人体的行为模式。通过提取骨架点后，直接使用骨架点进行预测人体的行为模式。该方法使用与人体行为更加接近的骨架点，从而能够从图像中获取更接近人体行为的本质特征。但该方法高度依赖对于骨架预测的精准程度，一旦图像基于对骨架点的预测产生了失误，将使得基于图像对人体行为的识别更加无法预测。

3、或采用卷积的方式直接生成图形特征，并直接利用图像特征生成预测结果。但是基于卷积直接生成的特征无法控制，即对于图像特征的学习可能本身是来自图像中的背景而非人物本身的行为模式。这种方案将会更加重视拟合已有的场景，而忽视本身的行为模式。因此，目前的图像识别方法无法有效、稳定地识别人体行为。

技术实现思路

1、本发明所要解决的技术问题是：如何基于图像提高人体行为识别的准确率。

2、为了解决上述技术问题，本发明采用的技术方案为：

3、一种基于图像的特征提取方法，包括步骤：

4、获取输入图像，基于所述输入图像构建骨架位置和骨架边缘特征；

5、判断所述骨架边缘特征是否达到预设更新次数，若否，则对所述图像进行卷积得到特征图以及图像特征；根据所述骨架位置以及所述特征图构建骨架关节点特征；根据所述骨架关节点特征以及所述骨架边缘特征更新所述骨架边缘特征；根据更新的所述骨架边缘特征的注意力图对所述骨架关节点特征进行重塑，更新的所述骨架关节点特征，直至达到预设更新次数；

6、若是，则根据更新的所述骨架关节点特征、更新的所述骨架边缘特征以及图像特征对所述输入图像进行识别，并输出识别结果。

7、一种基于融合骨架边缘特征的人体行为识别设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的一种基于图像的特征提取方法中的各个步骤。

8、本发明的有益效果在于：根据输入的图像构建初始骨架边缘特征以及骨架位置后，通过图像卷积操作结合骨架位置构建骨架关节点特征，并通过骨架关节点特征以及上一层骨架边缘特征更新下一层的骨架边缘特征，再使用更新的骨架边缘特征的注意力图对骨架关节点特征进行重塑，从而通过多层次的骨架边缘特征更新以及骨架关节点特征重塑，实现不断地使用提取好的图像特征，能够注意到更多在图像中人体结构的细节，从而通过提取出的骨架关节点特征、骨架边缘特征以及图像特征实现对输入图像的人体行为进行有效识别，提高人体行为识别的准确率。

技术特征：

1.一种基于图像的特征提取方法，其特征在于，包括步骤：

2.根据权利要求1所述的一种基于图像的特征提取方法，其特征在于，所述根据所述骨架位置以及所述特征图构建骨架关节点特征包括：

3.根据权利要求2所述的一种基于图像的特征提取方法，其特征在于，所述从多个所述骨架边缘特征图中提取得到所述骨架关节点特征包括：

4.根据权利要求2所述的一种基于图像的特征提取方法，其特征在于，所述预设的输出属性包括边界框信息和图像尺寸信息；

5.根据权利要求4所述的一种基于图像的特征提取方法，其特征在于，所述根据所述骨架点在所述特征图下的坐标位置确定关节点坐标以及关节点数目包括：

6.根据权利要求1所述的一种基于图像的特征提取方法，其特征在于，所述基于所述输入图像构建骨架位置和骨架边缘特征包括：

7.根据权利要求1所述的一种基于图像的特征提取方法，其特征在于，所述根据所述骨架关节点特征更新所述骨架边缘特征包括：

8.根据权利要求1所述的一种基于图像的特征提取方法，其特征在于，所述根据更新的所述骨架边缘特征的注意力图更新所述骨架关节点特征包括：

9.根据权利要求8所述的一种基于图像的特征提取方法，其特征在于，所述使用矩阵乘法将所述骨架边缘特征的注意力图与所述关节点特征进行相乘得到更新的所述骨架关节点特征之前包括：

10.一种基于图像的特征提取设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-9任意一项所述的一种基于图像的特征提取方法中的各个步骤。

技术总结
本发明公开一种基于图像的特征提取方法及设备，根据输入的图像构建初始骨架边缘特征以及骨架位置后，通过图像卷积操作结合骨架位置构建骨架关节点特征，并通过骨架关节点特征以及上一层骨架边缘特征更新下一层的骨架边缘特征，再使用更新的骨架边缘特征的注意力图对骨架关节点特征进行重塑，从而通过多层次的骨架边缘特征更新以及骨架关节点特征重塑，实现不断地使用提取好的图像特征，能够注意到更多在图像中人体结构的细节，从而通过提取出的骨架关节点特征、骨架边缘特征以及图像特征实现对输入图像的人体行为进行有效识别，提高人体行为识别的准确率。

技术研发人员：张宇,吴庆耀,杨伟强,赵康铭,刘东剑
受保护的技术使用者：深圳金三立视频科技股份有限公司
技术研发日：
技术公布日：2024/1/12