一种交互式关键点检测方法及相关装置与流程

本技术涉及计算机视觉，特别涉及一种交互式关键点检测方法及相关装置。

背景技术：

1、多人关键点检测旨在检测图像中每个人的关键点坐标，其在研究和工业领域，尤其是在体育、娱乐和监控应用中，引起了极大的关注。在将多人关键点检测应用于不同应用场景时，需要针对各应用场景进行训练，这就需要大量具有人体关键点标签的训练数据。

2、目标普遍采用手动标注的方式来对训练数据进行人体关键点标签的标注，需要花费大量的时间成本和人力成本，从而影响了人体关键点标签的标注成本以及标注效率。

3、因而现有技术还有待改进和提高。

技术实现思路

1、本技术要解决的技术问题在于，针对现有技术的不足，提供一种交互式关键点检测方法及相关装置。

2、为了解决上述技术问题，本技术实施例第一方面提供了一种交互式关键点检测方法，所述方法包括：

3、获取包含人的目标图像的多尺度图像特征；

4、基于所述多尺度图像特征确定所述目标图像对应的候选人体查询和候选关键点查询序列；

5、对所述候选关键点查询序列中的至少一个候选关键点查询进行修正操作，以得到修正关键点查询序列；

6、将所述多尺度图像特征、修正关键点查询序列和所述候选人体查询输入第一人体-关键点解码器，通过所述第一人体-关键点解码器确定目标人体查询和所述目标人体查询对应的目标关键点查询序列；

7、基于所述目标人体查询和目标关键点查询序列，确定所述目标图像中的目标人体及目标人体对应的人体关键点。

8、所述交互式关键点检测方法，其中，所述对所述候选关键点查询序列中的至少一个候选关键点查询进行修正操作，以得到修正关键点查询序列具体包括：

9、接收关键点查询修正指令，其中，所述关键点查询修正指令携带有关键点标识以及修正数据；

10、根据所述关键点标识在所述候选关键点查询序列中选取待修正的候选关键点查询，并按照所述修正数据对待修正的候选关键点查询进行修正操作以得到修正关键点查询序列。

11、所述交互式关键点检测方法，其中，所述按照所述修正数据对待修正的候选关键点查询进行修正操作以得到修正关键点查询序列具体包括：

12、将所述修正数据添加至待修正的候选关键点查询中的候选关键点位置上，以得到修正关键点位置查询；

13、根据预设码本对待修正的候选关键点查询中的候选关键点特征查询进行标签嵌入来初始化，以得到修正关键点特征查询；

14、基于所述修正关键点位置查询和所述修正关键点特征查询形成修正关键点查询，并采用所述修正关键点查询替换其对应的待修正的候选关键点查询，以得到修正关键点查询序列。

15、所述交互式关键点检测方法，其中，所述关键点检测模型的训练过程具体包括：

16、基于训练图像的人体关键点标签形成误差关键点查询序列；

17、基于所述误差关键点查询序列、所述训练图像、所述初始网络模型确定训练人体查询、训练关键点查询序列、第一预测关键点查询、预测人体查询和第二预测关键点查询序列；

18、基于所述预测人体查询、训练人体查询、训练关键点查询序列、第一预测关键点查询以及第二预测关键点查询训练初始网络模型，以得到关键点检测模型。

19、所述交互式关键点检测方法，其中，所述基于所述误差关键点查询序列、所述训练图像、所述初始网络模型确定训练人体查询、训练关键点查询序列、第一预测关键点查询、预测人体查询和第二预测关键点查询序列具体包括：

20、将所述训练图像和所述误差关键点查询序列输入所述初始网络模型中的检测模块，通过所述检测模块输出所述训练图像对应的多尺度训练图像特征、训练人体查询、训练关键点查询序列以及第一预测关键点查询；

21、对所述训练关键点查询序列中的至少一个训练关键点查询进行修改操作，以得到修改关键点查询序列；

22、将所述多尺度训练图像特征、所述训练人体查询和修改关键点查询序列输入所述初始网络模型中的第一人体-关键点解码器，通过所述第一人体-关键点解码器输出预测人体查询和第二预测关键点查询序列。

23、所述交互式关键点检测方法，其中，所述将所述训练图像和所述误差关键点查询序列输入所述初始网络模型中的检测模块，通过所述检测模块输出所述训练图像对应的多尺度训练图像特征、训练人体查询、训练关键点查询序列以及第一预测关键点查询具体包括：

24、将所述训练图像输入所述检测模块中的编码模块，通过所述编码模块输出多尺度训练图像特征以及多条初始人体查询；

25、将所述多条初始人体查询输入所述检测模块中的人体解码器，通过人体解码器确定中间人体查询和中间人体关键点查询序列；

26、将多尺度训练图像特征、中间人体查询、中间人体关键点查询序列和误差关键点查询序列输入所述检测模块中的第二人体-关键点解码器，通过第二人体-关键点解码器输出训练人体查询及训练关键点查询序列，以及所述误差关键点查询序列对应的第一预测关键点查询。

27、所述交互式关键点检测方法，其中，所述误差关键点查询序列的确定过程具体包括：

28、获取训练图像中人的关键点标签集，确定所述关键点标签集对应的关键点查询序列；

29、在所述关键点查询序列中添加扰动误差和/或翻转误差，以形成误差关键点查询序列。

30、所述交互式关键点检测方法，其中，所述扰动误差用于改变关键点查询中的关键点位置，所述翻转误差用于改变关键点查询中的关键点特征的身体部位标签。

31、本技术实施例第二方面提供了一种交互式关键点检测装置，所述装置包括：

32、检测模块，用于获取包含人的目标图像的多尺度图像特征，基于所述多尺度图像特征确定所述目标图像对应的候选人体查询和候选关键点查询序列；

33、修正模块，用于对所述候选关键点查询序列中的至少一个候选关键点查询进行修正操作，以得到修正关键点查询序列；

34、人体关键点解码模块，用于将所述多尺度图像特征、修正关键点查询序列和所述候选人体查询输入第一人体-关键点解码器，通过所述第一人体-关键点解码器确定目标人体查询和所述目标人体查询对应的目标关键点查询序列；

35、确定模块，用于基于所述目标人体查询和目标关键点查询序列，确定所述目标图像中的目标人体及目标人体对应的人体关键点。

36、本技术实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的交互式关键点检测方法中的步骤。

37、本技术实施例第四方面提供了一种终端设备，其包括：处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序；

38、所述通信总线实现处理器和存储器之间的连接通信；

39、所述处理器执行所述计算机可读程序时实现如上任一所述的交互式关键点检测方法中的步骤。

40、有益效果：与现有技术相比，本技术提供了一种交互式关键点检测方法及相关装置，方法包括获取包含人的目标图像的多尺度图像特征；基于所述多尺度图像特征确定所述目标图像对应的候选人体查询和候选关键点查询序列；对所述候选关键点查询序列中的至少一个候选关键点查询进行修正操作，以得到修正关键点查询序列；将所述多尺度图像特征、修正关键点查询序列和所述候选人体查询输入第一人体-关键点解码器，通过所述第一人体-关键点解码器确定目标人体查询和所述目标人体查询对应的目标关键点查询序列；基于所述目标人体查询和目标关键点查询序列，确定所述目标图像中的目标人体及目标人体对应的人体关键点。本技术通过在人体关键点检测过程中，对候选关键点查询序列中的少数候选关键点进行修正操作，然后通过神经网络模型对其他可能错误的关键点进行更新，这样通过神经网络模型与用户交互来对关键点的检测与标注，可以通过少量手动操作得到高精度的人体关键点，提高了标注效率且降低了标注工作量和标注成本。